CN109005327A - 一种视频结构化摄像设备和系统 - Google Patents

Abstract

本申请提供了一种视频结构化摄像设备和系统，该设备包括：视频采集模块、现场可编程门阵列和存储模块；其中，所述存储模块，用于存储能够使所述现场可编程门阵列运行的程序，以使所述现场可编程门阵列正常运行；所述视频采集模块，用于采集所述摄像设备所处环境的视频流，并将所述视频传输给所述现场可编程门阵列；所述现场可编程门阵列，用于接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。

Description

一种视频结构化摄像设备和系统

技术领域

本申请涉及电子设备技术领域，具体而言，涉及一种视频结构化摄像设备和系统。

背景技术

目前，嵌入式摄像机大多数为网络摄像机(IP Camera)，网络摄像机是传统摄像机与网络视频技术相结合的产品，网络摄像机具备一般传统摄像机所有的图像捕捉功能外，机内内置了数字化压缩控制器和基于WEB的操作系统，使得视频数据经压缩加密后，通过局域网或无线网络送至用户终端。现有的网络摄像机仅仅能实现视频的录制和传输，而无法对视频内容进行处理。

发明内容

有鉴于此，本申请的目的在于提供一种视频结构化摄像设备和系统，用于解决现有技术中无法对视频内容进行处理的问题。

第一方面，本申请实施例提供了一种视频结构化摄像设备，所述设备包括：视频采集模块、现场可编程门阵列和存储模块；其中，

所述存储模块，用于存储能够使所述现场可编程门阵列运行的程序，以使所述现场可编程门阵列正常运行；

所述视频采集模块，用于采集所述摄像设备所处环境的视频流，并将所述视频传输给所述现场可编程门阵列；

所述现场可编程门阵列，用于接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。

可选地，所述现场可编程门阵列具体用于：

针对视频流中的每一帧图像，采用预设图像识别模型对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，则根据与该图像对应的识别结果和所述视频流，生成待传输视频。

可选地，所述视频采集模块包括：镜头、图像传感器和数字信号处理芯片，所述镜头和所述图像传感器连接；

所述图像传感器，用于将经由镜头获取的光信号转化为数字图像信号，对所述数字图像信号进行处理，得到视频流。

可选地，所述设备还包括：调试模块，所述调试模块通过JTAG接口与所述现场可编程门阵列电连接；

所述调试模块，用于通过所述JTAG接口对所述现场可编程门阵列进行测试，以使所述现场可编程门阵列正常运行。

可选地，所述设备还包括：传输模块，所述传输模块与所述现场可编程门阵列连接；

所述现场可编程门阵列，还用于将所述待传输视频转换为网口视频流，通过所述传输模块传输所述网口视频流。

可选地，所述设备还包括：HDMI接口，所述HDMI接口与所述现场可编程门阵列连接；

所述现场可编程门阵列，还用于通过所述HDMI接口传输所述待传输视频。

可选地，所述设备还包括：LVDS接口，所述视频采集模块通过所述LVDS接口与所述现场可编程门阵列电连接；

所述视频采集模块通过所述LVDS接口将视频流传输给所述现场可编程门阵列。

可选地，所述设备还包括：供电模块，所述供电模块与所述现场可编程门阵列电连接；

所述供电模块，用于为所述现场可编程门阵列供电。

可选地，所述存储模块包括动态随机存储器和缓冲存储器中的至少一个。

第二方面，本申请实施例提供了一种摄像视频结构化系统，包括如上所述的摄像设备和外部设备，

所述外部设备，用于接收所述摄像设备传输的待传输视频并显示。

本申请实施例提供的一种视频结构化摄像设备和系统，视频采集模块采集摄像设备所处环境的视频流，并将视频传输给所述现场可编程门阵列，现场可编程门阵列接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。这样，本申请的摄像设备不仅仅可以录制视频流以及传输视频流，还可以对视频流进行识别处理，使得摄像设备多样化，通过现场可编程门阵列可以自由定制其功能，当产品功能发生改动时，不用修改硬件设置，只需要在软件层重新设计相应的功能便可，提高了用户的体验。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的一种视频结构化摄像设备的第一种结构示意图；

图2为本申请一实施例提供的一种图像采集模块的结构示意图；

图3为本申请一实施例提供的一种视频结构化摄像设备的第二种结构示意图；

图4为本申请一实施例提供的一种视频结构化摄像设备的第三种结构示意图；

图5为本申请一实施例提供的一种视频结构化摄像系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请实施例涉及的一种视频结构化摄像设备，该设备包括：视频采集模块11、现场可编程门阵列12和存储模块13；其中，

所述存储模块13，用于存储能够驱动所述现场可编程门阵列12的程序，以使所述现场可编程门阵列12正常运行；

所述视频采集模块11，用于采集所述摄像设备所处环境的视频流，并将所述视频传输给所述现场可编程门阵列12；

所述现场可编程门阵列12，用于接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。

这里，存储模块可以包括动态随机存储器(Double Data Rate，DDR)和缓冲存储器(FLASH)中的至少一个，优选地，存储模块中既包括动态随机存储器，也包括缓冲存储器；现场可编程门阵列可以是FPGA芯片，本申请对此不予限制。

由于FPGA芯片是一个支持复杂编程的芯片，FPGA芯片能完成复杂的电路，用户可以通过多种硬件描述语言设计该芯片中运行的系统，受技术发展的限制，使用FPGA芯片设计数字电路的用户比较少，但随着时间的流逝，技术的发展，越来越多的用户开始使用FPGA芯片作为主控或者运算处理模块。而FPGA芯片内部不具有存储模块，所以，FPGA芯片不能用来存储该芯片上运行的程序，程序只有通过片外的存储模块进行存储。

在具体实施中，视频采集模块将采集的摄像设备所处环境的视频流，发送给现场可编程门阵列，现场可编程门阵列可以直接对视频流进行识别处理，基于识别结果和视频流，生成待传输视频，以下进行详细叙述。

现场可编程门阵列对接收到的视频流进行视频结构化处理，即视频数据的结构化处理，就是通过对原始视频进行智能分析，提取出关键信息，并进行文本的语义描述。对视频进行分析主要包括：运动目标的识别，也就是画面中运动对象的识别，是人还是车；运动目标特征的识别，也就是画面中运动的人、车、物有什么特征，如，如果是人，是男人还是女人，有没有戴眼镜，穿什么颜色的衣服，如果是车，车牌号码多少，什么颜色什么车型等等；运动目标的轨迹分析，如，画面中的人或车是左转了还是右转了或是徘徊了等等。

参考图2，视频采集模块11包括：镜头112和图像传感器114，所述镜头112和所述图像传感器114连接；

所述图像传感器114，用于将经由镜头112获取的光信号转化为数字图像信号，对所述数字图像信号进行处理，得到视频流。

这里，图像传感器中预先设置有能够对数字图像信号进行处理的芯片，也就是，本申请的图像传感器具有数字信号处理芯片的功能，现有技术中能够对数字图像信号进行处理的芯片有很多，此处不再一一进行示例，在实际应用中应以具体情况为准。

镜头一般由外部的金属套筒和内部的多层镜片组成，镜片可以是透镜，透镜包括塑胶透镜、玻璃透镜等。在实际应用中，常用的镜头构造有：1G1P、1G2P、2G2P、4G等，部分产品使用了5G镜头，透镜层次越多，成本越高。

图像传感器(SENSOR)可以为电荷耦合器件(Charge-coupled Device，CCD)，CCD的优点是灵敏度高，噪音小，信噪比大，但是生产工艺复杂、成本高、功耗高。图像传感器也可以采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)，CMOS的优点是集成度高，功耗较低、成本低，对光源要求高。所以网络摄像机多采用CMOS器件。

在具体实施中，摄像设备所处环境的光信号由镜头进入，图像传感器在采集到光信号后，将光信号转换为数字图像信号，图像传感器中在接收到数字图像信号后，对数字图像信号进行优化处理，最终得到视频流，将视频流传输给现场可编程门阵列。其中，将光信号转换为数字图像信号的技术在现有技术中已有详细的介绍，此处不再进行过多说明；对数字图像信号进行优化处理的算法在现有技术已有详细的介绍，此处不再进行过多说明。

所述现场可编程门阵列12在接收到视频流后，针对视频流中的每一帧图像，采用预设图像识别模型对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，则根据与该图像对应的识别结果和所述视频流，生成待传输视频。

这里，设定对象可以是但不限于人物、动物、物品等，本申请对此不预限制；若图像中具有设定对象，则识别结果包括设定对象在图像中的坐标，若图像中不具有设定对象，识别结果中包括设定坐标；将识别结果和视频流生成待传输视频的方法在现有技术中已有详细的介绍，此处不再进行过多说明。其中，设定对象在图像中的坐标一般为二维坐标，例如，横坐标为60像素，纵坐标为100像素。

机器学习模型一般通过采集大量包括设定对象的图样样本，对预先构建图像识别模型进行训练得到的，例如，将像素点的RGB值作为自变量，将对象的坐标作为因变量，构建图像识别模型，针对每个具有设定对象的图像，确定该图像中每个像素点的RGB值，以及设定对象在该图像中的二维坐标，将确定的像素点的RGB值作为自变量的值，将设定对象在图像中的二维坐标作为因变量的值，对图像识别模型进行训练，训练后的图像识别模型作为上述机器学习模型。

在具体实施中，可编程门阵列在接收到视频流后，采用预设的图像识别模型对视频流中的每一帧图像进行识别，若当前识别结果中的坐标为设定坐标，则确定当前图像中不具有设定对象，否则，确定当前图像具有设定对象。进一步，可编程门阵列将具有设定对象的图像的识别结果和视频流进行整合处理，得到待传输视频。

如图3所示，本申请实施例提供了一种视频结构化摄像设备，该设备还包括：调试模块14，所述调试模块14通过JTAG接口与所述现场可编程门阵列12电连接；

所述调试模块14，用于通过所述JTAG接口对所述现场可编程门阵列进行测试，以保证所述现场可编程门阵列正常运行。在前期开发现场可编程门阵列时，需要对现场可编程门阵列中运行的程序进行测试，通过调试模块对可编程门阵列进行测试在现有技术中已有详细的介绍，此处再进行过多说明。

JTAG接口是一种国际标准测试协议，主要用于芯片内部测试及对系统进行仿真、调试，JTAG技术是一种嵌入式调试技术，它在芯片内部封装了专门的测试电路测试访问口(Test Access Port，TAP)，通过专用的JTAG测试工具对可编程门阵列内部的节点进行测试。其中，标准的JTAG接口是4线，分别为测试模式选择TMS、测试时钟TCK、测试数据输入TDI、测试数据输出TDO。

该设备还包括：传输模块15，所述传输模块15与所述现场可编程门阵列12电连接；

所述现场可编程门阵列12，还用于将所述待传输视频转换为网口视频流，通过所述传输模块传输所述网口视频流。

传输模块包括网口芯片和RJ-45接口，网口芯片与现场可编程门阵列电连接，网口芯片通过RJ-45接口与外部设备连接。因此，在具体实施中，现场可编程门阵列在生成待传输视频后，进一步将待传输视频转换为RJ-45接口能够识别的网口视频流，将网口视频流传输给网口芯片，通过RJ-45接口传输给外部设备。

如图4所示，本申请实施例还提供了一种视频结构化摄像设备，该设备还包括：HDMI接口16，所述HDMI接口16与所述现场可编程门阵列12连接；

所述现场可编程门阵列12，还用于通过所述HDMI接口16传输所述待传输视频。

在具体实施中，由于用户可能需要用户端的显示器浏览摄像设备生成的待传输视频，因此，摄像设备可以通过HDMI接口将最终生成的待传输视频传输给外部设备，这样，当不应出现人物的区域发现了任务后，可以重点监控具有人物的区域，防止发生意外。

该设备还包括：LVDS接口17，所述视频采集模块通过所述LVDS接口17与所述现场可编程门阵列12连接；

所述视频采集模块通过所述LVDS接口17将视频流传输给所述现场可编程门阵列12。

LVDS接口是一种低压差分信号技术接口，LVDS接口利用非常低的电压摆幅(约350mV)在两条PCB走线或一对平衡电缆上通过差分进行数据的传输，即，视频采集模块将低压差分信号的视频流经由LVDS接口传输给现场可编程门阵列。

该设备还包括：供电模块18，所述供电模块18与所述现场可编程门阵列12电连接；

所述供电模块18，用于为所述现场可编程门阵列供电。

这里，供电模块可以是电池等。

在具体实施中，供电模块除了可以给现场可编程门阵列供电外，还可以为摄像设备中的其它模块供电，供电模块给摄像设备中的其它模块供电时，供电模块可以分别与视频采集模块、存储模块、调试模块、传输模块电连接，以便为各个模块供电。

本申请实施例提供的一种视频结构化摄像设备，视频采集模块采集摄像设备所处环境的视频流，并将视频传输给所述现场可编程门阵列，现场可编程门阵列接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。这样，本申请的摄像设备不仅仅可以录制视频流以及传输视频流，还可以对视频流进行识别处理，使得摄像设备多样化，通过现场可编程门阵列可以自由定制其功能，当产品功能发生改动时，不用修改硬件设置，只需要在软件层重新设计相应的功能便可，提高了用户的体验。

本申请实施例提供给了一种视频结构化摄像系统，如图5所示，包括如上所述的摄像设备和外部设备，所述外部设备，用于接收所述摄像设备传输的待传输视频并显示。

这里，外部设备可以是但不限于计算设备、移动终端、便携式设备、服务器等，本申请对此不予限制。

在具体实施中，摄像设备可以将待传输视频传输给外部设备，外部设备可以通过显示器实时显示待传输视频，以便相关人员在待传输视频中发现设定对象后提醒摄像设备所处现场的人员。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频结构化摄像设备，其特征在于，所述设备包括：视频采集模块、现场可编程门阵列和存储模块；其中，

所述存储模块，用于存储能够使所述现场可编程门阵列运行的程序，以使所述现场可编程门阵列正常运行；

所述视频采集模块，用于采集所述摄像设备所处环境的视频流，并将所述视频传输给所述现场可编程门阵列；

所述现场可编程门阵列，用于接收所述视频流，针对视频流中的每一帧图像，对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，根据与该图像对应的识别结果和所述视频流，生成待传输视频。

2.如权利要求1所述的设备，其特征在于，所述现场可编程门阵列具体用于：

针对视频流中的每一帧图像，采用预设图像识别模型对该图像进行识别处理，基于识别结果，判断该图像中是否具有设定对象，若该图像中具有设定对象，则根据与该图像对应的识别结果和所述视频流，生成待传输视频。

3.如权利要求1所述的设备，其特征在于，所述视频采集模块包括：镜头、图像传感器和数字信号处理芯片，所述镜头和所述图像传感器连接；

所述图像传感器，用于将经由镜头获取的光信号转化为数字图像信号，对所述数字图像信号进行处理，得到视频流。

4.如权利要求1所述的设备，其特征在于，所述设备还包括：调试模块，所述调试模块通过JTAG接口与所述现场可编程门阵列电连接；

所述调试模块，用于通过所述JTAG接口对所述现场可编程门阵列进行测试，以使所述现场可编程门阵列正常运行。

5.如权利要求1所述的设备，其特征在于，所述设备还包括：传输模块，所述传输模块与所述现场可编程门阵列连接；

所述现场可编程门阵列，还用于将所述待传输视频转换为网口视频流，通过所述传输模块传输所述网口视频流。

6.如权利要求1所述的设备，其特征在于，所述设备还包括：HDMI接口，所述HDMI接口与所述现场可编程门阵列连接；

所述现场可编程门阵列，还用于通过所述HDMI接口传输所述待传输视频。

7.如权利要求1所述的设备，其特征在于，所述设备还包括：LVDS接口，所述视频采集模块通过所述LVDS接口与所述现场可编程门阵列电连接；

所述视频采集模块通过所述LVDS接口将视频流传输给所述现场可编程门阵列。

8.如权利要求1所述的设备，其特征在于，所述设备还包括：供电模块，所述供电模块与所述现场可编程门阵列电连接；

所述供电模块，用于为所述现场可编程门阵列供电。

9.如权利要求1所述的设备，其特征在于，所述存储模块包括动态随机存储器和缓冲存储器中的至少一个。

10.一种视频结构化摄像系统，其特征在于，包括如权利要求1-9中任一项所述的摄像设备和外部设备，其中，

所述外部设备，用于接收所述摄像设备传输的待传输视频并显示。