CN206226618U - 一种嵌入式rgb‑d视频流采集系统 - Google Patents

Abstract

一种嵌入式RGB‑D视频流采集系统，包括采集模块、显示终端，所述采集模块包括嵌入式微处理器，所述嵌入式微处理器分别连接RS‑232接口、SDRAM、NAND FLASH、USB接口、以太网接口。所述USB接口连接RGB‑D摄像头，所述以太网接口连接网络集线器。本实用新型一种嵌入式RGB‑D视频流采集系统，具备低功耗、低成本以及小巧、可灵活安装使用的特点，因此能够很好的应用在有关深度视觉类产品上。

Description

一种嵌入式RGB-D视频流采集系统

技术领域

本实用新型一种嵌入式RGB-D视频流采集系统，适用于有关深度视觉类产品领域。

背景技术

随着社会的不断发展，普通的RGB彩色图像已经无法满足社会的需求。目前在机器人、智能安防、AR/VR、无人机等许多行业对深度视觉的需求越来越突出。如在机器人领域，使用RGB-D摄像头采集的深度图像数据进行视觉导航、识别外界的环境、规划路径、实现避障工作等，基于RGB-D摄像头的视觉导航已经成为了公认的解决方案。又比如对于目前在计算机动画、虚拟现实、医学图像分析等各个领域应用越来越广泛的三维重建技术也是基于RGB-D摄像头采集到的深度图像来恢复目标物体的三维立体信息的，传统的基于可见光的二维图像常常遭遇光照变化、阴影、物体遮挡以及环境变化等因素的干扰，不能对三维物体进行准确的识别与定位，而根据物体纹理特征、纹理梯度的变化、物体完整性及物体的模糊程度等计算出来的深度信息能够很好地克服以上困难。目前RGB-D摄像头都是基于PC机的，但基于PC机的系统一方面造价高，一方面安装不灵活，另外由于太庞大便携性也差，无法应用在一些小型移动设备上，比如机器人、无人机等。因此，需要一种低功耗、低成本、小巧、可灵活安装使用的嵌入式RGB-D视频流采集系统。

发明内容

为解决上述技术问题，本实用新型提供一种嵌入式RGB-D视频流采集系统，具备低功耗、低成本以及小巧、可灵活安装使用的特点，因此能够很好的应用在有关深度视觉类产品上。

本实用新型采取的技术方案为：

一种嵌入式RGB-D视频流采集系统，包括采集模块、显示终端，所述采集模块包括嵌入式微处理器，所述嵌入式微处理器分别连接RS-232接口、SDRAM、NAND FLASH、USB接口、以太网接口。所述USB接口连接RGB-D摄像头，所述以太网接口连接网络集线器。

所述嵌入式微处理器为ARM内核的处理器，嵌入式微处理器上运行的系统为嵌入式Linux操作系统。

所述RS-232接口作为采集模块的调试接口，用于设置采集模块的IP地址。

所述显示终端为运行Linux操作系统的PC机。

所述RGB-D摄像头用于图像数据的采集，包括一个RGB摄像头和一个深度摄像头，可以同时采集RGB图像数据和深度图像数据。

该系统还包括电源模块，电源模块用于给其它模块供电。

本实用新型一种嵌入式RGB-D视频流采集系统，技术效果如下：

1：通过电源模块给系统上电。在采集模块，系统刚开始启动时通过RS-232接口进入调试模式，在该模式下给采集模块设置好一个IP地址，然后通过RS-232接口给系统发送一个重启指令，系统重新启动后，嵌入式微处理器便自动加载执行预先编写好存储在NANDFLASH里的程序代码，通过USB接口控制RGB-D摄像头开始连续采集图像，并将采集到的图像经过处理转换成标准RTSP流后再由以太网接口发送出去。

2：在显示终端，系统启动后，在Linux命令终端输入相关指令，打开事先编写好的图像接收程序，输入采集模块IP地址和端口号，之后便会在显示窗口源源不断的显示采集模块采集到的RGB-D视频流。这种含有深度图像数据的RGB-D视频流如果用于机器人领域，可以对机器人视觉导航、识别外界的环境、规划路径、实现避障工作等提供很大的帮助，如果用于三维重建，可以有效避免传统的基于可见光的二维图像常常遭遇光照变化、阴影、物体遮挡以及环境变化等因素干扰的问题，因而对计算机动画、虚拟现实、医学图像分析等领域有很大的意义。

3：采集模块是基于嵌入式平台的，因此它的成本低，功耗低，还非常的小巧，可以很灵活方便的安装。

附图说明

图1为本实用新型系统连接框图。

具体实施方式

如图1所述，一种嵌入式RGB-D视频流采集系统，包括采集模块、显示终端，所述采集模块包括嵌入式微处理器1，所述嵌入式微处理器1分别连接RS-232接口2、SDRAM3、NANDFLASH4、USB接口5、以太网接口7。所述USB接口5连接RGB-D摄像头6，所述以太网接口7连接网络集线器8。

嵌入式微处理器1主要进行系统的调用，保证各个功能的正常执行。该嵌入式微处理器1为ARM内核的处理器，因为ARM内核的处理器不仅保证了该系统所要求的性能，而且它还体积小、功耗低、成本低，非常适合本系统所要达到低成本、低功耗、安装方便的要求。同时在该嵌入式微处理器1运行的是嵌入式Linux操作系统，该系统是一种完全开源且可裁减的软件平台系统，内核精简，性能高、稳定，多任务，同时由于其完全开源的特性，因此不存在黑箱技术，可以获得全球Linux爱好者的强大技术支持，非常适合用在本系统采集模块的嵌入式平台上。

RS-232接口2主要作为采集模块的调试接口，在系统调试阶段，通过该接口与采集模块的嵌入式平台进行串口通信，调试系统程序以及设置平台的IP地址等初始化参数。

SDRAM3和NAND FLASH4主要作为存储器用来存储相关指令和数据。

USB接口5用于嵌入式微处理器1和RGB-D摄像头6之间通讯。

以太网接口7主要用于网络数据的收发，在程序调试阶段还用于程序的在线调试。

RGB-D摄像头6主要用于图像数据的采集，其同时拥有一个RGB摄像头和一个深度摄像头，可以同时采集RGB图像数据和深度图像数据。本实用新型系统，主要利用该摄像头来采集深度图像数据并同时将其转换成标准RTSP流。

所述显示终端主要是一台运行Linux操作系统的PC机9，用于显示采集模块发送过来的图像数据，之所以采用Linux操作系统，还是因为该系统完全开源，内核精简，性能高、稳定，多任务，非常适合用于本实用新型系统的图像显示终端。

该系统还包括电源模块10，电源模块10用于给其它模块供电。

实施步骤：

在使用之前，需要先切换到调试模式，通过RS-232接口2连接控制台，在采集模块刚上电时，在控制台输入回车键进入调试模式，然后在该模式下设置采集模块的IP地址，启动方式等初始化参数，之后保存设置参数然后重启。

采集模块上电后，嵌入式微处理器1便按照设置好的启动参数依次执行相关指令，首先从NAND FLASH4加载BootLoader到SDRAM3执行，然后再从NAND FLASH4加载嵌入式Linux操作系统到SDRAM3执行，然后再从NAND FLASH4加载预先编写好的采集程序到SDRAM3执行，最后开始图像的采集。采集程序通过USB接口5控制RGB-D摄像头6采集图像，并通过USB接口5不断传回采集的图像数据，最终嵌入式微处理器1会将传回的图像数据转换成标准RTSP流后，再不断通过以太网接口7发送出去。

本实用新型一种嵌入式RGB-D视频流采集系统，在通过以太网接口7将图像数据发送出去的时候，采用RTSP实时流传输协议来实现视频流的发送，即把RGB-D摄像头6采集到的视频流先转换成标准RTSP流后再由以太网接口7发送。采用RTSP实时流传输协议的好处是该协议容易扩展、易解析、提供记录设备控制、多服务器支持，非常适合本系统网络间的通信要求。

显示终端上电后，在PC机9的Linux系统命令终端里输入相关指令，启动预先编写好的图像显示程序，然后会提示输入采集模块IP地址和端口号，在这里输入之前为采集模块设置好的IP地址和端口号后，图像显示程序便与采集模块建立起了连接，采集模块便开始从当前帧缓冲区开始将视频流数据发送给连接请求方，连接请求方即显示终端开始不断接受到来自采集模块的视频流数据，并实时显示在PC机9的显示屏上。在显示窗口可以通过设置参数使显示的视频流在RGB彩色图和深度图之间切换，可以根据需要显示自己想要的图像数据。

Claims (6)

1.一种嵌入式RGB-D视频流采集系统，包括采集模块、显示终端，其特征在于：所述采集模块包括嵌入式微处理器（1），所述嵌入式微处理器（1）分别连接RS-232接口（2）、SDRAM（3）、NAND FLASH（4）、USB接口（5）、以太网接口（7）；所述USB接口（5）连接RGB-D摄像头（6），所述以太网接口（7）连接网络集线器（8）。

2.根据权利要求1所述一种嵌入式RGB-D视频流采集系统，其特征在于：所述嵌入式微处理器（1）为ARM内核的处理器，嵌入式微处理器（1）上运行的系统为嵌入式Linux操作系统。

3.根据权利要求1所述一种嵌入式RGB-D视频流采集系统，其特征在于：所述RS-232接口（2）作为采集模块的调试接口，用于设置采集模块的IP地址。

4.根据权利要求1所述一种嵌入式RGB-D视频流采集系统，其特征在于：所述显示终端为运行Linux操作系统的PC机（9）。

5.根据权利要求1所述一种嵌入式RGB-D视频流采集系统，其特征在于：所述RGB-D摄像头（6）用于图像数据的采集，包括一个RGB摄像头和一个深度摄像头，可以同时采集RGB图像数据和深度图像数据。

6.根据权利要求1所述一种嵌入式RGB-D视频流采集系统，其特征在于：该系统还包括电源模块（10），电源模块（10）用于给其它模块供电。