CN114567795A - 一种实时视频采集系统 - Google Patents

一种实时视频采集系统 Download PDF

Info

Publication number
CN114567795A
CN114567795A CN202210244544.7A CN202210244544A CN114567795A CN 114567795 A CN114567795 A CN 114567795A CN 202210244544 A CN202210244544 A CN 202210244544A CN 114567795 A CN114567795 A CN 114567795A
Authority
CN
China
Prior art keywords
module
video
real
data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210244544.7A
Other languages
English (en)
Inventor
吴衡
王倩
吴羽翾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingkong Yinghua Wuhan Technology Co ltd
Original Assignee
Xingkong Yinghua Wuhan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingkong Yinghua Wuhan Technology Co ltd filed Critical Xingkong Yinghua Wuhan Technology Co ltd
Priority to CN202210244544.7A priority Critical patent/CN114567795A/zh
Publication of CN114567795A publication Critical patent/CN114567795A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及视频采集技术领域，具体是一种实时视频采集系统。包括中央控制单元和视频图像处理模块，所述中央控制单元以FPGA为整个系统的主控芯片，所述系统分为五个主要模块，包括全局时钟模块、摄像头配置模块、摄像头视频流采集模块、SDRAM存储控制模块和VGA显示控制模块，模块化的理念遵循了FPGA基本原则中的系统原则，所述视频图像处理模块通过Sobel边缘检测对图像数据进行处理。本发明提供一种采用FPGA为主控芯片，提高工作频率，可对大量数据进行实时操作与处理，在通信领域、图像处理方面上优势明显的实时视频采集系统。

Description

一种实时视频采集系统
技术领域
本发明涉及视频采集技术领域，具体是一种实时视频采集系统。
背景技术
实时视频采集系统主要用于对目标区域进行实时监测，随着社会的发展，人们越来越意识到视频实时采集系统的便利性，视频实时采集系统的应用领域越来越多。近几十年来，视频实时采集系统获得了长足的发展。
随着社会的不断发展，实时视频采集处理技术在许多行业领域中扮演着非常重要的角色，如水族动物直播售卖，为了给顾客呈现最好的挑选效果，运用了实时视频采集系统，给观众播放动物的实时情况，在此项技术，对于现代的需求，实时视频图像采集和处理技术的要求也越来越高。高速、实时性是主要发展趋势之一。目前，视频图像采集与处理技术的发展主要分为两类：一是通过软件对视频图像进行处理；二是利用相关的集成硬件对视频图像进行采集处理。两者相比硬件实时性好、体积小、方便使用，更适合于水族动物直播售卖的需求。
发明内容
本发明提供一种采用FPGA为主控芯片，提高工作频率，可对大量数据进行实时操作与处理，在通信领域、图像处理方面上优势明显的实时视频采集系统。
本发明所采用的技术方案为：一种实时视频采集系统，其特征在于：包括中央控制单元和视频图像处理模块，所述中央控制单元以FPGA为整个系统的主控芯片，所述系统分为五个主要模块，包括全局时钟模块、摄像头配置模块、摄像头视频流采集模块、SDRAM存储控制模块和VGA显示控制模块，模块化的理念遵循了FPGA基本原则中的系统原则，所述视频图像处理模块通过Sobel边缘检测对图像数据进行处理。
所述全局时钟模块为系统的其他功能模块提供所需的时钟，包括OV7725摄像头驱动时钟、SDRAM控制时钟、SDRAM驱动时钟、VGA驱动时钟以及对系统仿真时SignalTaplⅡl的采样时钟；所述摄像头配置模块通过串行相机控制总线接口完成对OV7725CMOSSensor内部寄存器的配置，使得图像传感器能够输出预期配置的视频数据；所述摄像头视频流采集模块实时采集摄像头输出的视频信号，并对采集到的视频信号进行同步化设计，最后通过采样和拼接，输出经过处理以后的视频数据；所述SDRAM存储控制模块可以实现从低频域到高频域或者从高频域到低频域的跨时钟域的数据交互，并对产生的视频数据进行缓存；所述VGA显示控制模块用于产生VGA显示器正常工作时需要的时序信号，实现实时视频图像的VGA/LCD显示驱动功能。
所述实时视频采集系统的主要流程为：
S1：系统上电后，首先要给OV7725CMOSSensor留出1ms的延时时间，以使图像传感器能够趋于稳定状态；当接收到1ms延时完成信号后，摄像头配置模块通过SCCB总线对OV7725CMOSSensor进行配置，配置完成后会产生一个配置完成信号，这时摄像头已经开始采集视频并输出预期模式的视频流；
S2：摄像头视频流采集模块采集摄像头输出的视频流，并进行采样拼接等相关处理，输出行、场信号和拼接后的RGB565数据；
S3：将RGB565数据送入SDRAM存储控制模块中，在SDRAM存储控制模块中使用了两个DCFIFO存储器，一个是写入数据DCFIFO，一个是读取数据DCFIFO，通过这两个DCFIFO实现了跨时钟域数据的交互，由于视频数据占用的存储空间较大，DCFIFO存储器不够缓存，因此采用大容量的SDRAM作为缓存，并且视频数据在SDRAM中进行乒乓缓存；当WR_DCFIFO中的数据个数大于256个时，请求SDRAM写入；当RD_DCFIFO中的数据小于256个时，请求SDRAM读取；由于VGA接口要求模拟信号，所以将SDRAM中存储的数字视频信号通过视频转换DAC芯片转换成模拟信号，在行、场时序的驱动下，送到VGA显示器中进行显示。
所述Sobel边缘检测算法过程具体步骤有：
S1：确立Sobel算子模板，包含横纵向两组3×3运算算子矩阵模板；如下式：
Figure BDA0003544568180000021
S2：利用水平和垂直方向的矩阵算子与原始图像像素点进行平面卷积分运算，算出X、Y两个方向上的一阶导数梯度值，如下式：
Gx＝fx(x，y)＝f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)-f(x-1，y-1)-2f(x，y-1)-f(x+1，y-1)
Gy＝fy(x，y)＝f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)-f(x-1，y-1)-2f(x-1，y)-f(x-1，y+1)；
S3：把计算出的X、Y方向梯度值做平方求和后再开方，得到中心点的梯度值；如下式：
Figure BDA0003544568180000022
S4：中心点梯度值与设定的阈值互相比较，大于阈值的为边缘点，输出为黑色，小于阈值的为普通点，输出为白色。
所述Sobel边缘检测的实现包括缓冲模块、计算卷积模块和门级处理模块；其中，缓冲模块使用基于RAM的移位寄存器altshift_taps，卷积计算模块使用6个可编程乘加器aitmult_add和2个并行加法器parallel_add计算出水平和垂直的梯度值，再通过浮点平方根altfr_sqrt得到中心点值；门级处理模块即阈值的比较。
本发明的有益效果：
本发明实时视频采集系统使得水族动物直播售卖效果更佳，能实时播放水族动物的动态。系统以FPGA核心，充分利用其高速、大数据处理能力和硬件编程设计等特点，结合相关器件，实现了对视频图像的采集﹑处理和显示。视频中的画面清晰﹑流畅，效果好。同时在此基础上，增加了对动物的边缘检测，在对动物追踪和识别方面也具有一定的实用意义。FPGA凭借其大容量的逻辑资源和较强的并行处理能力在视频实时采集系统领域得到了越来越多的重视。
具体实施方式
下面对本发明作进一步说明。
一种实时视频采集系统，其特征在于：包括中央控制单元和视频图像处理模块，所述中央控制单元以FPGA为整个系统的主控芯片，所述系统分为五个主要模块，包括全局时钟模块、摄像头配置模块、摄像头视频流采集模块、SDRAM存储控制模块和VGA显示控制模块，模块化的理念遵循了FPGA基本原则中的系统原则，所述视频图像处理模块通过Sobel边缘检测对图像数据进行处理。
边缘检测意义在于能够获取目标物体的边缘信息，有利于目标识别和追踪；Sobel边缘检测算法具有计算量小、检测精度高等优点，也是最常用的图像边缘处理方法之一。
所述全局时钟模块为系统的其他功能模块提供所需的时钟，包括OV7725摄像头驱动时钟、SDRAM控制时钟、SDRAM驱动时钟、VGA驱动时钟以及对系统仿真时SignalTaplⅡl的采样时钟；所述摄像头配置模块通过串行相机控制总线接口完成对OV7725CMOSSensor内部寄存器的配置，使得图像传感器能够输出预期配置的视频数据；所述摄像头视频流采集模块实时采集摄像头输出的视频信号，并对采集到的视频信号进行同步化设计，最后通过采样和拼接，输出经过处理以后的视频数据；所述SDRAM存储控制模块可以实现从低频域到高频域或者从高频域到低频域的跨时钟域的数据交互，并对产生的视频数据进行缓存；所述VGA显示控制模块用于产生VGA显示器正常工作时需要的时序信号，实现实时视频图像的VGA/LCD显示驱动功能。
所述实时视频采集系统的主要流程为：
S1：系统上电后，首先要给OV7725CMOSSensor留出1ms的延时时间，以使图像传感器能够趋于稳定状态；当接收到1ms延时完成信号后，摄像头配置模块通过SCCB总线对OV7725CMOSSensor进行配置，配置完成后会产生一个配置完成信号，这时摄像头已经开始采集视频并输出预期模式的视频流；
S2：摄像头视频流采集模块采集摄像头输出的视频流，并进行采样拼接等相关处理，输出行、场信号和拼接后的RGB565数据；
S3：将RGB565数据送入SDRAM存储控制模块中，在SDRAM存储控制模块中使用了两个DCFIFO存储器，一个是写入数据DCFIFO，一个是读取数据DCFIFO，通过这两个DCFIFO实现了跨时钟域数据的交互，由于视频数据占用的存储空间较大，DCFIFO存储器不够缓存，因此采用大容量的SDRAM作为缓存，并且视频数据在SDRAM中进行乒乓缓存；当WR_DCFIFO中的数据个数大于256个时，请求SDRAM写入；当RD_DCFIFO中的数据小于256个时，请求SDRAM读取；由于VGA接口要求模拟信号，所以将SDRAM中存储的数字视频信号通过视频转换DAC芯片转换成模拟信号，在行、场时序的驱动下，送到VGA显示器中进行显示。
所述Sobel边缘检测算法过程具体步骤有：
S1：确立Sobel算子模板，包含横纵向两组3×3运算算子矩阵模板；如下式：
Figure BDA0003544568180000041
S2：利用水平和垂直方向的矩阵算子与原始图像像素点进行平面卷积分运算，算出X、Y两个方向上的一阶导数梯度值，如下式：
Gx＝fx(x，y)＝f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)-f(x-1，y-1)-2f(x，y-1)-f(x+1，y-1)
Gy＝fy(x，y)＝f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)-f(x-1，y-1)-2f(x-1，y)-f(x-1，y+1)；
S3：把计算出的X、Y方向梯度值做平方求和后再开方，得到中心点的梯度值；如下式：
Figure BDA0003544568180000042
S4：中心点梯度值与设定的阈值互相比较，大于阈值的为边缘点，输出为黑色，小于阈值的为普通点，输出为白色。
所述Sobel边缘检测的实现包括缓冲模块、计算卷积模块和门级处理模块；其中，缓冲模块使用基于RAM的移位寄存器altshift_taps，卷积计算模块使用6个可编程乘加器aitmult_add和2个并行加法器parallel_add计算出水平和垂直的梯度值，再通过浮点平方根altfr_sqrt得到中心点值；门级处理模块即阈值的比较。
实施例1：实时视频图像采集显示实验。首先，FPGA控制OV7725CMOSSensor采集图像；然后，FPGA对采集图像数据传输和存储；最后，通过VGA显示图像。其画面清晰、流畅。
实施例2：Sobel边缘检测算法处理视频图像显示实验；在实验一的基础上，增加了对图像数据的Sobel边缘检测处理，再通过VGA进行显示。图像中物体轮廓提取明显﹐且实时性较好。
本发明实时视频采集系统使得水族动物直播售卖效果更佳，能实时播放水族动物的动态。系统以FPGA核心，充分利用其高速、大数据处理能力和硬件编程设计等特点，结合相关器件，实现了对视频图像的采集﹑处理和显示。视频中的画面清晰﹑流畅，效果好。同时在此基础上，增加了对动物的边缘检测，在对动物追踪和识别方面也具有一定的实用意义。FPGA凭借其大容量的逻辑资源和较强的并行处理能力在视频实时采集系统领域得到了越来越多的重视。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.一种实时视频采集系统，其特征在于：包括中央控制单元和视频图像处理模块，所述中央控制单元以FPGA为整个系统的主控芯片，所述系统分为五个主要模块，包括全局时钟模块、摄像头配置模块、摄像头视频流采集模块、SDRAM存储控制模块和VGA显示控制模块，模块化的理念遵循了FPGA基本原则中的系统原则，所述视频图像处理模块通过Sobel边缘检测对图像数据进行处理。
2.根据权利要求1所述的一种实时视频采集系统，其特征在于：所述全局时钟模块为系统的其他功能模块提供所需的时钟，包括OV7725摄像头驱动时钟、SDRAM控制时钟、SDRAM驱动时钟、VGA驱动时钟以及对系统仿真时SignalTaplIIl的采样时钟；所述摄像头配置模块通过串行相机控制总线接口完成对OV7725CMOSSensor内部寄存器的配置，使得图像传感器能够输出预期配置的视频数据；所述摄像头视频流采集模块实时采集摄像头输出的视频信号，并对采集到的视频信号进行同步化设计，最后通过采样和拼接，输出经过处理以后的视频数据；所述SDRAM存储控制模块可以实现从低频域到高频域或者从高频域到低频域的跨时钟域的数据交互，并对产生的视频数据进行缓存；所述VGA显示控制模块用于产生VGA显示器正常工作时需要的时序信号，实现实时视频图像的VGA/LCD显示驱动功能。
3.根据权利要求2所述的一种实时视频采集系统，其特征在于：所述实时视频采集系统的主要流程为：
S1：系统上电后，首先要给OV7725CMOSSensor留出1ms的延时时间，以使图像传感器能够趋于稳定状态；当接收到1ms延时完成信号后，摄像头配置模块通过SCCB总线对OV7725CMOSSensor进行配置，配置完成后会产生一个配置完成信号，这时摄像头已经开始采集视频并输出预期模式的视频流；
S2：摄像头视频流采集模块采集摄像头输出的视频流，并进行采样拼接等相关处理，输出行、场信号和拼接后的RGB565数据；
S3：将RGB565数据送入SDRAM存储控制模块中，在SDRAM存储控制模块中使用了两个DCFIFO存储器，一个是写入数据DCFIFO，一个是读取数据DCFIFO，通过这两个DCFIFO实现了跨时钟域数据的交互，由于视频数据占用的存储空间较大，DCFIFO存储器不够缓存，因此采用大容量的SDRAM作为缓存，并且视频数据在SDRAM中进行乒乓缓存；当WR_DCFIFO中的数据个数大于256个时，请求SDRAM写入；当RD_DCFIFO中的数据小于256个时，请求SDRAM读取；由于VGA接口要求模拟信号，所以将SDRAM中存储的数字视频信号通过视频转换DAC芯片转换成模拟信号，在行、场时序的驱动下，送到VGA显示器中进行显示。
4.根据权利要求1所述的一种实时视频采集系统，其特征在于：所述Sobel边缘检测算法过程具体步骤有：
S1：确立Sobel算子模板，包含横纵向两组3×3运算算子矩阵模板；如下式：
Figure FDA0003544568170000021
S2：利用水平和垂直方向的矩阵算子与原始图像像素点进行平面卷积分运算，算出X、Y两个方向上的一阶导数梯度值，如下式：
Gx＝fx(x，y)＝f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)-f(x-1，y-1)-2f(x，y-1)-f(x+1，y-1)
Gy＝fy(x，y)＝f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)-f(x-1，y-1)-2f(x-1，y)-f(x-1，y+1)；
S3：把计算出的X、Y方向梯度值做平方求和后再开方，得到中心点的梯度值；如下式：
Figure FDA0003544568170000022
S4：中心点梯度值与设定的阈值互相比较，大于阈值的为边缘点，输出为黑色，小于阈值的为普通点，输出为白色。
5.根据权利要求4所述的一种实时视频采集系统，其特征在于：所述Sobel边缘检测的实现包括缓冲模块、计算卷积模块和门级处理模块；其中，缓冲模块使用基于RAM的移位寄存器altshift_taps，卷积计算模块使用6个可编程乘加器aitmult_add和2个并行加法器parallel_add计算出水平和垂直的梯度值，再通过浮点平方根altfr_sqrt得到中心点值；门级处理模块即阈值的比较。
CN202210244544.7A 2022-03-14 2022-03-14 一种实时视频采集系统 Withdrawn CN114567795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210244544.7A CN114567795A (zh) 2022-03-14 2022-03-14 一种实时视频采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210244544.7A CN114567795A (zh) 2022-03-14 2022-03-14 一种实时视频采集系统

Publications (1)

Publication Number Publication Date
CN114567795A true CN114567795A (zh) 2022-05-31

Family

ID=81719742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210244544.7A Withdrawn CN114567795A (zh) 2022-03-14 2022-03-14 一种实时视频采集系统

Country Status (1)

Country Link
CN (1) CN114567795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506560A (zh) * 2023-06-27 2023-07-28 天津开发区中环系统电子工程股份有限公司 一种视频图像实时采集系统及采集方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506560A (zh) * 2023-06-27 2023-07-28 天津开发区中环系统电子工程股份有限公司 一种视频图像实时采集系统及采集方法
CN116506560B (zh) * 2023-06-27 2023-09-29 天津开发区中环系统电子工程股份有限公司 一种视频图像实时采集系统及采集方法

Similar Documents

Publication Publication Date Title
Melekhov et al. Image-based localization using hourglass networks
WO2020259264A1 (zh) 主体追踪方法、电子设备和计算机可读存储介质
CN112330729B (zh) 图像深度预测方法、装置、终端设备及可读存储介质
CN107071324A (zh) 一种视觉图像处理系统及其设计方法
CN106296616B (zh) 一种红外图像细节增强方法和一种红外图像细节增强装置
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
CN108053385A (zh) 一种鱼眼视频实时矫正系统及方法
CN101729919B (zh) 基于fpga的全自动平面视频转立体视频系统
CN114567795A (zh) 一种实时视频采集系统
Li et al. Underwater scallop recognition algorithm using improved YOLOv5
CN109191524A (zh) 基于fpga的红外目标实时检测系统及检测方法
CN109688328A (zh) 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN100514359C (zh) 基于dsp的多通道机械数显数字煤气表自动检测装置
CN111145133A (zh) 基于zynq的红外和可见光同光轴图像融合系统及方法
Guo et al. Efficient shadow detection and removal using synthetic data with domain adaptation
CN101980281A (zh) 一种超声图像放大方法及放大系统
CN103369338B (zh) 基于fpga的近眼双目成像系统的图像处理系统及方法
CN107707820A (zh) 基于fpga的航空相机实时电子变倍系统
CN104224230A (zh) 基于gpu平台的三维及四维超声成像方法与装置及系统
CN106791803A (zh) 一种扰动测量成像系统
CN106954029A (zh) 一种全景视频拼接方法及系统
CN204131656U (zh) 应用于增强现实系统的辅助图像处理装置
CN116071281A (zh) 一种基于特征信息交互的多模态图像融合方法
CN117011160A (zh) 一种基于密集循环网络融合注意力机制的单图像去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220531