CN117255166A - 一种视频智能预处理系统 - Google Patents

一种视频智能预处理系统 Download PDF

Info

Publication number
CN117255166A
CN117255166A CN202311062083.2A CN202311062083A CN117255166A CN 117255166 A CN117255166 A CN 117255166A CN 202311062083 A CN202311062083 A CN 202311062083A CN 117255166 A CN117255166 A CN 117255166A
Authority
CN
China
Prior art keywords
video
video data
core processor
intelligent
programmable logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311062083.2A
Other languages
English (en)
Inventor
王宇
封安
景德胜
张超峰
李翔
侯昱岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautics Computing Technique Research Institute of AVIC
Original Assignee
Xian Aeronautics Computing Technique Research Institute of AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautics Computing Technique Research Institute of AVIC filed Critical Xian Aeronautics Computing Technique Research Institute of AVIC
Priority to CN202311062083.2A priority Critical patent/CN117255166A/zh
Publication of CN117255166A publication Critical patent/CN117255166A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及计算机视频处理技术领域，提供一种视频智能预处理系统，包括：光电收发器、可编程逻辑器件和多核处理器。光电收发器接收上位机发送的视频数据，并将所述视频数据从光信号转换为电信号发送至可编程逻辑器件；可编程逻辑器件通过可编程逻辑端集成的专用硬件算子对所述视频数据进行检测识别，获得特征信息，将所述特征信息发送至处理器；处理器根据接收的所述特征信息对所述视频数据进行预处理，并将预处理完成的所述视频数据发送至下位机进行进一步处理。本申请实现了视频的智能化处理，并且解决了高清晰度视频传输的高带宽问题。

Description

一种视频智能预处理系统
技术领域
本发明涉及计算机视频处理技术领域，特别涉及一种视频智能预处理系统。
背景技术
为了适应现代信息化飞行要求，现有技术中，视频跟踪、监视设备对监控范围、清晰度的要求大幅提升，同时也需要对视频数据进行智能处理，实时提取关键图像信息，供飞行员做出更为精准的判断。
FPAI芯片是由复旦微公司开发的100TAI芯片，基于28nm工艺，在单芯片集成了基于四核高性能处理器的处理系统、可编程逻辑以及自主设计的AI模块。其支持图像处理单元(GPU)、视频处理单元(VPU)，并且在内部AI模块集成了大量的专用硬算子，支持目标检测模型、目标追踪模型、超分辨模型、显著性检测模型，能够高效实现视频实时多目标识别功能。
由于分辨率及高帧率的需求急剧提升，视频信号的带宽需求急剧增加，对接口的带宽传输能力提出了更高的要求。现有技术中，电信号使用屏蔽双绞线进行传输，传输距离不足，EMC抗干扰能力不足，视频处理传输能力已不能满足复杂环境的要求。
发明内容
有鉴于此，本发明提供了一种视频智能预处理系统，以实现视频智能化处理，并且解决了高清晰度视频传输高带宽问题。
本发明所提供了所述一种视频智能预处理系统，所述系统包括：
光电收发器，所述光电收发器接收上位机发送的视频数据，并将所述视频数据从光信号转换为电信号发送至可编程逻辑器件；
可编程逻辑器件，所述可编程逻辑器件通过可编程逻辑端集成的专用硬件算子对所述视频数据进行检测识别，获得特征信息，将所述特征信息发送至处理器；
多核处理器，所述多核处理器根据接收的所述特征信息对所述视频数据进行预处理，并将预处理完成的所述视频数据发送至下位机，由所述下位机对所述视频数据进行进一步处理。
进一步的，所述可编程逻辑器件内部集成目标检测计算模型、目标追踪计算模型、超分辨计算模型、显著性检测计算模型，所述专用硬件算子使用上述计算模型对所述视频数据进行检测识别。
进一步的，所述多核处理器对所述视频数据进行预处理，包括转换视频格式、特征提取、视频缓存、图像分解、特征提取、视频重构、视频缓存分发。
进一步的，所述多核处理器包括健康监测模块，所述健康监测模块通过TTFC总线与所述上位机进行数据传输。
进一步的，所述多核处理器外部连接有DDR4、FLASH、NVRAM和SSD，所述DDR4用于缓存待处理和已经处理完毕的视频数据；所述FLASH用于存储所述多核处理器运行的应用程序；所述NVRAM用于记录所述健康监测模块上报的故障信息；SSD用于存储所述多核处理器提取的特征信息。
进一步的，光电收发器、可编程逻辑器件、多核处理器和所述下位机之间的数据传输均使用PCIE总线。
进一步的，所述多核处理器将预处理完成的所述视频数据通过FC总线和万兆网卡发送至所述下位机。
与现有技术相比，本发明采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明通过提供一种视频智能预处理系统，采用FPAI处理视频图像数据，内部集成专用硬算子可智能提取模型信息，智能化程度高，运算速率快；作为智能预处理模块，既能够实现视频数据传输，也将视频数据预处理，实时提取特征信息传输给智能系统，大幅降低智能系统的运算量，提升了整体视频采集系统的处理能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种视频智能预处理系统整体结构图；
图2是本发明实施例提供的一种视频智能预处理系统运行流程图；
图3是本发明实施例提供的健康管理流程示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明通过提供一种视频智能预处理系统，采用FPAI处理视频图像数据，内部集成专用硬算子可智能提取模型信息，智能化程度高，运算速率快；作为智能预处理模块，既能够实现视频数据传输，也将视频数据预处理，实时提取特征信息传输给智能系统，大幅降低智能系统的运算量，提升了整体视频采集系统的处理能力。
如图1所示，本发明所提供了所述一种视频智能预处理系统，所述系统包括：
光电收发器，所述光电收发器接收上位机发送的视频数据，并将所述视频数据从光信号转换为电信号发送至可编程逻辑器件；
可编程逻辑器件，所述可编程逻辑器件通过可编程逻辑端集成的专用硬件算子对所述视频数据进行检测识别，获得特征信息，将所述特征信息发送至处理器；
多核处理器，所述多核处理器根据接收的所述特征信息对所述视频数据进行预处理，并将预处理完成的所述视频数据发送至下位机，由所述下位机对所述视频数据进行进一步处理。
具体而言，本实施例中，多核处理器选取为八核处理器。所述视频智能处理预处理系统包括光电收发器、FPAI芯片(可编程逻辑器件)、八核处理器和万兆以太网卡。由光电收发器将相机采集的光信号转换成电信号后发送给FPAI芯片，由其PL(可编程逻辑)上实现的专用硬算子对单路视频数据进行实时多目标检测识别，将检测识别到的特征信息发送处理器，八核处理器通过PCIE与FPAI芯片相连并配置DDR4、QSPI FLASH、1TB的SSD对所述视频数据进行预处理，并将预处理完成的所述视频数据发送至下位机。八核处理器用于转换视频格式、视频分解、重构、特征提取、视频数据缓存、分发。万兆以太网卡用于传输经过分解重构的视频数据。本实施例提供的视频智能预处理系统中，除多核处理器外均采用双裕度热备份设计，实现资源同步运行。
进一步的，所述多核处理器包括健康监测模块，所述健康监测模块通过TTFC总线与所述上位机进行数据传输。
具体而言，八核处理器利用神经网络工具包将视频数据进行分解及特征提取处理，将处理精度提升3.2倍。本实施例所提供的系统具有健康监测及管理功能，监控系统内器件的电压电流状况，能够将故障信息记录在NVRAM中，有助于快速定位故障源。
优选的，由于视频数据分辨率提升，数据量直线提升，为了提升视频数据及智能预处理数据传送效率，通过PCIE3.0将数据传送给万兆以太网卡，其带宽能够达到10GB/S，且传输距离能够达到60m。
进一步的，所述可编程逻辑器件内部集成目标检测计算模型、目标追踪计算模型、超分辨计算模型、显著性检测计算模型，所述专用硬件算子使用上述计算模型对所述视频数据进行检测识别。
进一步的，如图2所示，所述多核处理器对所述视频数据进行预处理，包括转换视频格式、特征提取、视频缓存、图像分解、特征提取、视频重构、视频缓存分发。将未进行视频格式转换且已超时的视频数据启用FPGA解码器进行实时多目标识别；预处理结束的视频数据如果结束上传的标志位为高时，结束预处理过程。
进一步的，所述多核处理器外部连接有DDR4、FLASH、NVRAM和SSD，所述DDR4用于缓存待处理和已经处理完毕的视频数据；所述FLASH用于存储所述多核处理器运行的应用程序；所述NVRAM用于记录所述健康监测模块上报的故障信息；SSD用于存储所述多核处理器提取的特征信息。
具体而言，所述FLASH用于存储BIT测试程序、BOOT引导程序、操作系统以及应用程序。
进一步的，光电收发器、可编程逻辑器件、多核处理器和所述下位机之间的数据传输均使用PCIE总线。
进一步的，所述多核处理器将预处理完成的所述视频数据通过FC总线和万兆网卡发送至所述下位机。
实施例一
如图1所示，本申请提供的一种视频智能预处理系统，包括：一路光电收发器，用于将视频信号转换成电信号后发送给FPAI；一个8核处理器，其中核0进行视频格式转换，将信号按照ARINC818数字视频协议进行解析和转换；一个FPAI，FPAI内部PL端集成硬算子支持目标检测模型、目标追踪模型、超分辨模型、显著性检测模型能够实时进行多目标识别。
其中，8核处理器的处理器核1进行图像分解，核2进行特征提取，核3进行视频数据的缓存，核4进行视频重构，核5进行特征缓存分发，核6进行视频缓存分发，核7用作健康监测；一个视频缓冲器，DDR4存储器中设置专用视频缓冲器，用于缓存待处理和已经处理完毕的视频数据；万兆网卡用于将重构后的视频数据及所识别目标的特征提取信息传输给下一级智能处理系统。
进一步的，视频电信号在FPAI中使用双FIFO通过乒乓操作进行高效ARINC818协议解析，并且在八核CPU的中实现ARINC818视频格式到BT1120格式的转换，每秒钟帧频为30Hz；同时FPAI的VPU单元支持H.264/H.265的编码解码功能。
进一步的，八核处理器进行视频转换、提取、重构及传输，利用神经网络工具包优化提取结果，提升处理精度并使用流水线方式并行操作，每个核处理器当前进程结束后通过中断方式让下一步操作的核处理器将数据进行处理发送。将尚未进行格式转换的视频数据缓存在DDR4控制器中。将BOOT引导程序、BIT测试程序、操作系统及应用程序存储在FLASH中。
进一步的，如图3所示，8核处理器的核7进行健康监测，当系统内有部分功能器件失效时，处理器通过FC总线上报故障信息，使故障系统迅速下线切换到备用系统中，保障视频预处理功能正常运转。当整体系统电路故障时仍能保持50ms供电，将故障信息通过QSPI保存在NVRAM中，并通过FC总线上报故障信息，大幅缩短后期故障定位时间。
本发明通过以上实施例实现了如下技术效果：
本发明通过提供一种视频智能预处理系统，采用FPAI处理视频图像数据，内部集成专用硬算子可智能提取模型信息，智能化程度高，运算速率快；采用八核处理器进行处理，效率高，可进行流水线操作，核0到核6可并行操作；系统具有健康监测上报功能，能够大幅缩短故障定位时间；作为智能预处理模块，既实现视频数据传输，也将视频数据预处理，实时提取特征信息传输给智能系统，大幅降低智能系统的运算量，提升整体视频采集系统的处理能力。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频智能预处理系统，其特征在于，所述系统包括：
光电收发器，所述光电收发器接收上位机发送的视频数据，并将所述视频数据从光信号转换为电信号发送至可编程逻辑器件；
可编程逻辑器件，所述可编程逻辑器件通过可编程逻辑端集成的专用硬件算子对所述视频数据进行检测识别，获得特征信息，将所述特征信息发送至处理器；
多核处理器，所述多核处理器根据接收的所述特征信息对所述视频数据进行预处理，并将预处理完成的所述视频数据发送至下位机，由所述下位机对所述视频数据进行进一步处理。
2.根据权利要求1所述的一种视频智能预处理系统，其特征在于，所述可编程逻辑器件内部集成目标检测计算模型、目标追踪计算模型、超分辨计算模型、显著性检测计算模型，所述专用硬件算子使用上述计算模型对所述视频数据进行检测识别。
3.根据权利要求1所述的一种视频智能预处理系统，其特征在于，所述多核处理器对所述视频数据进行预处理，包括转换视频格式、特征提取、视频缓存、图像分解、特征提取、视频重构、视频缓存分发。
4.根据权利要求1所述的一种视频智能预处理系统，其特征在于，所述多核处理器包括健康监测模块，所述健康监测模块通过TTFC总线与所述上位机进行数据传输。
5.根据权利要求1所述的一种视频智能预处理系统，其特征在于，所述多核处理器外部连接有DDR4、FLASH、NVRAM和SSD，所述DDR4用于缓存待处理和已经处理完毕的视频数据；所述FLASH用于存储所述多核处理器运行的应用程序；所述NVRAM用于记录所述健康监测模块上报的故障信息；SSD用于存储所述多核处理器提取的特征信息。
6.根据权利要求1所述的一种视频智能预处理系统，其特征在于，光电收发器、可编程逻辑器件、多核处理器和所述下位机之间的数据传输均使用PCIE总线。
7.根据权利要求6所述的一种视频智能预处理系统，其特征在于，所述多核处理器将预处理完成的所述视频数据通过FC总线和万兆网卡发送至所述下位机。
CN202311062083.2A 2023-08-22 2023-08-22 一种视频智能预处理系统 Pending CN117255166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311062083.2A CN117255166A (zh) 2023-08-22 2023-08-22 一种视频智能预处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311062083.2A CN117255166A (zh) 2023-08-22 2023-08-22 一种视频智能预处理系统

Publications (1)

Publication Number Publication Date
CN117255166A true CN117255166A (zh) 2023-12-19

Family

ID=89128490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311062083.2A Pending CN117255166A (zh) 2023-08-22 2023-08-22 一种视频智能预处理系统

Country Status (1)

Country Link
CN (1) CN117255166A (zh)

Similar Documents

Publication Publication Date Title
US9639447B2 (en) Trace data export to remote memory using remotely generated reads
CN111131933B (zh) 一种fc双冗余交换机配置管理装置及配置管理方法
CN111050093A (zh) 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法
US20220321840A1 (en) Method for transmitting high bandwidth camera data through serdes links
WO2023051183A1 (zh) 一种城轨列车智能综合检测系统融合主机
CN112887682A (zh) 多路轨道图像同步采集存储系统及方法
CN113038138A (zh) 一种嵌入式图像处理及回传系统
CN117255166A (zh) 一种视频智能预处理系统
CN116185499B (zh) 寄存器数据传输方法、寄存器缓存模块、智能设备和介质
CN206460446U (zh) 一种针对加固计算机主板的监控装置
CN110569173B (zh) 一种基于龙芯ip核的服务器健康管理芯片及实现方法
CN209897174U (zh) 一种基于fpga的视频图像处理装置
CN108924460A (zh) 一种图像数据采集盒以及图像采集系统
CN113688093A (zh) 一种基于以太网控制器的智能网卡
CN207529375U (zh) 一种用于ct机的das数据接收装置及其系统
CN114172797A (zh) 一种主动式智能网卡管理系统、方法及装置
CN203894760U (zh) 一种肿瘤细胞自动识别与分类系统
CN209044575U (zh) 基于pis的存储装置控制器、存储装置及系统
CN101162210A (zh) X射线检查系统及该系统中数据和信令的传输方法
CN221225512U (zh) 车牌识别装置
CN102590237A (zh) X射线检查系统及该系统中数据和信令的传输方法
CN212992357U (zh) 一种基于网络架构的驾驶人考试设备
CN214623651U (zh) 一种雷达数据嵌入性采集系统
CN211827250U (zh) 一种继电保护系统及其专用多核心Soc芯片架构
CN204131643U (zh) 一种具有人脸特征提取功能的图像采集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination