CN110769257A - 智能视频结构化分析装置、方法和系统 - Google Patents
智能视频结构化分析装置、方法和系统 Download PDFInfo
- Publication number
- CN110769257A CN110769257A CN201810830393.7A CN201810830393A CN110769257A CN 110769257 A CN110769257 A CN 110769257A CN 201810830393 A CN201810830393 A CN 201810830393A CN 110769257 A CN110769257 A CN 110769257A
- Authority
- CN
- China
- Prior art keywords
- video
- video data
- chip
- asic
- fpga chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 12
- 230000008520 organization Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 14
- 238000012916 structural analysis Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
公开了一种智能视频结构化分析装置、方法和系统。该组织包括FPGA芯片和多个专用的神经网络ASIC芯片，其中，所述FPGA芯片用于持续接收输入的多路视频数据流，将所述多路视频数据流按照预定规则分配给所述多个ASIC芯片，接收经所述多个ASIC芯片处理得到的结构化信息，并按照规定形式输出所述结构化信息；以及每个所述ASIC芯片用于使用神经网络算法对同时输入的至少一路视频数据流进行特征提取，以获取所需的结构化信息并将其输出至所述FPGA芯片。本发明采用了多颗AI专用芯片并行处理多路视频流，同时采用FPGA进行高效的视频分发和转发，大大提高了单板的视频分析处理速度和性能，同时使得视频分析对于环境和图像质量的要求大大降低。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种智能视频结构化分析装置、方法和系统。
背景技术
目标检测和跟踪一直是学术界和工业界的一个重要研究方向。例如，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。不仅如此，目标检测和追踪还在诸如车辆辅助驾驶、交通和游戏等领域内有着巨大的实用空间和潜在意义。
目前，目标检测和跟踪的应用瓶颈在于视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的视频监控系统智慧化、语义化、情报化的语义视频监控系统。
视频结构化描述是一种视频内容信息提取的技术，其对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。图1示出了常见的实时视频结构化智能分析系统的整体框架。
如图1所示，实时视频结构化智能分析系统20采集来自数据源10的数据流，该数据流可以是摄像头的实时输入或是存储的视频文件。系统20对采集的数据流进行结构化分析，并将相应的分析结果存储至本地或远程数据库30。
实时视频结构化智能分析系统20可以包括视频编解码模块21、帧缓存22和视频分析模块23。视频编解码模块21将来自数据源10的数据流编码或解码为指定格式帧数据。帧缓存22缓存视频帧数据，供视频分析模块23使用。
视频分析模块23可以大致分为目标检测模块、目标跟踪与去重模块、以及目标识别和分析模块。目标检测模块利用深度学习算法对输入的视频流进行目标检测，从帧图像中提取出需要进行分析的目标的位置、类别等信息。目标跟踪与去重模块利用深度学习或者传统算法对目标检测模块输出的目标进行跟踪和去重处理，避免目标分析模块的重复运行，提高分析质量并减小分析运算量。目标识别和分析模块根据目标检测模块的输出结果从帧图像中提取出目标子图，利用深度学习算法对其中每一个目标分别进行分析。具体的分析内容可以根据应用场景不同而变化，常见的分析内容包括目标识别比对，目标属性分析等。
在安防系统和大型游戏等的应用领域中，后端平台需要通常是前端采集设备回传大量视频和图片等信息进行结构化处理。而现有的服务器处理能力有限，仍然无法满足多路视频信号结构化处理的要求。
因此，需要一种能够高效实现多路视频流并行处理的智能视频结构化分析方案。
发明内容
鉴于上述的至少一个问题，本发明提出了一种智能视频结构化分析方案，该方案采用了多颗AI专用芯片并行处理多路视频流，同时采用FPGA进行高效的视频分发和转发，大大提高了单板的视频分析处理速度和性能，同时使得视频分析对于环境和图像质量的要求大大降低。
根据本发明的一个方面，提供了一种智能视频结构化分析装置，包括FPGA芯片和多个专用的神经网络ASIC芯片，其中，所述FPGA芯片用于持续接收输入的多路视频数据流，将所述多路视频数据流按照预定规则分配给所述多个ASIC芯片，接收经所述多个ASIC芯片处理得到的结构化信息，并按照规定形式输出所述结构化信息；以及每个所述ASIC芯片用于使用神经网络算法对同时输入的至少一路视频数据流进行特征提取，以获取所需的结构化信息并将其输出至所述FPGA芯片。
由此，通过结合ASIC芯片的高效性和FPGA芯片的灵活性，提升了系统整体的视频分析处理性能。其中，多个ASIC芯片优选是相同型号的芯片，并且各自能够同时处理多路视频数据。智能视频结构化分析装置包括的各个芯片优选被布置在单片运算板卡上，以方便部署。
FPGA芯片可以包括处理器，所述处理器用于将输入的特定格式的多路视频数据解码成所述ASIC芯片解码所需的裸数据视频流。或者，该装置可以视频解码芯片，用于持续接收输入的特定格式的多路视频数据流，将上述特定格式的多路视频数据流解码成所述ASIC芯片解码所需的裸数据视频流，并将所述裸数据视频流发送给所述FPGA芯片。由此实现装置内对编码视频流的直接处理。
FPGA芯片将所述多路视频数据流按照预定规则分配给所述多个ASIC芯片可以包括如下至少一项：所述FPGA芯片为每个所述ASIC芯片分配固定路数的视频数据流；所述FPGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及所述FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。通过充分利用FPGA芯片的可编程性，提升系统的应用灵活性。
FPGA芯片还可以包括：输入视频处理模块，用于对输入的视频数据进行处理以符合ASIC芯片的视频处理需求，所述视频处理包括如下至少一项：调整输入的多路视频数据流中任意视频数据流的分辨率；调整输入的多路视频数据流中任意视频数据流的帧率；以及对输入的多路视频数据流中任意视频数据流中的图像帧进行图像处理。由此，进一步提升本发明装置的适用场景。
FPGA芯片还可以包括输出视频生成模块，用于将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出；相应地，还可以包括视频接口，用于外接能够直接显示包含所述结构化信息的视频流或图像帧输出的显示设备。
ASIC芯片可以基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。FPGA芯片可以基于输入的视频数据流的路数和/或获取结构化信息所需的计算量，动态确定实际接入所述ASIC芯片的数据，和/或可扩展地接入更多的所述ASIC芯片。由此，进一步提升本发明装置的灵活性。
FPGA芯片和ASIC芯片还可各自外接易失性存储器和非易失性存储器分别作为高速缓存以及程序与数据的存储。
FPGA芯片可以包括用于从外部接收视频数据流作为输入的PCIE接口，以方便在服务器主机上的大规模部署。
FPGA芯片可以包括专用于分别向每个ASIC芯片发送向其分配的视频数据流的多个第一高速数字接口，以及分别专用于从每个ASIC芯片接收结构化信息的多个第二高速数字接口，并且每个所述ASIC芯片相应地包括一个所述第一高速数字接口和所述第二高速数字接口。由此，通过专用通道进一步提升系统效率。
根据本发明的另一方面，提出了一种智能视频结构化分析方法，包括：使用FPGA芯片持续接收输入的多路视频数据流；使用FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片；使用每个ASIC芯片基于神经网络算法对同时输入的至少一路视频数据流进行特征提取；以及使用每个ASIC芯片将获取的结构化信息输出给所述FPGA芯片。
优选地，所述方法还可以包括：使用FPGA芯片或专用的视频解码芯片将输入的特定格式的多路视频数据解码成所述ASIC芯片解码所需的裸数据视频流。
使用FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片可以包括如下至少一项：使用FPGA芯片为每个所述ASIC芯片分配固定路数的视频数据流；使用FPGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及使用FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。
优选地，所述方法还可以包括：使用FPGA芯片对输入的视频数据进行处理以符合所述ASIC芯片的视频处理需求，所述视频处理包括如下至少一项：调整输入的多路视频数据流中任意视频数据流的分辨率；调整输入的多路视频数据流中任意视频数据流的帧率；以及对输入的多路视频数据流中任意视频数据流中的图像帧进行图像处理。
优选地，所述方法还可以包括：使用FPGA芯片将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出。
使用每个ASIC芯片基于神经网络算法对同时输入的至少一路视频数据流进行特征提取可以包括：使用每个ASIC芯片基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。
根据本发明的又一个方面，提出了一种智能视频结构化分析系统，包括：主控制器，用于实时获取多路视频数据流，并将获取的所述多路视频数据流发送给如上任一项所述的智能视频结构化分析装置；存储器，用于存储数据和指令；所述智能视频结构化分析装置，用于对所述多路视频数据流进行神经网络计算以提取所需的结构化信息；以及显示器，用于显示所述结构化信息或是包含所述结构化信息的视频数据流或图像帧。
本发明的单颗FPGA芯片用于高效视频转发和多颗ASIC芯片用于并行视频流处理的单板实现方案，能够在最为高效地利用ASIC芯片的高并行性的同时，利用FPGA芯片的可扩展性和灵活性，实现各类视频分析场景的需求。通过采用标准PCIE接口，本发明的运算板卡能够方便地在服务器主机上大规模部署，使得服务器能够并行处理大量数据，更好地满足对于海量数据分析速率的要求。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了常见的实时视频结构化智能分析系统的整体框架。
图2示出了根据本发明一个实施例的智能视频结构化分析装置的硬件组成图。
图3示出了根据本发明一个实施例的智能视频结构化分析方法的示意性流程图。
图4示出了根据本发明一个实施例的智能视频结构化分析系统的示意图。
图5示出了本发明智能视频结构化分析装置的一个具体示例。
图6示出了本发明智能视频结构化分析装置的另一个具体示例。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
如前所述，为了实现视频信息的高效提取以及同其他信息系统进行标准数据交换、互联互通及语义互操作，提出了能够将视频图像转化为人和机器可理解的信息的视频结构化技术。虽然视频结构化技术的应用提升了目标检测、跟踪和识别的效率，但目前在实际应用中还存在分析准确率受环境影响大以及海量数据分析速度较慢这两个突出问题。
在目标检测和跟踪的常见应用场景中(例如，安防应用中)，目标与背景的复杂变化提升了检测与跟踪的难度。具体地，现有系统针对复杂异常行为建模困难，目标与背景接近会导致目标特征信息提取困难；运动目标被遮挡会造成目标信息缺失；目标移动速度过快或算法过于复杂导致跟踪的有效性较低，上述因素易造成误报、漏报、跟踪困难等结果。
其次，针对后端平台的结构化处理而言，前端采集设备回传大量的视频、图片等信息，都需要在平台服务器上叠加算法进行分析，由于服务器本身处理性能的限制，无法并行处理大量数据。大量单独处理能力有限的服务器的组合使用使得目标检测和跟踪的成本过高，且难以实现各路视频之间信息的互通。
为了解决上述问题，本发明提出了一种新的智能视频结构化分析系统和方法，其使用一片用于数据汇总和转发的FPGA芯片连同多片专用于视频结构化处理的ASIC芯片的实现方案。
随着人工智能、机器学习算法的不断成熟，相关的硬件能力不断提高，人工智能、神经网络算法在视频结构化处理中的应用得到越来越广泛的关注。服务器端用于人工智能算法运算的芯片方案从CPU到GPU，从GPU到FPGA，从FPGA发展到现在的AI专用芯片。GPU相比CPU而言具有更高的并行结构，更适合对并行密集数据进行处理，速度更快，但是在能耗、成本等方面较高。FPGA和GPU一样，同样是并行计算，但是在功耗和成本等方面相比GPU有了不小的优势，目前使用FPGA来进行深度学习计算的方案也越来越多。AI芯片由定制的ASIC芯片实现，作为专为深度学习设计的处理器芯片，在运算速度、功耗、成本等方面针对深度神经网络进行了深度定制和优化，相比FPGA和GPU有了巨大的提升。
由此在本发明中，使用专门定制的AI芯片能够以相对较小的成本和功耗实现对输入视频图像帧中特定目标和目标属性的高效且准确的提取。由于AI芯片基于神经网络，尤其是深度神经网络算法进行目标检测与属性分析等计算，因此其能够借助于深度神经网络的强大特征学习性来应对各种各样的环境变化，由此提升视频分析的准确性。
另一方面，虽然FPGA芯片不及AI芯片高效，但其具有其他方式不可比拟的灵活性和硬件接口兼容性。FPGA芯片在其内部可以进行多种处理，可以合理布置高效数据传输所需的各类接口(例如，用于接收多路视频信号的PCIE接口，用于向AI芯片传输裸数据视频流的BT1120接口以及用于从AI芯片接收处理完的结构化信息的以太网接口等)，并且其可编程性使其能够方便地实现对更多输入视频流和更多AI芯片的接入。由此，本发明的基于FPGA芯片和多个AI芯片的视频结构化分析方案能够最大化地利用FPGA芯片的灵活性和ASIC芯片的高效性，来实现单片运算板卡对多路输入视频流的高效处理。多路视频流信息提取的单片实现不仅能够提升系统整体效率并降低成本与功耗，还能够有利于对各路视频流之间数据的共享处理，尤其适用于需要综合考虑多路视频流的应用场景，例如，针对大型建筑物和公共活动场所的整体监控场景。
图2示出了根据本发明一个实施例的智能视频结构化分析装置的硬件组成示意图。如图2所示，智能视频结构化分析装置200可以包括一个FPGA芯片210和多个专用的神经网络ASIC芯片220。
FPGA芯片210用于持续接收输入的多路视频数据流，将多路视频数据流按照预定规则分配给多个ASIC芯片220，接收经多个ASIC芯片处理得到的结构化信息，并按照规定形式输出上述结构化信息。每个ASIC芯片220用于使用神经网络算法对同时输入的至少一路视频数据流进行特征提取，以获取所需的结构化信息并将其输出至FPGA芯片。在此，“ASIC芯片”指代经由专用定制电路实现的专用于执行神经网络计算的芯片，尤其执行神经网络计算(人工智能AI的一种实现方式)，因此在本发明中，可与“AI芯片”以及“AI专用芯片”互换使用。
该智能视频结构化分析装置200所包括的各个芯片优选被布置在单片运算板卡上。在一个实施例中，本发明的智能视频结构化分析装置200可以作为云端视频结构化处理的核心运算板卡。服务器的主控CPU通过FPGA的PCIE接口传入解码后的多路高清视频流，在FPGA内部将PCIE接口输入的视频流转换为多个高速数字接口的视频流，通过多个高速数字接口分别传输到多个AI专用芯片，AI专用芯片对输入的视频流使用人工智能算法(例如，深度神经网络算法)进行视频结构化分析，并从视频中提取出关键有效信息，通过网口等高速数字接口将处理结果(数据或者图片)发送给FPGA，FPGA汇集多路AI芯片的结果，经过处理后，通过PCIE接口发送到主控CPU。FPGA芯片输出视频和对应的结构化信息到外部应用，用于对视频内车辆、人脸等其他目标的快速查询和检索。
如上所述，本发明的FPGA芯片210优选地包括用于从外部接收视频数据流作为输入的PCIE接口，从而适于接收视频流输入，尤其适用于同时接收多路视频数据流的输入。
图2中示出了FPGA芯片210与各个ASIC芯片之间的单个连接线，换句话说，FPGA芯片210可以经由某一数据传输线路向某一ASIC芯片220发送视频数据流，并基于同一线路接收来自该ASIC芯片220的经处理的标准化信息。然而，在一个优选实施例中，FPGA芯片210可以包括专用于分别向每个ASIC芯片发送向其分配的视频数据流的多个第一高速数字接口，以及分别专用于从每个ASIC芯片接收结构化信息的多个第二高速数字接口，并且每个所述ASIC芯片相应地包括一个所述第一高速数字接口和所述第二高速数字接口。换句话说，在ASIC芯片本身配备有例如用于接收视频流的BT1120接口以及用于发送结构化信息的以太网接口的情况下，可以在FPGA芯片上布置多对BT1120和以太网接口，以分别用于针对每一个接入的ASIC芯片的信息收发。由此，通过针对每块AI专用芯片的数据发送和接收所单独布置的接口和相应传输线路，能够以更高的效率实现该智能视频分析装置200整体的计算和传输效率。
在一个实施例中，该智能视频结构化分析装置200可以直接接收解码后的视频数据流，即，直接可供AI芯片进行诸如目标检测和属性分析等处理的裸数据视频流。在其他实施例中，该智能视频结构化分析装置200也可以接收具有特定格式的数据视频流输入，并且使用其自身的视频解码能力对接收的视频流进行解码。
在一个实施例中，在输入视频流路数不多的情况下，可以选择配备有处理器的FPGA芯片，直接对输入的特定格式的编码视频流数据进行解码。例如，可以选用带ARM处理器的ZYNQ系列FPGA作为芯片210，使用内部的ARM处理器进行少量路数的视频流的解码，并将解码后的裸数据视频流传输到后级的AI芯片。
在另一个实施例中，本发明的智能视频结构化分析装置200还可以包括专用的视频解码芯片(未示出)。由此，可由该视频解码芯片持续接收外部输入的特定格式的多路视频数据流，将上述特定格式的多路视频数据流解码成ASIC芯片220解码所需的裸数据视频流，并将裸数据视频流发送给FPGA芯片210。
基于不同的应用场景，FPGA芯片的功能和接入可以具有不同的灵活性。在一个相对简单的实现中，FPGA芯片接收固定路数的视频流，例如36路视频流，并连接有固定个数的ASIC芯片，例如，布置有四对BT1120和以太网接口以连接四块AI芯片。多个ASIC芯片可以是相同型号的芯片，并且各自能够同时处理多路视频数据流。FPGA芯片经由固定的转发矩阵将这36路视频流平均分为4份，以使得每个AI芯片处理9路视频流，集中处理四块AI芯片返回的针对这36路视频流提取的结构化信息，并且例如可以将目标图片或视频与相应的结构化信息汇总返还给服务器主控CPU。
在其他实施例中，视频分析装置200所接入的FPGA芯片和ASIC芯片则可具有更大的灵活性。由此，FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片可以包括如上所述为每个ASIC芯片分配固定路数的视频数据流；也可以是FPGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。由于输入的多路视频流帧率、分辨率等可能不相同，后面多个AI芯片的分析速度可能有差别，FPGA可以动态的对各个AI芯片的输入视频流的路数进行调整，例如非平均分配视频流，根据各个AI芯片的当前负载情况动态调节视频流的分配，以保证整个系统可以工作在最高效率的状态。在优选实施例中，FPGA芯片可以综合考虑每路输入视频流的特性和各个ASIC芯片的当前负载情况，灵活确定要向每个ASIC芯片分配的视频数据流路数及其特性。
在一个实施例中，FPGA芯片还可以包括：输入视频处理模块，用于对输入的视频数据进行处理以符合ASIC芯片的视频处理需求。具体地，FPGA芯片210可以使用输入视频处理模块对输入的多路的视频流的分辨率进行调整，例如输入1080p视频，调整为720p视频，因此板卡200可以输入任意的分辨率的视频，通过FPGA进行调整，调整为适合后续AI芯片分析用的分辨率；板卡200可以根据AI芯片的负载状况动态调整视频流的分辨率，以实现流畅输出；或者，板卡200也可以根据实际需要，例如，针对需要重点监控的视频流，调高其分辨率以实现更为精确的结构化信息的提取。FPGA芯片还可以使用输入视频处理模块对输入的多路视频流的帧率进行调整，如果输入帧率过高，可以选择性丢弃部分帧，降低帧率，由此提高AI芯片处理效率。另外，FPGA芯片还可以使用输入视频处理模块对视频流中的图片进行处理，例如调整白平衡等的ISP处理，从而优化用于分析的视频图片质量。输入视频处理模块针对输入视频的上述处理可以是FPGA芯片210针对当前运行状况自行做出的，也可以是基于外部输入指令进行的。
在一个实施例中，FPGA芯片还包括输出视频生成模块，用于将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出。例如，FPGA芯片可以对AI芯片返回的处理结果进行格式转换，例如将识别出的人脸等目标物的位置坐标和对应的帧图片叠加画框，直接返回带标记的图片或者视频到主控端，主控端不需要再进行处理结果叠加处理就可以直接显示出来。
相应地，FPGA芯片还可以包括视频接口，用于外接能够直接显示包含所述结构化信息的视频流或图像帧输出的显示设备。例如，FPGA芯片可以外接一个如HDMI或者DisplayPort的显示接口，方便直接将返回的处理结果和视频图片叠加后显示出来；
如上所述，本发明中的ASIC芯片是专用于执行神经网络计算的AI专用芯片。在一个实施例中，ASIC芯片可以具有相当的灵活性，例如可以基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。例如，可以针对具体的应用场景，向AI芯片中加载不同的神经网络模型，以实现例如针对不同对象(例如，人或车辆)或是不同属性(例如，车牌号码或是人脸特征)的特征提取。
另外，FPGA芯片可以基于输入的视频数据流的路数和/或获取结构化信息所需的计算量，动态确定实际接入所述ASIC芯片的数据，和/或可扩展地接入更多的ASIC芯片。例如，FPGA芯片具有用于接入四个AI芯片的接口，并且实际接入的四个AI芯片。当只有25路视频流接入时，FPGA芯片可以确定仅使其接入的四个AI芯片中的三个投入工作。或者，例如，FPGA芯片可以具有用于接入六个AI芯片的接口，并且实际接入的四个AI芯片，用于通常接入的36路视频流的结构化信息提取。而当有更多的视频流需要进行处理时，FPGA芯片可以物理接入更多的AI芯片，并且使用不同的内部配置来实现对例如六个AI芯片的同时接入以及相应的54路视频的转发和结构化信息汇总。
此外，在一个实施例中，FPGA芯片和每个ASIC芯片可以各自外接易失性存储器(例如，DDR4)和非易失性存储器(例如，FLASH)来分别作为高速缓存以及程序与数据的存储。
如上已结合图2描述了根据本发明实施例的智能视频结构化分析装置。如下将结合图3描述一种根据本发明的智能视频结构化分析方法。该方法300可由图2所示装置200以及下文将详述的智能视频结构化分析系统所执行，以实现对多路视频流输入的高速结构化信息提取。
在步骤S310，使用FPGA芯片持续接收输入的多路视频数据流。在步骤S320，使用FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片。在步骤S330，使用每个ASIC芯片基于神经网络算法对同时输入的至少一路(通常为多路)视频数据流进行特征提取。在步骤S340，使用每个ASIC芯片将获取的结构化信息输出给所述FPGA芯片。随后，该FPGA芯片可以将结构化信息单独或者连同相应的图像和视频向外输出，例如，输出给服务器的主控CPU。
优选地，本方法还可以包括：使用FPGA芯片或专用的视频解码芯片将输入的特定格式的多路视频数据解码成所述ASIC芯片解码所需的裸数据视频流。
优选地，步骤S320可以包括如下至少一项：所述FPGA芯片为每个所述ASIC芯片分配固定路数的视频数据流；所述FPGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及所述FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。
优选地，本方法还可以包括：使用FPGA芯片对输入的视频数据进行处理以符合所述ASIC芯片的视频处理需求，所述视频处理包括如下至少一项：调整输入的多路视频数据流中任意视频数据流的分辨率；调整输入的多路视频数据流中任意视频数据流的帧率；以及对输入的多路视频数据流中任意视频数据流中的图像帧进行图像处理。
优选地，本方法还可以包括：使用FPGA芯片将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出。
优选地，步骤S330可以包括：使用每个ASIC芯片基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。
本发明的上述智能结构化分析装置和方法可以进一步用于一种智能视频结构化分析系统。图4示出了根据本发明一个实施例的智能视频结构化分析系统的示意图。该系统400可以是用于处理多路视频接入的云端服务器。在一个实施例中，该系统400可以包括主控制器410、存储器420、如前所述的本发明的智能视频结构化分析装置430和显示器440。
主控制器410可以是服务器的主控CPU，用于例如从多路前端实时获取多路视频数据流，并将获取的所述多路视频数据流发送给智能视频结构化分析装置430。存储器420用于存储数据和指令。智能视频结构化分析装置430优选实现为一块具有PCIE接口的硬件板卡，用于对所述多路视频数据流进行神经网络计算以提取所需的结构化信息。显示器440则用于显示所述结构化信息或是包含所述结构化信息的视频数据流或图像帧。
如上以结合图2-4描述了本发明的智能视频结构化分析方案。本方案尤其适于实现为云端视频结构化处理的核心运算板卡，服务器的主控CPU通过FPGA的PCIE接口传入解码后的多路高清视频流，在FPGA内部将PCIE接口输入的视频流转换为多个高速数字接口的视频流，通过多个高速数字接口分别传输到多个AI专用芯片，AI专用芯片对输入的视频流使用人工智能算法进行视频结构化分析，并从视频中提取出关键有效信息，通过网口等高速数字接口将处理结果(数据或者图片)发送给FPGA，FPGA汇集多路AI芯片的结果，经过处理后，通过PCIE接口发送到主控CPU。FPGA例如可以采用Xilinx公司的FPGA芯片，输出视频和对应的结构化信息到外部应用，用于对视频内车辆、人脸等其他目标的快速查询和检索。
另外，考虑到编码视频流输入的情况，本方案可以在FPGA前端增加一颗视频解码芯片，用于从主控CPU输入编码的多路视频流，通过解码芯片解码后，发送到FPGA用于分发到各个AI专用芯片用于处理。
由于本方案采用了多颗AI专用芯片并行处理多路视频流，同时采用FPGA进行高效的视频分发和转发，大大提高了单板的视频分析处理速度和性能，同时使得视频分析对于环境和图像质量的要求大大降低。本方案可以同时处理例如最高36路视频流数据(4个AI专用芯片的情况下)，并且由于采用了标准PCIE接口，可以在服务器主机上大规模部署，使得服务器可以并行处理大量数据，可以更好地满足对于海量数据分析速率的要求。
应用例
随着“平安城市”、“城市立体化治安防控”、“智慧城市”等科技强警项目建设的开展不断深入，我国一线、二线、三线城市已经基本完成城市监控与报警系统由标清改高清的建设，并且基于统一的国家标准正在开展视频监控资源的联网整合任务。一线、二线城市已经在联网整合后视频资源基础上深入开展智能视频分析系统、且取得了初步成果。然而，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。虽然现有的智能分析服务器的应用为公安、交警等需要大量检索视频的情况节省了人力与时间，但整体的效率仍有很大提高的空间。
为了适应对智能分析系统日益强大的性能要求，本发明的智能视频结构化分析装置尤其适用于实现为一块具有PCIE接口的硬件板卡，能够直接插入现有的智能视频分析系统，以提供强大的结构化信息提取能力。
图5示出了本发明智能视频结构化分析装置的一个具体实现例。该装置采用一片Xilinx的Ultrascale系列的FPGA芯片和4片深鉴科技的AI专用芯片TINGTAO，并被布置在带有PCIE接口的硬件板卡上。
在实际操作中，FPGA接收服务器主控CPU发送的多路视频流(36路)，视频流为解码后的裸视频数据，对于接收到的视频流进行格式转化等操作后，将其平均分为多份(4份)，通过多个BT1120等高速数字接口发送到四个AI专用芯片，每个接口发送多路视频流(9路)；同时FPGA通过四个以太网接口(RGMII)等高速数字接收四个AI专用芯片返回的视频结构化数据，并将目标图片和相应的结构化信息汇总返回给服务器主控CPU。FPGA外围的DDR4用于FPGA的高速缓存，eMMC为FLASH，用于程序和数据存储，PCIE接口用于和主控CPU通信，接收主控CPU发送的多路待处理视频流，返回处理后的图片或者视频以及相应的结构化信息。
AI专用芯片则通过BT1120等高速数字接口接收FPGA发送的多路视频流，使用内部先进的人工智能神经网络处理器芯片对多路视频流同步逐帧进行特征提取和识别，提取出需要的结构化信息，如人脸，人体的各种详细信息(如姿态、衣着、背包等)，车辆，车辆的各种详细信息(如车牌号、颜色、型号等)等结构化信息后，通过以太网接口(RGMII)等高速数字接口发送到FPGA。外部的DDR4用于AI芯片的高速缓存，FLASH用于程序存储和数据存储。多片AI芯片的型号相同，可以使用深鉴科技的人工智能专用处理器芯片TINGTAO，其拥有4核Cortex A5处理器和最高4TOPS的算力，可以支持目前常用的多种神经网络算法的双核DPU处理器。
图6示出了本发明智能视频结构化分析装置的另一个具体实现例。相比于图5，图6额外布置了一片专用的视频解码芯片，以实现对输入的编码视频流的直接结构化信息的提取。
具体在实际操作中，主控CPU将多路(36路)编码的视频流(H.264、H.265或MPEG等编码格式)输入视频解码芯片的PCIE接口，视频解码芯片对输入的多路视频流进行同步解码和处理后，通过HDMI等高速数字接口发送到FPGA，同时通过以太网等数字接口接收多个AI处理器返回的提取的视频结构化信息，然后将相应的图片或视频和对应的结构化信息叠加后通过PCIE接口发送到主控CPU。
FPGA通过HDMI等高速数字接口接收视频解码芯片解码后的裸数据视频流，然后通过内部转发矩阵将其变为多路(4路)BT1120等高速数字接口数据并发送到多个(4个)AI专用芯片，通过多个(4个)以太网接口等高速数字接口接收AI专用芯片发送的处理完的结构化信息，然后通过内部转发矩阵，通过以太网接口等其他高速数字接口发送给前端视频解码芯片。FPGA在这个方案中主要充当视频流的分发和结果的汇总转发工作。
多个AI专用芯片和图5所示功能相同，在此不再赘述。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (21)
1.一种智能视频结构化分析装置，包括FPGA芯片和多个专用的神经网络ASIC芯片，其中，
所述FPGA芯片用于持续接收输入的多路视频数据流，将所述多路视频数据流按照预定规则分配给所述多个ASIC芯片，接收经所述多个ASIC芯片处理得到的结构化信息，并按照规定形式输出所述结构化信息；以及
每个所述ASIC芯片用于使用神经网络算法对同时输入的至少一路视频数据流进行特征提取，以获取所需的结构化信息并将其输出至所述FPGA芯片。
2.如权利要求1所述的装置，其中，所述FPGA芯片包括处理器，所述处理器用于将输入的特定格式的多路视频数据解码成所述ASIC芯片解码所需的裸数据视频流。
3.如权利要求1所述的装置，还包括：
视频解码芯片，用于持续接收输入的特定格式的多路视频数据流，将上述特定格式的多路视频数据流解码成所述ASIC芯片解码所需的裸数据视频流，并将所述裸数据视频流发送给所述FPGA芯片。
4.如权利要求1所述的装置，其中，所述FPGA芯片将所述多路视频数据流按照预定规则分配给所述多个ASIC芯片包括如下至少一项：
所述FPGA芯片为每个所述ASIC芯片分配固定路数的视频数据流；
所述FPGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及
所述FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。
5.如权利要求1所述的装置，其中，所述FPGA芯片还包括：输入视频处理模块，用于对输入的视频数据进行处理以符合ASIC芯片的视频处理需求，所述视频处理包括如下至少一项：
调整输入的多路视频数据流中任意视频数据流的分辨率；
调整输入的多路视频数据流中任意视频数据流的帧率；以及
对输入的多路视频数据流中任意视频数据流中的图像帧进行图像处理。
6.如权利要求1所述的装置，其中，所述FPGA芯片还包括输出视频生成模块，用于将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出。
7.如权利要求6所述的装置，其中，所述FPGA芯片还包括视频接口，用于外接能够直接显示包含所述结构化信息的视频流或图像帧输出的显示设备。
8.如权利要求1所述的装置，其中，多个所述ASIC芯片是相同型号的芯片，并且各自能够同时处理多路视频数据。
9.如权利要求1所述的装置，其中，所述ASIC芯片基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。
10.如权利要求1所述的装置，所述FPGA芯片基于输入的视频数据流的路数和/或获取结构化信息所需的计算量，动态确定实际接入所述ASIC芯片的数据，和/或可扩展地接入更多的所述ASIC芯片。
11.如权利要求1所述的装置，其中，所述FPGA芯片和所述ASIC芯片各自外接易失性存储器和非易失性存储器分别作为高速缓存以及程序与数据的存储。
12.如权利要求1所述的装置，其中，所述FPGA芯片包括用于从外部接收视频数据流作为输入的PCIE接口。
13.如权利要求1所述的装置，其中，所述FPGA芯片包括专用于分别向每个ASIC芯片发送向其分配的视频数据流的多个第一高速数字接口，以及分别专用于从每个ASIC芯片接收结构化信息的多个第二高速数字接口，并且每个所述ASIC芯片相应地包括一个所述第一高速数字接口和所述第二高速数字接口。
14.如权利要求1所述的装置，其中，所述智能视频结构化分析装置包括的各个芯片被布置在单片运算板卡上。
15.一种智能视频结构化分析方法，包括：
使用FPGA芯片持续接收输入的多路视频数据流；
使用FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片；
使用每个ASIC芯片基于神经网络算法对同时输入的至少一路视频数据流进行特征提取；以及
使用每个ASIC芯片将获取的结构化信息输出给所述FPGA芯片。
16.如权利要求15所述的方法，还包括：
使用FPGA芯片或专用的视频解码芯片将输入的特定格式的多路视频数据解码成所述ASIC芯片解码所需的裸数据视频流。
17.如权利要求15所述的方法，其中，使用FPGA芯片将多路视频数据流按照预定规则分配给多个ASIC芯片包括如下至少一项：
使用FPGA芯片为每个所述ASIC芯片分配固定路数的视频数据流；
少基于PGA芯片基于每路视频数据流的属性，动态确定向每个所述ASIC芯片分配的视频数据流的路数；以及
使用FPGA芯片基于各个ASIC芯片的当前负载情况，动态确定向每个所述ASIC芯片分配的视频数据流的路数。
18.如权利要求15所述的方法，还包括：
使用FPGA芯片对输入的视频数据进行处理以符合所述ASIC芯片的视频处理需求，所述视频处理包括如下至少一项：
调整输入的多路视频数据流中任意视频数据流的分辨率；
调整输入的多路视频数据流中任意视频数据流的帧率；以及
对输入的多路视频数据流中任意视频数据流中的图像帧进行图像处理。
19.如权利要求15所述的方法，还包括：
使用FPGA芯片将获取的结构化信息与输入的视频数据流或图像帧相融合，以生成直接可供显示的包含所述结构化信息的视频流或图像帧输出。
20.如权利要求15所述的方法，其中，使用每个ASIC芯片基于神经网络算法对同时输入的至少一路视频数据流进行特征提取包括：
使用每个ASIC芯片基于不同的神经网络模型针对输入的视频数据流提取不同目标对象和/或不同目标属性的特征。
21.一种智能视频结构化分析系统，包括：
主控制器，用于实时获取多路视频数据流，并将获取的所述多路视频数据流发送给如权利要求1-14中任一项所述的智能视频结构化分析装置；
存储器，用于存储数据和指令；
所述智能视频结构化分析装置，用于对所述多路视频数据流进行神经网络计算以提取所需的结构化信息；以及
显示器，用于显示所述结构化信息或是包含所述结构化信息的视频数据流或图像帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810830393.7A CN110769257A (zh) | 2018-07-25 | 2018-07-25 | 智能视频结构化分析装置、方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810830393.7A CN110769257A (zh) | 2018-07-25 | 2018-07-25 | 智能视频结构化分析装置、方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110769257A true CN110769257A (zh) | 2020-02-07 |
Family
ID=69327334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810830393.7A Pending CN110769257A (zh) | 2018-07-25 | 2018-07-25 | 智能视频结构化分析装置、方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110769257A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111416759A (zh) * | 2020-03-27 | 2020-07-14 | 海信集团有限公司 | 智能家居设备及控制方法 |
| CN111753994A (zh) * | 2020-06-22 | 2020-10-09 | 深圳鲲云信息科技有限公司 | Ai芯片的数据处理方法、装置和计算机设备 |
| CN111797039A (zh) * | 2020-03-25 | 2020-10-20 | 深圳市泓运开泰科技有限公司 | 一种嵌入式刀片弹性扩展ai边缘服务器的装置和方法 |
| CN111950218A (zh) * | 2020-07-02 | 2020-11-17 | 深圳市兴森快捷电路科技股份有限公司 | 基于fpga实现目标跟踪算法的电路 |
| CN112153387A (zh) * | 2020-08-28 | 2020-12-29 | 山东云海国创云计算装备产业创新中心有限公司 | 一种ai视频解码系统 |
| CN112203113A (zh) * | 2020-12-07 | 2021-01-08 | 北京沃东天骏信息技术有限公司 | 视频流结构化方法、装置、电子设备和计算机可读介质 |
| CN112511863A (zh) * | 2020-11-20 | 2021-03-16 | 北京滴普科技有限公司 | 一种智能边缘计算系统 |
| CN113747170A (zh) * | 2021-09-08 | 2021-12-03 | 深圳市算筹信息技术有限公司 | 一种使用ai芯片进行视频编解码运算的方法 |
| CN113992493A (zh) * | 2020-07-08 | 2022-01-28 | 阿里巴巴集团控股有限公司 | 视频处理方法、系统、设备及存储介质 |
| CN115984675A (zh) * | 2022-12-01 | 2023-04-18 | 扬州万方科技股份有限公司 | 一种用于实现多路视频解码及ai智能分析的系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860663A (zh) * | 2010-04-29 | 2010-10-13 | 公安部第三研究所 | 实现视频结构化描述处理的芯片及其方法 |
| CN102970490A (zh) * | 2012-11-30 | 2013-03-13 | 广东威创视讯科技股份有限公司 | 基于pc的多路混合视频处理装置 |
| CN104320615A (zh) * | 2014-10-17 | 2015-01-28 | 智擎信息系统（上海）有限公司 | 一种智能视频安防系统及其信号处理方法 |
| US20160342688A1 (en) * | 2013-06-25 | 2016-11-24 | Emc Corporation | Large scale video analytics architecture |
| CN108235114A (zh) * | 2017-11-02 | 2018-06-29 | 深圳市商汤科技有限公司 | 视频流的内容解析方法和系统、电子设备、存储介质 |
-
2018
- 2018-07-25 CN CN201810830393.7A patent/CN110769257A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860663A (zh) * | 2010-04-29 | 2010-10-13 | 公安部第三研究所 | 实现视频结构化描述处理的芯片及其方法 |
| CN102970490A (zh) * | 2012-11-30 | 2013-03-13 | 广东威创视讯科技股份有限公司 | 基于pc的多路混合视频处理装置 |
| US20160342688A1 (en) * | 2013-06-25 | 2016-11-24 | Emc Corporation | Large scale video analytics architecture |
| CN104320615A (zh) * | 2014-10-17 | 2015-01-28 | 智擎信息系统（上海）有限公司 | 一种智能视频安防系统及其信号处理方法 |
| CN108235114A (zh) * | 2017-11-02 | 2018-06-29 | 深圳市商汤科技有限公司 | 视频流的内容解析方法和系统、电子设备、存储介质 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797039A (zh) * | 2020-03-25 | 2020-10-20 | 深圳市泓运开泰科技有限公司 | 一种嵌入式刀片弹性扩展ai边缘服务器的装置和方法 |
| CN111416759A (zh) * | 2020-03-27 | 2020-07-14 | 海信集团有限公司 | 智能家居设备及控制方法 |
| CN111753994A (zh) * | 2020-06-22 | 2020-10-09 | 深圳鲲云信息科技有限公司 | Ai芯片的数据处理方法、装置和计算机设备 |
| CN111753994B (zh) * | 2020-06-22 | 2023-11-03 | 深圳鲲云信息科技有限公司 | Ai芯片的数据处理方法、装置和计算机设备 |
| CN111950218A (zh) * | 2020-07-02 | 2020-11-17 | 深圳市兴森快捷电路科技股份有限公司 | 基于fpga实现目标跟踪算法的电路 |
| CN113992493A (zh) * | 2020-07-08 | 2022-01-28 | 阿里巴巴集团控股有限公司 | 视频处理方法、系统、设备及存储介质 |
| CN112153387A (zh) * | 2020-08-28 | 2020-12-29 | 山东云海国创云计算装备产业创新中心有限公司 | 一种ai视频解码系统 |
| CN112511863A (zh) * | 2020-11-20 | 2021-03-16 | 北京滴普科技有限公司 | 一种智能边缘计算系统 |
| CN112203113B (zh) * | 2020-12-07 | 2021-05-25 | 北京沃东天骏信息技术有限公司 | 视频流结构化方法、装置、电子设备和计算机可读介质 |
| CN112203113A (zh) * | 2020-12-07 | 2021-01-08 | 北京沃东天骏信息技术有限公司 | 视频流结构化方法、装置、电子设备和计算机可读介质 |
| CN113747170A (zh) * | 2021-09-08 | 2021-12-03 | 深圳市算筹信息技术有限公司 | 一种使用ai芯片进行视频编解码运算的方法 |
| CN115984675A (zh) * | 2022-12-01 | 2023-04-18 | 扬州万方科技股份有限公司 | 一种用于实现多路视频解码及ai智能分析的系统及方法 |
| CN115984675B (zh) * | 2022-12-01 | 2023-10-13 | 扬州万方科技股份有限公司 | 一种用于实现多路视频解码及ai智能分析的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110769257A (zh) | 智能视频结构化分析装置、方法和系统 | |
| US10593049B2 (en) | System and method for real-time detection of objects in motion | |
| CN106060655B (zh) | 一种视频处理方法、服务器及终端 | |
| CN108206937B (zh) | 一种提升智能分析性能的方法和装置 | |
| CN109525803B (zh) | 基于fpga和人工智能的视频结构化处理装置和方法 | |
| CN111614769B (zh) | 一种深度学习技术的行为智能分析引擎系统及控制方法 | |
| Takagi et al. | A sub-100-milliwatt dual-core HOG accelerator VLSI for real-time multiple object detection | |
| Liu et al. | Light-weight AI and IoT collaboration for surveillance video pre-processing | |
| CN109167979B (zh) | 多路监控视频人工智能分析的处理方法及系统 | |
| CN113727142A (zh) | 云渲染方法及装置、计算机可存储介质 | |
| Chien et al. | Distributed computing in IoT: System-on-a-chip for smart cameras as an example | |
| CN103260007A (zh) | 基于片上多端口存储控制器的智能监控系统 | |
| CN114792331A (zh) | 应用于半监督环境中以在图像帧序列中执行实例跟踪的机器学习框架 | |
| CN115797543A (zh) | 单个图像逆向渲染 | |
| Kim et al. | Multi-object tracking coprocessor for multi-channel embedded DVR systems | |
| DE102021130626A1 (de) | Trigger-reagierende clipextraktion basierend auf fernanalyse | |
| Fularz et al. | The architecture of an embedded smart camera for intelligent inspection and surveillance | |
| CN113852841A (zh) | 一种可视化场景建立方法、装置、设备、介质和系统 | |
| CN111311645A (zh) | 超高清视频切画目标跟踪识别方法 | |
| US20220164970A1 (en) | High-frame-rate real-time multiscale spatiotemporal disparity on distributed low-power event-based neuromorphic hardware | |
| WO2023105800A1 (en) | Object detection device, object detection method, and object detection system | |
| WO2021136433A1 (zh) | 一种电子设备及计算机系统 | |
| Mohammed et al. | Resolution mosaic-based smart camera for video surveillance | |
| Nee et al. | Task distribution of object detection algorithms in fog-computing framework | |
| Wu et al. | Hybrid mobile vision for emerging applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200902 Address after: Unit 01-19, 10 / F, 101, 6 / F, building 5, yard 5, Anding Road, Chaoyang District, Beijing 100029 Applicant after: Xilinx Electronic Technology (Beijing) Co.,Ltd. Address before: 100083, 17 floor, four building four, 1 Wang Zhuang Road, Haidian District, Beijing. Applicant before: BEIJING DEEPHI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |