CN116310742A - 一种用于无人机反制的类脑智能处理系统 - Google Patents

一种用于无人机反制的类脑智能处理系统 Download PDF

Info

Publication number
CN116310742A
CN116310742A CN202310410008.4A CN202310410008A CN116310742A CN 116310742 A CN116310742 A CN 116310742A CN 202310410008 A CN202310410008 A CN 202310410008A CN 116310742 A CN116310742 A CN 116310742A
Authority
CN
China
Prior art keywords
module
target
brain
image
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310410008.4A
Other languages
English (en)
Other versions
CN116310742B (zh
Inventor
李椋
王刚
王以政
高凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Military Medical Sciences AMMS of PLA
Original Assignee
Academy of Military Medical Sciences AMMS of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Military Medical Sciences AMMS of PLA filed Critical Academy of Military Medical Sciences AMMS of PLA
Priority to CN202310410008.4A priority Critical patent/CN116310742B/zh
Publication of CN116310742A publication Critical patent/CN116310742A/zh
Application granted granted Critical
Publication of CN116310742B publication Critical patent/CN116310742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本申请提出了一种用于无人机反制的类脑智能处理系统，该系统包括：图像采集处理模块，用于采集目标区域的图像数据以生成图像流，并对图像流进行预处理；计算加速模块由多个类脑计算芯片构成，用于基于仿视网膜技术和目标检测技术对图像流进行检测，生成多目标跟踪列表，并选择待跟踪的目标进行单目标跟踪；系统管理模块，用于对每个模块进行管理和维护，并对目标数据进行加密处理和权限管理；处理器模块，用于进行系统的功能进程管理、业务管理和任务协议处理；接口模块与系统内的相关模块的连接，用于实现类脑智能处理系统的对外连接。该系统构建了类脑智能算法与智能计算平台，实现高效的无人机目标探测与跟踪。

Description

一种用于无人机反制的类脑智能处理系统
技术领域
本申请涉及无人机技术领域，尤其涉及一种用于无人机反制的类脑智能处理系统。
背景技术
随着无人机技术的快速发展,目前无人机已广泛应用在测绘、资源勘探、环境监测和航空摄像等多个领域。而为了保护信息安全，需要对非法的无人机进行反制。其中，进行无人机反制时，首先需要进行无人机的探测、识别和跟踪，以便在后续进一步采取相关措施。
相关技术中，在进行无人机反制时，通常是布置分布式光电探测设备进行无人机的探测和跟踪。然而，由于实际应用中无人机所处的环境较为复杂、无人机的种类型号存在差异以及光电设备边缘端计算能力不足等因素的影响，相关技术中的无人机反制方案，在获取的结果中存在目标外观不清晰和背景干扰，探测结果存在误差等问题
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种用于无人机反制的类脑智能处理系统，该类脑智能处理系统通过构建类脑智能算法与智能计算平台，实现高效、准确的无人机目标探测与跟踪，提高了无人机反制的智能性和可靠性。
本申请的第二个目的在于提出一种电子设备。
为实现上述目的，本申请的实施例在于提出一种用于无人机反制的类脑智能处理系统，该系统包括：图像采集处理模块、计算加速模块、系统管理模块、处理器模块、接口模块和系统背板，每个模块与所述系统背板连接，其中，
所述图像采集处理模块，用于采集目标区域的图像数据以生成图像流，并对所述图像流进行图像预处理；
所述计算加速模块由多个类脑计算芯片构成，所述计算加速模块用于基于仿视网膜技术和目标检测技术对处理后的图像流进行检测，生成多目标跟踪列表，并从所述多目标跟踪列表中选择待跟踪的目标进行单目标跟踪；
所述系统管理模块，用于对每个模块进行管理和维护，进行故障预警和故障处理，并对目标数据进行加密处理和权限管理；
所述处理器模块，用于进行系统的功能进程管理、业务管理和任务协议处理；
所述接口模块与系统内的相关模块的连接，所述接口模块用于实现类脑智能处理系统的对外连接。
可选地，在本申请的一个实施例中，所述计算加速模块，包括：目标检测单元、动态显著性检测单元、融合单元和多目标跟踪单元，其中，所述目标检测单元，用于对所述处理后的图像流中的单帧图像进行静态目标检测，生成检测目标列表；所述动态显著性检测单元，用于通过构建仿视网膜大细胞通路模型计算所述处理后的图像流中每个像素点的运动变化信息，通过确定每个所述像素点的亮度变化提取运动显著区域信息；所述融合单元，用于通过融合所述检测目标列表的信息与所述运动显著区域信息，从所述目标列表中剔除虚警目标；所述多目标跟踪单元，用于将剔除所述虚警目标后得到的检测结果作为观测值，将所述观测值输入多目标跟踪算法生成多目标跟踪列表。
可选地，在本申请的一个实施例中，所述融合单元，具体用于：提取所述检测目标列表中每个检测目标的中心位置，并通过所述运动显著区域信息计算每个所述中心位置的峰值旁瓣比；将每个所述峰值旁瓣比与预设的旁瓣比阈值进行比较，将大于所述旁瓣比阈值的峰值旁瓣比对应的检测目标作为所述虚警目标。
可选地，在本申请的一个实施例中，所述计算加速模块，具体用于：将图像流中的图像进行灰度反转以生成反转图像，针对原始图像和所述反转图像进行两路跟踪；基于卡尔曼滤波器将两路的跟踪结果进行融合，并通过所述卡尔曼滤波器对生成的融合跟踪结果进行平滑滤波。
可选地，在本申请的一个实施例中，所述图像采集处理模块的核心组件为现场可编程逻辑门阵列FPGA，所述图像采集处理模块的图像输入接口支持2路CameraLink Base输入，或者1路的Medium模式、Full模式或Deca模式输入；所述图像采集处理模块，具体用于对所述图像流进行图像去噪、局部增强和图像分割处理。
可选地，在本申请的一个实施例中，所述计算加速模块支持多个槽位，每个所述槽位用于连接对应的类脑计算芯片，每个所述类脑计算芯片支持8GB内存和32GB EMMC，所述计算加速模块进行整数运算的算力在128TOPS之上。
可选地，在本申请的一个实施例中，每个所述类脑计算芯片通过可插拔的方式与对应的槽位连接，所述多个类脑计算芯片呈环形排列。可选地，在本申请的一个实施例中，所述接口模块，包括：多个视频输入接口、至少1个电源输入接口、多个以太网接口、多个USB接口、至少1个高清多媒体接口、至少1个电源按钮和至少1个串行通信接口，其中，所述多个USB接口和所述至少1个高清多媒体接口，用于实现所述类脑智能处理系统的调试和设备维护；所述至少1个串行通信接口，与所述处理器模块或所述系统管理模块连接，用于实现所述类脑智能处理系统的管理或维护。
可选地，在本申请的一个实施例中，所述系统管理模块，具体用于：监测每个模块在运行过程中的运行状态信息，根据所述运行状态信息生成日志记录；关断发生故障的模块，并控制排除故障后的模块进行复位和重试；对每个模块进行过压保护、欠压保护和过流保护。
为实现上述目的，本发明第二方面实施例提出了一种电子设备，包括：如上述第一方面实施例任一项所述的用于无人机反制的类脑智能处理系统。
本申请的实施例提供的技术方案至少带来以下有益效果：本申请实现了小型化的无人机反制智能系统，通过内置多颗类脑计算芯片，显著提高了无人机反制系统的边缘端计算能力，支撑人工智能与类脑智能模型的部署。进而，引入生物视觉与目标检测技术构建运动信息感知与融合模型，实现背景噪声的过滤与运动目标的筛选，提高了无人机探测与识别的准确性和可靠性，通过构建类脑智能算法与智能计算平台，实现高效、准确的无人机跟踪。由此，本申请提高了无人机反制的智能性、精确性和可靠性。并且，本申请基于模块化的设计和背板设计，易于进行每个功能模块的替换升级和数据容量带宽扩展，有利于无人机反制系统的升级和维护。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提出的一种用于无人机反制的类脑智能处理系统的结构示意图；
图2为本申请实施例提出的一种无人机的反制方法的流程图；
图3为本申请实施例提出的一种仿视网膜大细胞通路模型的结构示意图；
图4为本申请实施例提出的一种无人机的检测方法的流程图；
图5为本申请实施例提出的一种无人机的跟踪方法的流程图；
图6为本申请实施例提出的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图详细描述本发明实施例所提出的一种用于无人机反制的类脑智能处理系统。
图1为本申请实施例提出的一种用于无人机反制的类脑智能处理系统的结构示意图，如图1所示，该用于无人机反制的类脑智能处理系统包括：图像采集处理模块100、计算加速模块200、系统管理模块300、处理器模块400、接口模块500和系统背板600。
其中，每个模块与系统背板600连接。即，如图1所示，系统中的图像采集处理模块100、计算加速模块200、系统管理模块300、处理器模块400和接口模块500均与系统背板600相连，具体连接线路可根据实际情况确定，通过与系统背板600连接可以实现系统内各个模块的数据传输和电力传输等。
需要说明的是，图1仅示出了类脑智能处理系统进行无人机反制任务所需的主要功能模块，在实际应用中该类脑智能处理系统还包括供电模块等光电探测设备正常运行所需的其他模块，可参照一般的光电探测设备，此处不再做赘述。
其中，图像采集处理模块100，用于采集目标区域的图像数据以生成图像流，并对图像流进行图像预处理。
具体的，图像采集处理模块100可以实现图像采集、图像预处理和图像数据加速等功能。目标区域是图像采集处理模块100进行图像采集的工作区域，即针对该区域内的无人机进行反制。图像采集处理模块100在不同时刻下持续采集目标区域内的图像，采集到的图像可以是红外图像，也可以是可见光图像，可根据具体的应用场景确定采集图像的方式。采集过程中还记录每帧图像对应的采集时间，从而生成图像流，并对图像流中的各帧图像进行预处理，以初步降低无人机识别过程中的干扰因素。
计算加速模块200由多个类脑计算芯片构成，计算加速模块200用于基于仿视网膜技术和目标检测技术对处理后的图像流进行检测，生成多目标跟踪列表，并从多目标跟踪列表中选择待跟踪的目标进行单目标跟踪。
具体的，计算加速模块200用于实现图像数据的计算加速和推理，在计算加速模块200中内置多颗类脑计算芯片，在类脑计算芯片中部署用于无人机反制的人工智能算法与类脑智能模型，由多颗类脑计算芯片组合后，根据采集的图像流进行计算，以实现无人机的识别与跟踪。
即，计算加速模块200可执行反无人机视觉感知的软件流程，包括通过生物视觉与目标检测方法构建运动信息感知与融合模型，对处理后的图像流进行检测生成多目标跟踪列表，再选择待跟踪的目标进行单目标跟踪。其中，本申请通过仿视网膜取技术代了传统的光流检测进行运动目标的感知，再将感知结果与计算机视觉检测技术相结合，从而可以提升小目标的检测性能，更加适用于对无人机的检测。下面对计算加速模块200执行的软件设计进行详细描述。
在本申请一个实施例中，在反无人机视觉感知的软件流程中主要包含两种工作模式，即检测模式和跟踪模式。图2是本实施例提出的一种无人机的反制方法的流程图，如图2所示，该方法包括以下步骤：
步骤S201，进入检测模式。
步骤S202，生成多目标列表。
步骤S203，判断是否选择出目标，若是，则执行步骤S204，若否，则返回执行步骤S201。
步骤S204，进入跟踪模式。
步骤S205，判断是否终止跟踪目标，若是，则返回执行步骤S201，若否，则返回执行步骤S204。
由图2中的各个步骤可知，本申请实施例的无人机反制方法，检测模式主要用于搜索目标，其输出结果为多目标列表。选定目标是从多目标列表中选出待跟踪的目标。选定目标后，软件转入跟踪模式，用于单目标的精确跟踪，最终可以输出目标的位置和尺寸。下面结合计算加速模块200中的各个功能单元对该方法中各个步骤的实现进行详细描述。
在本申请实施例中，计算加速模块200，包括：目标检测单元、动态显著性检测单元、融合单元和多目标跟踪单元。其中，目标检测单元，用于对处理后的图像流中的单帧图像进行静态目标检测，生成检测目标列表。动态显著性检测单元，用于通过构建仿视网膜大细胞通路模型计算处理后的图像流中每个像素点的运动变化信息，通过确定每个像素点的亮度变化提取运动显著区域信息；融合单元，用于通过融合检测目标列表的信息与运动显著区域信息，从目标列表中剔除虚警目标；多目标跟踪单元，用于将剔除虚警目标后得到的检测结果作为观测值，将观测值输入多目标跟踪算法生成多目标跟踪列表。其中，上述各个单元可以视为在类脑计算芯片中，通过相关软件程序设计形成的用于实现反制方法中对应步骤的处理单元。
具体而言，本实施例的反制方法中的检测模式包含获取图像流、目标检测、运动显著性检测、检测-动态显著性融合和多目标跟踪等步骤。
其中，目标检测是基于单帧图像进行静态目标检测，可以基于任意一种神经网络模型进行图像识别。其输入为单帧图像，输出为检测目标列表，列表中包含目标在图像中的位置和目标类别。目标类别可以是图像中物体的类型等。
运动显著性检测利用仿视网膜方法计算每个像素点的运动变化信息，输出为每个像素点亮度变化。其中，仿视网膜方法是对视网膜大细胞通路的建模，该通路包含光感受器、双极细胞、水平细胞、神经节细胞和无长突细胞五类细胞，可以使用不同的滤波器对不同的细胞进行建模。
作为其中一种可能的实现方式，构建的模型如图3所示，该模型包括：光感受器10、水平细胞20、第一双极细胞30、第二双极细胞40和两个通道，每个通道中均包括一个无长突细胞50和神经节细胞60。
其中，光感受器10，用于将每个像素点附近的亮度调整至预设的亮度范围内，并通过低通滤波将光信号转为电信号。水平细胞20，用于对光感受器10输出的信号进行加工处理。每个双极细胞用于将光感受器10输出的信号和水平细胞20输出的信号进行整合后输入至对应的通道中，形成两个通道，其中，第一双极细胞30输入BipON通道中，第二双极细胞40输入BipOFF通道中。无长突细胞50，用于对输入的信号进行高通滤波，以增强发生时空变化的区域。神经节细胞60，用于通过低通滤波将无长突细胞50得到的运动轮廓进行平滑，并通过局部对比度压缩对平滑后的运动轮廓进行增强。
需要说明的是，上述建模出的各个细胞的具体工作实现方式，可以参照相关技术中的方案，实现原理类似此处不再赘述。而在本申请实施例中，结合大量实验、历史运行数据和专家知识等因素，对视网膜大细胞通路模型中的各个细胞进行调参，为每个细胞设置适合进行小目标检测的参数，从而使建模出的视网膜大细胞通路模型更加适合针对无人机这种小目标进行运动感知，提升模型对小目标的检测性能。
在本模型中，双极细胞将光感受器和水平细胞的输出整合并分为BipON与BipOFF两个通路，两个通路的输出分别经过无长突细胞和神经节细胞处理的并整合得到大细胞通路输出，该输出提取了运动显著区域的信息，可生成动态显著性图。
在本实施例中，融合单元具体用于提取检测目标列表中每个检测目标的中心位置，并通过运动显著区域信息计算每个所述中心位置的峰值旁瓣比；再将每个峰值旁瓣比与预设的旁瓣比阈值进行比较，将大于旁瓣比阈值的峰值旁瓣比对应的检测目标作为虚警目标。
具体而言，在根据上两步的计算结果，进行检测-动态显著性融合时，先提取目标列表每个检测目标的中心位置，在动态显著性图计算该位置的峰值旁瓣比(Peak toSidelobe Ratio,简称PSR)，若存在某个PSR大于阈值PSRthreshod，则认为该目标为虚警目标。其中，PSRthreshod可以预先根据实际需要确定，典型值为10，运动目标速度越慢，则PSRthreshod取值越低。峰值旁瓣比计算公式如下所示：
Figure BDA0004182983890000061
其中，m是图像矩阵的宽度，n为图像矩阵高度，Imax是图像中像素的最大亮度值，I是图像中像素的亮度值，i和j表示计算过程中选取的任一值，PSR是得到的峰值旁瓣比计算结果。
在进行多目标跟踪时，将上一步检测-动态显著性融合得到的检测结果作为观测值，再与计算机视觉检测技术(比如，YOLO模型等)相结合，输出多目标跟踪列表。作为一种示例，由检测-动态显著性融合单元为多目标跟踪单元提供运动目标的检测列表，利用卡尔曼滤波算法(Kalman filtering)预测当前跟踪目标的位置，再利用匈牙利算法进行预测值与观测值之间的关联。最后根据关联结果进行多目标跟踪器的更新。输出为多目标跟踪列表，该列表中包含各个目标的类别、编号、位置和尺寸。
综上，本申请实施例的检测过程可通过本实施例提出的一种无人机的检测方法实现，图4为本申请实施例提出的一种无人机的检测方法的流程图，如图4所示，该方法包括以下步骤：
步骤S401，获取图像流。
步骤S402，执行目标检测。
步骤S403，生成检测目标列表。
步骤S404，执行动态显著性检测。
需要说明的是，如图4所示，步骤S402和步骤S404并行执行。
步骤S405，生成动态显著图。
步骤S406，进行检测与动态显著性融合。
步骤S407，生成检测目标列表。
步骤S408，进行多目标跟踪。
步骤S409，生成多目标跟踪列表。
进一步的，在结束检测模式后，在生成的多目标跟踪列表中选择待跟踪的目标对象，以便后续针对该目标对象进行跟踪。在进行目标选择时，作为一种可能的实现方式，可以根据目标的运动速度对多目标列表中的目标进行排序，其中，速度最快的目标排在最前面，再根据排序结果选择目标。在本示例中存在两种目标选择模式，一种可以是计算加速模块200自动选择，比如，计算加速模块200结合各个目标的类别、速度和位置等信息进行自动判定，选择需要跟踪的目标。另一种是接收操作人员发送的指令，操作人员根据需要手动确定跟踪的目标，再将确定的目标发送至计算加速模块200。
更进一步的，对确定的跟踪目标进行单目标跟踪。其中，单目标跟踪模式可实现高精度的小目标实时跟踪，可以用于处置装备的引导。
在本申请一个实施例中，在进行单目标跟踪时，计算加速模块200具体用于将图像流中的图像进行灰度反转以生成反转图像，针对原始图像和所述反转图像进行两路跟踪；基于卡尔曼滤波器将两路的跟踪结果进行融合，并通过卡尔曼滤波器对生成的融合跟踪结果进行平滑滤波。
具体而言，在本实施例中，针对红外图像容易出现亮度反转的问题，跟踪模式首先将图像流中的图像进行灰度反转，将原始图像和反转图像进行两路跟踪，将两路跟踪结果进行融合，最后将跟踪结果进行平滑滤波，降低深度学习算法目标尺寸和位置的抖动。
综上，本申请实施例的跟踪过程可对应本实施例提出的一种无人机的跟踪方法，图5为本申请实施例提出的一种无人机的跟踪方法的流程图，如图5所示，该方法包括以下步骤：
步骤S501，获取图像流中的跟踪目标。
步骤S502，进行灰度反转。
步骤S503，基于跟踪目标的初始位置由第一跟踪器进行跟踪。
步骤S504，获取原始图像。
步骤S505，基于跟踪目标的初始位置由第二跟踪器进行跟踪。
需要说明的是，如图5所示，步骤S502和步骤S504并行执行，即同时进行两路跟踪，第一跟踪器是针对灰度反转图像进行跟踪的支路中进行目标跟踪的跟踪器，第二跟踪器是针对原始图像进行跟踪支路中进行目标跟踪的跟踪器。
步骤S506，融合两个跟踪结果。
步骤S507，对跟踪融合结果进行滤波。
步骤S508，判断是否结束跟踪，若是，则结束流程，若否，则返回执行步骤S503和步骤S505。
在本实施例中，灰度反转是将每个像素点上的灰度值I进行如下操作：
Figure BDA0004182983890000081
其中，I′是反转后的灰度值，I是反转前的初始灰度值。
平滑滤波是利用卡尔曼Kalman滤波器，对目标跟踪的结果(cx,cy,w,h)进行平滑滤波，上述各个参数表述目标在三维空间中的坐标信息和位置信息，以提升跟踪结果的稳定性。本实施例中实现跟踪的跟踪器可以采用任意的单目标跟踪算法。
跟踪结果融合是采用卡尔曼Kalman滤波器预测当前时刻的可能目标位置，再与两路跟踪中的第一跟踪器和第二跟踪器的输出结果进行比对，选择与预测位置最接近的结果作为最终的跟踪结果。
由此，实现了反无人机视觉感知系统的软件设计，本申请针对小目标外观不清晰和背景干扰问题，引入生物视觉与目标检测方法构建运动信息感知与融合模型，实现背景噪声的过滤与运动目标的筛选。
下面继续参照图1对反无人机类脑视觉感知系统的硬件设计进行说明。
在本申请一个实施例中，上述的图像采集处理模块100的核心组件为现场可编程逻辑门阵列FPGA，图像采集处理模块的图像输入接口支持2路CameraLink Base输入，或者1路的Medium模式、Full模式或Deca模式输入。图像采集处理模块100，具体用于对图像流进行图像去噪、局部增强和图像分割处理。
具体而言，图像采集处理模块100核心组件采用FPGA器件，可实现算法更迭和升级。该模块支持2路Cameralink Base或者1路Medium/Full/Deca 80bit接口输入，即图像采集处理模块100通过设置Camera link接口解决高速传输的问题，本实施例中的CameraLink的接口有四种配置Base、Medium、Full和80bit的Deca，各个模式下的最大传输带宽不同，以便本系统中不同采集速度的高速相机传输采集到的图像。该模块中内置的逻辑算法支持图像处理操作，包括图像去噪、局部增强和图像分割以及其他的图像预处理算法，逻辑算法还支持进行图像数据加速。并且，该模块还支持进行功能模块更换、升级、故障报警和故障恢复管理。
在本申请一个实施例中，上述的计算加速模块200支持多个槽位，每个槽位用于连接对应的类脑计算芯片，每个类脑计算芯片支持8GB内存和32GB EMMC，计算加速模块进行整数运算的算力在128TOPS之上。每个类脑计算芯片通过可插拔的方式与对应的槽位连接，且多个类脑计算芯片呈环形排列。
具体而言，计算加速模块200支持的槽位数量可以根据系统性能和反制要求设置，比如，可以先设置最大支持4个单元功能槽位，每个模组槽位都可单独实现插拔和更换升级，在后续可以根据性能拓展需求，扩展为8个或更多个单元模组槽位。每个槽位可以连接一颗类脑计算芯片，类脑计算芯片具备低功耗和高算力特性，可以根据性能需求灵活配置为不同的组合单元，以不同的异构方式进行计算。
计算加速模块200内全部的类脑计算芯片呈环形排列，相邻的类脑计算芯片之间的距离以及组合成的环形的半径，按预先确定的距离设置，从而利于各个类脑计算芯片的散热。并且还可以根据需要在环形的中心设置散热设备，以更加充分使各个芯片进行散热。
举例而言，可以根据数据处理速度等需求选择相应型号的商用类脑芯片，当设置4颗类脑计算芯片时，本类脑智能处理系统的INT8算力为128TOPS，其中，INT8表示八位整型占用1个字节，INT8是一种定点计算方式可以代表整数运算，TOPS(Tera Operations PerSecond)是处理器运算能力单位，即本系统每秒可进行128万亿次整数运算的操作。
并且，该模块中的每个类脑计算芯片支持8GB内存和32GB EMMC，本模块采用单独封装化设计，支持进行功能模块的更换、升级、故障报警和故障恢复管理。
系统管理模块300，用于对每个模块进行管理和维护，进行故障预警和故障处理，并对目标数据进行加密处理和权限管理。
具体的，系统管理模块300用于对本类脑智能处理系统中的各个模块进行管理，以及各个模块硬件基本运行状况的监控，还可以进行日志记录和异常预警，并可实现对无人机反制运算过程中的关键节点和数据进行加密处理和许可(license)管理。
在本申请一个实施例中，系统管理模块300，具体用于：监测每个模块在运行过程中的运行状态信息，根据运行状态信息生成日志记录；关断发生故障的模块，并控制排除故障后的模块进行复位和重试；对每个模块进行过压保护、欠压保护和过流保护。
具体而言，系统管理模块300采用可扩展FPGA器件作为核心组件，管理接口和算法易扩展。该模块对系统中各模块组件的管理功能，包括上下电、复位、关键运行信息获取和温度监控，支持对故障模块的关断、复位和重试功能。并且，该模块还支持系统电源电压的过压/欠压保护和过流保护，具备系统快速关断功能和对某个电源故障功能模块的单独关断和重试功能。该模块还支持本地系统日志(LOG)文件记录，该模块中还部署了数据加解密算法，还支持非法侵入检测记录、系统license管理功能和本模块的远程管理及维护功能。
处理器模块400，用于进行系统的功能进程管理、业务管理和任务协议处理。
具体的，处理器模块400用于系统功能进程管理、业务流控制、业务数据管理以及任务协议处理等。
在本申请一个实施中，处理器模块400内置了中央处理器CPU，CPU的类型可根据需要确定，比如，采用4核心8线程且可支持X86架构的CPU。该模块还包含2个DDR4内存控制器，总内存容量32GB，支持ECC，频率为2666MT/S。该模块还包含2个存储槽位，支持1个sata槽位和1个NVME槽位，根据不同的存储需求可选择sata或者NVME槽位。模块中的CPU功能基本配置通过系统管理模块300进行管理，处理器模块400还支持本模块的更换、升级、故障报警和故障恢复管理，且支持PCIE系统总线扩展。
接口模块500与系统内的相关模块的连接，接口模块用于实现类脑智能处理系统的对外连接。
具体的，接口模块500是本类脑智能处理系统的对外接口，可以实现本系统与外部设备间的数据传输和控制交互。接口模块500还可以与系统内的某些模块的连接，实现本系统内各个模块间的交互。
举例而言，接口模块500中某个串口通过相应的线缆与系统中的图像采集处理模块100连接，以向图像采集处理模块100传输视频数据。又比如，接口模块500中供电接口通过供电线路与系统中上述各个模块连接，以向各个模块供电等。具体进行连接时，如图1所示，接口模块500可以通过背板600与相应的模块连接，或者，接口模块500还可以通过相应的线缆直接与某些模块相连。
在本申请一个实施例中，接口模块500，包括：多个视频输入接口、至少1个电源输入接口、多个以太网接口、多个USB接口、至少1个高清多媒体接口、至少1个电源按钮和至少1个串行通信接口。其中，多个USB接口和至少1个高清多媒体接口，用于实现类脑智能处理系统的调试和设备维护；至少1个串行通信接口，与处理器模块或系统管理模块连接，用于实现类脑智能处理系统的管理或维护。
需要说明的是，上述各个接口等组件的数量可以根据实际的数据通信和设备的硬件设置的要求进行具体设置，可根据具体应用场景进行调整，本申请对此不做限制。
作为一种可能的实现方式，该接口模块500，包含2个视频输入接口，其物理结构为防水型航空插头，可以为2路Cameralink Base或者1路Medium/Full/Deca 80bit视频输入接口。该模块还包含1个电源输入接口，支持12V输入，物理结构为防水型航空插头。该模块还包含2个以太网接口，其中，1路支持802.3 100/100/1000-Base-T接口(物理形式为RJ45,用于设备维护和调试)，1路支持802.3 100/100/1000Base-T和2500Base-T，最大速率可达2.5Gbps(物理形式为防水型航空插头，用于设备通讯和数据传输)。
该模块还包括1个USB3.0和1个USB2.0接口，以及1个HDMI TYPE-A接口，这些接口用于类脑智能处理系统的调试和设备维护，即，在进行系统调试和维护时，外部调试设备等可以通过上述接口与本类脑智能处理系统连接，以向本系统发送指令执行调试和维护操作。该模块还支持1个电源按钮，该按钮用于调试和设备维护，以及设备状态的指示。该模块还包括1个RS232或RS422或RS485串口，该窗口用于支持连接处理器模块400中的CPU或者系统管理模块300，以便对本系统进行维护和管理。
需要说明的是，本申请实施例中的类脑智能处理系统，在硬件方面采用模块化设计方法，包括各个功能模块结构设计和机箱结构设计，内部连接器部件为高可靠性连接器，每个功能模块都可以单独实现更迭、升级和维护，实现了结构的小型化、功能的易扩展易升级和设备平台易维护。
由此，本申请为解决传统算力平台低算力密度、高功耗、算力功能固化、性能不易扩展、不易升级和维护困难等问题，本申请提供一种灵活架构的被动散热防水型的类脑智能处理系统，该系统具备高算力密度、高性能、低功耗、结构紧凑、功能性能可裁剪可扩展和系统硬件可升级等特点。使用类脑计算技术和模块化设计思想，在单平台实现了高速相机图像采集、图像数据存储、图像数据运算和人工智能推理加速等功能，可满足在恶劣环境下的高性能图像采集处理使用和部署需求。并且，采用了背板设计思想，背板总线可根据后续性能扩展需求，升级为更高速总线，符合未来数据容量带宽扩展需求。
综上所述，本申请实施例的用于无人机反制的类脑智能处理系统，通过内置多颗类脑计算芯片，显著提高了无人机反制系统的边缘端计算能力，支撑人工智能与类脑智能模型的部署。进而，引入生物视觉与目标检测技术构建运动信息感知与融合模型，实现背景噪声的过滤与运动目标的筛选，提高了无人机探测与识别的准确性和可靠性，通过构建类脑智能算法与智能计算平台，实现高效、准确的无人机跟踪。由此，本申请提高了无人机反制的智能性、精确性和可靠性。并且，本申请基于模块化的设计和背板设计，易于进行每个功能模块的替换升级和数据容量带宽扩展，有利于无人机反制系统的升级和维护。
为了实现上述实施例，本申请实施例还提出一种电子设备。图6为本发明实施例提供的一种电子设备的结构示意图。
如图6所示，该电子设备1000可以包括如上述实施例中所述的用于无人机反制的类脑智能处理系统2000。即，在本申请实施例中类脑智能处理系统可搭载在该电子设备1000中，电子设备1000的类型可根据实际需要确定。
在本申请一个实施例中，该电子设备可以是一种小型化的视觉信号处理盒子，设备的外形、尺寸和配件等可以根据实际需要设置。比如，可以将视觉信号处理盒子的尺寸设置为189x189x97mm，且采用防水设计，符合IP43防水标准，从而使该设备体积小巧、结构紧凑其防水，便于在实际应用中布置在各种环境中。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于无人机反制的类脑智能处理系统，其特征在于，包括：图像采集处理模块、计算加速模块、系统管理模块、处理器模块、接口模块和系统背板，每个模块与所述系统背板连接，其中，
所述图像采集处理模块，用于采集目标区域的图像数据以生成图像流，并对所述图像流进行图像预处理；
所述计算加速模块由多个类脑计算芯片构成，所述计算加速模块用于基于仿视网膜技术和目标检测技术对处理后的图像流进行检测，生成多目标跟踪列表，并从所述多目标跟踪列表中选择待跟踪的目标进行单目标跟踪；
所述系统管理模块，用于对每个模块进行管理和维护，进行故障预警和故障处理，并对目标数据进行加密处理和权限管理；
所述处理器模块，用于进行系统的功能进程管理、业务管理和任务协议处理；
所述接口模块与系统内的相关模块的连接，所述接口模块用于实现类脑智能处理系统的对外连接。
2.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述计算加速模块，包括：目标检测单元、动态显著性检测单元、融合单元和多目标跟踪单元，其中，
所述目标检测单元，用于对所述处理后的图像流中的单帧图像进行静态目标检测，生成检测目标列表；
所述动态显著性检测单元，用于通过构建仿视网膜大细胞通路模型计算所述处理后的图像流中每个像素点的运动变化信息，通过确定每个所述像素点的亮度变化提取运动显著区域信息；
所述融合单元，用于通过融合所述检测目标列表的信息与所述运动显著区域信息，从所述检测目标列表中剔除虚警目标；
所述多目标跟踪单元，用于将剔除所述虚警目标后得到的检测结果作为观测值，将所述观测值输入多目标跟踪算法生成多目标跟踪列表。
3.根据权利要求2所述的用于无人机反制的类脑智能处理系统，其特征在于，所述融合单元，具体用于：
提取所述检测目标列表中每个检测目标的中心位置，并通过所述运动显著区域信息计算每个所述中心位置的峰值旁瓣比；
将每个所述峰值旁瓣比与预设的旁瓣比阈值进行比较，将大于所述旁瓣比阈值的峰值旁瓣比对应的检测目标作为所述虚警目标。
4.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述计算加速模块，具体用于：
将图像流中的图像进行灰度反转以生成反转图像，针对原始图像和所述反转图像进行两路跟踪；
基于卡尔曼滤波器将两路的跟踪结果进行融合，并通过所述卡尔曼滤波器对生成的融合跟踪结果进行平滑滤波。
5.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述图像采集处理模块的核心组件为现场可编程逻辑门阵列FPGA，所述图像采集处理模块的图像输入接口支持2路CameraLink Base输入，或者1路Medium模式、Full模式或Deca模式输入；
所述图像采集处理模块，具体用于对所述图像流进行图像去噪、局部增强和图像分割处理。
6.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述计算加速模块支持多个槽位，每个所述槽位用于连接对应的类脑计算芯片，每个所述类脑计算芯片支持8GB内存，所述计算加速模块进行整数运算的算力在128TOPS之上。
7.根据权利要求6所述的用于无人机反制的类脑智能处理系统，其特征在于，每个所述类脑计算芯片通过可插拔的方式与对应的槽位连接，所述多个类脑计算芯片呈环形排列。
8.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述接口模块，包括：多个视频输入接口、至少1个电源输入接口、多个以太网接口、多个USB接口、至少1个高清多媒体接口、至少1个电源按钮和至少1个串行通信接口，其中，
所述多个USB接口和所述至少1个高清多媒体接口，用于实现所述类脑智能处理系统的调试和设备维护；
所述至少1个串行通信接口，与所述处理器模块或所述系统管理模块连接，用于实现所述类脑智能处理系统的管理或维护。
9.根据权利要求1所述的用于无人机反制的类脑智能处理系统，其特征在于，所述系统管理模块，具体用于：
监测每个模块在运行过程中的运行状态信息，根据所述运行状态信息生成日志记录；
关断发生故障的模块，并控制排除故障后的模块进行复位和重试；
对每个模块进行过压保护、欠压保护和过流保护。
10.一种电子设备，其特征在于，包括如权利要求1-9中任一项所述的用于无人机反制的类脑智能处理系统。
CN202310410008.4A 2023-04-17 2023-04-17 一种用于无人机反制的类脑智能处理系统 Active CN116310742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310410008.4A CN116310742B (zh) 2023-04-17 2023-04-17 一种用于无人机反制的类脑智能处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310410008.4A CN116310742B (zh) 2023-04-17 2023-04-17 一种用于无人机反制的类脑智能处理系统

Publications (2)

Publication Number Publication Date
CN116310742A true CN116310742A (zh) 2023-06-23
CN116310742B CN116310742B (zh) 2023-11-28

Family

ID=86824213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310410008.4A Active CN116310742B (zh) 2023-04-17 2023-04-17 一种用于无人机反制的类脑智能处理系统

Country Status (1)

Country Link
CN (1) CN116310742B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN109583293A (zh) * 2018-10-12 2019-04-05 复旦大学 星载sar图像中的飞机目标检测与鉴别方法
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN111680713A (zh) * 2020-04-26 2020-09-18 中国科学院上海微系统与信息技术研究所 一种基于视觉检测的无人机对地目标跟踪与逼近方法
EP3839887A1 (fr) * 2019-12-16 2021-06-23 Bull SAS Procede et dispositif de calibrage d'un systeme de suivi collaboratif de cibles
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN114092840A (zh) * 2021-11-24 2022-02-25 四川大学锦江学院 一种应用于无人机中的类脑智能图像识别方法及装置
CN114817111A (zh) * 2022-04-28 2022-07-29 中国科学院计算技术研究所 支持多卡并行的嵌入式智能计算装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
US20190304105A1 (en) * 2018-04-03 2019-10-03 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN109583293A (zh) * 2018-10-12 2019-04-05 复旦大学 星载sar图像中的飞机目标检测与鉴别方法
EP3839887A1 (fr) * 2019-12-16 2021-06-23 Bull SAS Procede et dispositif de calibrage d'un systeme de suivi collaboratif de cibles
CN111680713A (zh) * 2020-04-26 2020-09-18 中国科学院上海微系统与信息技术研究所 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN114092840A (zh) * 2021-11-24 2022-02-25 四川大学锦江学院 一种应用于无人机中的类脑智能图像识别方法及装置
CN114817111A (zh) * 2022-04-28 2022-07-29 中国科学院计算技术研究所 支持多卡并行的嵌入式智能计算装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN SHU等: "《Face spoofing detection based on multi-scale color inversion dual-stream convolutional neural network》", 《EXPERT SYSTEM WITH APPLICATIONS》 *
詹建平 等: "《基于均值漂移和卡尔曼滤波的目标跟踪方法》", 《重庆理工大学学报(自然科学)》, vol. 24, no. 3 *

Also Published As

Publication number Publication date
CN116310742B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN110321853B (zh) 基于视频智能检测的分布式电缆防外破系统
US11227397B2 (en) Block-matching optical flow and stereo vision for dynamic vision sensors
CN110866480A (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN103595916A (zh) 一种双摄像头目标跟踪系统及其实现方法
CA2727767A1 (en) Apparatus and method of classifying movement of objects in a monitoring zone
CN105467423B (zh) 一种基于八卦限探针分布的加速器束流位置诊断系统及方法
CN112508865B (zh) 一种无人机巡检避障方法、装置、计算机设备和存储介质
CN109840454A (zh) 目标物定位方法、装置、存储介质以及设备
CN114666473A (zh) 耕地保护用视频监控方法、系统、终端及存储介质
CN105554354A (zh) 一种高清摄像头
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN116310742B (zh) 一种用于无人机反制的类脑智能处理系统
CN116563384A (zh) 一种图像采集装置标定方法、设备及计算机设备
Wu et al. HeightFormer: Explicit Height Modeling without Extra Data for Camera-only 3D Object Detection in Bird's Eye View
CN108777779A (zh) 一种视频拍摄设备的智能化装置、方法、介质及电子设备
KR20190006634A (ko) 광역 드론 운용을 위한 시스템, 방법 및 장치
CN116805234A (zh) 一种基于激光雷达及相机融合的仓库物资管控方法
Benet et al. Embedded low-level video processing for surveillance purposes
CN116721141A (zh) 自适应面部深度图生成
CN112969057A (zh) 一种5g mec分流的电力系统人员行为自动识别系统
Workman et al. Augmenting depth estimation with geospatial context
CN113639639A (zh) 位置数据的数据处理方法、装置及存储介质
CN206989822U (zh) 一种低空无人机干扰系统
CN107786845B (zh) 一种无人机控制系统
KR101441755B1 (ko) 이미지센서모듈 및 메인프로세싱모듈이 교체 가능한 스마트 카메라

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant