CN115471710A - 红外探测识别系统及方法 - Google Patents

红外探测识别系统及方法 Download PDF

Info

Publication number
CN115471710A
CN115471710A CN202211194557.4A CN202211194557A CN115471710A CN 115471710 A CN115471710 A CN 115471710A CN 202211194557 A CN202211194557 A CN 202211194557A CN 115471710 A CN115471710 A CN 115471710A
Authority
CN
China
Prior art keywords
infrared
image
sensing
module
image plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211194557.4A
Other languages
English (en)
Other versions
CN115471710B (zh
Inventor
操俊
胡小燕
曹静
汪志强
王伟平
杨丽君
刘松
赵书侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Information Science Research Institute
Original Assignee
CETC Information Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Information Science Research Institute filed Critical CETC Information Science Research Institute
Priority to CN202211194557.4A priority Critical patent/CN115471710B/zh
Publication of CN115471710A publication Critical patent/CN115471710A/zh
Application granted granted Critical
Publication of CN115471710B publication Critical patent/CN115471710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
    • G01J2005/202—Arrays
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本公开涉及图像识别技术领域，提供一种红外探测识别系统及方法，系统包括：感算一体红外探测模块，用于根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到红外图像的特征信息，调制权重通过利用预先采集的训练样本集，对预先设置的深度神经网络模型进行训练得到；图像处理模块，用于根据特征信息，基于训练好的深度神经网络模型对红外图像进行分类识别，得到红外图像的语义信息；语义解释处理转化模块，用于将语义信息转化为预设形式的信息，并将预设形式的信息传递给用户。本公开提高了卷积运算效率，加快了数据传输速度与数据处理速度，可应用于需长时间在线的红外图像采集、目标检测、分类与识别等实际应用中。

Description

红外探测识别系统及方法
技术领域
本公开涉及图像识别技术领域，特别涉及一种红外探测识别系统及方法。
背景技术
神经网络是人工智能研究领域的一种机器学习算法，基于神经网络的深度学习算法在很多研究领域如语音识别、图像识别、图像分割、自然语言处理等都取得了巨大的成功。然而，神经网络在应用过程中存在一个巨大障碍：基于神经网络的深度学习算法运行过程十分冗杂，其过于依赖云计算和数据中心的高算力大功耗计算机，使得它在边缘设备上的应用并不实用。
目前，在云端设备主要进行的是神经网络训练工作及推理工作，而边缘侧设备的部署主要是利用训练好的网络进行推理，边缘侧设备的算力和能耗会直接影响神经网络是否能够成功部署，因此，为达到较高的能效，网络压缩等算法以及硬件加速等方法被广泛采用。
卷积神经网络是当前用于图像处理的主流算法，该网络由输入层、卷积层、激活函数、池化层、全连接层组成，在这些层中，卷积层的运算量最大。传统利用卷积神经网络进行图像处理的方案，需要首先将探测器中每个光敏元信号进行数字化，获取数字红外图像，然后将整幅红外图像传输给图像处理硬件进行卷积运算。然而，该方案不仅需要较大的数据传输带宽、大量计算资源和较高的功耗，而且云端与边缘侧的配合使用也不能实时传输数据，极大地限制了卷积神经网络模型的在线更新速度。
发明内容
本公开旨在至少解决现有技术中存在的问题之一，提供一种红外探测识别系统及方法。
本公开的一个方面，提供了一种红外探测识别系统，包括：
感算一体红外探测模块，用于根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，其中，所述调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到；
图像处理模块，用于根据所述特征信息，基于训练好的所述深度神经网络模型对所述红外图像进行分类识别，得到所述红外图像的语义信息；
语义解释处理转化模块，用于将所述语义信息转化为预设形式的信息，并将所述预设形式的信息传递给用户。
可选的，所述感算一体红外探测模块，还用于根据动态配置的像面权重，获取样本红外图像的像面数据，得到所述训练样本集，其中，所述像面数据与所述样本红外图像的原始像面数据相同。
可选的，所述感算一体红外探测模块包括红外探测器阵列以及与所述红外探测器阵列电连接的感算一体处理芯片；
所述红外探测器阵列，用于基于所述像面权重或者所述调制权重，在所述感算一体处理芯片的作用下输出电流信号；
所述感算一体处理芯片，用于将所述像面权重或者所述调制权重动态配置至所述红外探测器阵列，并控制所述红外探测器阵列基于所述像面权重或者所述调制权重输出所述电流信号，得到所述训练样本集或者所述特征信息。
可选的，所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块，其中：
各行所述红外探测器的第一端通过对应的行输出线分别与所述偏置电压产生模块和所述控制模块电连接；
各列所述选通器件的第一端与对应列的所述红外探测器的第二端电连接，各列所述选通器件的第二端通过对应的列输出线与对应的放大转换模块电连接，各列所述选通器件的控制端与所述控制模块电连接；其中，
所述控制模块，用于控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；以及，
所述控制模块，还用于控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，以将所述像面权重或者所述调制权重动态配置至所述红外探测器阵列，并控制所述红外探测器阵列基于所述像面权重或者所述调制权重输出所述电流信号；
所述列放大转换模块，用于将所述电流信号放大，并将放大后的所述电流信号转换为电压信号，得到所述训练样本集或者所述特征信息。
可选的，所述选通器件采用MOS选通管，所述MOS选通管的漏极为所述选通器件的第一端，所述MOS选通管的源级为所述选通器件的第二端，所述MOS选通管的栅极为所述选通器件的控制端；
所述放大转换模块包括电容跨导放大器和采样保持电路，所述电容跨导放大器的输入端与对应的所述列输出线电连接，所述电容跨导放大器的输出端与所述采样保持电路的输入端电连接；
所述感算一体红外探测模块还包括模数转换器和缓冲器，所述模数转换器通过所述缓冲器与所述采样保持电路的输出端电连接。
本公开的另一个方面，提供了一种红外探测识别方法，应用于前文记载的红外探测识别系统。红外探测识别方法包括：
根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，其中，所述调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到；
根据所述特征信息，基于训练好的所述深度神经网络模型对所述红外图像进行分类识别，得到所述红外图像的语义信息；
将所述语义信息转化为预设形式的信息，并将所述预设形式的信息传递给用户。
可选的，所述利用预先采集的训练样本集，对预先设置的深度神经网络模型进行训练，包括：
基于预设的应用场景，将预设的像面权重动态配置至所述感算一体红外探测模块，通过所述感算一体红外探测模块获取样本红外图像的像面数据，得到所述训练样本集，其中，所述像面数据与所述样本红外图像的原始像面数据相同；
基于所述预设的应用场景，建立包括卷积层的深度神经网络模型，并设置所述卷积层的权重约束条件；
基于所述权重约束条件，利用所述训练样本集对所述深度神经网络模型进行训练，得到训练好的所述深度神经网络模型以及所述调制权重。
可选的，在所述感算一体红外探测模块包括红外探测器阵列以及与所述红外探测器阵列电连接的感算一体处理芯片时，
所述基于预设的应用场景，将预设的像面权重动态配置至所述感算一体红外探测模块，通过所述感算一体红外探测模块获取样本红外图像的像面数据，得到所述训练样本集，包括：
所述感算一体处理芯片基于所述预设的应用场景，将所述预设的像面权重动态配置至所述红外探测器阵列；
所述红外探测器阵列基于所述预设的像面权重，获取所述像面数据，在所述感算一体处理芯片的控制下输出电流信号；
所述感算一体处理芯片根据所述电流信号，得到所述训练样本集。
可选的，在所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列和控制模块时，
所述感算一体处理芯片基于所述预设的应用场景，将所述预设的像面权重动态配置至所述红外探测器阵列，包括：
所述控制模块基于所述预设的应用场景，控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；
所述控制模块控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，将所述像面权重动态配置至所述红外探测器阵列。
可选的，在所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块时，
所述根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，包括：
所述控制模块控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；
所述控制模块控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，将所述调制权重动态配置至所述红外探测器阵列；
所述红外探测器阵列基于所述调制权重和所述待识别的红外图像，在所述控制模块的控制下，输出对应的电流信号；
所述列放大转换模块将所述电流信号放大，并将放大后的所述电流信号转换为电压信号，得到所述特征信息。
本公开相对于现有技术而言，在进行卷积运算前无需进行模数转换，通过感算一体红外探测模块即可根据待识别的红外图像直接实现图像处理中的卷积运算，从而提高了卷积运算效率，解决了传统红外探测系统需要导出完整图像数据、数据吞吐量大、数据处理步骤多、计算复杂度高及精确度低的问题，减少了系统的数据传输量和数据处理量，加快了系统的数据传输速度与数据处理速度，可满足云端与边缘侧的配合使用，应用于需要长时间在线的红外图像采集、目标检测、分类与识别等实际应用中，如野外红外监测相机、智能头盔、边缘虚拟现实技术（Virtual Reality，VR）等。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本公开一实施方式提供的一种红外探测识别系统的结构示意图；
图2为本公开另一实施方式提供的感算一体红外探测模块的结构示意图；
图3为本公开另一实施方式提供的感算一体红外探测模块的阵列结构示意图；
图4为本公开另一实施方式提供的偏置电压产生模块的结构示意图；
图5为本公开另一实施方式提供的感算一体红外探测模块的电路原理图；
图6为本公开另一实施方式提供的一种红外探测识别方法的流程图；
图7为本公开另一实施方式提供的一种红外探测识别方法的流程图；
图8为本公开另一实施方式提供的红外探测器阵列单次权重配置的示意图。
具体实施方式
为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本公开的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本公开各实施方式中，为了使读者更好地理解本公开而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本公开所要求保护的技术方案。以下各个实施方式的划分是为了描述方便，不应对本公开的具体实现方式构成任何限定，各个实施方式在不矛盾的前提下可以相互结合相互引用。
本公开的一个实施方式涉及一种红外探测识别系统，如图1所示，包括感算一体红外探测模块101、图像处理模块102和语义解释处理转化模块103。
感算一体红外探测模块101，用于根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到红外图像的特征信息。其中，调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到。
图像处理模块102，用于根据特征信息，基于训练好的深度神经网络模型对红外图像进行分类识别，得到红外图像的语义信息。
具体的，深度神经网络模型可以是基于感算一体红外探测模块101和深度学习理论建立的用于图像处理的卷积神经网络模型，该模型可以包括卷积层、池化层、全连接层等。其中，卷积层的卷积运算可利用调制权重通过感算一体红外探测模块101实现，该调制权重即训练好的深度神经网络模型中卷积层的权重系数。池化层、全连接层等可通过图像处理模块102实现。图像处理模块102可以是现场可编程逻辑门阵列（Field ProgrammableGate Array，FPGA） /专用集成电路（Application Specific Integrated Circuit，ASIC）图像处理模块，也可以是其他图像处理模块，本领域技术人员可以根据实际需要进行选择。
语义解释处理转化模块103，用于将语义信息转化为预设形式的信息，并将预设形式的信息传递给用户。
具体的，预设形式的信息可以是影像、文字、语音等形式的信息，当然，预设形式的信息也可以是其他形式的信息，本实施方式对此并不限制。
本公开实施方式相对于现有技术而言，在进行卷积运算前无需进行模数转换，通过感算一体红外探测模块即可根据待识别的红外图像直接实现图像处理中的卷积运算，从而提高了卷积运算效率，解决了传统红外探测系统需要导出完整图像数据、数据吞吐量大、数据处理步骤多、计算复杂度高及精确度低的问题，减少了系统的数据传输量和数据处理量，加快了系统的数据传输速度与数据处理速度，可满足云端与边缘侧的配合使用，应用于需要长时间在线的红外图像采集、目标检测、分类与识别等实际应用中，如野外红外监测相机、智能头盔、边缘VR等。
示例性的，感算一体红外探测模块101，还用于根据动态配置的像面权重，获取样本红外图像的像面数据，得到训练样本集。其中，像面数据与样本红外图像的原始像面数据相同。
具体的，样本红外图像的原始像面数据指的是样本红外图像中各个像素对应的像元值。例如，样本红外图像中各个像素的像元值可表示为I x,y =I(x,y)，其中，(x,y)为像素在该样本红外图像的像面上的坐标位置。
像面权重，指的是获取到的样本红外图像的像面数据与样本红外图像的原始像面数据相同时，感算一体红外探测模块101所对应的权重系数。
本实施方式通过将像面权重动态配置至感算一体红外探测模块，可直接利用感算一体红外探测模块获取深度神经网络模型的训练样本集，从而无需通过配备额外的样本采集装置如普通红外探测器即可获取训练数据，消除了双相机配合使用引入的模型误差。
示例性的，感算一体红外探测模块101包括红外探测器阵列以及与红外探测器阵列电连接的感算一体处理芯片。
一并结合图2和图3，红外探测器阵列包括排布成阵列形式的多个红外探测器，用于基于像面权重或者调制权重，在感算一体处理芯片的作用下输出电流信号。
示例性的，红外探测器可以包括热敏或光敏电阻类器件。红外探测器作为感算一体红外探测模块的核心部件，在接收到红外热辐射信号后会发生电阻变化，从而利用包括热敏或光敏电阻类器件在内的红外探测器的光电阻特性实现红外热辐射信号的感知，通过包括热敏或光敏电阻类器件在内的红外探测器的电阻变化表征红外热辐射功率。
红外探测器的电阻可通过其电导来表征。例如，如图2和图3所示，在红外探测器阵列为m行n列时，第1行红外探测器的电导分别表示为g11、g12、g13、……、g1n，第2行红外探测器的电导分别表示为g21、g22、g23、……、g2n，第3行红外探测器的电导分别表示为g31、g32、g33、……、g3n，……，第m行红外探测器的电导分别表示为gm1、gm2、gm3、……、gmn。
感算一体处理芯片，用于将像面权重或者调制权重动态配置至红外探测器阵列，并控制红外探测器阵列基于像面权重或者调制权重输出电流信号，得到训练样本集或者特征信息。
具体的，感算一体处理芯片可以将像面权重或者调制权重以电压信号的方式配置至红外探测器阵列，使得红外探测器阵列能够基于电压信号形式的像面权重或者调制权重输出电流信号，从而得到训练样本集或者待识别的红外图像的特征信息。
需要说明的是，感算一体处理芯片可以通过互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）标准工艺实现。红外探测器阵列与感算一体处理芯片可以通过后道工艺方式实现单片互连集成。
示例性的，如图2所示，感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块。
各行红外探测器的第一端通过对应的行输出线分别与偏置电压产生模块和控制模块电连接。也就是说，如图2所示，每个红外探测器的第一端均通过对应的行输出线分别与偏置电压产生模块和控制模块电连接。
各列选通器件的第一端与对应列的红外探测器的第二端电连接，各列选通器件的第二端通过对应的列输出线与对应的放大转换模块电连接，各列选通器件的控制端与控制模块电连接。
偏置电压产生模块用于为红外探测器阵列提供偏置电压，该偏置电压可配置为像面权重或者调制权重，并通过控制模块配置至红外探测器阵列。
示例性的，如图4所示，偏置电压产生模块可以包括基准电压产生模块和数模转换器（DAC）。基准电压产生模块产生基准电压，基准电压通过数模转换器转换为可编程模拟电压，可编程模拟电压在控制模块的控制下配置至对应的行输出线，以为各行红外探测器提供对应的偏置电压。
例如，如图4所示，在红外探测器阵列为m行n列时，第1、2、……、m行的红外探测器分别对应偏置电压Vsk1、Vsk2、……、Vskm。再例如，如图2和图3所示，偏置电压产生模块可以分别为各行红外探测器提供偏置电压Vsk1、Vsk2、Vsk3、……、Vskm，各列红外探测器对应的列输出线上的电流信号可分别表示为I1、I2、I3、……、In。
如图2所示，选通器件阵列包括排布成阵列形式的多个选通器件，且每个选通器件分别对应红外探测器阵列中的一个红外探测器。也就是说，选通器件阵列中的选通器件与红外探测器阵列中的红外探测器一一对应，组成阵列交叉结构。在阵列交叉结构中，每个红外探测器的第一端均与对应的行输出线电连接，每个红外探测器的第二端均与其对应的选通器件的第一端电连接，每个选通器件的第二端均与其对应的列输出线电连接，每个选通器件的控制端均与控制模块电连接。
选通器件用于在控制模块的控制下，按照预设的选通方式选通，通过偏置以及选通控制对偏置电压进行调节，并将调节后的偏置电压配置至对应的红外探测器，从而实现将调节后的偏置电压作为像面权重或者调制权重配置至对应的红外探测器，完成权重信息的配置。需要说明的是，预设的选通方式可以根据实际需要进行设置，本实施方式对此并不限制。
示例性的，如图3所示，选通器件可以采用MOS选通管。MOS选通管组成的选通器件阵列与红外探测器阵列组成感算一体交叉阵列结构。MOS选通管的漏极为选通器件的第一端，与对应的红外探测器的第二端电连接。MOS选通管的源级为选通器件的第二端，通过对应的列输出线与对应的放大转换模块电连接。MOS选通管的栅极为选通器件的控制端，与控制模块电连接，可在控制模块的控制下实现红外探测器的选通，并可对红外探测器输出的电流进行微调。
本实施方式将MOS选通管作为选通器件，可以减小选通器件阵列的尺寸和重量，进一步降低能耗，提高效能比。
控制模块用于控制偏置电压产生模块向红外探测器阵列施加偏置电压。具体的，控制模块可以通过时序将偏置电压配置至行输出线，从而通过行输出线向红外探测器阵列施加偏置电压。
控制模块，还用于控制选通器件阵列按照预设的选通方式选通，对偏置电压进行调节，以将像面权重或者调制权重动态配置至红外探测器阵列，并控制红外探测器阵列基于像面权重或者调制权重输出电流信号。
列放大转换模块，用于将电流信号放大，并将放大后的电流信号转换为电压信号，得到训练样本集或者特征信息。具体的，如图2和图3所示，列放大转换模块包括多个放大转换模块，每个放大转换模块分别与各列选通器件相对应，并通过对应的列输出线与对应列的选通器件的第二端电连接。各个放大转换模块可以分别将对应的列输出线上的电流信号进行放大，并将放大后的电流信号转换为电压信号，从而实现将列输出线上的电流信号I1、I2、I3、……、In放大，并将放大后的电流信号转换为电压信号，得到训练样本集或者特征信息。
本实施方式进一步减少了系统的数据传输量和数据处理量，节省了数据传输带宽，加快了系统的数据传输速度与数据处理速度。
示例性的，如图5所示，放大转换模块包括电容跨导放大器和采样保持电路，电容跨导放大器的输入端与对应的列输出线电连接，电容跨导放大器的输出端与采样保持电路的输入端电连接。
具体的，电容跨导放大器用于将列输出线上的电流信号放大，并将放大后的电流信号转换为电压信号。如图5所示，采样保持电路包括采样电容和开关（图中并未标出），用于在对电容跨导放大器输出的电压信号进行模数转换前，保持电压信号的稳定性，从而提高模数转换的精度。
示例性的，一并结合图2，感算一体红外探测模块还包括模数转换器（ADC）和缓冲器（图中并未示出），模数转换器通过缓冲器与采样保持电路（图中并未示出）的输出端电连接。
具体的，一并结合图5，采样保持电路输出电压信号Vout，电压信号Vout经缓冲器作用后输入模数转换器，从而将电压信号Vout转换为数字信号，实现模数转换。
通过在采样保持电路和模数转换器之间设置缓冲器，可以增大驱动能力，提高带负载的能力，从而提高信号质量，进一步提高模数转换的精度。
一并结合图3和图5，下面对图2所示的感算一体红外探测模块的电路原理进行说明。
红外探测器阵列中各个红外探测器的第一端通过对应的行输出线分别与偏置电压产生模块和控制模块电连接，以使偏置电压产生模块在控制模块的控制下产生偏置电压Vsk1、Vsk2、Vsk3、……、Vskm，并通过对应的行输出线将偏置电压Vsk1、Vsk2、Vsk3、……、Vskm分别配置至对应行的红外探测器。
在选通器件阵列中的选通器件为MOS选通管时，各个MOS选通管的漏极分别与对应的红外探测器的第二端电连接，各个MOS选通管的源极分别与对应的列输出线电连接，各个MOS选通管的栅极分别与控制模块电连接，控制模块将栅极电压VFID1、……、VFIDm分别配置至对应行的MOS选通管，从而控制各个MOS选通管按照预设的选通方式选通，对偏置电压进行调节，并将调节后的偏置电压配置至对应的红外探测器。
各个列输出线分别与对应的放大转换模块中的电容跨导放大器的输入端电连接，各个电容跨导放大器的输出端分别与对应的采样保持电路的输入端电连接，采样保持电路的输出端通过缓冲器与模数转换器电连接，从而通过各个电容跨导放大器分别对各个列输出线输出的电流信号进行放大并转换为电压信号，并通过采样保持电路、缓冲器和模数转换器实现电压信号的数字量化。
下面结合图2对感算一体红外探测模块实现卷积运算的计算原理进行说明。
将红外探测器阵列中第i行第j列的红外探测器的电导表示为g ij ，i=1,2,…,m表示红外探测器阵列中的行号，m表示红外探测器阵列的行数，j=1,2,…,n表示红外探测器阵列中的列号，n表示红外探测器阵列的列数。即，红外探测器阵列的规模为m×n，第1行红外探测器的电导分别表示为g11、g12、g13、……、g1n，第2行红外探测器的电导分别表示为g21、g22、g23、……、g2n，第3行红外探测器的电导分别表示为g31、g32、g33、……、g3n，……，第m行红外探测器的电导分别表示为gm1、gm2、gm3、……、gmn。其中，g ij 的大小可根据对应的红外探测器探测到的红外热辐射信号确定。
将红外探测器阵列中第i行红外探测器的两端电压表示为V ini ，则第1,2,…,m行红外探测器的两端电压可分别表示为V in1、V in2、……、V inm。两端电压V ini 即为第i行红外探测器对应的调节后的偏置电压。
将红外探测器阵列中第j列红外探测器对应的列输出线上的电流信号表示为I j ，则第1,2,…, n列红外探测器对应的列输出线上的电流信号可分别表示为I1、I2、……、In。根据基尔霍夫定律，列电流信号I1、I2、……、In可分别表示为：
Figure 801388DEST_PATH_IMAGE001
将根据基尔霍夫定律得到的电流信号转换为矩阵形式，可表示为下式（1）：
Figure 22285DEST_PATH_IMAGE002
（1）。
特别的，为了实现卷积运算中的关键步骤即矩阵乘法运算，可以通过为红外探测器阵列配置多组两端电压即调节后的偏置电压实现。
示例性的，令k=1,2,…,t，t表示预先设置的组数，将红外探测器阵列中第i行红外探测器的第k组两端电压表示为V inki ，将红外探测器阵列中第j列红外探测器对应的列输出线上的第k组电流信号表示为I jk 。则，第1,2,…,m行红外探测器的第1组两端电压可表示为V in11、V in12、……、V in1m，第1,2,…,m行红外探测器的第2组两端电压可表示为V in21、V in22、……、V in2m，……，第1,2,…,m行红外探测器的第t组两端电压可表示为V int1、V int2、……、V intm。第1,2,…, n列红外探测器对应的列输出线上的第1组电流信号可表示为I11、I21、……、In1，第1,2,…, n列红外探测器对应的列输出线上的第2组电流信号可表示为I12、I22、……、In2，……，第1,2,…, n列红外探测器对应的列输出线上的第t组电流信号可表示为I1t 、I2t 、……、Int 。
各组电流信号可以根据基尔霍夫定律基于上式（1）得到，将各组电流信号结合在一起，可表示为下式（2）：
Figure 516851DEST_PATH_IMAGE003
（2）。
通过将多组两端电压和多种选通方式进行组合，还可以实现卷积运算涉及的多种权重信息的配置，从而基于配置的权重信息，完成对应的卷积运算，得到经过卷积运算的处理结果。
本公开的另一个实施方式涉及一种红外探测识别方法，应用于本公开上述实施方式提供的红外探测识别系统。红外探测识别系统的具体结构，可以参见上述关于红外探测识别系统的实施方式所述，此处不再赘述。
如图6所示，红外探测识别方法包括以下步骤：
步骤601，根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到红外图像的特征信息，其中，调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到。
步骤602，根据特征信息，基于训练好的深度神经网络模型对红外图像进行分类识别，得到红外图像的语义信息。
步骤603，将语义信息转化为预设形式的信息，并将预设形式的信息传递给用户。
本公开实施方式相对于现有技术而言，在进行卷积运算前无需进行模数转换，通过感算一体红外探测模块即可根据待识别的红外图像直接实现图像处理中的卷积运算，从而提高了卷积运算效率，解决了传统红外探测系统需要导出完整图像数据、数据吞吐量大、数据处理步骤多、计算复杂度高及精确度低的问题，减少了系统的数据传输量和数据处理量，加快了系统的数据传输速度与数据处理速度，可满足云端与边缘侧的配合使用，应用于需要长时间在线的红外图像采集、目标检测、分类与识别等实际应用中，如野外红外监测相机、智能头盔、边缘VR等。
示例性的，利用预先采集的训练样本集，对预先设置的深度神经网络模型进行训练，包括：
基于预设的应用场景，将预设的像面权重动态配置至感算一体红外探测模块，通过感算一体红外探测模块获取样本红外图像的像面数据，得到训练样本集。其中，像面数据与样本红外图像的原始像面数据相同。
基于预设的应用场景，建立包括卷积层的深度神经网络模型，并设置卷积层的权重约束条件。由于配置至感算一体红外探测模块的像面权重的范围会受到硬件条件的限制，因此，需要设置权重约束条件，从而将像面权重的范围设置在硬件条件允许的范围内。
基于权重约束条件，利用训练样本集对深度神经网络模型进行训练，得到训练好的深度神经网络模型以及调制权重。
本实施方式通过将像面权重动态配置至感算一体红外探测模块，可直接利用感算一体红外探测模块获取深度神经网络模型的训练样本集，从而无需通过配备额外的样本采集装置如普通红外探测器即可获取训练数据，消除了双相机配合使用引入的模型误差。
示例性的，在感算一体红外探测模块包括红外探测器阵列以及与红外探测器阵列电连接的感算一体处理芯片时，基于预设的应用场景，将预设的像面权重动态配置至感算一体红外探测模块，通过感算一体红外探测模块获取样本红外图像的像面数据，得到训练样本集，包括：
感算一体处理芯片基于预设的应用场景，将预设的像面权重动态配置至红外探测器阵列；红外探测器阵列基于预设的像面权重，获取像面数据，在感算一体处理芯片的控制下输出电流信号；感算一体处理芯片根据电流信号，得到训练样本集。
示例性的，在感算一体处理芯片包括偏置电压产生模块、选通器件阵列和控制模块时，感算一体处理芯片基于预设的应用场景，将预设的像面权重动态配置至红外探测器阵列，包括：
控制模块基于预设的应用场景，控制偏置电压产生模块向红外探测器阵列施加偏置电压；控制模块控制选通器件阵列按照预设的选通方式选通，对偏置电压进行调节，将像面权重动态配置至红外探测器阵列。
本实施方式进一步减少了系统的数据传输量和数据处理量，节省了数据传输带宽，加快了系统的数据传输速度与数据处理速度。
示例性的，在感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块时，根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到红外图像的特征信息，包括：
控制模块控制偏置电压产生模块向红外探测器阵列施加偏置电压；
控制模块控制选通器件阵列按照预设的选通方式选通，对偏置电压进行调节，将调制权重动态配置至红外探测器阵列；
红外探测器阵列基于调制权重和待识别的红外图像，在控制模块的控制下，输出对应的电流信号；
列放大转换模块将电流信号放大，并将放大后的电流信号转换为电压信号，得到特征信息。
本实施方式进一步减少了系统的数据传输量和数据处理量，节省了数据传输带宽，加快了系统的数据传输速度与数据处理速度。
示例性的，在列放大转换模块包括多个放大转换模块，每个放大转换模块分别与各列选通器件相对应且通过对应的列输出线与对应列的选通器件的第二端电连接时，可以通过各个放大转换模块分别将各个列输出线输出的电流信号进行放大，并将放大后的电流信号转换为电压信号。
示例性的，在放大转换模块包括电容跨导放大器和采样保持电路时，可以通过电容跨导放大器将对应的列输出线输出的电流信号进行放大，并将放大后的电流信号转换为电压信号。
示例性的，在感算一体红外探测模块还包括模数转换器和缓冲器时，红外探测识别方法还包括以下步骤：
将列放大转换模块输出的电压信号经缓冲器作用后输入模数转换器，得到电压信号对应的数字信号。
为使本领域技术人员能够更好地理解上述实施方式，下面以一具体示例进行说明。
一并结合图2、图3、图4、图5和图7，一种红外探测识别方法，包括以下步骤：
步骤一：搭建红外探测识别系统，进行系统配置，采集训练样本集。
具体的，红外探测识别系统包括感算一体红外探测模块、FPGA/ASIC图像处理模块和语义解释处理转化模块。
感算一体红外探测模块包括红外探测器阵列、偏置电压产生模块、MOS选通管阵列、列放大转换模块、控制模块、模数转换器、缓冲器。其中，放大转换模块包括电容跨导放大器和采样保持电路。红外探测器为热敏或光敏电阻类器件。
红外探测器阵列中各个红外探测器的第一端通过对应的行输出线分别与偏置电压产生模块和控制模块电连接，以使偏置电压产生模块在控制模块的控制下产生偏置电压Vsk1、Vsk2、Vsk3、……、Vskm，并通过对应的行输出线将偏置电压Vsk1、Vsk2、Vsk3、……、Vskm分别配置至对应行的红外探测器。
MOS选通管阵列与红外探测器阵列组成感算一体交叉阵列结构。各个MOS选通管的漏极分别与对应的红外探测器的第二端电连接，各个MOS选通管的源极分别与对应的列输出线电连接，各个MOS选通管的栅极分别与控制模块电连接，控制模块将栅极电压VFID1、……、VFIDm分别配置至对应行的MOS选通管，从而控制各个MOS选通管按照预设的选通方式选通，对偏置电压进行调节，并将调节后的偏置电压配置至对应的红外探测器。
各个列输出线分别与对应的放大转换模块中的电容跨导放大器的输入端电连接，各个电容跨导放大器的输出端分别与对应的采样保持电路的输入端电连接，采样保持电路的输出端通过缓冲器与模数转换器电连接，从而通过各个电容跨导放大器分别对各个列输出线输出的电流信号进行放大并转换为电压信号，并通过采样保持电路、缓冲器和模数转换器实现电压信号的数字量化。
基于预设的应用场景，对上述感算一体红外探测模块进行系统配置，将预设的像面权重动态配置至红外探测器阵列，红外探测器阵列基于配置的像面权重，获取样本红外图像的像面数据，且获取到的像面数据与样本红外图像的原始像面数据相同，根据获取到的像面数据即可得到训练样本集。
在将预设的像面权重动态配置至红外探测器阵列时，设样本红外图像的原始像面数据即各个像素对应的像元值为I x,y = I(x,y)，其中，(x,y)为像素在该样本红外图像的像面上的坐标位置，则，由于红外探测器阵列输出的数据为多像素加权后的和值，以3×3卷积核为例，红外探测器阵列单次单通道像素输出的值为I' x,y = W(x-1,y) I(x-1,y)+W(x,y) I(x,y)+ W(x+1,y)I(x+1,y)，因此，可以将像面权重W(x-1,y)、W(x+1,y)均设置为0且将像面权重W(x,y)设置为1，即令W(x-1,y)= W(x+1,y)=0、W(x,y)=1，如图8所示，从而使I' x,y 与I x,y 相同。通过将预设的像面权重动态配置至红外探测器阵列，可实现样本红外图像整个像面数据的获取。对于样本红外图像像面边界位置上像元值，可以根据像元所在的具体位置，通过配置相应的像面权重进行获取。
步骤二：根据感算一体红外探测模块应用于预设的应用场景时像面权重配置的要求，建立包括卷积层的深度神经网络模型。
具体的，由于配置至感算一体红外探测模块的像面权重的范围会受到硬件条件的限制，因此，基于预设的应用场景，建立包括卷积层的深度神经网络模型，并设置卷积层的权重约束条件，从而将像面权重的范围设置在硬件条件允许的范围内，建立深度神经网络模型的参数约束。
步骤三：利用训练样本集对深度神经网络模型进行训练，得到训练好的深度神经网络模型对应的模型参数即权重系数。
具体的，基于权重约束条件，利用步骤一得到的训练样本集对步骤二建立的深度神经网络模型进行训练，得到训练好的深度神经网络模型及其对应的模型参数，该模型参数中包括卷积层对应的调制权重。
步骤四：将调制权重动态配置至红外探测器阵列，使红外探测器阵列直接输出待识别的红外图像的特征信息对应的模拟信号。
具体的，通过改变施加在红外探测器阵列上的偏置电压，将步骤三得到的调制权重动态配置至红外探测器阵列，从而实现多区域的并行运算，进而实现待识别的红外图像的整个像面的卷积运算。用I表示待识别的红外图像，W表示深度神经网络模型所采用的卷积核，C表示卷积后的红外图像即红外图像的特征信息，则有C=W*I。
步骤五：将红外图像的特征信息经模数转换器进行数字化后，将数字化的特征信息传输至配置好的FPGA/ASIC图像处理模块，基于训练好的深度神经网络模型对红外图像进行分类识别。
具体的，根据步骤三得到的训练好的深度神经网络模型对应的模型参数，将卷积层对应的调制权重之外的模型参数配置至FPGA/ASIC图像处理模块，使配置好的FPGA/ASIC图像处理模块根据数字化的特征信息对待识别的红外图像进行分类识别，完成目标分类识别任务，得到红外图像的语义信息。由于前述步骤使得数字化的特征信息的数据量极大的减少，因此，模数转换和数据传输时间得到了极大的缩短，从而提高了目标检测与识别速度。
步骤六：将步骤五分类识别得到的语义信息转化为影像、文字或语音等形式传递给用户。
本领域的普通技术人员可以理解，上述各实施方式是实现本公开的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本公开的精神和范围。

Claims (10)

1.一种红外探测识别系统，其特征在于，所述红外探测识别系统包括：
感算一体红外探测模块，用于根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，其中，所述调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到；
图像处理模块，用于根据所述特征信息，基于训练好的所述深度神经网络模型对所述红外图像进行分类识别，得到所述红外图像的语义信息；
语义解释处理转化模块，用于将所述语义信息转化为预设形式的信息，并将所述预设形式的信息传递给用户。
2.根据权利要求1所述的红外探测识别系统，其特征在于，所述感算一体红外探测模块，还用于根据动态配置的像面权重，获取样本红外图像的像面数据，得到所述训练样本集，其中，所述像面数据与所述样本红外图像的原始像面数据相同。
3.根据权利要求2所述的红外探测识别系统，其特征在于，所述感算一体红外探测模块包括红外探测器阵列以及与所述红外探测器阵列电连接的感算一体处理芯片；
所述红外探测器阵列，用于基于所述像面权重或者所述调制权重，在所述感算一体处理芯片的作用下输出电流信号；
所述感算一体处理芯片，用于将所述像面权重或者所述调制权重动态配置至所述红外探测器阵列，并控制所述红外探测器阵列基于所述像面权重或者所述调制权重输出所述电流信号，得到所述训练样本集或者所述特征信息。
4.根据权利要求 3所述的红外探测识别系统，其特征在于，所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块，其中：
各行所述红外探测器的第一端通过对应的行输出线分别与所述偏置电压产生模块和所述控制模块电连接；
各列所述选通器件的第一端与对应列的所述红外探测器的第二端电连接，各列所述选通器件的第二端通过对应的列输出线与对应的放大转换模块电连接，各列所述选通器件的控制端与所述控制模块电连接；其中，
所述控制模块，用于控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；以及，
所述控制模块，还用于控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，以将所述像面权重或者所述调制权重动态配置至所述红外探测器阵列，并控制所述红外探测器阵列基于所述像面权重或者所述调制权重输出所述电流信号；
所述列放大转换模块，用于将所述电流信号放大，并将放大后的所述电流信号转换为电压信号，得到所述训练样本集或者所述特征信息。
5.根据权利要求 4所述的红外探测识别系统，其特征在于，
所述选通器件采用MOS选通管，所述MOS选通管的漏极为所述选通器件的第一端，所述MOS选通管的源级为所述选通器件的第二端，所述MOS选通管的栅极为所述选通器件的控制端；
所述放大转换模块包括电容跨导放大器和采样保持电路，所述电容跨导放大器的输入端与对应的所述列输出线电连接，所述电容跨导放大器的输出端与所述采样保持电路的输入端电连接；
所述感算一体红外探测模块还包括模数转换器和缓冲器，所述模数转换器通过所述缓冲器与所述采样保持电路的输出端电连接。
6.一种红外探测识别方法，其特征在于，应用于权利要求1至5任一项所述的红外探测识别系统，所述红外探测识别方法包括：
根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，其中，所述调制权重通过利用预先采集的训练样本集，对预先设置的包括卷积层的深度神经网络模型进行训练得到；
根据所述特征信息，基于训练好的所述深度神经网络模型对所述红外图像进行分类识别，得到所述红外图像的语义信息；
将所述语义信息转化为预设形式的信息，并将所述预设形式的信息传递给用户。
7.根据权利要求6所述的红外探测识别方法，其特征在于，所述利用预先采集的训练样本集，对预先设置的深度神经网络模型进行训练，包括：
基于预设的应用场景，将预设的像面权重动态配置至所述感算一体红外探测模块，通过所述感算一体红外探测模块获取样本红外图像的像面数据，得到所述训练样本集，其中，所述像面数据与所述样本红外图像的原始像面数据相同；
基于所述预设的应用场景，建立包括卷积层的深度神经网络模型，并设置所述卷积层的权重约束条件；
基于所述权重约束条件，利用所述训练样本集对所述深度神经网络模型进行训练，得到训练好的所述深度神经网络模型以及所述调制权重。
8.根据权利要求7所述的红外探测识别方法，其特征在于，在所述感算一体红外探测模块包括红外探测器阵列以及与所述红外探测器阵列电连接的感算一体处理芯片时，
所述基于预设的应用场景，将预设的像面权重动态配置至所述感算一体红外探测模块，通过所述感算一体红外探测模块获取样本红外图像的像面数据，得到所述训练样本集，包括：
所述感算一体处理芯片基于所述预设的应用场景，将所述预设的像面权重动态配置至所述红外探测器阵列；
所述红外探测器阵列基于所述预设的像面权重，获取所述像面数据，在所述感算一体处理芯片的控制下输出电流信号；
所述感算一体处理芯片根据所述电流信号，得到所述训练样本集。
9.根据权利要求8所述的红外探测识别方法，其特征在于，在所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列和控制模块时，
所述感算一体处理芯片基于所述预设的应用场景，将所述预设的像面权重动态配置至所述红外探测器阵列，包括：
所述控制模块基于所述预设的应用场景，控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；
所述控制模块控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，将所述像面权重动态配置至所述红外探测器阵列。
10.根据权利要求6至9任一项所述的红外探测识别方法，其特征在于，在所述感算一体处理芯片包括偏置电压产生模块、选通器件阵列、列放大转换模块和控制模块时，
所述根据动态配置的调制权重对待识别的红外图像进行卷积运算，得到所述红外图像的特征信息，包括：
所述控制模块控制所述偏置电压产生模块向所述红外探测器阵列施加偏置电压；
所述控制模块控制所述选通器件阵列按照预设的选通方式选通，对所述偏置电压进行调节，将所述调制权重动态配置至所述红外探测器阵列；
所述红外探测器阵列基于所述调制权重和所述待识别的红外图像，在所述控制模块的控制下，输出对应的电流信号；
所述列放大转换模块将所述电流信号放大，并将放大后的所述电流信号转换为电压信号，得到所述特征信息。
CN202211194557.4A 2022-09-29 2022-09-29 红外探测识别系统及方法 Active CN115471710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211194557.4A CN115471710B (zh) 2022-09-29 2022-09-29 红外探测识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211194557.4A CN115471710B (zh) 2022-09-29 2022-09-29 红外探测识别系统及方法

Publications (2)

Publication Number Publication Date
CN115471710A true CN115471710A (zh) 2022-12-13
CN115471710B CN115471710B (zh) 2023-08-15

Family

ID=84334121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211194557.4A Active CN115471710B (zh) 2022-09-29 2022-09-29 红外探测识别系统及方法

Country Status (1)

Country Link
CN (1) CN115471710B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050194539A1 (en) * 2004-03-05 2005-09-08 Ditaranto Gerard Method for improving measurement accuracy of infrared imaging radiometers
US20060186338A1 (en) * 2004-03-05 2006-08-24 Ditaranto Gerard Method for improving measurement accuracy of infrared imaging radiometers
CN101473439A (zh) * 2006-04-17 2009-07-01 全视Cdm光学有限公司 阵列成像系统及相关方法
CN102289819A (zh) * 2011-07-27 2011-12-21 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
CN104867169A (zh) * 2015-05-18 2015-08-26 北京航空航天大学 一种基于gpu的红外传感器物理效应实时成像仿真方法
CN112949848A (zh) * 2021-03-19 2021-06-11 清华大学 光感算一体化的显示单元、显示阵列及其操作方法、设备
CN114187484A (zh) * 2021-11-29 2022-03-15 中山大学 传感器感应图像识别方法、系统、装置及存储介质
CN114199374A (zh) * 2021-11-22 2022-03-18 复旦大学 一种感算一体的单光子成像芯片及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050194539A1 (en) * 2004-03-05 2005-09-08 Ditaranto Gerard Method for improving measurement accuracy of infrared imaging radiometers
US20060186338A1 (en) * 2004-03-05 2006-08-24 Ditaranto Gerard Method for improving measurement accuracy of infrared imaging radiometers
CN101473439A (zh) * 2006-04-17 2009-07-01 全视Cdm光学有限公司 阵列成像系统及相关方法
CN102289819A (zh) * 2011-07-27 2011-12-21 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
CN104867169A (zh) * 2015-05-18 2015-08-26 北京航空航天大学 一种基于gpu的红外传感器物理效应实时成像仿真方法
CN112949848A (zh) * 2021-03-19 2021-06-11 清华大学 光感算一体化的显示单元、显示阵列及其操作方法、设备
CN114199374A (zh) * 2021-11-22 2022-03-18 复旦大学 一种感算一体的单光子成像芯片及方法
CN114187484A (zh) * 2021-11-29 2022-03-15 中山大学 传感器感应图像识别方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN115471710B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Posch et al. Retinomorphic event-based vision sensors: bioinspired cameras with spiking output
CN110443298B (zh) 一种基于云-边缘协同计算的ddnn及其构建方法和应用
KR20210154502A (ko) 부동 소수점 연산을 수행하는 뉴럴 네트워크 장치 및 그의 동작 방법
US11989637B2 (en) System and method for invertible wavelet layer for neural networks
CN103875180A (zh) 用于动态视觉传感器中的时间微分光感测系统的低失配和低功耗互阻抗增益电路
US11694314B2 (en) Digital foveation for machine vision
KR20220010362A (ko) 뉴럴 네트워크 장치 및 그의 동작 방법
WO2022115704A1 (en) Machine learning model training using an analog processor
CN115471917B (zh) 手势探测识别系统及方法
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN109886160B (zh) 一种非限定条件下的人脸识别方法
US9825132B2 (en) Systems and methods for filtering and computation using tunneling transistors
CN115471710B (zh) 红外探测识别系统及方法
CN110942040A (zh) 一种基于环境光的手势识别系统和方法
KR102658478B1 (ko) 앙상블 기반의 신경망을 이용한 행동 인식 방법
US7164794B2 (en) Unconstrained handwriting recognition
CN115295544B (zh) 红外感算一体芯片及其工作方法
CN113612942B (zh) 一种卷积视觉图像传感器
WO2018153112A1 (zh) 用于图像处理的装置
US20180300612A1 (en) Neuromorphic device and a synapse network including a post-synaptic neuron having a subtracting circuit
Tegin et al. Transformation-Invariant Over-the-Air Combining for Multi-Sensor Wireless Inference
Fang A smart vision system-on-a-chip design based on programmable neural processor integrated with active pixel sensor
KR20220141652A (ko) 멀티-비트 연산 장치 및 방법
Fiesler et al. Design of neural network-based microchip for color segmentation
Chen et al. Bioinspired in-sensor vision processing network for action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant