CN104463114A - 一种用于图像捕获和目标快速识别的方法与嵌入式设备 - Google Patents

Abstract

一种用于图像捕获和目标快速识别的方法与嵌入式设备，该设备包括：用于接收视频信号的输入端口以及用于捕获图像并识别目标的识别反应系统，其中输入端口包括视频采集端口和数字图像输入端口两部分，识别反应系统包括预处理模块和识别模块，该设备可应用于智能家居和无人探测等领域，实现了无人监控时对图像或视频中的目标进行快速识别并根据外部设备需求发送反应信号的功能，该设备将目标识别运算从计算机移植到了嵌入式环境下，减少了传输损耗，同时使原本仅具有数据采集功能的嵌入式设备更加智能。

Description

一种用于图像捕获和目标快速识别的方法与嵌入式设备

技术领域

本发明属于嵌入式技术领域和目标识别技术领域，特别涉及一种用于图像捕获和目标快速识别的方法与嵌入式设备。

背景技术

在智能硬件领域、无人探测领域中，迅速捕获有用图像并检测图像中的目标进而快速识别并根据用户设置做出快速反应的技术日趋重要。虽然目标识别技术特别是人脸识别、行人目标识别技术、车辆目标识别技术等已经逐步得以应用，但是在这些技术的实际商业化过程中多数应用在诸如个人计算机、服务器、工作站等通用设备上。这些在通用设备上实现的解决方案为了获得好的识别效果对图像的质量以及设备的硬件配置有很高的要求，成本高并且维护难度大。对于需要作出快速反应的远程设备，这些在本地通用设备上实现的方案会因为传输导致延迟，而且视频采集和存储的功效也较低。因此存在着对于特制的目标识别反应设备的需求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种用于图像捕获和目标快速识别的方法与嵌入式设备，设备包括用于接收视频信号的输入端口和用于捕获图像并识别目标的识别反应系统，处理器系统为以识别核心为主的嵌入式环境，本发明将输入端口和识别反应系统集成于智能家居、无人探测等领域中使用的智能处理设备中，其中输入端口包括视频采集端口和数字图像输入端口两部分，识别反应系统包括预处理模块和识别模块。

一种用于图像捕获和目标快速识别的方法，包括：

接收视频信号或单帧可见光数字图像信号以及红外数字图像信号的捕获和压缩指令，所述指令是从与识别反应系统相分离的外部控制器接收的；

基于所述指令，捕获视频信号或单帧可见光数字图像信号以及捕获红外数字图像信号；

基于所述指令要求的反应类型，对所述视频信号或单帧可见光数字图像信号以及红外数字图像信号进行压缩处理，在压缩处理之后进行有效目标识别，在获得目标信息之后生成反应信号，所述目标信息表示与嵌入式设备相分离的外部控制器需要的目标在任意时刻的状态；

将反应信号发送给与嵌入式设备相分离的外部控制器。

所述指令要求的反应类型，包含所述视频信号或单帧可见光数字图像信号以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与嵌入式设备相分离的外部控制器需要从所述视频信号或者单帧可见光数字图像信号以及红外数字图像信号中获得的目标类型以及根据目标信息作出的动作类型。

所述压缩处理，包含所述视频信号或单帧可见光数字图像信号中的至少一个以及红外数字图像信号压缩成有损格式；或者包含所述视频信号或单帧可见光数字图像信号以及红外数字图像信号根据所述指令要求的反应类型压缩成待识别格式；所述待识别格式被配置为所述视频信号或单帧可见光数字图像信号以及红外数字图像信号根据所述指令要求的反应类型保留应变量、内容或者纹理特征中的至少一个；所述有效目标识别包含根据所述指令要求的反应类型，对所述视频信号或单帧可见光数字图像信号以及红外数字图像信号中进行图像处理识别符合所述目标类型的目标，整理目标信息；所述反应信号包含根据所述指令要求的反应类型和所述目标信息发送给与嵌入式设备相分离的外部控制器使得其根据所述指令要求的反应类型进行相应的动作的数字信号。

本发明还提供了一种用于图像捕获和目标快速识别的嵌入式设备，包括：

若干输入端口110，被配置为接收包含视频信号或单帧可见光数字图像信号以及红外数字图像信号的多媒体信号；

识别反应系统150，位于嵌入式环境中并且与所述输入端口110相耦合，识别反应系统150被配置为从外部控制器200接收指令，基于所述指令捕获所述多媒体信号，基于所述指令要求的反应类型压缩所述多媒体信号以产生待识别信号，基于所述指令要求的反应类型在产生带识别信号后对有效目标进行识别，整理目标信息，根据目标信息产生并发送反应信号。

所述识别反应系统150被配置为从所述外部控制器200接收所述指令，

所述识别反应系统150被配置为对待识别信号中的有效目标进行识别，整理目标信息，根据所述指令要求的反应类型产生反应信号，

所述识别反应系统150被配置为将反应信号发送给所述外部控制器200；或者被配置为将反应信号发送给所述外部控制器200以及和所述图像捕获和目标识别设备分离的设备。

上述嵌入式设备还包括：

预处理模块152，所述预处理模块152在识别反应系统150中实现，被配置为接收外部控制器200发送的指令并基于所述指令对图像进行压缩处理，生成待识别信号，所述指令被配置为：

触发所述设备以捕获所述多媒体信号的开始指示符；

与用于所述多媒体信号的捕获的图像类型相关的反应类型；

与视频信号相关联的特殊设备启动的开始指示符；

以及触发所述设备以发送待识别信号的发送指示符相关联，所述待识别信号已经基于所述反应类型和所述多媒体信号被压缩；

序列模块，所述序列模块被配置为当所述多媒体信号的类型为视频信号时产生序列号；

采编器，所述采编器耦合到序列模块，被配置为基于所述指令和所述序列号对捕获的视频信号进行采样编辑，获得有效的多张序列图像；

所述与视频信号相关联的特殊设备包括所述序列模块和所述采编器。

所述指令要求的反应类型包含所述视频信号或单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与应做出反应的动作类型。

所述预处理模块152被配置为接收外部控制器200向所述图像捕获和目标识别设备发送的指令同时基于所示指令将多媒体信号压缩，生成压缩信号之后将所述指令添加到压缩信号头部生成待识别信号；

所述序列模块被配置为当所述指令中的反应类型要求所述多媒体信号为视频信号时产生序列号，以标记视频信号中的每一帧图像的时间；

所述采编器被配置为基于所述指令和所述序列号选择一定数量的序列图像进行所述压缩处理，生成所述待识别信号。

所述预处理模块152位于所述识别反应系统150内，并且所述序列模块和所述采编器耦合在预处理模块152内；所述序列模块和所述采编器是否启动由所述指令中的反应类型决定。

上述嵌入式设备还包括识别模块154，所述识别模块154被配置为接收所述预处理模块152发送的待识别信号并基于所述指令进行有效目标识别。

所述识别模块154包括特征提取器、特征分类器、目标评分器以及反应生成器；

所述特征提取器被配置为基于所述指令中的反应类型提取所述待识别信号的应变量、内容或者纹理特征中的至少一个；

所述特征分类器被配置为基于所述指令中的反应类型对所述特征提取器中提取的特征进行分类，从所述指令所关联的目标动作类型确定若干最可能具有这些特征的目标；

所述目标评分器被配置为基于所述指令中的反应类型对所述特征分类器发送的候选目标进行评估，选出所述目标，生成所述目标信息；

所述反应生成器被配置为基于所述指令所关联的目标动作类型和所述目标评分器生成的所述目标信息确定是否允许所述目标启动所述动作，生成所述反应信号，发送给所述反应输出端口。

所述特征提取器被配置为基于所述指令中的反应类型提取所述待识别信号的应变量、内容或者纹理特征中的至少一个，提取特征后将特征信号发送给所述特征分类器；

所述特征信号被配置为包含所述待识别信号的应变量、内容或者纹理特征中至少一个的具体特征信息；

所述指令要求的反应类型包含所述视频信号或单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与嵌入式设备相分离的外部控制设备需要从所述视频信号或者单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号中获得的目标类型以及根据目标信息应做出反应的动作类型。

所述特征分类器被配置为基于所述指令中的反应类型对特征信号中的特征进行分类，从所述指令所关联的目标动作类型确定候选目标，并且将候选目标信息发送给所述目标评分器；

所述候选目标信息是被配置为特征与所述特征信号中的特征匹配度最高的若干目标；

所述目标评分器被配置为基于所述指令中的反应类型对候选目标信息进行评估，选出所述目标，生成所述目标信息，发送给所述反应生成器；

所述反应生成器被配置为基于所述指令所关联的目标动作类型和所述目标信息确定是否允许所述目标启动所述动作，生成所述反应信号，发送给所述反应输出端口。

为了实现上述目的，本发明将基于稀疏编码的图像目标识别方法移植到嵌入式环境下，使得嵌入式设备在图像或视频采集功能的基础上可以智能化地识别图像目标并输出反应信号给外部动作装置。

与现有技术相比，本发明在嵌入式设备上实现了目前在计算机上运行的目标识别功能，具有体积小、功耗低、造价便宜、部署便捷、调试简单等优点。

附图说明

图1为一个系统框图，说明了根据本发明的实施例的耦合于智能家居和无人探测等领域中的嵌入式设备。

图2为一个系统框图，说明了根据本发明的实施例的嵌入式设备的结构，该装置由输入端口110、通讯模块120、存储模块130、识别反应系统150和输出端口构成。

图3为一个框图，说明了根据本发明的实施例的嵌入式设备在目标识别过程中不同信号的名称以及流动方向。

图4为一个结构图，说明了嵌入式设备的通信总线分布。

图5为一个流程图，说明了根据本发明的实施例的嵌入式设备的工作流图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

用于图像捕获和目标快速识别的嵌入式设备(以下简称其为“嵌入式设备”)为一种应用于视频采集、图像捕获、目标识别、输出反应信号的设备。嵌入式设备可以捕获视频信号和数字图像信号。在信号捕获过程结束后，嵌入式设备可以根据识别反应系统的要求对输入信号采用编码、解码、压缩、同步等不同的处理方式进行预处理。预处理完成后的数字信号输入识别反应系统，由该系统进行特征提取和目标识别操作。获得目标信息后输出反应信号给相耦合的其他设备。例如嵌入式设备分布在智能家居传感网络中，根据捕获视频信号所展示的内容中房间内人物的动作变化以及窗外图像的亮度变化可以输出反应信号控制室内的照明设备和温度调节设备等做出正确的动作。嵌入式设备会根据其所捕获多媒体信号主体和要求的反应信号类型的不同在识别时做出不同的选择。

嵌入式设备作为图像捕获和目标识别的专用设备，采用了加强定制的操作系统和处理器以捕获以图像为主的多媒体信号并识别目标输出反应信号。加强定制的操作系统配置主要体现在安全性和专业性两个方面。安全性是指操作系统能够抵抗外部入侵而且仅提供与图像捕获和目标识别相关的接口，例如防止未经授权的进程访问系统；专业性是指操作系统的配置仅有助于图像捕获、预处理、存储和目标识别相关的功能。概括来讲，嵌入式设备在集成硬件和软件的同时，通过定制的方式对它们进行专门的设计，目的是方便以图像为主的多媒体信号的捕获、预处理、存储和目标识别过程。因此，本发明提供的方法与当前使用通用设备的系统相比，降低了设计、安装、部署、调试使用的成本。同时，本发明提供的方法还简化了操作步骤并且能够在输入信号损失的情况下保证识别结果的准确。

多媒体在计算机系统中，组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体。使用的媒体包括文字、图片、照片、声音、动画和影片，以及程式所提供的互动功能。在整个说明书中，多媒体信号是在同某一事件发生时刻相差满足系统要求的时刻由传感器所获取的并且在满足系统要求时延的情况下在捕获时的传感器和嵌入式设备之间传输该事件的视频信号或可见光数字图像信号中至少一个以及红外数字图像信号的统称。

目标识别是指一个特殊目标(或一种类型的目标)从其它目标(或其它类型的目标)中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。在整个说明书中，目标识别是图像处理的一个关键部分，是指在从多媒体信号传输到嵌入式设备到外部控制器配置要求做出反应的这段时间内通过压缩多媒体信号、提取并分析多媒体信号中的特征，从而获取多媒体信号中的有效目标。

图1为一个框图，说明了连接到外部控制器200的若干个嵌入式设备100，同时网络中还有若干由外部控制器200控制的动作装置300。外部控制器200获得嵌入式设备100的反应信号，以此来作为是否启动动作装置300的依据。在图1的实施例中，将嵌入式设备100、动作装置300和外部控制器200相连接，其中，对所述外部控制器200进行配置，例如在智能家居中将其配置为接收房间某位置人物信息，控制屋内照明设备。网络400可以部署为任何类型的网络，包括有线网络和无线网络以及在办公室、校园、家庭等各种环境中通过各种方式实现的局域网。嵌入式设备100可以捕获通过视频摄像机、web摄像机、照相机以及红外静态照相机的数字信号获取设备或者传感器所获取的媒体信号，包括视频信号、可见光数字图像信号以及红外数字图像信号等。嵌入式设备100配置为能够通过现场可编程门阵列(FPGA)、数字信号处理器(DSP)以及嵌入式微处理器(ARM)压缩、处理图像，提取图像特征，并根据获取的图像信号，由传感器获取延时在目标的位置，生成反应信号。

本发明可以响应例如外部控制器200或者嵌入式设备100所生成的捕获开始位和捕获停止位，提示嵌入式设备100开始与停止捕获多媒体信号。可以根据外部控制器200和网络400中每一嵌入式设备100所确定并存储的指令，生成捕获开始位和捕获停止位。例如，在会出现较长时间无人状况的边境线上实现，可以把嵌入式设备100安装在边境线上的可以运动的装置上，通过与外部控制器200组成局域网加以连接。例如，可以在某一时刻，根据存储在嵌入式设备100上的指令，提示嵌入式设备100从某一具体的区域捕获多媒体信号。

本发明可以处理、压缩、识别每一嵌入式设备100所捕获的多媒体信号，并且可以存储一段时刻内序列图像的共同特征，并且可以把识别结果以反应信号的形式发送给外部控制器200。外部控制器200接收反应信号，然后根据反应信号来控制动作装置300启动相应动作或保持原状态不变。从嵌入式设备捕获多媒体信号到根据这一时刻捕获的多媒体信号的目标识别生成反应信号的时刻间的时间不超过外部控制器200设定的系统时延。

本发明可以响应例如外部控制器200或者嵌入式设备100所生成的发送开始位和发送停止位，提示嵌入式设备100开始与停止对所生成的反应信号的发送。可以根据所述指令生成开始位和停止位。

例如，在某些实施例中可以通过随着反应信号一起发送的校验信号，由外部控制器200从嵌入式设备100上的输出端口捕获。外部控制器200可以使用校验信号来根据例如指令，确定具体的嵌入式设备100是否能够正确地捕获媒体信号。校验信号可以包括嵌入式设备100所捕获的多媒体信号或者多媒体信号中的一部分(例如，视频信号的一部分序列)的任意组合以及嵌入式设备100所识别出的目标类型信息。校验信号可以为未压缩的信号也可以为压缩的待识别信号。校验信号还可以是嵌入式设备在生成反应信号的过程中生成包含多媒体信号特征信息以及识别出的目标信息的单独的信号或数据位。例如校验信号可以是嵌入式设备将待识别信号和目标信息重新组合的二进制数据位。

尽管图1只描述了在某些实施例中与多个嵌入式设备100相连接的单个外部控制器200，但是在其他实施例中，也可以允许多个嵌入式设备100进行任意组合后与一个以上的外部控制器200进行连接。例如可以把两个外部控制器200分别配置为接收嵌入式设备100所生成的反应信号和接收嵌入式设备100生成的待识别信号。还可以把两个外部控制器200配置为根据不同的动作需要生成不同的指令给嵌入式设备100。可以把嵌入式设备100编程为能够识别多个外部控制器200。嵌入式设备100还可以被编程为能够把所处理的待识别信号也可以从输入端口110发送给外部控制器200之一。

图2为一个系统框图，说明了具有若干输入端口110、识别反应系统150、通讯模块120、存储模块130、反应输出端口140的嵌入式设备100。嵌入式设备100响应外部控制器200发送的指令中的捕获开始位与捕获停止位，由输入端口110，从与输入端口110耦合的图像采集设备捕获多媒体信号。识别反应系统150接收多媒体信号，并且使用预处理模块152对多媒体信号进行压缩、裁剪、提取特征等操作，使用识别模块154对预处理模块152生成的待识别信号进行识别。识别反应系统150可以使用存储模块130执行多媒体信号的序列暂存功能以及待识别信号的缓存功能。识别反应系统150可以使用通信模块120执行任何与嵌入式设备100相关的功能，例如在输出反应信号的时候从存储模块130中读取存储的待识别信号作为校验信号发送给外部控制器200且当识别过程出现异常时发送异常信号给外部控制器200。当识别模块154输出反应信号时，通过反应输出端口140传输给外部控制器200。

输入端口110包括两个部分，一个或多个视频采集端口112，一个数字图像输入端口114。视频采集端口112和数字图像输入端口114之间可以进行信号传输，当视频采集端口112被配置为捕获视频信号时，数字图像输入端口114被配置为根据识别反应系统150设定的采样频率提取图像序列，当视频采集端口112被配置为捕获数字图像信号时，数字图像输入端口114被配置为提取系统接收到捕获开始位瞬间的图像。输入端口110与识别反应系统150可以集成在嵌入式设备100的嵌入式环境中。输入端口110所捕获的多媒体信号可以是模拟信号也可以是数字信号，如果输入端口110捕获的是模拟信号，则识别反应系统150中的预处理模块152可以把模拟信号转换成数字信号。

一个或多个视频采集端口112经由一个或多个输入端口110从诸如数字摄像头或模拟摄像头的设备接收移动视频信号，所述的输入端口110包括但不限于一个或多个视频输入端口110、一个或多个以太网端口和/或一个或多个USB端口。

一个或多个数字图像输入端口114接收一个或多个视频采集端口112发送的视频信号或者数字图像信号。数字图像输入端口114被配置为根据识别反应系统150的要求配置为获取视频信号中指定的图像序列和传输数字图像信号。

识别反应系统150中的硬件设备(例如，包括特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、中央处理器(CPU)和/或协处理器)被配置为能够执行多媒体信号捕获、处理、存储、识别和/或数字信号的发送相关的功能。

嵌入式设备100的嵌入式环境中配置的识别反应系统150捕获并识别通过输入端口110所接收的多媒体信号的任意组合。嵌入式设备100与不同的输入端口110相连接，但是在识别反应系统150的调度下可以同步获取不同输入端口110获得的多媒体信号。例如，一个视频采集接口112被配置为采集视频信号，一个视频采集接口112被配置为采集数字图像信号。嵌入式设备100可以通过第一个视频采集接口112获得房屋主人起床的动作，也可以使用第二个视频采集接口获得房屋主人起床瞬间的表情。嵌入式设备100同步地接收和处理这些多媒体信号。

在某些实施例中，嵌入式设备100可以被配置为仅捕获多媒体信号的某些组成部分。例如，嵌入式设备100被配置为捕获数字图像信号的视频采集接口在当识别反应系统150检测到目标发生明显动作时才捕获数字图像信号。例如，嵌入式设备100也可以被配置为能够捕获和处理由视频采集设备耦合的摄像头上的感光器采集的信号，忽略由抖动产生的相位噪声。

在某些实施例中，嵌入式设备100中任何一个输入端口110配置为根据识别反应系统150所配置的不同参数而采用不同的帧率采集数字图像信号或视频信号。例如，设置在门口的监视警报设备针对的目标中会包含快速运动的物体，因此输入端口110需要被配置为以比捕获房屋主人起床动作的输入设备110捕获帧率更高的帧率捕获视频信号。

当识别反应系统150接收到传输的多媒体信号时，可以使用预处理模块对信号进行压缩、特征提取。例如，预处理模块152可以对与输入端口110耦合的摄像机接收的YUV模式的VGA、CIF或SXVGA信号转化为RGB模式的序列数字图像信号，还可以将RGB模式进一步压缩为16位RGB模式的序列数字图像有损格式。例如，如果与输入端口110耦合的是红外数字图像探测器，则可以把数字图像信号压缩成灰度图像信号。

预处理模块152被配置为采用一个或多个编解码器对输入端口110捕获的输入信号的帧率、比特率、分辨率进行调整。编解码器被配置为对所捕获的信号进行编码和/或译码的硬件模块和/或软件模块。解码器被配置为可以将复合视频信号、S视频信号、隔行色差信号、逐行色差信号、RGB信号等视频信号解码为RGB信号。

在某些实施例中，可以把识别反应系统150和预处理模块152配置为能够根据与输入端口110耦合的输入设备的类型选择使用不同的编解码器以及序列模块(未显示)。例如，如果使用数字静态照相机捕获数字图像信号，则可以把识别反应系统150和预处理模块152编程为将数字图像信号转化为RGB信号，如果使用采用CMOS感光芯片的数字摄像头捕获视频信号则可以把识别反应系统150和预处理模块152编程为使用不同的编码器并通过序列模块以获取RGB信号序列。

在预处理模块152对多媒体信号进行处理之后，通过存储模块130存储生成的待识别信号和序列图像队列中未压缩处理的图像信号。同时，存储模块130还存储不同目标类型的图像分类模型库。例如，如果输入端口110输入的是视频信号，序列模块生成的图像进入队列中等待预处理模块的压缩，在等待的过程中为节省识别反应系统150中的内存，将等待的图像信号存入存储模块130。存储模块130可以为任意适当类型的可拆卸的或固定的存储设备。存储模块130可以是但不局限于随机存取存储器(RAM)和/或闪存。存储模块130的大小可以根据外部控制器200要求的功能定制。例如，如果嵌入式设备100旨在以较高帧率捕获大量的视频信号，则可以增加存储模块130的大小。例如，如果嵌入式设备100旨在在相对长的时间段内(例如，进行长时间的无人检测)捕获多媒体信号，并且通过反应输出端口140不断传输反应信号给外部控制器200的情况下，同样可以增加存储模块130的大小。存储模块130可以暂存未处理的图像信号，提高嵌入式设备100的运行效率。存储模块130还可以存储预处理模块生成的待识别信号以便生成校验信号保证嵌入式设备100的识别结果的正确性。

如图2所示，嵌入式设备100可以包括其为硬件和/或软件模块的通信模块120。通信模块120被配置为执行嵌入式设备100除通过反应输出端口140输出反应信号之外所有与外部控制器200以及内部不同模块通信的功能。通信模块120还被配置为以通讯总线的形状分布于嵌入式设备100中。例如，在识别过程中，嵌入式设备100要求采集的图像序列过大导致存储模块130已经达到存储能力上限阀值，则发送警告信息给通讯模块120，通讯模块120则发送信息给预处理模块152终止序列图像的生成。例如，每个设备都定时给通讯模块120发送正常通讯信号，如果通讯模块120收不到正常通讯信号则发送信号给识别反应系统150终止系统工作。例如，通讯模块120还可以发送校验信号给外部控制器200，同时也可以接收外部控制器200的校验反馈信号。

识别反应系统150的另一个主要模块是识别模块154。识别模块154可以被编程为在接收到捕获开始位时读取配置文件并初始化。配置文件被配置为读取存储在存储模块130内的指令，获取系统允许的最大时延。识别模块154可以被编程为初始化结束之后读取存储模块130内的目标先验知识以及分类模型。识别模块154可以被配置为在接收到识别开始位时采用分类模型对图像进行分类，获得目标信息。例如，如果嵌入式设备100应用于监测饮用水库是否有人蓄意污染或者破坏，则外部控制器200发送给嵌入式设备100的指令提出识别人脸和人体。识别反应系统150则读取存储模块130内的工作人员人脸库以及人体特征库，再根据识别模块154中的分类模型识别出现在镜头前的可疑目标并生成反应信号。

识别模块154可以生成指令，也可以从外部控制器200中接收指令。例如，识别模块154可以根据来自外部控制器200的指令，根据配置文件中配置的嵌入式设备100的各项指标判断当前设备运算和存储能力是否满足指令中的指标要求。如果可以达到要求则忽视到来的捕获开始位和/或识别开始位，如果不能满足指标要求则计算当前设备运算和存储能力可以达到的指标要求并发送反馈信号给外部控制器200，一定时间内没有收到新的指令则更新存储模块130中的指令并按照新指令进行识别操作。在某些实施例中，识别模块154不仅可以开始和停止对多媒体信号的处理和/或存储，还可以通过通信模块控制开始与停止嵌入式设备100对多媒体信号的捕获和/或反应信号的发送。

识别反应系统150是具有多个处理器硬件设备，识别反应系统150可以包括被配置为服务于嵌入式环境中的任意类型的处理器(例如，嵌入式处理器或者数字信号处理器)。在某些实施例中，除了预处理模块152和识别模块154之外，识别反应系统150也可以包括被配置为在嵌入式设备100的嵌入式环境中执行功能的其他的协处理器。

在某些实施例中，嵌入式设备中识别模块154生成指令的功能可以由外部控制器200直接控制。在这样的一些实施例中，如果指令的生成完全由外部控制器200直接完成，则通过嵌入式设备100的通信模块130外部控制器200可直接同分布在网络上的所有嵌入式设备通信完成指令的发送并提升该指令的优先级高于识别模块154生成的指令。在该过程中，如果识别模块154扔生成了新的指令，外部控制器200忽略识别反应系统150的反馈信号直接向识别反应系统150发送识别开始位。此时识别模块154生成的指令优先级低于外部控制器200发送的指令的优先级，当接收识别开始位之后仍按外部控制器200发送的指令完成目标识别的功能。

图3说明了在识别模块154中，输入待识别信号生成目标信息的过程。首先待识别信号输入特征提取器提取图像底层特征(例如，颜色、纹理、形状等特征)和/或仿射不变性局部关键区域特征(例如，Harris-Hessian算子、Salient-Region算子、Maximally stable extremal region算子等算子)。在获得特征后通过特征聚类在特征空间上将向量矢量化，获得索引基元。根据得到的索引基元确定候选目标，再根据配置文件中定义的评分标准，选取评分最高的目标获取目标信息。

目标数据库为存储在与嵌入式设备100无关的计算机上学习产生的模型库。与嵌入式设备100无关的计算机上具有给定带有分类标注的图像库。提取图像库中不同类别图像的特征，将图像转化为特征空间上的向量表示。采用分类算法建立合适的分类模型。在嵌入式设备100搭载之前把分类模型通过移动的存储模块130挂载到嵌入式设备100上。

目标数据库还存储根据不同的目标类型提前编程获取的先验知识。例如，在某些实施例中事先采集行人的动作状态，将这些状态特征空间上抽象成相互独立的局部关键区域特征。例如，在某些实施例中事先采集工作人员不同角度的面部特征。例如，在某些实施例中事先采集不同车型不同角度的颜色、形状特征。

嵌入式设备100中存储模块130的容量有限，为了最大限度的利用空间，预处理模块152生成的待识别信号是经过稀疏编码后再存储于存储模块130中的。预处理模块对输入的数字图像信号进行压缩，经过压缩后的待识别信号在用索引基元素表示时对应的系数绝大部分为0，减少了输入空间维度。识别模块154中的特征提取器提取图像底层特征(例如颜色、纹理、形状)后按照一定的规则硬编码后生成底层特征信号向后传递，再次减小输入空间维度。

图4说明嵌入式设备100的通信总线。各个模块通过带有应答机制的主从模式全双工通信接口链接到通信总线上，识别反应系统150作为主器件提供串行时钟和每个从器件的使能信号。外部控制器200的通信接口与通信模块相连，通讯模块120、存储模块130和反应输出端口140作为从器件链接到通信总线上。例如，当识别反应系统150配置为主出从入模式时外部控制器200、存储模块130、反应输出端口都接收识别反应系统150发出的指令更新，更新后作出应答。例如，当识别反应系统150配置为主入从出模式并确定发出信号的从器件为通信模块130时，外部控制器200的指令发出，识别反应系统150接收到指令并发出确认应答信号。例如，识别反应系统150在接收到识别开始位时就编程配置为主入从出模式，当接收到存储模块130使用率超过上线阀值的报警信号后作出应答。

图5说明根据本发明的实施例在运行的过程中的无异常发生的工作情况。本实施例应用在大型蓄水库中用来监测是否有人违反相关规定。首先外部控制器200发送指令给识别反应系统150。识别反应系统150读取配置文件计算系统可以达到指令要求的指标，则发送应答信号给外部控制器200。识别反应系统150发送捕获开始位给输入端口110，输入端口110开始捕获视频信号。视频信号输入预处理模块152，预处理模块152启动序列模块和采编器，获取并压缩序列图像存储进存储模块130并发送识别开始位给识别模块154。识别模块154提取图像特征，图像特征聚类并向量化，选出候选集，根据指令设置评分要求获得目标信息。识别模块154根据指令和目标信息生成反应信号，通过反应输出端口140向外输出系统反应决策160至外部控制器200，并同时发送捕获结束位给输入端口110。反应输出端口140将反应信号发送给外部控制器200，通信模块130从外部控制器200获取应答信号，发送识别结束位给识别反应系统150。在本实施例中，一次图像捕获和目标识别的过程结束。

Claims (13)

1.一种用于图像捕获和目标快速识别的方法，其特征在于，包括：

接收视频信号或单帧可见光数字图像信号以及红外数字图像信号的捕获和压缩指令，所述指令是从与识别反应系统相分离的外部控制器接收的；

基于所述指令，捕获视频信号或单帧可见光数字图像信号以及捕获红外数字图像信号；

基于所述指令要求的反应类型，对所述视频信号或单帧可见光数字图像信号以及红外数字图像信号进行压缩处理，在压缩处理之后进行有效目标识别，在获得目标信息之后生成反应信号，所述目标信息表示与嵌入式设备相分离的外部控制器需要的目标在任意时刻的状态；

将反应信号发送给与嵌入式设备相分离的外部控制器。

2.根据权利要求1所述用于图像捕获和目标快速识别的方法，其特征在于，所述指令要求的反应类型，包含所述视频信号或单帧可见光数字图像信号以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与嵌入式设备相分离的外部控制器需要从所述视频信号或者单帧可见光数字图像信号以及红外数字图像信号中获得的目标类型以及根据目标信息做出的动作类型。

3.根据权利要求1所述用于图像捕获和目标快速识别的方法，其特征在于，所述压缩处理，包含所述视频信号或单帧可见光数字图像信号中的至少一个以及红外数字图像信号压缩成有损格式；或者包含所述视频信号或单帧可见光数字图像信号以及红外数字图像信号根据所述指令要求的反应类型压缩成待识别格式；所述待识别格式被配置为所述视频信号或单帧可见光数字图像信号以及红外数字图像信号根据所述指令要求的反应类型保留应变量、内容或者纹理特征中的至少一个；所述有效目标识别包含根据所述指令要求的反应类型，对所述视频信号或单帧可见光数字图像信号以及红外数字图像信号中进行图像处理识别符合所述目标类型的目标，整理目标信息；所述反应信号包含根据所述指令要求的反应类型和所述目标信息发送给与嵌入式设备相分离的外部控制器使得其根据所述指令要求的反应类型进行相应的动作的数字信号。

4.一种用于图像捕获和目标快速识别的嵌入式设备，其特征在于，包括：

若干输入端口(110)，被配置为接收包含视频信号或单帧可见光数字图像信号以及红外数字图像信号的多媒体信号；

识别反应系统(150)，位于嵌入式环境中并且与所述输入端口(110)相耦合，识别反应系统(150)被配置为从外部控制器(200)接收指令，基于所述指令捕获所述多媒体信号，基于所述指令要求的反应类型压缩所述多媒体信号以产生待识别信号，基于所述指令要求的反应类型在产生带识别信号后对有效目标进行识别，整理目标信息，根据目标信息产生并发送反应信号。

5.根据权利要求4所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，

所述识别反应系统(150)被配置为从所述外部控制器(200)接收所述指令，

所述识别反应系统(150)被配置为对待识别信号中的有效目标进行识别，整理目标信息，根据所述指令要求的反应类型产生反应信号，

所述识别反应系统(150)被配置为将反应信号发送给所述外部控制器(200)；或者被配置为将反应信号发送给所述外部控制器(200)以及和所述图像捕获和目标识别设备分离的设备。

6.根据权利要求4所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，还包括：

预处理模块(152)，所述预处理模块(152)在识别反应系统(150)中实现，被配置为接收外部控制器(200)发送的指令并基于所述指令对图像进行压缩处理，生成待识别信号，所述指令被配置为：

触发所述设备以捕获所述多媒体信号的开始指示符；

与用于所述多媒体信号的捕获的图像类型相关的反应类型；

与视频信号相关联的特殊设备启动的开始指示符；

以及触发所述设备以发送待识别信号的发送指示符相关联，所述待识别信号已经基于所述反应类型和所述多媒体信号被压缩；

序列模块，所述序列模块被配置为当所述多媒体信号的类型为视频信号时产生序列号；

采编器，所述采编器耦合到序列模块，被配置为基于所述指令和所述序列号对捕获的视频信号进行采样编辑，获得有效的多张序列图像；

所述与视频信号相关联的特殊设备包括所述序列模块和所述采编器。

7.根据权利要求6所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述指令要求的反应类型包含所述视频信号或单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与应做出反应的动作类型。

8.根据权利要求6所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述预处理模块(152)被配置为接收外部控制器(200)向所述图像捕获和目标识别设备发送的指令同时基于所示指令将多媒体信号压缩，生成压缩信号之后将所述指令添加到压缩信号头部生成待识别信号；

所述序列模块被配置为当所述指令中的反应类型要求所述多媒体信号为视频信号时产生序列号，以标记视频信号中的每一帧图像的时间；

所述采编器被配置为基于所述指令和所述序列号选择一定数量的序列图像进行所述压缩处理，生成所述待识别信号。

9.根据权利要求6所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述预处理模块(152)位于所述识别反应系统(150)内，并且所述序列模块和所述采编器耦合在预处理模块(152)内；所述序列模块和所述采编器是否启动由所述指令中的反应类型决定。

10.根据权利要求4所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，还包括识别模块(154)，所述识别模块(154)被配置为接收所述预处理模块(152)发送的待识别信号并基于所述指令进行有效目标识别。

11.根据权利要求10所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述识别模块(154)包括特征提取器、特征分类器、目标评分器以及反应生成器；

所述特征提取器被配置为基于所述指令中的反应类型提取所述待识别信号的应变量、内容或者纹理特征中的至少一个；

所述特征分类器被配置为基于所述指令中的反应类型对所述特征提取器中提取的特征进行分类，从所述指令所关联的目标动作类型确定若干最可能具有这些特征的目标；

所述目标评分器被配置为基于所述指令中的反应类型对所述特征分类器发送的候选目标进行评估，选出所述目标，生成所述目标信息；

所述反应生成器被配置为基于所述指令所关联的目标动作类型和所述目标评分器生成的所述目标信息确定是否允许所述目标启动所述动作，生成所述反应信号，发送给所述反应输出端口。

12.根据权利要求11所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述指令要求的反应类型包含所述视频信号或单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号相关联的帧率、分辨率、传输比特率或者稳定性中至少一个，与嵌入式设备相分离的外部控制设备需要从所述视频信号或者单帧可见光数字图像信号中的所述至少一个以及红外数字图像信号中获得的目标类型以及根据目标信息应做出反应的动作类型。

13.根据权利要求11所述用于图像捕获和目标快速识别的嵌入式设备，其特征在于，所述特征提取器被配置为基于所述指令中的反应类型提取所述待识别信号的应变量、内容或者纹理特征中的至少一个，提取特征后将特征信号发送给所述特征分类器；

所述特征信号被配置为包含所述待识别信号的应变量、内容或者纹理特征中至少一个的具体特征信息；

所述特征分类器被配置为基于所述指令中的反应类型对特征信号中的特征进行分类，从所述指令所关联的目标动作类型确定候选目标，并且将候选目标信息发送给所述目标评分器；

所述候选目标信息是被配置为特征与所述特征信号中的特征匹配度最高的若干目标；

所述目标评分器被配置为基于所述指令中的反应类型对候选目标信息进行评估，选出所述目标，生成所述目标信息，发送给所述反应生成器；

所述反应生成器被配置为基于所述指令所关联的目标动作类型和所述目标信息确定是否允许所述目标启动所述动作，生成所述反应信号，发送给所述反应输出端口。