CN101308543A

CN101308543A - 一种数据流图像帧的分割识别方法及其装置

Info

Publication number: CN101308543A
Application number: CN 200810068423
Authority: CN
Inventors: 刘显福
Original assignee: 刘显福
Current assignee: Zhongrong Technology Co., Ltd.
Priority date: 2008-07-04
Filing date: 2008-07-04
Publication date: 2008-11-19
Anticipated expiration: 2028-07-04
Also published as: CN101308543B

Abstract

本发明公开了一种数据流图像帧的分割识别方法及其装置，其包括：首先、对当前接收到的数据包进行预处理，将预处理获取的该数据包所对应的图像数据以及该图像数据的标示存入缓存累积；然后、当累积达到一预设程度时，判断所述缓存中累积的图像数据是否已构成初始图像识别区域；若是，则对此初始图像识别区域内的图像数据进行模式识别。本发明避免了对接收来的数据进行一帧图像的重组，节约了数据的处理时间，并且省去了不需要的图像数据的模式识别过程，保证了识别速度，在处理高像素图像时，能确保在图像识别质量的基础上，提高识别率，避免因数据积累而流失数据。

Description

一种数据流图像帧的分割识别方法及其装置

技术领域

本发明涉及视频模式识别算法领域，尤其涉及的是，一种数据流图像帧的分割识别方法及其装置。

背景技术

通常视频模式识别算法的基本流程是：在一帧图像中寻找定位区域、分割图片、提取特征、模式比对、结果输出。具体来说，就是首先，在一帧图像中定位识别的区域，然后将区域内的图形对象进行分割，提取图形对象的特征，再用比对的方法确认。可见，这种算法对原始图像的要求高，算法复杂，并且识别算法至少要对一帧图像做重复分析运算、定位对象，然后再进行识别。

通常，按照人眼的视觉要求，视频监控系统的成像部分每秒钟至少要采集和处理25帧图像数据，才能避免图像实时显示时的视觉闪烁感。例如，对于320×240的点阵图像，A/D为14位，则每帧采集数据为320×240×14位＝1MB，也就是说一帧图像的数据大小是1MB，1MB的图像数据经过压缩形成由多个数据包构成的数据流，然后按照时间顺序将含有图像数据的各个数据包发送到进行视频模式识别算法的终端上进行处理，图1示出了现有的视频模式识别算法系统的实现结构图，其包括：用于接收含有图像数据的数据包的接收模块，用于存储数据的缓存单元，用于将多个数据包重建成一帧图像数据的帧图像重建单元，用于定位查找一帧图像中所需要的识别区域的定位区域查找单元，用于对图像识别区域内的图形对象进行分割、及获得图形分割区域的图形分割单元，用于提取所述图形分割区域内图形对象特征的特征提取单元，以及用于对所述图形对象特征进行比对、及结果输出的模式比对单元。

可见，依据上述视频模式识别算法的基本流程，现有技术中的识别分割算法需要基于一帧图像进行处理，对于一帧高像素的图像中(如1920×1680的点阵图像)，由于数据量巨大，其采用现有技术的方法则显得很复杂，并且运算量大，占用系统资源也很多，这样就很难实现对高速运动的视频流(数据流)做到逐帧识别，因此，会失去和错过许多有用的数据，从而导致识别率较低。

所以，现有技术中存在一定的问题，有待进一步地研究。

发明内容

本发明的目的在于提供一种数据流图像帧的分割识别方法及其装置，其提高了高像素图像的模式识别率，并且不需要进行逐帧识别，运算量小，占用系统资源也少。

为了实现上述目的，本发明采用如下技术方案：

本发明提供的数据流图像帧的实时分割识别方法，包括以下步骤：

A、对当前接收到的数据包进行预处理，将预处理获取的该数据包所对应的图像数据以及该图像数据的标示存入缓存累积；

B、当累积达到一预设程度时，判断所述缓存中累积的图像数据是否已构成初始图像识别区域；若是，则对此初始图像识别区域内的图像数据进行模式识别。

所述方法中，所述标示包括：每个数据包所对应的图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示。

所述方法中，所述标示还包括：每个数据包所对应的图像数据在一帧图像中的色彩标示。

所述方法中，所述步骤B中，初始图像识别区域的判定过程包括以下步骤：B1、根据所述亮度标示，判断所述图像数据中是否已经存在满足所述初始图像识别区域边界条件的数据集，若是，则判定该数据集已构成初始图像识别区域。

所述方法中，在步骤B1之前增加以下步骤：B0、根据所述位置标示，判断所述图像数据中是否已经存在构成同一邻域的数据集，若是，则对该数据集内的图像数据执行步骤B1。

所述方法中，所述累积达到一预设程度通过判断所述缓存中的图像数据是否累积达到一预设长度，或者通过判断是否累积达到一预设时间周期来实现。

所述方法中，所述步骤B中，初始图像识别区域的判定过程包括：根据所述色彩标示，判断累积的图像数据是否已经存在满足所述初始图像识别区域边界条件的数据集，来判定是否已有初始图像识别区域的步骤。

本发明还提供了一种数据流图像帧的实时分割识别装置，所述装置包括：用于对图像识别区域内的图形对象进行分割、及获得图形分割区域的图形分割单元，用于提取所述图形分割区域内图形对象特征的特征提取单元，用于对所述图形对象特征进行比对、及结果输出的模式比对单元，用于接收含有图像数据的数据包的接收模块、以及用于存储数据的缓存单元；所述装置还包括：预处理单元，用于获取所述接收模块当前接收的数据包，解析该数据包对应的图像数据，添加该图像数据的标示，并将该图像数据及标示存入所述缓存单元累积；判断单元，用于判断所述缓存单元中累积的图像数据是否已构成初始图像识别区域，并在判定已构成初始图像识别区域时，将所述初始图像识别区域内的图像数据送至所述图形分割单元。

所述装置中，所述预处理单元包括：解析单元，用于解析所述数据包所对应的图像数据；标示单元，用于根据所述解析单元的结果，生成该图像数据的标示，此标示包括：该图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示。

所述装置中，所述装置还包括：一用于记录一预设时间周期的定时单元，当达到所述预设时间周期时，所述定时单元向所述判断单元发出启动信号。

采用上述方案，本发明通过实时处理接收来的含有图像数据的数据包，当接收的图像数据足以构成所需要的初始图像识别区域时，即可进行之后的模式识别过程，实现帧图像边重建边识别的过程，从而避免了对接收来的数据进行一帧图像的重组，节约了数据的处理时间，并且省去了不需要的图像数据的模式识别过程，保证了识别速度，在处理高像素图像时，能确保在图像识别质量的基础上，提高识别率，避免因数据积累而流失数据。本发明的方法及其装置，可以在数据流(视频流)的重建过程中识别视频模式和定位，不必等到一帧图像完全建立才进行识别，而采用的是边重建边识别的过程。

附图说明

图1为现有技术的数据流图像帧的实时分割识别装置的结构示意图；

图2是本发明装置的结构示意图；

图3是本发明一种实现方法的流程图；

图4是本发明的行、列分割算法的流程图。

具体实施方式

基于上述帧图像边重建边识别的思想，本发明提供一种数据流图像帧的实时分割识别方法，该方法是：首先，对当前接收到的数据包进行预处理，将预处理获取的该数据包所对应的图像数据以及该图像数据的标示存入缓存累积，即边接收数据源送入的数据包，边对其进行预处理；然后，当累积达到一预设程度时，判断所述缓存中累积的图像数据是否已构成初始图像识别区域；若是，则对此初始图像识别区域内的图像数据按照现有技术中的常规方法进行模式识别，即将此初始图像识别区域内的图像数据依次经过分割图片、特征提取、模式比对后，输出结果。这里所说的标示是指每个数据包所对应的图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示，其还可以包括：每个数据包所对应的图像数据在一帧图像中的色彩标示。另外，这里所提到的初始图像识别区域是指一帧图像中的一部份，可以由用户所感兴趣的图像中的一部份来决定的，也就是说，应该属于用于所关心的部分，比如，文字、人物、车、或者车牌等等物体的识别区域，这样的话，等于整个视频图像的帧本身缩小了，此时不需要重建无用的视频图像，加上本发明的分割方法，识别可以集中到更小的区域，算法复杂度降至更低。上述判断所述缓存中累积的图像数据是否已构成初始图像识别区域的步骤中，可能获得的不只一个满足条件的图像数据集，则可以采用平行处理(并行计算)的方式对多个初始图像识别区域所对应的图像数据进行模式识别处理。

以下结合附图3详细说明本发明方法的一种实施例。

300，数据流输入；

310，对当前接收到的数据包进行预处理，即解析每个数据包含有的图像数据，并获得每个图像数据的标示，该标示至少要包括：每个数据包所对应的图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示，此亮度标示用于标示图像数据进行二值化处理后的结果；

320，将预处理获取的该数据包所对应的图像数据以及该图像数据的标示存入缓存累积，然后继续处理下一个数据包；

330，判断累积是否达到一预设时间周期，

若是，则执行下一步骤330；

若否，则继续等待，并行进行预处理过程，即步骤300和310；

340，根据所述位置标示，判断所述缓存中累积的图像数据中是否已经存在构成同一邻域的数据集，

若是，则对该数据集内的图像数据执行步骤350；

若否，则继续等到下一预设时间周期的到来，并同时并行进行预处理过程，即步骤300和310；

350，根据所述亮度标示，判断上述数据集是否已经存在满足所述初始图像识别区域边界条件的数据集，

若是，则判定该数据集已构成初始图像识别区域；

360，对此初始图像识别区域内的图像数据按照现有技术中的常规方法进行模式识别；

370，对初始图像识别区域内的图像进行分割图片处理；

380，按照分割区域进行特征提取；

390，模式比对后；

400，输出结果，进行汇总，可根据位置标示重建一帧识别完的图像。

上述过程中，步骤330主要是为了设置一个中断源，通过判断累积是否达到一预设程度，而确定是否可以启动初始图像识别区域判定过程，即步骤340至350的过程；那么这个中断源除了采用上述步骤330的时间判断，还可以采用判断所述缓存中的图像数据是否累积达到一预设长度的方式来实现。本发明所说的预设长度和预设时间周期可以根据需要来确定。

上述过程中，步骤340给出了位置标示的一种作用，其还可以用于图像重建。图3所示的初始图像识别区域判定过程采用了两个判断步骤，其实也可以只使用一个，即直接根据所述亮度标示，判断所述图像数据中是否已经存在满足所述初始图像识别区域边界条件的数据集，用来判定该数据集是否已构成初始图像识别区域，这样做更简洁。上述还提到了色彩标示，其也可以作为边界判断的依据，即初始图像识别区域的判定过程可以采用：根据所述色彩标示，判断累积的图像数据中是否已经存在满足所述初始图像识别区域边界条件的数据集，来判定是否已有初始图像识别区域。

上述过程的某些步骤中均提到边界判断及分割的问题，其可以采用如图4所示的行、列分割的方式来实现。图4给出了一种视频流(数据流的一种)图像帧内智能分割识别算法，其中：

视频流按先后循序流入。

在现有的行中用智能的方法寻找分界行，进行第一次的行分割特征标注与纪录；

在现有的列分帧内用智能的方法寻找分界列，进行第一次列分割特征标注与纪录；

根据特征标注与记录决定分割，而后分别对分割后的图像小块进行识别；

将识别的结果汇总输出；

如果本帧未结束，继续分析图像，进行行和列分割。

本帧结束，进入下一帧操作。

从上可见，如果把数据流当作是一幅不休止的一帧一帧的连续画卷，那么相对于现有技术而言，本发明的识别不是一帧一帧做，而是分割成更小的帧，帧内再分割成窗口或方块，流来多少识别多少，识别后立即放弃，集中资源对新来的数据流实施运算识别。其中，分帧(即单个数据包占一帧图像的多少)和窗口(即初始图像识别区域)的大小是通过人工智能、机器学习的方法来自适应调整，通常是不等的，因此这个发明可以称其为数据流图像帧内智能分割识别算法。从理论上说，本发明的方法实际上是将一帧图像分割成了N个二级帧数据包，然后再对N个二级帧数据包分割成M个对应于初始图像识别区域的块或窗口，单个算法的复杂度降低到N分之一和M分之一，总体算法复杂度降低到N×M分之一，如果N，M足够大，整个算法复杂度大大降低。而分割后的小块有利于采用并行计算的方法或硬件实现，从而提高识别速度和识别率。硬件识别通常可以采用DSP，KPGA，或CPU/MPU单独完成，本发明所提供的这种方法在很多情况下可以简化为一维运算，并且可与视频重建同时进行，视频重建时间中的附加成本低。

基于上述实现方法，本发明还提供了一种数据流图像帧的实时分割识别装置，如图2所示，该所述装置包括：用于对图像识别区域内的图形对象进行分割、及获得图形分割区域的图形分割单元250，用于提取所述图形分割区域内图形对象特征的特征提取单元260，用于对所述图形对象特征进行比对、及结果输出的模式比对单元270，用于接收含有图像数据的数据包的接收模块200、以及用于存储数据的缓存单元210；在现有技术特征的基础上，所述装置还包括：预处理单元220，用于获取所述接收模块200当前接收的数据包，解析该数据包对应的图像数据，添加该图像数据的标示，并将该图像数据及标示存入所述缓存单元210累积；判断单元230，用于判断所述缓存单元210中累积的图像数据是否已构成初始图像识别区域，并在判定已构成初始图像识别区域时，将所述初始图像识别区域内的图像数据送至所述图形分割单元250。这里所述的预处理单元可以包括：解析单元，用于解析所述数据包所对应的图像数据；和标示单元，用于根据所述解析单元的结果，生成该图像数据的标示，此标示包括：该图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示。

如图2所示，为了设置中断源启动所述判断单元执行上述方法中的初始图像识别区域的判定过程，则可以在所述装置上设置一用于记录一预设时间周期的定时单元240，当达到所述预设时间周期时，所述定时单元240向所述判断单元发出启动信号。

综上所述，本发明根据人眼和视频记录、传输的工作原理，基于数据流(或视频流)的形成、传输和重建的时间顺序，将有序的图像成像与有序的分割相结合，符合视频图像的实际处理过程，没有造成数据的损失。相对现有技术中识别算法的基本流程，本发明的核心在于如何寻找定为区域和分割图片，至于智能分割的方法，根据不同的应用可以采用不同的分割模式，例如动态提取、轮廓提取、图形文字提取、网格化提取等不同方式，其中，动态提取的行列分割方法采用动态图像的上下左右为界等；轮廓提取的行列分割方法采用图像轮廓的上下左右为界等；图形文字的行列分割方法采用具有文字特征的图像的上下左右为界等；网格化提取的行列分割方法采用根据图像亮度色度极限值为界等。以上这些方法的综合选择运用，将数据流(或视频流)图像帧智能分割成有特征的小块，最大的优点是在保持数据完整的前提下，及早排除不相关区域，减少大范围识别带来的大运算量，将计算集中到最有意义的图像中和最适宜实施高速处理的模式下。除了数据流(或视频流)外，本发明亦适用于不确定块或分块的数据描述方法的数据流，如采用XML描述的自带结构描述体的数据流。应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1、一种数据流图像帧的实时分割识别方法，其特征在于，所述方法包括以下步骤：

2、根据权利要求1所述的方法，其特征在于，所述标示包括：每个数据包所对应的图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示。

3、根据权利要求2所述的方法，其特征在于，所述标示还包括：每个数据包所对应的图像数据在一帧图像中的色彩标示。

4、根据权利要求2所述的方法，其特征在于，所述步骤B中，初始图像识别区域的判定过程包括以下步骤：B1、根据所述亮度标示，判断所述图像数据中是否已经存在满足所述初始图像识别区域边界条件的数据集，若是，则判定该数据集已构成初始图像识别区域。

5、根据权利要求4所述的方法，其特征在于，在步骤B1之前增加以下步骤：B0、根据所述位置标示，判断所述图像数据中是否已经存在构成同一邻域的数据集，若是，则对该数据集内的图像数据执行步骤B1。

6、根据权利要求5所述的方法，其特征在于，所述累积达到一预设程度通过判断所述缓存中的图像数据是否累积达到一预设长度，或者通过判断是否累积达到一预设时间周期来实现。

7、根据权利要求3所述的方法，其特征在于，所述步骤B中，初始图像识别区域的判定过程包括：根据所述色彩标示，判断累积的图像数据是否已经存在满足所述初始图像识别区域边界条件的数据集，来判定是否已有初始图像识别区域的步骤。

8、一种数据流图像帧的实时分割识别装置，所述装置包括：用于对图像识别区域内的图形对象进行分割、及获得图形分割区域的图形分割单元，用于提取所述图形分割区域内图形对象特征的特征提取单元，用于对所述图形对象特征进行比对、及结果输出的模式比对单元，用于接收含有图像数据的数据包的接收模块、以及用于存储数据的缓存单元；

其特征在于，所述装置还包括：

预处理单元，用于获取所述接收模块当前接收的数据包，解析该数据包对应的图像数据，添加该图像数据的标示，并将该图像数据及标示存入所述缓存单元累积；

判断单元，用于判断所述缓存单元中累积的图像数据是否已构成初始图像识别区域，并在判定已构成初始图像识别区域时，将所述初始图像识别区域内的图像数据送至所述图形分割单元。

9、根据权利要求8所述的装置，其特征在于，所述预处理单元包括：

解析单元，用于解析所述数据包所对应的图像数据；

标示单元，用于根据所述解析单元的结果，生成该图像数据的标示，此标示包括：该图像数据在一帧图像中的位置标示，以及该图像数据的亮度标示。

10、根据权利要求8或9所述的装置，其特征在于，所述装置还包括：一用于记录一预设时间周期的定时单元，当达到所述预设时间周期时，所述定时单元向所述判断单元发出启动信号。