CN101467160B - Simd处理器上的模式检测 - Google Patents

Simd处理器上的模式检测 Download PDF

Info

Publication number
CN101467160B
CN101467160B CN2007800211157A CN200780021115A CN101467160B CN 101467160 B CN101467160 B CN 101467160B CN 2007800211157 A CN2007800211157 A CN 2007800211157A CN 200780021115 A CN200780021115 A CN 200780021115A CN 101467160 B CN101467160 B CN 101467160B
Authority
CN
China
Prior art keywords
information
data element
propagation
pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800211157A
Other languages
English (en)
Other versions
CN101467160A (zh
Inventor
R·P·克莱霍斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101467160A publication Critical patent/CN101467160A/zh
Application granted granted Critical
Publication of CN101467160B publication Critical patent/CN101467160B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

一种用于检测包括数据元素网格的图像中的模式的方法按照预定顺序处理每个数据元素。在处理这些数据元素之一时,执行以下步骤。检查(100)所述数据元素处是否存在预定局部特征,以便如果该局部特征存在,则产生有关该局部特征的信息。将传播方向(42)与所产生的信息关联,其中选择该传播方向,使得沿着该传播方向的数据元素仍然必须加以处理。沿着与相应信息关联的相应传播方向将所产生的信息传播(110)到与所述数据元素最近的相应数据元素。基于传播到所述数据元素的、关于在所述图像中别处确立的局部特征的信息来检查(104)包含多个特征(32)的预定模式是否存在,以及如果找到的话,则输出(108)有关所述模式的信息。

Description

SIMD处理器上的模式检测
技术领域
本发明涉及检测包括数据元素(dataelement)网格的图像中的模式。
背景技术
相关的现有技术文献是REUVERS M:“Face Detection On TheINCA+”以及KYOS等人:“A Programmable Parallel Processor LSIfor Video-based Driver Assistance Systems”。
图像中的目标和模式识别在例如机器人视觉中是重要的。由于模式识别任务的计算复杂性的原因,并行化是希望的,尤其是如果需要实时的结果以及计算资源有限的话。单指令多数据(SIMD)处理器可以用于图像处理,因为它们为像素处理(crunch)任务提供了相对较高的性能以及较低的功耗。若干视频改进技术已经在这些机器上成功实现,但是由于线性SIMD机器的局部的基于行的视界(view)的原因,对不同尺寸的、可能变形的目标进行图像分析是困难的。
US2002/0181775描述了一种计算特征值的图像识别算法,所述特征值指示目标图像和目标模型之间的相似程度。该计算可以借助于层级并行处理来实现。该方法可以通过使用用于检测预定类别和尺寸的模式或者针对各种尺寸进行检测的小规模电路来提供能够有效进行识别的模式识别处理。该设备包括用于通过按时间顺序多次输入模式数据来输入数据的时分数据输入装置、位置输入装置和特征检测装置。该专利申请公开的方法包括合并不同扫描位置处检测的多个特征并且基于合并结果确定特定模式存在的似然率。
US2002/0181765描述了一种用于通过神经网络等的并行操作执行指定目标的模式识别、检测等的模式识别设备的电路结构。常规上,将图像识别或语音识别处理划分成连续执行为特定识别目标指定的作为计算机软件的识别处理算法的类型以及通过独占并行图像处理器(SIMD、MIMD机器等)执行这种算法的类型。例如,在已知的一种目标识别设备中,多个图像处理器单元被用于通过在这样的处理器单元中提供的DSP来执行所述处理。该专利申请公开了一种用于检测包含在输入信号中的预定模式的模式识别设备,其包括:多个检测处理装置,用于分别检测对应相同输入的不同特征;多个综合(integrate)处理装置,用于针对每个处理结果空间综合由所述多个检测处理装置检测的特征;多个检测存储器,用于保留所述检测处理装置的处理结果;多个综合存储器,用于保留所述综合处理装置的处理结果;公共数据线,所有的所述预定检测处理装置以及所有的所述预定综合存储器都以一定的定时连接到该数据线;以及多根局部数据线,每根数据线连接到所述检测处理装置、所述综合处理装置以及所述检测存储器的预定集合;其中在将保留在所述检测存储器中的所述检测处理装置的处理结果输入到所述综合处理装置中时,读取所述多个检测存储器中的相同地址的数据并且将其输入到所述综合处理装置中;并且在将保留在所述综合存储器中的所述综合处理装置的处理结果输入到所述检测处理装置中时,读取所述多个检测存储器中的相同地址的数据并且将其输入到所述检测处理装置中。
现有技术中公开的系统相对复杂。它们通常要求多次输入并且处理数据,有时要求输入并且处理不同规模的数据。神经网络在计算上是昂贵的,并且要求大量的训练过程,这增加了开发负担。
发明内容
本发明的目的是提供不那么复杂的可靠的目标识别。本发明由独立权利要求进行限定。从属权利要求限定了有利的实施例。
该方法提供了用于模式识别的有效单遍扫描(one-pass)算法,其中所述模式包括多个特征。与这些特征相关的信息沿着图像以预定的相关方向传播,从而在沿着传播方向处理数据元素时所述信息对于处理元件(processing element)是可用的。这允许该处理元件将和所述特征相关的信息与其他信息组合,以便在单遍扫描中处理数据的同时确立与模式相关的信息。
两个或更多特征可以在不同的方向上传播,使得与第一和第二特征相关的信息在处理元件处变得可用,所述处理元件处理所述两个传播方向的交点处的数据元素。这样,可以在相应传播方向的交点处检测包括多个特征的目标。所述第一和/或第二特征也可以在两个或更多方向上传播,或者在一定扇形角内的所有方向上传播,以便增大这些传播的特征在交点处相遇的概率。
在检查模式的存在的步骤中,也可以将传播的信息与有关局部特征的信息组合。
在一个实施例中,处理所述数据元素的预定顺序使得网格线的所有数据元素的处理发生在继续处理后继相邻网格线的数据元素之前。通过使用这种处理数据元素的顺序,找出传播方向使得沿着该传播方向的数据元素仍然必须进行处理变得特别容易。
一个实施例包括使用多个处理元件以用于依照预定顺序并行地处理多个相应数据元素,其中传播所述信息的步骤包括使得该信息对于预定用于处理相应数据元素的处理元件是可用的,所述信息传播到所述相应数据元素。本发明可以有利地用在并行处理结构体系中。
在一个实施例中,处理所述数据元素的预定顺序使得预定将被并行处理的多个数据元素是单个网格线的一部分,并且该网格线的所有数据元素的处理发生在继续处理后继相邻网格线的数据元素之前。例如,将这些数据元素划分成取向与正被处理的单独的网格线中的至少一根垂直的分离条带,并且将每个处理元件设置用于处理相应条带中的数据元素。可以从图像的一侧开始朝着图像的另一侧一根接一根地处理这些网格线。所述传播方向朝向尚未处理并且仍然需要处理的数据元素。
本发明的这个方面例如在一系列处理器中的每一个正在处理不同的图像列的情况下是有效的。完整的处理器系列可以在一个步骤中处理图像的整行。在第二步骤中,处理下一行。通过将信息从第一处理元件传播到其相邻的处理元件(其处理图像的相邻列),该相邻的处理元件在处理位于所述相邻列以及所述下一行中的数据元素时可以考虑与找到的特征相关的信息。
在一个实施例中,检查模式的存在的步骤还基于所产生的信息来执行。这允许将传播的有关图像中别处特征的信息与当前正被处理的数据元素处找到的特征组合。
在一个实施例中,所述处理元件为单指令多数据类型的处理器的处理元件。这种类型的处理器特别适合用于所述的数据处理类型。
在一个实施例中,所述模式相应于预定义类型的目标。
通常,可以通过检测若干与目标关联的不同特征来识别所述目标。这些特征共同构成图像中的模式。这些特征的存在以及它们的相对位置可以用来识别目标。有利的是,与这些特征有关的信息还包括与这些特征在图像中的相应位置有关的信息。这使得能够更加精确地确定这些特征的相对位置。
在一个实施例中,传播所述信息的步骤包括将所述信息存储在可由处理元件访问的存储器中,所述处理元件预定用于处理相应数据元素,所述信息传播到所述相应数据元素。这是使用并行计算实现依照本发明的方法的特别有效的方式。
一个实施例包括:如果所述模式存在,则产生有关该模式的信息并且将传播方向与所产生的信息相关联,其中选择该传播方向,使得沿着该传播方向的数据元素仍然必须加以处理,其中检查所述模式的存在的步骤还基于传播到所述数据元素的、有关图像中别处确立的模式的信息。这使得使用若干特征在与其相应传播方向的交点不同的位置处的信息成为可能。在交点之后,组合的信息被进一步传播,使得该信息可以与图像中别处检测的特征组合。
在一个实施例中,沿着图像在预定扇形角内的所有方向上传播所产生的信息以及传播到所述数据元素的信息。这增大了找到所述模式的概率,因为有关所述特征的信息在更多的数据元素处变得可用。
在一个实施例中,所述传播方向与图像的至少一个轴成45度或者0度角度。这个实施例在方形像素或者立方体体素(voxel)的情况下是相对高效的,特别是如果连接的处理元件处理数据元素的相邻条带的话。每次当已经处理了数据元素,则将确立的特征以及通过传播获得的特征传播到相邻的数据元素和/或相邻的处理元件。
在一个实施例中,局部特征涉及图像中的边缘或梯度、图像中的斑点、图像的局部熵以及图像的局部颜色中的至少一个。这些是目标中通常出现的一些特征。目标可以通过组合若干所述的这样的特征来可靠地检测。在本发明中,也可以使用其他类型的特征。
一个实施例包括:确定第一传播方向与第二传播方向的交点的存在性,所述第一传播方向与针对其产生了信息的第一局部特征关联,所述第二传播方向与针对其产生了信息的第二特征关联,所述交点位于图像的边界之外;以及基于有关第一局部特征的信息以及有关第二局部特征的信息检查包含多个特征的模式的存在,并且如果找到的话,则输出有关该模式的信息。这个实施例允许即使在传播线的交点处于图像的外部的情况下仍然检测所述模式。
附图说明
本发明的这些和其他方面将参照附图来进行阐述,其中:
图1绘出了本发明的一个实施例;
图2绘出了本发明的另一个实施例;
图3-6示出了本发明的使用;以及
图7示出了本发明的一个实施例。
具体实施方式
SIMD处理器用于图像处理是非常有利的,因为它们为像素处理任务提供了较高的性能以及较低的功耗。像素处理通常在性质上是非常并行的,因此完全适合像Xetal那样的简单SIMD机器。若干视频改进技术已经在这些机器上成功实现,但是由于线性SIMD机器的局部的基于行的视界的原因,对不同尺寸的、可能变形的目标进行图像分析是困难的。
线性SIMD机器或者线性处理器阵列(LPA)在硬件中是有利的,因为它们易于级联,并且这些处理器可以共享超宽存储器而没有布局和布线问题。在图像分析中,自然目标通常通过识别所述目标内以及周围的某些特征来识别,因为这些目标是可变形的并且大小可能不同。所述特征的相对位置及其存在性可以用来识别完整的目标。
一个容易的实例是用于姿势识别的手的检测。这里,例如可以使用以下特征:
1.肤色。
2.强度:白色的手具有高的亮度级别,而黑色的手具有低的亮度级别。
3.边缘:在手指周围,相对较大数量的边缘出现在相对较小的图像区域中。
4.运动:对于姿势而言,手向侧面运动。
这些特征可以通过简单的滤波技术在图像中找到。它们中的每一个单独地不足以识别出手,但是其加权组合作用很大并且是有区别的。虽然这些特征相对于彼此的位置已知,但是由于可变形目标的尺寸差异的原因,其绝对位置是未知的。LPA-SIMD处理器仅仅具有图像的有限视界(比如观看项目1和2,但是错过3和4,因为只有图像的数行可以存储在有限的(缓存)存储器中)。通过经由图像数据“广播”响应的数据使得它们一定在某处会合/相遇,在图像中存在这个特定的斑点,其中保证以足够的确定度看见所有的特征。所述实例的特征的广播可以在图像扫描方向上进行。在图像的一个区域中,所有检测的特征消息都集中在一起,并且可以给出肯定的识别。
用于实现本发明一个实施例的非常适当的结构体系是图2中示意性绘出的Xetal LPA-SIMD(参见例如“Smart Cameras:Architectural Challenges”,Proceedings ACIVS 2002,Ghent,Belgium)。它包括线存储器26和控制器28。处理阵列20包括在控制器28的控制下执行指令的处理元件PE 0、PE 1、……、PE n。该线存储器中的信息在控制器28的控制下与诸如包含图像数据的主存储器之类的外设交换。该线存储器包含数据元素,例如画面元素(像素)或者体元素(体素)。线存储器26中的每个数据元素借助于连接21连接到相应的处理元件24。处理元件也可以借助于交叉连接22访问相邻的数据元素。处理器阵列20(PE 0……PE n)能够进行检测所需特征(上例中的项目1-4)集合所需要的所有简单滤波。通过具有到相邻元素的交叉连接22,可以高度有效地实现45度和0度数据广播。连接21和交叉连接22可以通过复用器来实现,以便允许每个处理元件24从线存储器24中的左、右或直接上方的存储元件中获得信息。
每个处理元件24容纳了布尔(Boolean)算子OR(或),该算子可以设置广播的存储字的相对位平面以便指示正被检测的在前特征。它还具有算子CLEAR(清除),其例如在帧的开始或者在检测到目标之后清除广播的信号。融合滤波、向下广播以及LPA-SIMD的这种组合为低成本目标识别给出了强大的机会。
在另一个实施例中,硬件模板是连接的线性形状的S IMD处理器(LPA),如图1中示意性绘出的。处理元件12(PE 0到PE n)在控制器(未示出)的控制下执行指令。处理元件12经由输入端10接收数据元素并且将有关检测的特征的信息写到输出端14。信息在相邻的处理元件之间通过使用连接16来交换。
每个处理元件(或者处理器)处理图像的一列或多列。如果每个处理器处理两列或更多列,那么优选地以隔行扫描的方式处理这些列。某行的所有数据元素的处理发生在继续下一行之前。因此,图像的行是根据自顶向下扫描图像来处理的,每个(SIMD)指令处理一个完整的图像行。该硬件易于帮助所有种类的卷积滤波器检测图像中的特征(例如颜色、边缘)并且还可以或者垂直向下将信息广播到下一个处理状态:
if(filter“X”responded)then
          state(0)=state(0)OR“X”;
else
          state(0)=state(0);
endif;
或者45度向左(-1)或向右(+1)将信息广播到下一个处理状态:
if(filter“Y”responded)then
          state(+/-1)=state(+/-1)OR“Y”;
else
          state(+/-1)=state(+/-1);
endif.
换言之,45度信息传播是通过将所述信息转发到左侧和/或右侧的相邻处理元件来实现的。这可以通过使用连接16来直接实现,或者通过使用交叉连接22来实现,以便改变线存储器26中的相邻数据元素。实际上,这改变了左侧或右侧的一个处理元件的状态矢量。在一个简单而有效的实施例中,使用了三个传播方向。在这种实施例中,“垂直”传播方向或者0度传播方向意味着修改state(0);-45度传播方向意味着修改state(-1);+45度传播方向意味着修改state(+1);在每个特定状态矢量中,例如通过设置位平面写入需要在希望的方向上广播的滤波器结果。
当处理图像的行时,检查与相应处理元件关联的状态矢量,从而验证是否已经检测到足够的特征以便能够就目标的检测得出结论。
图3-6中示出了本发明一个实施例的示例性使用。图3为待处理彩色图像的示意图。该图像包含汽车30的投影,该汽车30具有边缘31、在所述彩色图像中看起来呈红色的尾灯32和34、车牌36以及阴影38。尾灯32和34可以由相对简单的滤波器检测为特征,所述滤波器检测图像中红色斑点的存在。车牌36可以例如通过假设车牌在相对较小的区域中包含相对较高密度的边缘来检测。这些边缘涉及构成车牌号码的字符以及车牌本身的边缘。因此,车牌可以通过检测高密度的边缘来检测。检测车牌的另一种可能的方式包括现有技术中已知的光学字符识别技术。此外,阴影38可以例如通过检测图像中相对较暗(低亮度)的区域来检测。这些和其他特征可以自动地进行区分和检测,以用于汽车的自动目标识别。其他可能的特征包括窗口、轮胎、车轮(wheel)、门等等。在这个实例中,讨论特征“尾灯”、“车牌”以及“阴影”的使用。在一个优选的实施例中,按照类似于所讨论特征的方式识别和传播更多的特征,因为通过检测更多的特征,目标识别就变得更加稳健。所述图像优选地通过将多个处理元件用于处理单个行来逐行处理。该图像自顶向下进行处理。沿着一列或列组的所有数据元素通过单个处理元件来处理。在可替换实施例中,该图像自左至右、从右到左、自底向上或者以任何其他顺序进行处理。处理元件相对于数据元素的分配也可以是不同的。
现在转向图4,当处理包含尾灯32的图像的行时,负责处理包含尾灯32的列中的数据元素的处理元件将把尾灯32检测成红色斑点。它将在两个方向上向下传播特征“红色斑点”,即沿45度左下(由箭头40表示)和45度右下(由箭头42表示)方向传播所述特征。这是通过将有关红灯的信息向处理沿着方向40或方向42的数据元素(例如像素)的处理元件传播来实现的。检测代表尾灯的红色斑点的处理元件将造成在负责处理左侧和右侧相邻列数据元素的两个处理元件中设置标志。此外,可以将有关例如所述特征被检测到的确定度以及检测到该特征的位置的附加信息提供给这两个处理元件。当处理下一图像行时,所述标志和附加信息由如上所述设置了标志的两个处理元件加以考虑。这些标志和附加信息和与可能由其他处理元件设置的其他标志有关的信息以及与当前由该处理元件处理的数据元素有关的信息组合。如果没有检测到目标,那么将这些特征进一步沿着直线40和42传播。
类似地,尾灯34由处理元件检测,并且与该特征有关的信息沿着直线44和46传播。方向42和44具有交点48。处理交点48处的数据元素的处理元件组合有关两个尾灯的信息。在一个优选的实施例中,同样考虑传播到至少一个相邻处理元件或数据元素的信息。这允许处理在两个传播直线44和46的交点处不存在数据元素的情形。
图5示出车牌36由多个处理元件检测。与所述车牌的特征有关的信息垂直向下传播。这可以通过在所述处理元件内设置标志并且保持该标志设置来实现。保持的有关所述特征的信息不必限于简单的标志,可以存储更多的信息,例如有关在图像中所述位置处存在车牌的确定度。通过垂直向下传播交点48处的信息,那么不仅与两个尾灯有关的信息存在,而且有关检测的车牌的信息也存在。在这些情况下,可以以一定的确定度推断图像中显示了汽车。在所述交点处,也可以将汽车的阴影38检测成第四特征,这增大了图像中显示了汽车的确定度。
图6为不同图像的略图。其示出了相同的汽车60,但是该汽车60处于一定的角度。由于特征传播的方向固定在45度,因而与图5的情形相比,尾灯62和64的传播方向的交点61处于相对于汽车的不同位置。在交点61处,不存在阴影68,并且没有关于车牌66的信息传播到交点61。为了能够识别目标,交点60(这是与两个尾灯62和64都有关的信息)处可用的特征的组合进一步在两个方向65和67上传播。其结果是,在交点63处,传播的与两个尾灯有关的信息以及传播的与车牌有关的信息和与阴影有关的局部信息对于处理交点63处的数据元素的处理元件而言都是可用的。该处理元件组合所有的信息并且发出汽车存在的信号。有利的是,同样传播图像中检测到每个特征所在的位置。于是,组合这些信息的处理元件能够确定目标的位置、取向和/或尺寸。
图7示出了本发明一个实施例的操作的流程。特别地,示出了所述处理元件之一内的流程。在步骤100中,处理元件处理数据元素。可能的是,检测到预定义特征,例如边缘或特定颜色或强度。在步骤104中,处理元件通过访问该处理元件的局部数据来检查是否存在有关其他特征的信息。该信息可以是从另一个处理元件获得的(传播的)信息,或者它可以是由相同处理元件在图像中另一个位置检测的特征。在步骤104中,处理元件组合有关检测的特征的可用信息,并且基于此推断是否已经检测到预定义的目标。为此目的,处理元件使用有关对于每种类型的待识别目标而言应当存在哪些特征的信息。该信息基于目标模型。如果检测到目标(步骤106),则在步骤108中对其进行报告。所述报告可能涉及设置标志,或者发送信号给另一个处理器。在报告或者检测到目标之后,通常不必进一步传播关联的特征。如果在步骤106中没有检测到目标,那么在步骤110中将相关特征传播到其他处理元件。为此目的,所述处理元件维持从中其可以推断应当将每个特征传播到哪个处理元件的信息。即使在步骤106中检测到目标,仍然可能的是,在步骤110中需要进一步传播有关所述特征中的一些的信息,所述一些特征通常是不与目标关联的特征。
在报告步骤108和/或传播步骤110之后,在步骤112中评价终止准则。例如,如果在步骤108中检测到目标,或者如果已经处理了图像的列中的所有数据元素,那么可以退出所述处理。如果终止准则不满足,那么所述流程返回到步骤100以便处理下一个处理元件。
用于检测包含数据元素网格的图像中的特征的方法的一个实施例包括:确立与图像中第一位置处的第一特征32有关的信息;当处理位于起始于第一位置的第一方向42上的数据元素时,使处理元件24能够考虑与第一特征32有关的信息;当处理沿着由第一位置和第一方向限定的直线42的数据元素时,基于与第一特征32有关的信息以及与第二特征34有关的信息来确立与图像中的目标30有关的信息。第二特征34在第二方向44上传播,并且在第一直线42和第二直线44的交点48处确立所述目标。
应当理解,本发明还延伸到计算机程序,特别是载体之内或之上的适于实施本发明的计算机程序。该程序可以是源代码、目标代码、源和目标代码之间的代码(例如部分编译的形式)的形式,或者是任何其他适于用在依照本发明的方法的实现方式中的形式。所述载体可以是能够携带所述程序的的任何实体或设备。例如,该载体可以包括存储介质,例如ROM(例如CD ROM或半导体ROM),或者磁性记录介质,例如软盘或硬盘。此外,该载体可以是可传输载体,例如电信号或光信号,其可以经由电缆或光缆或者通过无线电或其他手段来传输。当程序包含于这种信号中时,该载体可以由这种缆线或其他设备或装置来构成。可替换地,该载体可以是其中嵌入了所述程序的集成电路,该集成电路适于执行或者适用于实现相关方法。
应当指出的是,上述实施例说明而不是限制了本发明,并且本领域技术人员在不脱离所附权利要求的范围的情况下能够设计出许多可替换实施例。在权利要求中,置于括号之间的任何附图标记都不应当被解释为对该权利要求的限制。动词“包括”及其变体的使用并没有排除存在权利要求中未列出的元件或步骤。元件之前的冠词“一”或“一个”并没有排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的设备权利要求中,这些装置中的一些可以通过同一硬件项来实施。仅仅某些措施在相互不同的从属权利要求中阐述这一事实并不意味着这些措施的组合不可以有利地使用。

Claims (14)

1.一种用于检测包括数据元素网格的图像中的模式的方法,该方法包括按照预定顺序处理每个数据元素,并且当处理这些数据元素之一时:
检查(100)在所述数据元素处预定局部特征(32)的存在,并且在该局部特征存在时,产生有关该局部特征的信息;
将传播方向(42)与所述信息相关联,其中选择该传播方向,使得沿着该传播方向(42)的数据元素仍然必须加以处理;
在沿着该传播方向与所述数据元素最近的数据元素的方向上传播(110)所述信息;以及
基于传播到所述数据元素的、关于在所述图像中别处确立的局部特征的信息来检查(104)包含多个特征(32)的预定模式的存在,以及
在找到时,输出(108)有关所述模式的信息。
2.依照权利要求1的方法,其中处理数据元素的预定顺序是使得网格线的所有数据元素在继续处理后继相邻网格线的数据元素之前进行处理。
3.依照权利要求1的方法,还包括使用多个处理元件(12),所述多个处理元件(12)用于依照所述预定顺序并行处理多个相应数据元素;并且
其中传播所述信息的步骤包括使得该信息对于预定用于处理该信息传播到的相应数据元素的处理元件(12)是可用的。
4.依照权利要求3的方法,其中处理数据元素的预定顺序是使得预定将要并行处理的多个数据元素是单独的网格线的一部分,并且该网格线的所有数据元素在继续处理后继相邻网格线的数据元素之前进行处理。
5.依照权利要求1的方法,其中检查所述模式的存在的步骤通过处理元件也基于传播到该处理元件的信息来执行。
6.依照权利要求3的方法,其中所述处理元件为单指令多数据类型的处理器的处理元件。
7.依照权利要求1的方法,其中所述模式对应于预定义类型的目标(30)。
8.依照权利要求3的方法,其中传播所述信息的步骤包括将所述信息存储在可由处理元件(24)访问的存储器(26)中,其中所述处理元件(24)预定用于处理所述信息传播到的相应数据元素。
9.依照权利要求1的方法,还包括:
如果所述模式存在,则产生有关该模式的信息,并且将传播方向(67)与所述信息相关联,其中选择该传播方向,使得沿着该传播方向的数据元素仍然必须加以处理;并且
其中检查所述模式的存在的步骤也基于传播到所述数据元素的、有关所述图像中别处确立的模式的信息。
10.依照权利要求1的方法,其中沿着所述图像在预定角度内的所有方向上传播所述信息以及接收的、在所述数据元素的方向上传播的信息。
11.依照权利要求1的方法,其中所述传播方向与所述图像的至少一个轴成45度或者0度角度。
12.依照权利要求1的方法,还包括:
确立第一传播方向与第二传播方向的交点的存在性,其中所述第一传播方向与针对其产生了信息的第一局部特征相关联,所述第二传播方向与针对其产生了信息的第二局部特征相关联,所述交点位于所述图像的边界之外;以及
基于有关第一局部特征的信息以及有关第二局部特征的信息来检查包含多个特征的模式的存在,并且如果找到的话,则输出有关该模式的信息。
13.一种用于检测包括数据元素网格的图像中的模式的系统,该系统按照预定顺序处理每个数据元素,并且当处理这些数据元素之一,该系统包括:
用于检查(100)在所述数据元素处预定局部特征(32)的存在并且在该局部特征存在时产生有关该局部特征的信息的装置;
用于将传播方向(42)与所述信息相关联的装置,其中选择该传播方向,使得沿着该传播方向(42)的数据元素仍然必须加以处理;
用于在沿着该传播方向与所述数据元素最近的数据元素的方向上传播(110)所述信息的装置;以及
用于基于传播到所述数据元素的、关于在所述图像中别处确立的局部特征的信息来检查(104)包含多个特征(32)的预定模式的存在的装置,以及
用于在找到时输出(108)有关所述模式的信息的装置。
14.依照权利要求13的系统,包括用于依照所述预定顺序并行处理多个相应数据元素的多个处理元件(12);以及
用于使得所述信息对于预定用于处理所述信息传播到的相应数据元素的处理元件(12)是可用的装置(16)。
CN2007800211157A 2006-06-08 2007-05-11 Simd处理器上的模式检测 Expired - Fee Related CN101467160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06115115.5 2006-06-08
EP06115115 2006-06-08
PCT/IB2007/051779 WO2007141679A1 (en) 2006-06-08 2007-05-11 Pattern detection on an simd processor

Publications (2)

Publication Number Publication Date
CN101467160A CN101467160A (zh) 2009-06-24
CN101467160B true CN101467160B (zh) 2012-01-25

Family

ID=38473057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800211157A Expired - Fee Related CN101467160B (zh) 2006-06-08 2007-05-11 Simd处理器上的模式检测

Country Status (8)

Country Link
US (1) US20100232680A1 (zh)
EP (1) EP2030149B1 (zh)
JP (1) JP2009540416A (zh)
KR (1) KR20090018093A (zh)
CN (1) CN101467160B (zh)
AT (1) ATE479158T1 (zh)
DE (1) DE602007008720D1 (zh)
WO (1) WO2007141679A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
KR102214028B1 (ko) 2014-09-22 2021-02-09 삼성전자주식회사 가변구조형 스케일러를 포함하는 애플리케이션 프로세서와 이를 포함하는 장치들
CN112200193B (zh) * 2020-12-03 2021-03-16 中国科学院自动化研究所 基于多属性融合的分布式车牌识别方法、系统、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027751A1 (en) * 2004-09-09 2006-03-16 Koninklijke Philips Electronics N.V. Interconnections in simd processor architectures

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901360A (en) * 1987-10-23 1990-02-13 Hughes Aircraft Company Gated architecture for computer vision machine
JP4523104B2 (ja) * 2000-01-14 2010-08-11 正俊 石川 画像検出処理装置
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
JP2002183724A (ja) * 2000-12-11 2002-06-28 Hamamatsu Photonics Kk 高速画像処理装置
JP2002358523A (ja) * 2001-05-31 2002-12-13 Canon Inc パターン認識処理装置及びその方法、画像入力装置
JP4846924B2 (ja) * 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
JP2004056266A (ja) * 2002-07-17 2004-02-19 Ricoh Co Ltd 像域分離装置、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP2004362460A (ja) * 2003-06-06 2004-12-24 Nippon Precision Circuits Inc 画像検出処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006027751A1 (en) * 2004-09-09 2006-03-16 Koninklijke Philips Electronics N.V. Interconnections in simd processor architectures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kagesawa, M等.Recognizing vehicles in infrared images using IMAP parallel vision board.《IEEE Transactions on Intelligent Transportation Systems》.2001,第2卷(第1期),第10页至第17页. *
Kyo S等.A programmable parallel processor LSI for video-based driver assistance systems.《Intelligent Transportation Systems
Kyo, S等.A programmable parallel processor LSI for video-based driver assistance systems.《Intelligent Transportation Systems,2003.Proceedings.2003 IEEE》.2003,第1卷第257页至262页. *

Also Published As

Publication number Publication date
ATE479158T1 (de) 2010-09-15
WO2007141679A1 (en) 2007-12-13
EP2030149A1 (en) 2009-03-04
US20100232680A1 (en) 2010-09-16
CN101467160A (zh) 2009-06-24
JP2009540416A (ja) 2009-11-19
DE602007008720D1 (de) 2010-10-07
EP2030149B1 (en) 2010-08-25
KR20090018093A (ko) 2009-02-19

Similar Documents

Publication Publication Date Title
CN101467160B (zh) Simd处理器上的模式检测
US20090085772A1 (en) System And Method Of Image-Based Space Detection
KR101824446B1 (ko) 강화 학습 기반 cctv용 차량 번호 인식 방법
Suhr et al. Fully-automatic recognition of various parking slot markings in Around View Monitor (AVM) image sequences
CN110378218A (zh) 一种图像处理方法、装置及终端设备
JP6823692B2 (ja) 車線処理方法、装置、及びプログラム
CN103916603A (zh) 逆光检测方法及设备
US10521700B2 (en) Methods and systems for converting a line drawing to a rendered image
US20090110286A1 (en) Detection method
CN110232304A (zh) 用于多问题求解的异构卷积神经网络
CN110852258A (zh) 物体检测方法、装置、设备及存储介质
US11416707B2 (en) Information processing method, information processing system, and information processing apparatus
CN115690765B (zh) 车牌识别方法、装置、电子设备、可读介质和程序产品
CN110866475A (zh) 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质
CN112001912A (zh) 目标检测方法和装置、计算机系统和可读存储介质
Weimer et al. Gpu architecture for stationary multisensor pedestrian detection at smart intersections
CN1286063C (zh) 用于液晶投影仪的图象赝象去除方法和设备
CN110088807A (zh) 分隔线识别装置
CN1258745C (zh) 用于液晶投影仪的存储器高效的图象赝象去除技术
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质
JP2003294416A (ja) ステレオ画像処理装置
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备
Wang et al. Holistic Parking Slot Detection with Polygon-Shaped Representations
Xiao et al. Parking spot classification based on surround view camera system
CN117037120B (zh) 一种基于时序选择的目标感知方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120125

Termination date: 20120511