CN101286230A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101286230A
CN101286230A CNA2008100899498A CN200810089949A CN101286230A CN 101286230 A CN101286230 A CN 101286230A CN A2008100899498 A CNA2008100899498 A CN A2008100899498A CN 200810089949 A CN200810089949 A CN 200810089949A CN 101286230 A CN101286230 A CN 101286230A
Authority
CN
China
Prior art keywords
image
image block
edge
subregions
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100899498A
Other languages
English (en)
Other versions
CN101286230B (zh
Inventor
池田和世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101286230A publication Critical patent/CN101286230A/zh
Application granted granted Critical
Publication of CN101286230B publication Critical patent/CN101286230B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备将图像分割成每个均是图像的部分区域的多个第一图像块,并进一步分割每个第一图像块以获取与用于判断第一图像块的图像的边缘方向的滤波器相对应的多个分区。图像处理设备基于多个分区和滤波器来判断每个第一图像块的边缘方向,并判定为不能判断其边缘方向的第一图像块为失败的图像块。然后,图像处理设备根据失败的图像块生成由在大小上不同于多个所获取的分区的多个分区构成的第二图像块,并基于多个新生成的分区和滤波器来判断第二图像块的边缘方向。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种从图像提取边缘特征的图像处理设备和图像处理方法。
背景技术
迄今为止,已经提出了使用边缘特征的各种图像检索方法和识别方法。典型的边缘提取方法涉及使用差分滤波器对包括邻近像素的范围进行每像素的计算。所使用的滤波器包括Prewitt滤波器、Sobel滤波器、Robison滤波器、以及Kirsch滤波器。在将边缘特征用于图像检索等的情况下,在许多情况下,使用图像的部分区域中的边缘分布作为特征量。
在“MPEG-7边缘直方图描述符的高效使用(Efficient Use ofMPEG-7 Edge Histogram Descriptor)”(Chee Sun Won et al.,ETRI Journal,Vol.24,Feb.2002,下文中称为文献1)中公开的边缘直方图使用如下边缘提取方法:与使用Sobel滤波器等的方法相比,该边缘提取方法需要以较低的计算成本来获得边缘分布。现在将说明在文献1中公开的边缘提取方法。
首先,将输入图像10分割为4×4个子图像11,如在图12中所示。将各子图像进一步分割为正方形图像块12以便近似规定数。接着,将图像块进一步分割为4(2×2)个分区(compartment)13,判断各分区的平均亮度a(0)~a(3)。接着,使用与图13A~13D中示出的四个方向,即(a)垂直、(b)水平、(c)45度、和(d)135度以及图13E中示出的无方向相对应的滤波器来计算各边缘强度(edge strength)m_v、m_h、m_d45、m_d135和m_nd。例如,当a(n)表示将图像块12分割成的四个分区的每个的平均亮度时,由下面的表达式来表示m_v(注意,n=0~3,并且表示附给四个分区中每个的数字)。
m_v=|1×a(0)+(-1)×a(1)+1×a(2)+(-1)×a(3)|      (1)
当边缘强度m_v、m_h、m_d45、m_d135和m_nd中的最大值大于或等于规定阈值A时,将最大值的方向确定为目标图像块的边缘的方向。阈值A是认为存在边缘的最小强度值。通过计数子图像11中包括的每个图像块12的方向来计算边缘直方图Eij。注意,i=0~4对应于图13A~13E中示出的滤波器,j=0~15对应于子图像11。使用这样获得的边缘直方图Eij作为特征量。
然而,尽管与使用Sobel滤波器等的边缘提取方法相比,文献1中示出的边缘提取方法具有小的计算成本的优势,但是该边缘提取方法并不总是能够满意地获得边缘特征。将作为例子说明将该边缘提取方法应用于以二值图像的线为目标的图像检索的情况,在这种情况下,该问题更显著。
在图14A中,四个等距离线21重叠通过将宽度为2d的四个图像块分割成四个所分别获得的总共16个区域。对于二值图像的线,经常使用以等距离分区的直线构成的阴影来表示特定浓度的区域,例如对应于线21的区域等。对于这些阴影区域,根据图像块12的大小和线21的分区之间的关系,不总是可以提取阴影。例如,考虑图像块12的大小和线21的分区同步的情况,如在图14A中所示。假定图像块12的大小(宽度和高度)是2d,线21的厚度(宽度)是b,线21之间的分区为g。例如,当这些值处于下面的等式(2)中示出的关系时,等式(1)中的a(n)值将全部相同。因此,m_v值将为0,使得尽管垂直线明显地存在,也不可能检测到该垂直线。
d=b+g      (2)
在进行使用边缘直方图的图像检索的情况下,如果查询提供的图像的边缘直方图与数据库中存储的图像的边缘直方图类似,则能够检索到图像。因此,即使线21存在,如图14A所示,如果总是不可能到检测边缘,则数据库和查询中的边缘直方图的特征量也将类似。然而,在图像块12的大小和线21的分区略微不同步的情况下,如图14B,根据偏移的程度,可能或者不可能检测到边缘。例如,考虑将图像块12和阴影线21布置在如图14B的关系中的情况。当图像块12的大小(宽度和高度)为2d、线21的左边缘偏移图像块12的左边缘a、线21的厚度为b、线21之间的分区为g、线21的亮度为0、并且白色背景的亮度是255时,等式(1)中的值将为如下所示。
a(0)=a(2)=(d-(b-a)×255)/d
a(1)=a(3)=((d-b)×255)/d
m_v=(a×255)/d                 (3)
因此,假定对于查询中的图像和数据库中的图像,图像块的大小相同,则根据a的值,m_v的值将大于或小于阈值A,从而使能检测到边缘或者防止边缘被检测到。
随着线21在长度的增加,该状态沿阴影线21的方向扩展,并且根据如线21的厚度和分区等条件,该状态垂直于线21而扩展。有时,阴影还应用于宽区域,这使得即使具有看上去十分类似的图像,边缘直方图的特征量也极大地不同,并导致了不能够检索类似的图像。
发明内容
考虑到上述问题作出了本发明。根据本发明的实施例,提供一种能够更精确地计算图像的边缘特征量的图像处理设备和方法。
根据本发明的一个方面,提供一种图像处理设备,包括:
分割部件,用于将图像分割成每个均是所述图像的部分区域的多个第一图像块;
获取部件,用于对由所述分割部件获得的每个所述第一图像块进行分割,并获取与用于判断所述第一图像块的图像的边缘方向的滤波器相对应的多个分区;
第一判断部件,用于基于由所述获取部件获取的所述多个分区和所述滤波器来判断每个所述第一图像块的所述边缘方向;
判定部件,用于判定由所述第一判断部件不能判断其边缘方向的第一图像块是失败的图像块;
生成部件,用于根据所述失败的图像块,生成由在大小上不同于由所述获取部件获取的所述多个分区的多个分区构成的第二图像块;以及
第二判断部件,用于基于由所述生成部件生成的所述多个分区和所述滤波器来判断所述第二图像块的边缘方向。
并且,根据本发明的另一个方面,提供了一种图像处理方法,包括:
分割步骤,用于将图像分割成每个均是所述图像的部分区域的多个第一图像块;
获取步骤,用于对在所述分割步骤中获得的每个所述第一图像块进行分割,并获取与用于判断所述第一图像块的图像的边缘方向的滤波器相对应的多个分区
第一判断步骤,用于基于在所述获取步骤中获取的所述多个分区和所述滤波器来判断所述每个第一图像块的所述边缘方向;
判定步骤,用于判定在所述第一判断步骤中不能判断其边缘方向的第一图像块是失败的图像块;
生成步骤,用于根据所述失败的图像块,生成由在大小上不同于在所述获取步骤中获取的所述多个分区的多个分区构成的第二图像块;以及
第二判断步骤,用于基于在所述生成步骤中生成的所述多个分区和所述滤波器来判断所述第二图像块的边缘方向。
此外,根据下面参考附图对示例性实施例的说明,本发明的其它特征将显而易见。
附图说明
图1是示出根据优选实施例的图像处理设备的示例性配置的框图。
图2是示出根据优选实施例的图像处理设备的示例性功能配置的框图。
图3是示出根据优选实施例的登记处理的流程图。
图4示出优选实施例中使用边缘直方图的指标(index)的示例性数据结构。
图5是示出根据优选实施例的边缘提取处理的流程图。
图6是示出根据优选实施例的判断边缘提取失败的处理的流程图。
图7A~7C示出根据优选实施例的图像块的示例性亮度直方图。
图8是示出根据优选实施例的边缘方向校正处理的流程图。
图9是示出根据优选实施例的检索处理的流程图。
图10示出改变图像块中分区的大小的例子。
图11是示出根据优选实施例的边缘提取处理的变化的流程图。
图12示出图像中子图像、图像块以及分区之间的关系。
图13A~13E示出示例性边缘形状和提取滤波器。
图14A~14B示出传统边缘提取方法的问题。
图15A~15C示出图像块的缩小。
具体实施方式
现在将根据附图详细说明本发明的优选实施例。在下面的实施例中,说明了这个例子,其中,将在图像中提取边缘的方法应用于使用边缘直方图作为特征量的图像检索。
图1是示出在本实施例中图像处理设备100的控制配置的框图。在图1中,附图标记101是在本实施例的图像处理设备100中执行各种控制的CPU。附图标记102是存储各种数据及启动设备时执行的引导(boot)程序的ROM。附图标记103是存储用于由CPU 101执行的处理的计算机程序、并提供CPU 101执行各种控制时用的工作区的RAM。附图标记104是键盘、105是鼠标,二者作为指示装置,一起提供用户的各种输入操作用的环境。
附图标记106是由硬盘、软盘(注册商标)、光盘、磁盘、磁光盘、磁带、及非易失性存储卡等构成的外部存储设备。附图标记107是由液晶显示器等构成的、向用户显示结果等的显示器。附图标记108是使能通过网络与装置进行通信的网络接口。附图标记109是用于与如扫描器111或数字照相机112等装置进行通信的IEEE 1394、USB或类似接口。附图标记110是可通信地连接前述构成元件的系统总线。
注意,可以用配置在网络上的装置来替换外部存储设备106、扫描器111和数字照相机112。
图2是示出与由本实施例的图像处理设备100进行的边缘提取和特征量计算有关的示例性功能配置的框图。
在图2中,附图标记201是通过接口109输入由如扫描器111或数字照相机112等装置获取的图像、或者通过网络接口108输入因特网或LAN上存在的图像的图像输入单元。附图标记202是对输入图像进行需要的预处理的预处理单元。附图标记203是对由预处理单元202预处理后的图像进行边缘提取处理的边缘提取单元。附图标记204是基于边缘提取单元203的边缘提取的结果、生成示出边缘方向的发生频率的边缘直方图的边缘直方图生成单元。附图标记205是存储并管理与边缘直方图相关联的输入图像的图像数据库。附图标记206是计算图像之间的距离的距离计算单元。在进行检索时,距离计算单元206计算输入查询图像的边缘直方图和图像数据库205中每个图像的边缘直方图之间的距离。附图标记207是基于由距离计算单元206的距离计算的结果、向用户显示检索到的图像的显示单元。通过CPU101执行ROM 102中存储的计算机程序或者执行从外部存储设备106加载至RAM 103的计算机程序来实现上述单元。
登记
首先,将使用图3的流程图来说明将图像登记至图像处理设备100的登记。
首先,在步骤S301中,图像输入单元201通过网络接口108或接口109输入图像以进行登记。接着,在步骤S302,预处理单元202判断该输入图像是彩色还是灰度(grayscale)。如果该输入图像是彩色,则在步骤S303中,预处理单元202将该输入图像转换成灰度。注意,在从数字照相机112获取图像的情况下,通过分析图像的数据格式并参考头信息可以进行该图像是彩色还是灰度的判断。如果从扫描器111获取该图像,则基于由用户设置的扫描器条件可以进行该判断。并且,例如,通过使用下面的等式(4)将彩色图像数据中红(R)、绿(G)、和蓝(B)像素的值转换成灰度信号(Y)可以进行在步骤S303中从彩色到灰度的转换。
Y=0.299×R+0.587×G+0.114×B      (4)
接着,在步骤S304中,边缘提取单元203对输入图像进行边缘提取。下面将详细说明边缘提取的处理。接着,在步骤S305,边缘直方图生成单元204汇集在步骤S304处提取的边缘,并生成如上使用图12和图13A~13E说明的边缘直方图Eij。接着,在步骤S306中,边缘直方图生成单元204将所生成的边缘直方图Eij作为与图像相关联的指标存储在图像数据库205中。
图4是使用边缘直方图的示例性指标。图像ID 401是指定给登记的图像的标识符(ID)。边缘直方图402是相应图像的边缘直方图Eij。图像文件路径403是到登记的图像文件的路径信息。通过参考该路径信息可以读取图像数据的主体。
边缘提取处理
将使用图5的流程图来详细说明边缘提取处理。
首先,在步骤S501中,边缘提取单元203将输入图像分割成图像块。这涉及对输入图像进行分割,以确保在4×4个子图像11的每个中正方形图像块12近似规定数,如图12所示。这里,尽管稍后将对图像块进行2×2滤波处理,正方形的每边必须是至少2个像素的偶数,但没有具体限定“规定数”。即,在步骤S501,将图像分割成每个均是图像的部分区域的多个图像块。在本申请中,将在步骤S501获得的多个图像块称为第一图像块。从多个第一图像块的每个获取与用于判断图像块的图像的边缘方向的滤波器相对应的多个分区。
接着,在步骤S502,边缘提取单元203按顺序一次一个地选择图像块。如果已经处理了所有的图像块,则该边缘提取处理从步骤S503结束。如果选择了未处理的图像块,则该处理从步骤S503进入步骤S504。
在步骤S504,边缘提取单元203基于多个所获取的分区和滤波器来判断第一图像块的图像的边缘方向(第一判断处理)。即,将图13A~13E中示出的四个方向的和无方向的滤波器应用于目标图像块,并判断各边缘强度(m_v、m_h、m_d45、m_d135、m_nd)。如果所判断的边缘强度的最大边缘强度大于或等于阈值A,则边缘提取单元203判定为对应于该边缘强度的方向为目标图像块12的方向,并且将该方向和该边缘强度临时保存在RAM 103中。另一方面,如果最大边缘强度低于阈值A,则边缘方向保持未判定。此时,边缘提取单元203将图像块12的平均亮度临时保存在RAM 103中。由于在判断边缘强度时判断由每个图像块分割成的四个小区域的平均亮度(a(0)~a(3)),如在等式(1)中所示,因此可以利用少的处理成本来判断图像块12的平均亮度。
如果在步骤S504中能够判定边缘方向,则处理从步骤S505返回步骤S502。另一方面,如果在步骤S 504中不能判定边缘方向,则处理从步骤S505进入步骤S506。
在步骤S506,边缘提取单元203判断是否已经发生了关于目标图像块12的边缘提取失败。下面参考图6来说明提取失败判断。如果在步骤S 506判断为已经发生了提取失败,则处理进入步骤S507。在步骤S507,边缘提取单元203使用校正处理(方向判定校正处理)再次判定目标图像块12的边缘方向。注意,相对于第一判断处理(S504)也将在步骤S507中进行的边缘方向判断称为第二判断处理。在不能利用第一判断处理来判断边缘方向的情况下,基于第一图像块的亮度分布等,步骤S506中的判断处理是用于判断在图像块中存在边缘的可能性,也将该判断处理称为第三判断处理。然后,边缘提取处理返回步骤S502。下面将参考图8来详细说明该校正处理。注意,如果在步骤S506中判断为没有发生边缘提取失败,则处理直接返回步骤S502。
接着,将使用图6的流程图来详细说明在步骤S506中判断边缘提取失败的处理。
在步骤S601中,边缘提取单元203判断目标图像块12的平均亮度是否大于规定值。本发明试图解决的问题主要发生于线并经常发生于白色背景上的线。并且,极有可能许多图像块在线上没有线段(line segment)。因此,在本实施例中,如果目标图像块的平均亮度大于规定值,则判断该图像块或者没有线段或者有很少的边缘。即,如果平均亮度大于规定值,则结束处理,并假定不存在边缘提取失败。这使得能防止对具有少的线段的图像块进行不必要的校正并使得边缘提取的处理速度增加。另一方面,如果在步骤S601中判断为目标图像块12的平均亮度小于或等于规定值,则处理进入步骤S602。
在步骤S602,边缘提取单元203生成目标图像块12的亮度直方图,以判断在目标图像块12中是否存在线段(line segment)。将在步骤S504判断的目标图像块12的平均亮度用于生成亮度直方图。现在将详细说明直方图生成。
如果不存在线段,认为图像块12的亮度直方图展示了均匀分布(uniform distribution),如在图7A中所示。然而,如果如在图14A和14B所示在图像块12中存在线段,则如图7B所示,平均亮度的任一侧的极大值的频率将大于平均亮度的频率。根据线的厚度,峰值的任一个还可能高于另一个。因此,如在图7C中所示,在本实施例中,边缘提取单元203生成具有三个柱子(bin)的亮度直方图,并以通过从平均亮度减去规定值W所获得的值和通过将规定值W添加至平均亮度所获得的值作为柱子的边界。该亮度直方图使得能容易地判断图7A和7B之间的差异。
在步骤S603,边缘提取单元203使用在步骤S602生成的亮度直方图来判断是否已经发生边缘提取失败。在本实施例中,如果对应于平均亮度的柱子的频率值比其它两个柱子的值小规定值Z或更多,则边缘提取单元203判断为已经发生提取失败,而如果不是如上情况,则判断为没有发生提取失败。因此,通过在判断是否已经发生提取失败之后进行步骤S507中的校正处理,可以防止对没有发生提取失败的图像块执行校正处理。由于步骤S507的校正处理试图在改变图像块的大小时重复地判断边缘方向,如在下面所述,因此,省略不必要的校正明显有助于提高处理速度。
接着,将使用图8的流程图来详细说明步骤S507的校正处理。该校正处理包括生成由大小上不同于与第一图像块相关获得的多个分区的多个分区所构成的第二图像块,并基于该多个分区和滤波器来判断第二图像块中图像的边缘方向。
在步骤S801中,边缘提取单元203将目标图像块12的高度和宽度每个均缩小2像素。由此获得大小上不同于在步骤S501获得的多个分区的多个分区。如从图15A~15C清楚地看出,即使在不能检测到与阴影相关的边缘的情况下,逐渐使图像块在大小上变得更小将使边缘能够迟早被提取。例如,如果如图15A所示,配置线21和图像块12,由于没有发生垂直或横向分区之间平均亮度中的差异,因此将检测不到边缘。如在图15B中所示,当原始图像块12被垂直地和水平地缩小两像素时,仍没有出现垂直或横向分区之间平均亮度中的差异。相反,如在图15C中所示,如果原始图像块12的大小被垂直地和水平地均缩小四像素时,横向分区之间平均亮度中的差异出现,使得能够检测到垂直边缘。
接着,在步骤S802,边缘提取单元203根据图像块的大小出现分支(branch)。边缘提取单元203根据处理后的图像块的大小是否小于初始图像块大小的规定比例出现分支。例如,如果图像块小于原始大小的一半,则假定不能提取边缘,并且在将不存在边缘的事实临时保存在RAM 103中之后,结束处理。如果图像块大于或等于原始大小的一半,则处理进入步骤S803。
在步骤S803,边缘提取单元203判定边缘方向(第二判断步骤)。该处理与步骤S504相同。在步骤S804,边缘提取单元203判断是否可以在步骤S803中判定边缘方向。如果不能判定边缘方向,则处理返回步骤S801,相反如果可以判定边缘方向,则处理结束。通过在逐渐缩小图像块的大小的同时判定边缘方向,使得在步骤S504中不能判定的与阴影等有关的边缘方向能被判定和校正。
注意,尽管仅在步骤S506的第三判断处理处判断为存在提取失败的情况下进行步骤S507的方向判定处理,本发明不限于这种配置。例如,可以省略步骤S506的判断,并总是进行步骤S507的方向判定处理。在这种情况下,例如,从通过改变图像块的大小所获得的多种类型的边缘方向判断结果采用给出最强的边缘强度的边缘方向判断结果。因此,根据本实施例,基于由第一判断处理和第二判断处理的至少一个所判断的边缘方向来判定包括在图像中的部分区域的边缘方向。
检索处理
将使用图9的流程图来说明由图像处理设备100的检索处理。
首先,在步骤S901~S905,由图像输入单元201输入查询图像,并由预处理单元202、边缘提取单元203和边缘直方图生成单元204生成边缘直方图。直到此处为止的处理与在图3中登记处理的步骤S301~S305相同。
接着,在步骤S906,距离计算单元206按顺序读取出图像数据库205中每个图像的边缘直方图,并计算所读取的边缘直方图和输入的查询图像的边缘直方图之间的距离。具体地,例如,距离计算单元206对边缘直方图Eij的柱子之间的差的绝对值求总和。计算出的距离越小,两个图像彼此越相像,得出的最小距离的图像为第一候选。将这样计算的距离和要搜索的图像的ID的列表临时保存在RAM 103中。
接着,在步骤S907,在首先对在步骤S906获取的列表按距离的升序进行排序之后,距离计算单元206参考基于图像ID的指标、从图像数据库205按顺序读取图像,并且将读取的图像缩小以生成缩略图图像。
接着,在步骤S908,显示单元207显示检索结果。更具体地,显示单元207将在步骤S907获取的缩略图图像连同距离一起显示在矩阵中。例如,显示单元207从第一候选开始,从左至右、从上至下按顺序显示缩略图图像的行。用户能够检查是否获得期望图像作为结果。
其它实施例
在前述实施例中,使用文献1中公开的边缘直方图作为图像检索中的特征量,尽管本发明当然不限于这种配置。例如,可以省略无方向的滤波器,仅使用有方向的滤波器。同样,等式(1)没有考虑到边缘方向(orientation)的差异(使用绝对值),尽管通过在等式(1)中单独处理正负值可以考虑方向的差异。另外,可以使用五个或多个有方向的滤波器。例如,可以使用八个有方向的滤波器,将22.5度、67.5度、112.5度和157.5度滤波器添加至图13A~13D中示出的四个方向滤波器。
在前述实施例中,在发生边缘提取失败时,通过缩小图像块的大小对边缘方向判定进行校正,如在步骤S801中所示,尽管本发明不限于该种配置。例如,通过扩大图像可以进行校正,这也使与阴影等相关地边缘能够被提取。并且,如在图10所示,可以改变图像块中分区的大小,而不改变图像块的大小。即,如图10所示,通过改变分割比率如减小d2的值并增加d1的值等,改变图像块12中分区的形状。通过在如此改变分区的形状之后使用上述滤波器来进行边缘方向检测使得能提取与阴影等有关的边缘。即,根据上述实施例,作为通过改变从图像块获取的多个分区的像素配置来获取多个分区、并然后使用针对新的多个分区的滤波器来进行边缘方向检测的结果,防止线段检测失败。
在前述实施例中,对于被判断为具有边缘提取失败的图像块校正边缘方向判定,尽管可以利用多种类型的图像块生成多个直方图,并且可以采用具有大频率的边缘直方图。例如,在生成初始图像块大小的边缘直方图之后,在逐步地重新生成边缘直方图时,逐渐缩小图像块的大小。从如此获得的多个边缘直方图采用与子图像有关的沿每个方向具有大频率的边缘直方图。注意,在将与不同大小的图像块(即,子图像中图像块的不同数量)有关的边缘直方图的频率进行比较时,明显需要利用图像块的数量对频率进行正规化。
图11是示出用于在生成多个边缘直方图时的处理的流程图。在步骤S1101,边缘提取单元203设置图像块的初始大小。在步骤S1102,边缘提取单元203将输入图像分割成所设置的块大小的图像块。步骤S1102~S1105与图5的步骤S501~S504类似。如果在步骤S1104判断为已经处理了所有的图像块,则处理进入步骤S1106。在步骤S1106,边缘提取单元203改变图像块的块大小。例如,边缘提取单元203设置垂直和水平地均缩小两个像素的图像块大小。如果已经处理了预先准备的所有块大小,则处理从步骤S1107结束。如果存在未处理的块大小,则处理返回步骤S1102,并且在对已经改变了其块大小的图像块进行分割之后判定边缘方向。在步骤S305,从对应于多个图像块大小的边缘提取结果选择具有高频率的边缘直方图(例如,具有最大的最大频率值的边缘直方图),并采用该边缘直方图作为输入图像的边缘直方图。
在前述实施例中,如果图像块具有大的平均亮度,则判断为没有发生边缘提取失败,如在步骤S601中所示,尽管如果图像块具有小于规定阈值的平均亮度还可以判断为没有发生边缘提取失败。并且,在前述实施例中,使用基于图像块的平均亮度的亮度直方图来判断边缘提取失败,如在步骤S602中所示,尽管本发明不限于这种配置。例如,可以判断图像块内的亮度分散,并且如果分散大于规定值,则可以判断为已经发生边缘提取失败。即,基于图像块内的亮度分布(亮度直方图或者亮度分散)来判断边缘存在的可能性。
如上所述,根据前述实施例,与使用Sobel滤波器等的方法相比,处理速度快,并且可能进行与阴影等有关的、避免边缘提取失败的边缘提取,从而使得利用边缘特征的高精度图像检索能够实现。
尽管上面已经详细说明了实施例,例如,本发明可以采用系统、设备、方法、程序或存储介质作为实施例。具体地,本发明可以应用于由多个装置构成的系统或者由单个装置构成的设备。
注意,本发明包括如下情况,在该情况中,通过直接地或间接地向系统或设备提供软件程序、并利用系统或者设备的计算机读取并执行所提供的程序代码来实现前述实施例。在这种情况下,所提供的程序代码对应于在实施例的附图中示出的流程图。
因此,本发明还可以由安装在计算机上的实际程序代码来实现,以由计算机实现本发明的功能处理。换句话说,本发明还包括用于实现本发明功能的处理的实际计算机程序。
在这种情况下,只要程序作为程序功能,可以采用任何形式的程序:如对象代码、由解释器执行的程序、或者提供给操作系统的脚本数据等。
用于提供程序的计算机可读存储介质的例子包括:软盘(注册商标)、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、以及DVD(DVD-ROM、DVD-R)。
可选择地,还可以通过使用客户端计算机的浏览器来连接因特网上的网站、并从该网站下载本发明的计算机程序至如硬盘等存储介质来提供该程序。在这种情况下,下载的程序可以是包括自动安装功能的压缩文件。还可以通过将构成本发明的程序的程序代码分成多个文件、并从不同的网站下载各文件来实现上述实施例的功能。换句话说,允许多个用户通过计算机下载用于实现本发明的功能处理的程序文件的万维网(WWW)也包括在本发明中。
还可以将本发明的程序以存储在如CD-ROM等存储介质上的加密的形式分发给用户。在这种情况下,允许满足规定要求的用户通过因特网从网站下载解密密匙信息,并通过执行解密后的程序代码将使用该密匙信息的解密后的程序安装在计算机上。
在通过计算机执行读取的程序来实现上述实施例的功能以外,例如,基于程序中的指令,与运行在计算机上的操作系统合作也可以实现上述实施例的功能。在这种情况下,操作系统等进行实际处理的部分或者全部,从而由该处理实现上述实施例的功能。
此外,还可以将从存储介质读取的程序代码写入至插入到计算机中的功能扩展板或者连接到计算机的功能扩展单元中设置的存储器中,以实现上述实施例的功能的部分或全部。在这种情况下,在该程序已经被写入至功能扩展板或者功能扩展单元之后,然后功能扩展板或者功能扩展单元中设置的CPU等基于程序中的指令来进行实际处理的部分或者全部。
本发明使要计算的图像的特征量能够更精确。同样,根据本发明,由于在图像块中判断边缘方向,因此与使用Sobel滤波器的方法相比,边缘方向判断的处理速度高。也就是说,根据本发明,可以提供能够高速获得图像检索等中使用的充足边缘特征的图像处理设备和方法。
尽管已经参考典型实施例说明了本发明,但应当理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种图像处理设备,包括:
分割部件,用于将图像分割成每个均是所述图像的部分区域的多个第一图像块;
获取部件,用于对由所述分割部件获得的每个所述第一图像块进行分割,并获取与用于判断所述第一图像块的图像的边缘方向的滤波器相对应的多个分区;
第一判断部件,用于基于由所述获取部件获取的所述多个分区和所述滤波器来判断每个所述第一图像块的所述边缘方向;
判定部件,用于判定由所述第一判断部件不能判断其边缘方向的第一图像块是失败的图像块;
生成部件,用于根据所述失败的图像块,生成由在大小上不同于由所述获取部件获取的所述多个分区的多个分区构成的第二图像块;以及
第二判断部件,用于基于由所述生成部件生成的所述多个分区和所述滤波器来判断所述第二图像块的边缘方向。
2.根据权利要求1所述的图像处理设备,其特征在于,所述生成部件生成在大小上等于所述第一图像块的第二图像块。
3.根据权利要求1所述的图像处理设备,其特征在于,所述生成部件生成在大小上不同于所述第一图像块的第二图像块。
4.根据权利要求2或3所述的图像处理设备,其特征在于,还包括第三判断部件,所述第三判断部件用于判断在所述失败的图像块中存在边缘的可能性,
其中,如果判断为在所述失败的图像块中不可能存在边缘,则所述第三判断部件禁止所述生成部件和所述第二判断部件的处理。
5.根据权利要求1~3中任一项所述的图像处理设备,其特征在于,
所述分割部件将所述图像分割成多个子图像,并进一步将每个子图像分割成所述多个第一图像块,以及
所述图像处理设备还包括登记部件,所述登记部件用于对每个所述子图像生成由所述第一判断部件或所述第二判断部件判断的边缘方向的直方图,并将所生成的直方图登记作为所述图像的特征量。
6.一种图像处理方法,包括:
分割步骤,用于将图像分割成每个均是所述图像的部分区域的多个第一图像块;
获取步骤,用于对在所述分割步骤中获得的每个所述第一图像块进行分割,并获取与用于判断所述第一图像块的图像的边缘方向的滤波器相对应的多个分区;
第一判断步骤,用于基于在所述获取步骤中获取的所述多个分区和所述滤波器来判断所述每个第一图像块的所述边缘方向;
判定步骤,用于判定在所述第一判断步骤中不能判断其边缘方向的第一图像块是失败的图像块;
生成步骤,用于根据所述失败的图像块,生成由在大小上不同于在所述获取步骤中获取的所述多个分区的多个分区构成的第二图像块;以及
第二判断步骤,用于基于在所述生成步骤中生成的所述多个分区和所述滤波器来判断所述第二图像块的边缘方向。
7.根据权利要求6所述的图像处理方法,其特征在于,在所述生成步骤中,生成在大小上等于所述第一图像块的第二图像块。
8.根据权利要求6所述的图像处理方法,其特征在于,在所述生成步骤中,生成在大小上不同于所述第一图像块的第二图像块。
9.根据权利要求7或8所述的图像处理方法,其特征在于,还包括第三判断步骤,所述第三判断步骤用于判断在所述失败的图像块中存在边缘的可能性,
其中,如果判断为在所述失败的图像块中不可能存在边缘,则在所述第三判断步骤中,禁止在所述生成步骤件和在所述第二判断步骤中的处理。
10.根据权利要求6~8中任一项所述的图像处理方法,其特征在于,
在所述分割步骤中,将所述图像分割成多个子图像,并进一步将每个所述子图像分割成所述多个第一图像块,以及
所述图像处理方法还包括登记步骤,所述登记步骤用于对每个所述子图像生成在所述第一判断步骤或所述第二判断步骤中判断的边缘方向的直方图,并将所生成的直方图登记作为所述图像的特征量。
CN2008100899498A 2007-04-12 2008-04-11 图像处理设备和图像处理方法 Expired - Fee Related CN101286230B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-105250 2007-04-12
JP2007105250A JP4898531B2 (ja) 2007-04-12 2007-04-12 画像処理装置及びその制御方法、並びにコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN101286230A true CN101286230A (zh) 2008-10-15
CN101286230B CN101286230B (zh) 2012-03-21

Family

ID=39853767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100899498A Expired - Fee Related CN101286230B (zh) 2007-04-12 2008-04-11 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US8064705B2 (zh)
JP (1) JP4898531B2 (zh)
CN (1) CN101286230B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743351A (zh) * 2021-09-14 2021-12-03 北京石油化工学院 一种基于边缘方向语义信息的遥感影像场景识别的方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
JP5322824B2 (ja) * 2009-07-28 2013-10-23 キヤノン株式会社 解像度変換装置および解像度変換方法
JP5507962B2 (ja) * 2009-11-05 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5391144B2 (ja) * 2010-05-10 2014-01-15 日本放送協会 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
CN102622366B (zh) * 2011-01-28 2014-07-30 阿里巴巴集团控股有限公司 相似图像的识别方法和装置
JP5176067B1 (ja) * 2011-12-20 2013-04-03 株式会社アクセル 画像処理装置及び画像処理方法
CN106295478A (zh) * 2015-06-04 2017-01-04 深圳市中兴微电子技术有限公司 一种图像特征提取方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0658687B2 (ja) * 1987-01-22 1994-08-03 富士電機株式会社 エツジ強調装置
JP3915563B2 (ja) * 2002-03-19 2007-05-16 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US20060104535A1 (en) 2002-12-05 2006-05-18 Christiaan Varekamp Method and apparatus for removing false edges from a segmented image
JP4442893B2 (ja) * 2005-01-14 2010-03-31 キヤノン株式会社 画像検索装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
CN100466746C (zh) * 2005-07-21 2009-03-04 海信集团有限公司 基于宏块内边缘信息选择分割的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743351A (zh) * 2021-09-14 2021-12-03 北京石油化工学院 一种基于边缘方向语义信息的遥感影像场景识别的方法

Also Published As

Publication number Publication date
US20080253661A1 (en) 2008-10-16
CN101286230B (zh) 2012-03-21
JP2008262424A (ja) 2008-10-30
US8064705B2 (en) 2011-11-22
JP4898531B2 (ja) 2012-03-14

Similar Documents

Publication Publication Date Title
CN101286230B (zh) 图像处理设备和图像处理方法
US11004129B2 (en) Image processing
US6577759B1 (en) System and method for performing region-based image retrieval using color-based segmentation
CN102509118B (zh) 一种监控视频检索方法
US8340412B2 (en) Image processing
US7680339B2 (en) Image processing method and apparatus for edge detection in an image
WO2017056312A1 (ja) 画像処理プログラムおよび画像処理装置
CN105869122A (zh) 图像处理方法和装置
KR101836811B1 (ko) 이미지 상호간의 매칭을 판단하는 방법, 장치 및 컴퓨터 프로그램
CN107305682B (zh) 用于对图像进行拼接的方法和装置
US20220277574A1 (en) Image classification using color profiles
CN101425074A (zh) 分析多个存储图像的方法和设备
CN103257954B (zh) 古籍中文字的校对方法、系统及校对服务器
US10509986B2 (en) Image similarity determination apparatus and image similarity determination method
JP6365117B2 (ja) 情報処理装置、画像判定方法、及びプログラム
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
CN114359352A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
KR100811834B1 (ko) 영상 특징량 추출방법 및 이를 이용한 내용 기반 영상 검색방법
KR100981125B1 (ko) 동영상 처리 방법 및 그 장치
JP4205517B2 (ja) 奥行情報を含んだ画像の分類装置およびプログラム
CN112561823B (zh) 滤波方法
WO2015162027A2 (en) Method, device, user equipment and computer program for object extraction from multimedia content
CN116108211A (zh) 数据检索模型的训练方法、数据检索方法和相关设备
Lu et al. Character segmentation and recognition
JP2004133841A (ja) パターン認識装置、パターン認識方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20190411

CF01 Termination of patent right due to non-payment of annual fee