CN1945580A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN1945580A
CN1945580A CNA2006101404474A CN200610140447A CN1945580A CN 1945580 A CN1945580 A CN 1945580A CN A2006101404474 A CNA2006101404474 A CN A2006101404474A CN 200610140447 A CN200610140447 A CN 200610140447A CN 1945580 A CN1945580 A CN 1945580A
Authority
CN
China
Prior art keywords
mentioned
image
fit
grade
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101404474A
Other languages
English (en)
Other versions
CN100524308C (zh
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1945580A publication Critical patent/CN1945580A/zh
Application granted granted Critical
Publication of CN100524308C publication Critical patent/CN100524308C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种图像处理装置。以高精度高速进行包含模板图像的图像检索。基于来自区域选择接受部(601)的图像的区域选择,模板图像生成部(301)生成模板图像。该模板图像以及成为检索对象的目标图像在图像缩小部(302)中缩小到规定缩小率。使用保持在目标图像准备值表(320)以及模板图像准备值表(321)中的准备值,在适合度算出部(313)中算出在个体抽出部(311)中生成的染色体的适合度后,由遗传算法处理部(314)进行选择、交配以及突然变异,其中该染色体具有对目标图像和模板图像进行对照的区域的信息。将以上处理重复规定代数后,由类似图像判断部(318)判断准最佳解所对应的适合度是否超过规定阈值。

Description

图像处理装置
技术领域
本发明涉及检索图像的图像处理装置,特别是涉及高速地检索与模板图像类似的图像的图像处理装置、以及它们的处理方法和使计算机执行该方法的程序。
背景技术
近年来,由于存储器的价格降低、与存储器相关的技术的发展,数字静像照相机(still camera)以及数字摄像机等摄像装置中的存储器的容量正在增加。与此相伴,摄像装置中保持的静止图像、运动图像的数量也在增加。在这种状况下,找出用户想阅览的静止图像、运动图像变得困难。
为了解决这种问题点,提出了如下的图像检索方法:将用户期望的图像指定为模板图像,从检索对象图像中检索与该模板图像匹配的图像(例如,参照专利文献1。)。
专利文献1:日本特开平8-263522号公报(图2)
发明内容
发明要解决的问题
通常,在摄像装置中,由于装置自身的小型化、降低成本等要求,处于难以搭载具有高运算处理能力的CPU(CentralProcessing Unit:中央处理单元)的状况。在这种摄像装置中,即使实现了上述图像检索方法,在检索的运算处理中也需要较长的时间,变得缺少实用性。为此,减少运算处理所需的时间的必要性高。另外,还需要减少运算处理所耗费的时间,并且不降低检索精度。
因此,本发明的目的在于,提供一种以高精度高速进行图像检索的图像处理装置。
用于解决问题的方法
本发明是为了解决上述问题而完成的,其第一侧面是一种图像处理装置,其特征在于,具备:目标图像保持单元,保持成为检索对象的多个目标图像;区域选择接受单元,接受对上述多个目标图像任一个的规定区域的选择;模板图像生成单元,将接受了上述选择的区域的图像作为模板图像生成;图像缩小单元,将上述模板图像以及上述目标图像缩小到与上述模板图像的纵宽以及横宽相应的缩小率;以及类似图像检索单元,在上述缩小的目标图像中,利用遗传算法检索包含与上述缩小的模板图像类似的图像的上述缩小的目标图像。由此带来如下作用:将模板图像以及目标图像缩小到与选择的模板图像的横宽以及纵宽相应的缩小率,高速检索包含与模板图像类似的图像的目标图像。即,通过缩小模板图像以及目标图像,减少对模板图像和目标图像进行对照的面积,因此能够减少对照所需的运算量。
另外,在该第一侧面中,其特征在于,在上述模板图像的纵宽和横宽的积是规定值以下的情况下,上述图像缩小单元不进行上述图像缩小单元中的缩小。由此带来如下作用:在选择的模板图像的横宽以及纵宽小的情况下,不降低检索精度。
另外,在该第一侧面中,其特征在于,上述模板图像生成单元将上述选择的规定区域以规定倍率放大或者缩小后的图像作为上述模板图像生成。由此带来如下作用,还检索与放大、缩小以及旋转模板图像得到的图像类似的图像。
另外,特征在于,上述类似图像检索单元具备:个体抽出单元,从上述缩小的目标图像随机抽出多个个体,生成染色体,其中,该染色体具有基于上述个体的坐标以及放大或者缩小上述模板图像的上述规定倍率的染色体信息;适合度算出单元,根据上述染色体信息以及像素值,算出上述染色体的适合度;遗传算法处理单元,对在上述适合度算出单元中算出上述适合度的上述染色体进行选择、交配以及突然变异中至少一个处理,生成具有新染色体信息的染色体,在上述适合度算出单元中算出关于具有上述新染色体信息的染色体的适合度;处理结束指示单元,指示按照规定条件重复进行的上述遗传算法处理单元中的处理的结束;准最佳解判断单元,将在上述适合度算出单元中最后算出的适合度中值最大的适合度判断为准最佳解;以及类似图像判断单元,在上述准最佳解超过第一阈值的情况下,判断为与上述缩小的模板图像类似的图像包含在上述缩小的目标图像中。在此,第一阈值是指判断模板图像是否包含在目标图像中时成为基准的值。即,如果作为准最佳解的适合度的值超过第一阈值,则模板图像被包含在目标图像中;如果作为准最佳解的适合度的值没有超过第一阈值,则模板图像没有被包含在目标图像中。由此,带来如下作用:使染色体持有关于在遗传算法中对模板图像和目标图像进行对照的区域的信息,根据该染色体的适合度,高速检索包含了与模板图像类似的图像的目标图像。
例外,特征在于,上述像素值是使用YUV、RGB以及HSV中的任一个表示的量。由此带来如下作用:根据YUV、RGB以及HSV算出遗传算法中的染色体的适合度。
另外,该图像处理装置的特征在于,还具备适合度算出预处理单元,该适合度算出预处理单元算出和上述目标图像中的上述染色体对应的区域的上述像素值的平均值与上述模板图像中的区域的上述像素值的平均值之间的差的绝对值,判断上述差的绝对值是否超过第二阈值,在上述适合度预处理单元中上述差的绝对值被判断为超过上述第二阈值的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。在此,第二阈值是指根据与目标图像中的染色体对应的区域的像素值的平均值和模板图像中的区域的像素值的平均值之间的差的绝对值来评价适合度时成为基准的值。由此,带来如下作用:以运算量少的方法决定遗传算法中的染色体的适合度。
另外,该图像处理装置的特征在于,还具备适合度算出预处理单元,该适合度算出预处理单元算出将与上述染色体对应的上述目标图像中的区域的上述像素值的标准偏差和上述模板图像中的区域的上述像素值的标准偏差各自平方的结果的比,判断上述比是否在规定范围内,在上述适合度预处理单元中上述比被判断为在规定范围内的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。由此,带来如下作用:以运算量少的方法决定遗传算法中的染色体适合度。
另外,该图像处理装置的特征在于,还具备适合度算出预处理单元,该适合度算出预处理单元算出和上述染色体对应的上述目标图像中的区域的中央点的上述像素值与上述模板图像中的区域的中央点的上述像素值之间的差的绝对值,判断上述差的绝对值是否超过第二阈值,在上述适合度预处理单元中上述差的绝对值被判断为超过第二阈值的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。在此,第二阈值是指根据目标图像中的区域的中央点的像素值与上述模板图像中的区域的中央点的像素值之间的差的绝对值来评价适合度时成为基准的值。由此,带来如下作用:以运算量少的方法决定遗传算法中的染色体的适合度。
另外,其特征在于,上述适合度算出单元根据上述像素值以及上述染色体信息,利用互相关函数算出上述染色体的适合度。由此,带来如下作用,根据目标图像和模板图像之间的相互的关联性到底有多少的观点,算出遗传算法中的染色体的适合度。
另外,特征在于,上述适合度算出单元将对上述目标图像及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差的积。由此,带来如下作用:关于像素值,根据目标图像和模板图像之间的相互关联性到底有多少的观点,算出遗传算法中的染色体的适合度。
另外,该图像处理装置的特征在于,还具备:准备值算出单元,对上述缩小的模板图像以及上述缩小的目标图像的所有坐标,算出将上述缩小的模板图像以及上述缩小的目标图像中的从原点到任意坐标为止的上述像素值进行累加得到的准备值;模板图像准备值表,将上述缩小的模板图像中的上述准备值与上述缩小的模板图像的坐标相对应地保持;以及目标图像准备值表,将上述缩小的目标图像中的上述准备值与上述缩小的目标图像的坐标相对应地保持,上述适合度算出单元使用上述准备值,进行对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加上述互相关函数中的上述像素值的计算,算出上述染色体的适合度。由此,带来如下作用:减少算出遗传算法中的染色体的适合度时的运算量。
另外,特征在于,上述适合度算出单元,将对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差的积;将对关于构成上述像素值的多个要素各自的利用上述互相关函数的算出值进行平方的结果的和的平方根归一化的结果,作为上述适合度算出。由此,带来如下作用:综合像素值中的各要素,根据目标图像和模板图像之间的相互的关联性到底有多少的观点,算出遗传算法中的染色体的适合度。
另外,特征在于,上述适合度算出单元将对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差的积。由此,带来如下作用:还加入目标图像以及模板图像的直流成分,算出染色体的适合度。即,能够高精度地检索包含与模板图像类似的图像的目标图像。
另外,特征在于,上述适合度算出单元作为上述互相关函数使用表示坐标(X,Y)中的互相关关系的以下的式子。此外,在以下的式子中,w、h分别表示上述模板图像的宽度和高度。另外,Target(X+i,Y+j)表示上述目标图像的坐标(X+i,Y+j)中的像素值。另外,Template(i,j)表示上述模板图像的坐标(i,j)处的像素值。另外,Mtarget表示上述目标图像以及上述模板图像互相重叠的区域中的像素值的平均值。另外,Mtemplate表示上述模板图像的像素值的平均值。由此,带来如下作用:还加入目标图像以及模板图像的直流成分,算出染色体的适合度。即,能够高精度地检索包含与模板图像类似的图像的目标图像。
f ( X , Y ) = Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) ( Template ( i , j ) - M T arg et ) Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) 2 Σ i = 0 w Σ j = 0 h ( Template ( i , j ) - M T arg et ) 2
另外,本发明的第二侧面是一种图像处理装置,其特征在于,具备:目标图像保持单元,保持成为检索对象的多个目标图像;区域选择接受单元,接受对上述多个目标图像任一个的规定区域的选择;模板图像生成单元,将接受了上述选择的区域中的图像以及将该区域中的图像以规定倍率放大或者缩小后的图像,作为模板图像生成;个体抽出单元,从上述缩小的目标图像随机抽出多个个体,生成染色体,其中,该染色体具有基于上述个体的坐标以及放大或者缩小上述模板图像的上述规定倍率的染色体信息;适合度算出单元,根据上述染色体信息以及像素值,算出上述染色体的适合度;遗传算法处理单元,对在上述适合度算出单元中算出上述适合度的上述染色体进行选择、交配以及突然变异中至少一个处理,生成具有新染色体信息的染色体,在上述适合度算出单元中算出关于具有上述新染色体信息的染色体的适合度;处理结束指示单元,指示按照规定条件重复进行的上述遗传算法处理单元中的处理的结束;准最佳解判断单元,将在上述适合度算出单元中最后算出的适合度中值最大的适合度判断为准最佳解;附近区域准最佳解判断单元,在包围与上述准最佳解对应的上述目标图像区域的所有规定区域中,算出上述规定区域中的适合度,将该适合度中值最大的适合度判断为上述规定区域中的准最佳解;以及类似图像判断单元,在上述准最佳解判断单元中判断出的上述准最佳解以及在上述附近区域准最佳解判断单元中判断出的上述规定区域中的准最佳解中,最大的值超过规定阈值的情况下,判断为与上述缩小的模板图像类似的图像包含在上述缩小的目标图像中。由此,带来如下作用:降低产生包含了与模板图像类似的图像的目标图像的检索遗漏的可能性。
另外本发明的第三侧面是在具备保持成为检索对象的目标图像的目标图像保持单元的图像处理装置中执行以下过程的处理方法、或者使计算机执行以下过程的程序,其特征在于,具备:区域选择接受过程,接受对上述多个目标图像任一个的规定区域的选择;模板图像生成过程,将接受了上述选择的区域的图像作为模板图像生成;图像缩小过程,将上述模板图像以及上述目标图像缩小到与上述模板图像的纵宽以及横宽相应的缩小率;以及类似图像检索过程,在上述缩小的目标图像中,利用遗传算法检索包含与上述缩小的模板图像类似的图像的上述缩小的目标图像。由此,带来如下作用,将模板图像以及目标图像缩小到与选择的模板图像的横宽以及纵宽相应的缩小率,高速检索包含了与模板图像类似的图像的目标图像。
发明的效果
根据本发明,起到能够以高精度高速进行图像检索的优良效果。
附图说明
图1是本发明实施方式中的摄像装置100的一例即摄像装置100a以及100b的外观图。
图2是表示本发明实施方式中的摄像装置100的结构的图。
图3是表示本发明实施方式中的图像检索功能的结构的一例的图。
图4是用于说明本发明实施方式中的准备值的图。
图5是表示本发明实施方式中的目标图像准备值表320的图。
图6是表示在本发明的实施方式中选择模板图像区域的情形的图。
图7是表示本发明实施方式中的模板图像数据生成的情形的图。
图8是表示在本发明实施方式中的图像缩小部302中缩小目标图像以及模板图像的情形的图。
图9是表示本发明实施方式中的染色体的染色体信息400的一例的图。
图10是表示在本发明实施方式中的遗传算法的选择中使用的轮盘赌410的图。
图11是表示本发明实施方式中的遗传算法的交配情形的图。
图12是表示本发明实施方式中的遗传算法的突然变异情形的图。
图13是表示本发明实施方式中的适合度算出预处理部312中的处理情形的图。
图14是表示利用本发明实施方式中的遗传算法求出的准最佳解所对应的匹配区域的周边区域的图。
图15是表示在本发明实施方式中检索包含与模板图像类似的图像的目标图像时的显示画面600的图。
图16是表示检索包含与本发明实施方式中的模板图像类似的图像的目标图像的流程的图。
图17是表示图16中的步骤S918的准最佳解算出处理的流程的图。
附图标记说明
10:摄像部;11:摄像元件部;12:摄像控制部;13:图像处理部;20:记录再现处理部;21:图像编码/解码部;22:记录控制部;23:SDRAM;30:控制部;31:系统控制部;32:输入控制部;33:显示控制部;34:输出图像处理部;35:外部设备控制部;36:网络控制部;40:总线;50:键输入部;60:触摸面板部;61:显示部;62:触摸面板输入部;70:存储装置;80:外部设备;90:网络网;100:摄像装置;231:目标图像保持部;301:模板图像生成部;302:图像缩小部;310:类似图像检索部;311:个体抽出部;312:适合度算出预处理部;313:适合度算出部;314:遗传算法处理部;315:处理结束指示部;316:准最佳解判断部;317:附近区域准最佳解判断部;318:类似图像判断部;319:准备值算出部;320:目标图像准备值表;321:模板图像准备值表;601:区域选择接受部。
具体实施方式
下面参照附图详细说明本发明的实施方式。此外,在本发明的实施方式中,作为图像处理装置的一例说明摄像装置。
图1是本发明实施方式中的摄像装置100的一例即摄像装置100a以及100b的外观图。摄像装置100a主要拍摄静止图像,摄像装置100b主要拍摄运动图像。
图1的(a)是摄像装置100a的正面图。摄像装置100a从镜头部110a拍摄被摄体。而且,当按下快门部120a时,摄像装置100a生成静止图像。图1的(b)是摄像装置100a的背面图。由镜头部110a捕捉到的被摄体的活动映现在显示部130a。
图1的(c)是摄像装置100b的正面图。摄像装置100b从镜头部110b拍摄被摄体。而且,当按下(未图示)录像按钮时,摄像装置100b生成运动图像。图1的(d)是摄像装置100b的背面图。由镜头部110b捕捉到的被摄体的活动映现在显示部130b。另外,生成的运动图像也映现在显示部130b。另外,摄像装置100b具有还生成静止图像的功能,生成的静止图像也映现在显示部130b。
在本发明的实施方式中,选择并切出映现在显示部130a以及130b的静止图像的一部分,将该切出的静止图像设为模板图像。在本发明的实施方式中,设想选择静止图像的一部分的操作是通过直接按下显示部130a以及130b来指定的触摸面板方式,但不限于此。
在从内置于摄像装置100a以及100b中的(未图示)存储装置中保持的图像中检索期望图像时,使用该模板图像。下面,将成为检索对象的保持在存储装置中的图像称为目标图像。而且,在本发明的实施方式中,检索包含与模板图像类似图像的目标图像。当检索时,首先将模板图像以及目标图像缩小到与模板图像的纵宽以及横宽相应的缩小率后,使用遗传算法(GA:GeneticAlgorithm)来检索包含与模板图像类似的图像的目标图像。
此外,遗传算法是指仿效生物的进化过程通过概率论的数据处理而欲得到最佳解的方法。该方法的具体内容是首先随机抽出个体,生成与其个体数相当的染色体,生成初始群体。接着对属于初始群体的各染色体求出适合度。此外,适合度是指在本发明的实施方式中用于评价与模板图像类似的图像是否包含在目标图像中的评价值。
求出适合度后进行选择、交配以及突然变异的处理,生成新染色体。当生成新染色体时,与上述同样进一步对该新染色体求出适合度。当满足规定的结束条件时结束以上处理,适合度高的染色体被设为准最佳解。在该准最佳解超过预先决定的规定阈值的情况下,判断为该目标图像包含与模板图像类似的图像,作为检索结果输出。
图2是表示本发明实施方式中的摄像装置100的结构的图。本发明实施方式中的摄像装置100具备摄像部10、记录再现处理部20、控制部30、总线40、键输入部50、触摸面板部60、以及存储装置70。
摄像部10具备摄像元件部11、摄像控制部12、以及图像处理部13。摄像元件部11在内部具备用于拍摄被摄体的透镜组(对应于图1中的镜头部110a以及110b)、光圈调整机构、焦点调整机构以及例如CCD(Charge Coupled Devices:电荷耦合器件)等的摄像元件等,通过透镜组的像成像在CCD等摄像元件的成像面上。摄像元件部11接收根据快门操作从控制部30通过总线40提供的图像取入时序信号,将成像在摄像元件的成像面上的被摄体像变换成摄像信号,提供给图像处理部13。
摄像控制部12接收从控制部30通过总线40提供的控制信号,生成提供给摄像元件部11的控制信号。另外,摄像控制部12将生成的控制信号提供给摄像元件部11,进行缩放控制、快门控制以及曝光控制等。
图像处理部13根据从控制部30通过总线40提供的控制信号,进行关于摄像信号的伽马校正、AGC(Auto Gain Control:自动增益控制)等的处理,并且还进行将摄像信号变换成作为数字信号的图像信号的处理。
记录再现处理部20具备图像编码/解码部21、记录控制部22、SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存取存储器)23。图像编码/解码部21具有编码功能,该编码功能对从摄像部10通过总线40提供的图像信号等进行编码并多路复用从而变换为压缩数据。另外,图像编码/解码部21具有从压缩数据解码图像信号的解码功能。
记录控制部22从图像编码/解码部21接收压缩数据,写入存储装置70。另外,记录控制部22从存储装置70读出压缩数据,提供给图像编码/解码部21。此外,存储装置70既可以外置于摄像装置100,也可以内置于摄像装置100。另外,作为存储装置70,设想将快闪存储器(Flash memory)封装成卡型的存储卡、硬盘等磁盘、DVD等光盘(Optical Disk)以及MO等磁光盘(Magneto-Opticaldisk)的任一个,但是不限于此。SDRAM23作为用于编码/解码部21中的编码或者解码的作业区域使用。
控制部30具备系统控制部31、输入控制部32、显示控制部33、输出图像处理部34、外部设备控制部35、以及网络控制部36。
系统控制部31管理整个控制部30的处理。连接到输入控制部32的键输入部50中,设置有切换拍摄模式和再现模式等其他模式的模式切换键、缩放调整键、用于曝光调整的键、快门键(对应于图1中的快门部120a)、运动图像摄像用键等多个键。另外,连接到输入控制部32上的触摸面板输入部62接受显示部61中显示的菜单选择、图像数据的规定区域的指定。
输入控制部32将来自键输入部50以及触摸面板输入部62的操作信号传递给系统控制部31。系统控制部31判断在键输入部50以及触摸面板输入部62中操作了哪个键等,进行与该判断结果相应的控制处理。
与显示控制部33连接的显示部61例如由LCD(LiquidCrystal Display:液晶显示器)等构成,在系统控制部31的控制下,显示从摄像部10通过总线40提供的图像信号、从存储装置70读出的图像信号。此外,显示部61对应于图1中的显示部130a以及130b。
输出图像处理部34在图像数据再现时,对图像数据执行规定的修饰处理。修饰处理例如设想为图像数据的颜色校正等。此外,也可以构成为由系统控制部31进行由输出图像处理部34进行的对图像数据的处理。
与外部设备控制部35连接的外部设备80例如设想为个人计算机(Personal Computer)等,但不限于此。此外,在外部设备80和外部设备控制部35之间,例如设想为通过USB(UniversalSerial Bus:通用串行总线)线缆连接,但是不限于此。外部设备控制部35控制摄像装置100和外部设备80之间的数据交换。
网络控制部36控制在摄像装置100和网络网90之间交换的数据。此外,作为网络网,设想为因特网、LAN(Local Area Network:局域网),但是不限于此。
图3是表示本发明实施方式中的图像检索功能的结构的一例的图。该图像检索功能具备区域选择接受部601、模板图像生成部301、图像缩小部302、保持多个在图1中说明的目标图像的目标图像保持部231、以及类似图像检索部310。
区域选择接受部601接受在目标图像保持部231中保持的多个目标图像中任一个目标图像的选择、以及在该目标图像中应作为模板图像切出的区域的选择。
模板图像生成部301通过从目标图像切出在区域选择接受部601中接受的目标图像中的应作为模板图像切出的区域,生成模板图像。
另外,模板图像生成部301还生成将通过上述切出生成的模板图像以规定倍率放大以及缩小后的图像。该放大以及缩小后的图像也用作模板图像。另外,模板图像生成部301还生成使通过上述切出生成的模板图像、放大以及缩小后的图像旋转规定角度后的图像。该旋转规定角度后的图像也用作模板图像。
图像缩小部302将在模板图像生成部301中生成的模板图像以及目标图像缩小到与模板图像的纵宽以及横宽相应的缩小率。通过缩小目标图像以及模板图像,能够减少后面进行的检索处理中的计算量,能够高速地进行检索处理。另外,当缩小目标图像以及模板图像时,在检索中难以检测图像细部的不是本质的差异、噪声,因此还提高检索精度。
然而,在模板图像的尺寸比较小的情况下,当通过缩小而变得更小时,有检索精度变低的可能性。为此,例如在模板图像的纵宽和横宽之间的积是规定值以下的情况下,通过将目标图像以及模板图像的缩小率设为1(不缩小),能够防止检索精度的降低。
类似图像检索部310使用遗传算法检索包含与模板图像类似的图像的目标图像,具备个体抽出部311、适合度算出预处理部312、适合度算出部313、遗传算法处理部314、处理结束指示部315、准最佳解判断部316、附近区域准最佳解判断部317、类似图像判断部318、准备值算出部319、目标图像准备值表320、以及模板图像准备值表321。
个体抽出部311从在图像缩小部302中缩小的目标图像中随机抽出多个个体,生成与个体数量相当的染色体,该染色体具有基于个体的目标图像上的坐标以及放大或者缩小模板图像的规定倍率的染色体信息。由此,生成在图1中叙述的遗传算法中的初始群体。
上述染色体信息中的个体的目标图像上的坐标以及放大或者缩小模板图像的规定倍率所表示的是,将目标图像和放大或者缩小到规定倍率的模板图像互相重叠、进行对照(匹配)的匹配区域。作为该匹配区域,例如设想为在将放大或者缩小到规定倍率的模板图像的原点决定为模板图像的左上端、使其左上端位于染色体的目标图像上的坐标上的情况下,目标图像和模板图像互相重叠的区域。
适合度算出预处理部312算出匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值。此外,在本发明的实施方式中,像素值是指例如使用YUV、RGB以及HSV中任一个来表示的量,作为该量设想为亮度[0]、色差等。在该情况下,适合度算出预处理部312算出匹配区域中的目标图像和模板图像的亮度[0]或者色差的平均值的差的绝对值。
当在适合度算出预处理部312中匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值被判断为超过规定阈值时,在后述的适合度算出部313中与该匹配区域对应的染色体的适合度成为包括零的足够小的值。即,在适合度算出预处理部312中匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值被判断为超过规定阈值的情况下,无需计算适合度,估计为该目标图像的匹配区域中没有包含与模板图像类似的图像。因而,该情况下由适合度算出部313设定的适合度,为了从类似判断中除外而需要设定为足够小的值(包括零)。
另外,适合度算出预处理部312也可以算出将匹配区域中的目标图像和模板图像的像素值的标准偏差进行平方的结果的比,判断是否进行适合度计算。该情况下,当在适合度算出预处理部312中将像素值的标准偏差进行平方的结果的比被判断为不在规定范围内时,在后述的适合度算出部313中与该匹配区域对应的染色体的适合度被设为包括零的足够小的值。即,当在适合度算出预处理部312中将像素值的标准偏差进行平方的结果的比被判断为不在规定范围内的情况下,无需计算适合度,估计为该目标图像的匹配区域中不包含与模板图像类似的图像。因而,该情况下由适合度算出部313设定的适合度,为了从类似判断中除外而需要设定为足够小的值(包括零)。
另外,适合度算出预处理部312也可以算出匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值,判断是否进行适合度计算。在该情况下,当匹配区域的中央点的像素值的平均值的差的绝对值被判断为超过规定阈值时,在后述的适合度算出部313中与该匹配区域对应的染色体的适合度,被设为包括零的足够小的值。即,在匹配区域的中央点的像素值的平均值的差的绝对值被判断为超过规定阈值的情况下,无需计算适合度,估计为该目标图像的匹配区域中没有包含与模板图像类似的图像。因而,在该情况下由适合度算出部313设定的适合度,为了从类似判断中除外而需要设定足够小的值(包括零)。
以上的基于匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值的染色体适合度的评价、基于将匹配区域中的目标图像和模板图像的像素值的标准偏差进行平方的结果的比的染色体适合度的评价、以及基于匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值的染色体适合度的评价,既可以全部进行,另外也可以选择某个来进行。此外,在后面详细叙述对适合度算出预处理部312中的各染色体的适合度的评价。
适合度算出部313进行由根据染色体信息和像素值在个体抽出部311中抽出的个体生成的染色体的适合度的算出。利用该适合度进行在目标图像中是否包含与模板图像类似的图像的评价。即,在适合度高于规定阈值的情况下,评价为目标图像中包含与模板图像类似的图像。在本发明的实施方式中,作为在算出适合度时使用的函数,设想为互相关函数,在式1中表示该互相关函数的一例。
式1
f ( X , Y ) = Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M T arg et ) ( Template ( i , j ) - M Template ) Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M T arg et ) 2 Σ i = 0 w Σ j = 0 h ( Template ( i , j ) - M Template ) 2
式1所示的互相关函数是提供匹配区域中的目标图像和模板图像之间的类似程度的函数,提供-1≤f(X,Y)≤1的范围的值。在匹配区域中的目标图像和模板图像完全一致的情况下,成为f(X,Y)=1。此外,在式1中,w、h分别表示模板图像的宽度和高度。另外,Target(X+i,Y+j)表示目标图像的坐标(X+i,Y+j)的像素值。另外,Template(i,j)表示模板图像的坐标(i,j)的像素值。另外,Mtarget表示目标图像的匹配区域中的像素值的平均值。另外Mtemplate表示模板图像的像素值的平均值。
此外,作为在适合度算出部313中算出适合度时使用的互相关函数,除了式1所示的互相关函数以外,也可以使用式2所示的互相关函数来算出适合度。式2所示的互相关函数更换了式1中的Mtarget和Mtemplate,其他与在式1中说明的相同。
式2
f ( X , Y ) = Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) ( Template ( i , j ) - M T arg et ) Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) 2 Σ i = 0 w Σ j = 0 h ( Template ( i , j ) - M T arg et ) 2
在此,将式2的式子与式1进行比较说明。式1的互相关函数中的“Target(X+i,Y+j)-Mtarget”仅表示从目标图像中的像素值去除目标图像中的像素值的直流成分后的、目标图像中的像素值的交流成分;“Template(i,j)-Mtemplate”仅表示从模板图像中的像素值去除模板图像中的像素值的直流成分后的、模板图像中的像素值的交流成分。根据式1,分子是目标图像中的像素值的交流成分和模板图像中的像素值的交流成分的积,因此得不到加入直流成分的结果。因此,将目标图像和模板图像进行匹配的情况下,有可能尽管两者不类似,但作为f(X,Y)的值却得出高的值。
另一方面,式2的互相关函数中的“Target(X+i,Y+j)-Mtemplate”从目标图像中的像素值去除了模板图像中的像素值的直流成分,“Template(i,j)-Mtarget”从模板图像中的像素值去除了目标图像中的像素值的直流成分。在该情况下,在目标图像的直流成分和模板图像的直流成分有差的情况下,在Target(X+i,Y+j)-Mtemplate以及Template(i,j)-Mtarget中,不仅有交流成分还残留有直流成分。即,得出还加入直流成分的结果。为此,能够进行比通过式1算出适合度精度高的检索。
另外,作为利用式1以及式2在适合度算出部313中算出适合度时使用的函数,也可以使用式3所示的函数。
式3
F ( X , Y ) = f _ Y ( X , Y ) 2 + f _ U ( X , Y ) 2 + f _ V ( X , Y ) 2 3
式3是算出作为像素值利用YUV表示的情况下的适合度时使用的函数。f_Y(X,Y)是表示作为式1或者式2中的f(X,Y)的像素值使用Y成分(亮度)的式子。另外,f_U(X,Y)是表示作为式1或者式2中的f(X,Y)的像素值使用U成分(亮度信号和蓝色成分的差)的式子。另外,f_V(X,Y)是表示作为式1或者式2中的f(X,Y)的像素值使用V成分(亮度信号和红色成分的差)的式子。
式3得到将各f_Y(X,Y)、f_U(X,Y)以及f_V(X,Y)进行平方后相加的结果的平方根。而且,为了将各f_Y(X,Y)、f_U(X,Y)以及f_V(X,Y)进行平方后相加的结果的平方根归一化,除以3的平方根。在式3中以1∶1∶1合成YUV,但是也可以重视YUV的某个成分而以其他比率合成。
根据式3,能够得到不仅加入Y成分(亮度)、还加入U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的结果,因此能够进行高精度的匹配。
此外,以上在式1至式3中说明的f(X,Y)成为从-1到1的范围,但是作为适合度算出部313中的算出结果设想提供表示从0到1的范围的适合度“f′(X,Y)=(f(X,Y)+1)/2”。
遗传算法处理部314对在适合度算出部313中算出适合度的染色体进行选择、交配以及突然变异的处理,生成具有新染色体信息的染色体。此外,选择是指根据在适合度算出部313中算出的适合度来选择规定数量的染色体的处理。另外,交配是指例如制作通过上述选择所选择的染色体的对、更换该成对的染色体中的染色体信息的一部分的处理。另外,突然变异是指以规定概率改变染色体中的染色体信息的一部分值的处理。
但是,由于以规定概率进行以上的选择、交配以及突然变异,因此进行遗传算法处理部314中的处理之后,可能成为将染色体信息中没有变化的染色体以及具有新染色体信息的染色体混合的群体。然后,在遗传算法处理部314中进行选择、交配以及突然变异的处理后,再次进行适合度算出预处理部312以及适合度算出部313中的处理。
处理结束指示部315根据规定的条件,指示由适合度算出预处理部312、适合度算出部313以及遗传算法处理部314重复进行的处理的结束。作为规定的条件,设想例如由适合度算出预处理部312、适合度算出部313以及遗传算法处理部314进行50代的处理后结束,但不限于此。
当从处理结束指示部315接收处理结束的指示时,适合度算出部313将最后算出的多个适合度提供给准最佳解判断部316。准最佳解判断部316将从适合度算出部313提供的多个适合度中最高的适合度所对应的染色体判断为准最佳解。
附近区域准最佳解判断部317对在准最佳解判断部316中被判断为准最佳解的染色体所对应的匹配区域周边的所有规定区域,进行目标图像和模板图像之间的对照,在进行对照的各匹配区域中例如使用上述式1至式3所示的函数来算出适合度。然后,将具有算出的适合度中最高适合度的染色体判断为附近区域准最佳解判断部317中的准最佳解。
在准最佳解判断部316中被判断为准最佳解的染色体所对应的匹配区域周边的规定区域的宽窄,设想为例如预先设定成从匹配区域的边界起的规定像素范围的宽窄。对在附近区域准最佳解判断部317中被判断为准最佳解的染色体所对应的匹配区域周边的规定区域进一步进行目标图像和模板图像的对照,这是因为在使用遗传算法进行目标图像和模板图像之间的对照的情况下,并不是每次都能够发现目标图像和模板图像进行对照的最佳地方。
类似图像判断部318判断在准最佳解判断部316中判断的最高适合度、与在附近区域准最佳解判断部317中算出的适合度中,较高的一方的适合度是否超过预先设定的规定阈值。当在类似图像判断部318中判断为较高的一方的适合度超过规定阈值时,设为与模板图像类似的图像包含在该目标图像中,并作为检索结果输出。
准备值算出部319算出将在图像缩小部302中缩小的模板图像以及缩小的目标图像中的从原点到任意坐标为止的像素值累加而得到的准备值(以下称为准备值)。对缩小的模板图像以及缩小的目标图像所有的坐标进行该准备值的算出。将准备值设为ii(X,Y)、将目标图像的(X′,Y′)的像素值设为i(X′,Y′)时,表示准备值ii(X,Y)的式子表示为如式4所示。
式4
ii ( X , Y ) = Σ X ′ ≤ X , Y ′ ≤ Y i ( X ′ , Y ′ )
当考虑将目标图像的左上设为原点、将左方向设为X′的正方向以及将下方向设为Y′的正方向的X′Y′坐标空间时,式4成为累加由0≤X′≤X、0≤Y′≤Y表示的区域内的各坐标处的像素值的形式。为了计算该准备值,进一步考虑中间值s(X,Y)时,准备值ii(X,Y)和目标图像的(X′,Y′)中的像素值i(X′,Y′)和中间值s(X,Y)的关系成为如式5所示。此外,ii(0,0)的计算所需的s(X,-1)以及ii(-1,Y)的值分别设为0。
式5
S(X,Y)=S(X,Y-1)+i(X,Y)
ii(X,Y)=ii(X-1,Y)+S(X,Y)
使用上述式4以及式5算出的准备值,在准备值算出部319中按目标图像的各坐标被全部算出,其结果被保持在目标图像准备值表320中。另外,对于模板图像也用与上述说明相同的思路,在准备值算出部319中按模板图像的各坐标算出准备值,其结果被保持在模板图像准备值表321中。
另外,将各坐标处的像素值的平方的结果进行累加得到的准备值iii(X,Y),也利用与上述相同的思路,按目标图像以及模板图像的各坐标全部算出,分别保持在目标图像准备值表320以及模板图像准备值表321中。此外,iii(X,Y)表示为如式6所示。
式6
ii ( X , Y ) = Σ X ′ ≤ X , Y ′ ≤ Y i ( X ′ , Y ′ ) 2
上述准备值在使用上述说明的式1至式3的计算中由适合度算出部313使用。关于计算式1至式3时的准备值的利用方法,在图4中进行说明。
图4是用于说明本发明实施方式中的准备值的图。图4的(a)是表示目标图像200的图。准备值是将由(0,0)以及(X,Y)确定的区域201内的目标图像中的像素值进行累加得到的值。(X,Y)分别取0≤X≤Xn、0≤Y≤Yn的范围,对于该范围中的所有(X,Y)求出准备值。
该准备值,例如在将像素值设为亮度的情况下,越累加各坐标、值越大,因此越向右下方向、图像越明亮,例如能够表示为如图4的(b)所示的灰度级(gradation)图像202。
在算出该目标图像200的区域203中的适合度的情况下,使用在图3中说明的式1至式3。下面使用图4的(c)以及图4的(d),说明算出区域203中的适合度时,在使用式1的情况下,在式1中使用准备值的方法。
将图4的(c)中的点A设为(X,Y)、将AB间的长度设为w、将AC间的长度设为h时,可通过计算式1所示的式子求出区域203中的适合度。在式1的计算中,将式1的分母中与目标图像相关的式子展开得到的式子表示在式7中。
式7
Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M T arg et ) 2
Figure A20061014044700312
在式7中项a1成为将由坐标(X,Y)的点A和坐标(X+w,Y+h)的点D确定的区域203内的像素值的平方进行累加的形式。可以使用目标图像中的准备值iii(X,Y)计算该项a1。即,将表示图4的(d)所示的准备值的灰度级图像202中的区域203内的值进行平方后累加的结果是项a1。因而,使用图3中说明的目标图像中的iii(X,Y),由iii(A)+iii(D)-iii(B)-iii(C)求出项a1。此外,iii(A)表示点A的坐标的准备值iii(X,Y)的值,对于其他也设为使用相同的使用方法。
项a2成为将由坐标(X,Y)的点A和坐标(X+w,Y+h)的点D确定的区域203内的像素值进行累加的结果与2Mtarget之间的积。该项a2可以使用目标图像中的准备值ii(X,Y)来计算。项a2也与项a1同样考虑时,由2Mtarget{ii(A)+ii(D)-ii(B)-ii(C)}求出。项a3表示为Mtargetwh。由上可知,可以使用目标图像中的ii(X,Y)以及iii(X,Y),求出式1的分母中与目标图像有关的式子。也可以由相同的思路求出式1的分母中与模板图像有关的式子。此外,ii(A)表示点A的坐标处的准备值ii(X,Y)的值,对于其他也设为使用相同的使用方法。
下面,将在式1的计算中展开式1的分子得到的式子表示在式8中。
式8
Σ i = 0 w Σ j = 0 h ( T arg et ( X + i , Y + j ) - M T arg et ) ( Template ( i , j ) - M Template )
= Σ i = 0 w Σ j = 0 h T arg et ( X + i , Y + j ) Template ( i , j )   项b1
Figure A20061014044700323
在式8中不能利用准备值计算项b1。当与上述式7同样考虑时,使用模板图像中的准备值ii(X,Y),由Mtarget{ii(A)+ii(D)-ii(B)-ii(C)}求出项b2。另外,使用目标图像中的准备值ii(X,Y),由Mtemplate{ii(A)+ii(D)-ii(B)-ii(C)}求出项b3。另外,项b4表示为MtargetMtemplatewh。由上可知,可以使用目标图像以及模板图像中的ii(X,Y)以及iii(X,Y)来求出式1的分子。
此外,以上将式1作为例子说明了准备值的使用方法,但是利用相同的思路,也可以使用准备值计算式2以及式3。可通过使用准备值计算式1至式3来减少计算量,因此能够实现高速的检索处理。
图5是表示本发明实施方式中的目标图像准备值表320的图。目标图像准备值表320具备坐标3201、准备值ii(X,Y)3202、以及准备值iii(X,Y)3203。
坐标3201包含目标图像的所有的坐标,保持有与该坐标对应的准备值ii(X,Y)3202和准备值iii(X,Y)3203。ii(A)以及iii(A)分别表示A的坐标处的准备值ii(X,Y)、准备值iii(X,Y),关于其他也设为使用相同的使用方法。参照该目标图像准备值表320,适合度算出部313对各染色体算出适合度。此外,关于模板图像准备值表321,内容也可以与上述相同地考虑。
图6是表示在本发明实施方式中选择模板图像区域的情形的图。在本发明的实施方式中,能够一次显示在显示画面600中的目标图像的张数,如图6的(a)所示例如设为4张。在想要使其他目标图像显示在显示画面600中的情况下,例如利用触笔(stylus)501按下“向前”按钮621或者“向后”按钮622。由此,显示其他目标图像。此外,在本发明的实施方式中,作为操作方式,设想通过直接按下显示画面进行操作输入的触摸面板方式,但是不限于此。
利用上述操作使期望的图像显示在显示画面600中之后,利用触笔501按下期望的目标图像,选择OK按钮623。由此,如图6的(b)所示,该选择的目标图像611显示在显示画面600中。
当在显示画面600中显示图6的(b)所示的目标图像611时,接着选择目标图像中的区域。包含在该选择的区域中的图像成为模板图像。在目标图像中的区域选择中,例如利用触笔502选择了点612之后,利用触笔503选择点613。当利用触笔503选择点613时,显示将连接了点612以及点613的线设为对角线的区域614。
显示了区域614之后选择OK按钮624时,生成模板图像。另一方面,显示了区域614之后选择不同的区域的情况下,选择返回的按钮625,再次选择目标图像611中的区域。
图7是表示本发明实施方式中的模板图像数据生成的情形的图。当选择目标图像中的区域时,在模板图像生成部301中切出目标图像中的被选择的区域,生成图7的(a)所示的模板图像615。
另外,模板图像生成部301还生成放大以及缩小模板图像615后的图像即模板图像615a至615d。设想模板图像615a至615d分别是模板图像615例如的1.21倍、1.1倍、1.0倍、0.909倍、0.826倍。此外,在图7的(a)中,模板图像615以外的模板图像数据只有四个,但是不限于此,也可以是任意个。
在此,1.21、1.1、1.0、0.909、0.826的数列是(1.1)2、(1.1)1、(1.1)0、(1.1)-1、(1.1)-2,即,是公比为1.1的等比数列。此外,使公比变大时,使用模板图像进行图像检索时产生检索遗漏的可能性变高,另一方面,使公比变小时,使用模板图像进行图像检索时产生增加计算量的弊病。为此,公比最好是1.1左右,但是不限于此,例如也可以是1.09或1.2等。
另外,作为模板图像,不仅是放大以及缩小模板图像615后的图像数据,也可以如图7的(b)所示生成进一步旋转后的模板图像616。
图8是表示在本发明实施方式中的图像缩小部302中缩小目标图像以及模板图像的情形的图。图8的(a)是表示在图像缩小部302中被缩小之前的目标图像617以及模板图像615的图。
目标图像617以及模板图像615缩小到与模板图像的纵宽以及横宽相应的缩小率k。作为缩小率k,设想为例如设为如式9所示的缩小率。此外,将模板图像615的横宽设为a,将纵宽设为b。
式9
Figure A20061014044700341
图8的(b)是在图像缩小部302中缩小目标图像以及模板图像后的图。在图像缩小部302中被缩小时,目标图像的横宽从c变成kc,目标图像的纵宽从d变成kd。另外,在图像缩小部302中被缩小时,模板图像的横宽从a变成ka,模板图像的纵宽从b变成kb。
这样,能够通过缩小目标图像以及模板图像,降低后面进行的检索处理中的计算量,高速地进行检索处理。另外,当缩小目标图像以及模板图像时,在检索中难以检测图像细部的不是本质的差异、噪声,因此还提高检索精度。
图9是表示本发明实施方式中的染色体的染色体信息400的一例的图。在本发明实施方式中的染色体信息400中,作为在个体抽出部311中抽出的个体的目标图像上的坐标,设想为进行目标图像和模板图像的对照(匹配)的位置的X坐标401、以及进行目标图像和模板图像的对照(匹配)的位置的Y坐标402,作为模板图像的放大或者缩小的规定倍率,设想为与目标图像对照(匹配)的模板图像的倍率403。
X坐标401以及Y坐标402分别变换到格雷码之后编码到染色体信息中。另外,倍率403不是将倍率本身编码到染色体信息中,而是例如对倍率建立索引并变换为格雷码之后编码到染色体信息中。
图10是表示在本发明实施方式中的遗传算法的选择中使用的轮盘赌410的图。选择是如在图3中说明那样,选择规定数量的在适合度算出部313中算出适合度的染色体的处理。将轮盘赌410分割为与染色体数量相当。在该分割中,设定为占有轮盘赌410的面积与在适合度算出部313中算出的适合度f′(X,Y)成比例。
例如,假设在个体抽出部311中抽出n个个体,生成了n个染色体。该情况下,轮盘赌410被分割为n个区域。而且,染色体的适合度按染色体A、染色体B、染色体C、染色体D、......的顺序从高到低。该情况下,占有轮盘赌410的面积,对适合度高的染色体提供大面积的区域,因此变成如图10所示。
在此,将轮盘赌410向图10所示的箭头方向转动。然后,在轮盘赌410所停止的地方,选择点411所指的染色体成为通过选择剩下的染色体。例如重复n次该处理,从n个染色体中选择n个染色体。此外,在轮盘赌410中占有面积大的染色体剩下的概率高,因此通过轮盘赌410进行选择之后,适合度高的染色体变多的可能性高。
图11是表示本发明实施方式中的遗传算法交配的情形的图。交配如在图3中说明那样,是例如制作通过上述选择所选择的染色体的对、交换该成对的染色体中的染色体信息的一部分的处理。
图11的(a)是作为染色体对表示染色体A421以及染色体B422的图。选择染色体A421以及染色体B422中的规定位置。在图11的(a)中以虚线表示该规定的位置。交换该虚线右侧的染色体信息。通过该交换,生成图11的(b)所示的染色体C423以及染色体D424。
图12是表示本发明实施方式中的遗传算法的突然变异的情形的图。突然变异如在图3中说明那样,是以规定概率改变染色体中的染色体信息的一部分的值的处理。该规定的概率是极低的概率,使以该概率选择的、具有染色体信息431的染色体的随机位置432的染色体信息进行位翻转。由此生成新染色体。
以上,通过重复在图10至图12中说明的选择、交配以及突然变异,适合度高的染色体剩得多。然后,如果达到预先设定的结束条件,则结束处理,在与其中适合度最高的染色体对应的匹配区域中包含与模板图像类似的图像的可能性变高。在该最高的适合度超过规定阈值的情况下,估计为与模板图像类似的图像包含在该目标图像中,作为类似的图像输出。
图13是表示本发明实施方式中的适合度算出预处理部312中的处理情形的图。在从目标图像中搜索与模板图像640类似的区域的情况下,与图13所示的规定的染色体对应的匹配区域631显然不能说是类似的区域。在适合度算出部313中对如上所述的染色体进行适合度的算出,这会妨碍图像检索高速化。
为此,在本发明的实施方式中,为了降低适合度算出部313中的运算量,对如匹配区域631那样的匹配区域需要省略利用式1至式3的适合度算出。在本发明的实施方式中,如在图3中说明的那样,在适合度算出预处理部312中,根据匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值进行染色体的适合度的评价;根据将匹配区域中的目标图像和模板图像的像素值的标准偏差进行平方的结果的比进行染色体的适合度的评价;以及根据匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值进行染色体的适合度的评价。以上,对于适合度的评价不好的评价,不在适合度算出部313中利用式1至式3来算出适合度,而为了从类似判断中除外将足够小的值(包括零)设定为适合度。在下面说明适合度的评价的具体例。
在由YUV表示像素值的情况下,在式10中表示用于尽量省略染色体的适合度计算的、与匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值相关的条件的一例。此外,MY target、MU target、MV target分别是目标图像中的Y成分(亮度)、U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的平均值。另外MY template、MU template、MV template分别是模板图像中的Y成分(亮度)、U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的平均值。
式10
|MY target-MY template|>90
|MU target-MU template|>20
|MV target-MV template|>20
在适合度算出预处理部312中算出的匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值,满足式10所示的所有条件的情况下,适合度算出部313为了从类似判断中除外将足够小的值(包括零)设定为适合度。
在由YUV表示像素值的情况下,在式11中表示用于尽量省略染色体的适合度计算的、与将匹配区域中的目标图像和模板图像的像素值的标准偏差进行平方的结果的比相关的条件的一例。此外σU target、σV target分别是目标图像中的U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的平均值。另外σU template、σV template分别是模板图像中的U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)的平均值。
式11
0.01 > ( &sigma; U t arg et ) 2 ( &sigma; U template ) 2 , 或者 100 < ( &sigma; U t arg et ) 2 ( &sigma; U template ) 2
0.01 > ( &sigma; V t arg et ) 2 ( &sigma; V template ) 2 , 或者 100 < ( &sigma; V t arg et ) 2 ( &sigma; V template ) 2
此外,当使用目标图像中的Y成分(亮度)的平均值MY target时,目标图像中的Y成分(亮度)的标准偏差σY target可表示成如式12所示。
式12
( &sigma; Y t arg et ) 2 = &Sigma; ( M Y t arg et ) 2 - ( &Sigma; M Y t arg et ) 2
在将在适合度算出预处理部312中算出的匹配区域中的目标图像和模板图像的像素值的标准偏差进行平方的结果的比,满足式11所示的式子的所有条件的情况下,适合度算出部313为了从类似判断中除外将足够小的值(包括零)设定为适合度。
在由YUV表示像素值的情况下,在式13中表示用于尽量省略染色体的适合度计算的、与匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值相关的条件的一例。此外,CU target、CV target分别是关于目标图像中匹配区域中央点的U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)。另外,CU template、CV template分别是关于模板图像中的匹配区域中央点的U成分(亮度信号和蓝色成分的差)以及V成分(亮度信号和红色成分的差)。
式13
|CU target-CU template|>30
|CV target-CV template|>30
在适合度算出预处理部312中算出的匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值,满足式13所示的式子的所有条件的情况下,适合度算出部313为了从类似判断中除外而将足够小的值(包括零)设定为适合度。
即,利用式10、式11以及式13的某个评价适合度的结果,对于评价不好的结果,适合度算出部313在适合度的算出中不使用f(X,Y),而为了从类似判断中除外将足够小的值(包括零)设定为适合度。由此,在适合度的算出中不使用f(X,Y),因此能够高速地检索包含与模板图像类似的图像的目标图像。
图14是表示由本发明实施方式中的遗传算法求出的准最佳解所对应的匹配区域的周边区域的图。在图14中,模板图像660和设为准最佳解的染色体所对应的匹配区域中的图像652,位置稍微偏离。稍微偏离匹配区域的图像653,能够评价为比图像652类似于模板图像660的图像。
在遗传算法中,并不是对目标图像的整个区域详细地进行评价,因此在由遗传算法求出的准最佳解的周边区域中存在更好的准最佳解的可能性高。为此,在本发明的实施方式中,求出准最佳解之后,在与该准最佳解缩对应的匹配区域的周边区域中使匹配区域偏离后进一步求出适合度。该适合度使用图3中说明的式1至式3在附近区域准最佳解判断部317中求出。此外,匹配区域的周边区域预先决定为例如将到匹配区域的边界为规定像素的区域设为周边区域。
在附近区域准最佳解判断部317中求出的上述周边区域中的适合度中最高的适合度,高于在准最佳解判断部316中被判断为准最佳解的适合度的情况下,在附近区域准最佳解判断部317中求出的上述周边区域中的适合度中最高的适合度被设为新准最佳解。在类似图像判断部318中进行该判断,在被判断为该准最佳解的适合度超过预先决定的规定阈值的情况下,估计为在该目标图像中包含与模板图像类似的图像。
图15是表示在本发明的实施方式中检索包含与模板图像类似的图像的目标图像时的显示画面600的图。图15的(a)是表示正在检索包含与模板图像类似的图像的目标图像的显示画面600的图。
当检索出包含与模板图像类似的图像的目标图像时,该目标图像671显示在显示画面600中。设想该显示的目标图像671为缩略图。另外,作为显示在显示画面600中的目标图像的顺序,设想为适合度从高到低的顺序。另外,在显示画面600中一次显示的目标图像的张数例如设为两张,使用滚动条(scroll)673来显示其他检索出的目标图像。
而且,通过在显示画面600中设置表示检索进行状态的检索经过显示672,能够让用户识别当前检索进行到哪种程度。另外,当设置使检索处理中断的中断按钮674时,在用户期望的目标图像显示为检索结果、不需要进行进一步的检索处理的情况下有用。
图15的(b)是包含与模板图像类似的图像的目标图像的检索结束之后的显示画面600。当检索结束时作为检索结果,包含与模板图像类似的图像的目标图像681显示在显示画面600中。在显示画面600中一次显示的目标图像张数例如设为四张,使用滚动条682来显示其他检索出的目标图像。
下面,参照附图说明本发明实施方式中的摄像装置100的动作。
图16是表示检索包含与本发明实施方式中的模板图像类似的图像的目标图像的流程的图。首先,在区域选择接受部601中接受在目标图像保持部231中保持的目标图像中的任一个的选择以及该目标图像中的区域的选择(步骤S911)。当该选择被接受时,开始检索处理。
接着,基于接受了选择的目标图像区域,在模板图像生成部301中生成模板图像(步骤S912)。此外,在步骤S912中,例如作为模板图像还生成使接受了选择的目标图像的区域所对应的图像放大或者缩小或者旋转后的图像。
在图像缩小部302中由步骤S912生成的模板图像缩小到与该模板图像的纵宽以及横宽相应的缩小率(步骤S913)。然后,在准备值算出部319中算出缩小的模板图像中的准备值(步骤S914)。
下面,判断在目标图像保持部231中是否存在未检索的目标图像(步骤S915)。如果没有未检索的目标图像则结束处理。另一方面,当判断为存在未检索的目标图像时,在图像缩小部302中缩小未检索的目标图像中的规定的目标图像(步骤S916)。此外,步骤S916中的缩小的缩小率,与步骤S913中的模板图像的缩小率相同。然后,在准备值算出部319中算出缩小的目标图像中的准备值(步骤S917)。
当结束以上处理时,算出用于评价在步骤S917中缩小的规定的目标图像中是否包含与模板图像类似的图像的适合度,适合度中最高的适合度被设为准最佳解(步骤S918)。
在类似图像判断部318中,判断在步骤S918中作为准最佳解的适合度是否高于预先决定的规定阈值(步骤S919)。当判断为在步骤S918中作为准最佳解的适合度高于预先决定的规定阈值时,设为该目标图像包含与模板图像类似的图像,作为类似图像输出(步骤S920)。另一方面,当判断为在步骤S918中被设为准最佳解的适合度低于预先决定的规定阈值时,设为该目标图像不包含与模板图像类似的图像。重复以上处理,直到在步骤S915中判断为在目标图像保持部231中不存在未检索的目标图像为止,。
图17是表示图16中的步骤S918的准最佳解算出处理的流程的图。首先。从目标图像中随机抽出个体。生成与该抽出的个体数量相当的具有规定的染色体信息的染色体(步骤S921)。根据目标图像上的坐标以及模板图像的放大或者缩小的规定倍率,生成该染色体信息。
接着,算出各染色体的适合度(步骤S922)。在适合度算出预处理部312以及适合度算出部313中,分为两个阶段进行该适合度的算出。
在适合度算出预处理部312中,算出各染色体所对应的匹配区域中的目标图像和模板图像的像素值的平均值的差的绝对值、或者各染色体所对应的匹配区域中的目标图像和模板图像的像素值的标准偏差的平方的比、或者各染色体所对应的匹配区域的中央点的目标图像和模板图像的像素值的差的绝对值。适合度算出预处理部312例如利用式10至式13评价这些值,判断是否应该从类似判断中除外。
在适合度算出部313中,对于在适合度算出预处理部312中没有被判断为应该从类似判断中除外的染色体,例如使用式1至式3算出适合度。通过在适合度算出预处理部312中判断应该预先从类似判断中除外的染色体,能够降低适合度算出部313中的计算量,因此能够实现高速的检索处理。
接着,从在步骤S922中算出适合度的染色体中选择规定数量的染色体(步骤S923)。在本发明的实施方式中,设想使用例如在图10中说明的轮盘赌进行染色体的选择,但是不限于此。
接着,对在步骤S923中选择的规定数量的染色体进行交配(步骤S924)。本发明实施方式中的交配,设想用例如在图11中说明的方法进行交配,但是不限于此。
接着,对染色体进行突然变异(步骤S925)。设想用例如在图12中说明的方法进行本发明实施方式中的突然变异,但是不限于此。
以上的步骤S922至步骤S925的处理,预先设定有用来结束例如使重复50代之后结束的等处理的条件。在处理结束指示部315中,在步骤S925之后判断是否满足结束该处理的条件(步骤S926)。
当判断为结束步骤S922至步骤S925的处理时,在最后的处理中算出的适合度中最高的适合度在准最佳解判断部316中被判断为准最佳解(步骤S927)。接着,在步骤S927中判断的准最佳解所对应的匹配区域的周边区域中,在附近区域准最佳解判断部317中进行适合度的算出(步骤S928)。
然后,判断是否在附近区域准最佳解判断部317中算出比在准最佳解判断部316中判断的准最佳解所对应的适合度好的适合度(步骤S929)。在附近区域准最佳解判断部317中算出比在准最佳解判断部316中判断的准最佳解所对应的适合度好的适合度的情况下,在附近区域准最佳解判断部317中算出的适合度中最高的适合度被设为准最佳解,其结果被重写(步骤S930)。
这样,根据本发明的实施方式,在图像缩小部302中以与模板图像的横宽以及纵宽相应的缩小率来缩小模板图像以及目标图像,因此对模板图像以及目标图像进行对照的面积减少、运算量也减少。由此,能够进行高速的检索处理。另外,当缩小目标图像以及模板图像时,在检索中难以检测图像细部的不是本质的差异、噪声,因此也提高检索精度。
另外,在适合度算出部313中的染色体的适合度算出前,在适合度算出预处理部312中用运算量少的方法决定适合度,由此能够降低适合度算出部313中的运算量。另外,在适合度算出部313中的互相关函数的计算中使用准备值,由此能够减少互相关函数的计算量。通过以上两个效果,能够进行高速的检索处理。
另外,在遗传算法中算出准最佳解之后,对于该准最佳解所对应的匹配区域的周边,也在附近区域准最佳解判断部317中进一步算出适合度,由此能够算出更好的值的适合度。由此,能够提高图像的检索精度。
此外,在本发明的实施方式中,以摄像装置为例进行了说明,但是在能够进行其他图像处理的电子设备中可应用本发明。
此外,本发明的实施方式表示用于具体实现本发明的一例,与如下所示的权利要求书中的发明特定事项分别具有对应关系,但是不限于此,在不超出本发明要旨的范围内能够实施种种变形。
即,在权利要求1中,目标图像保持单元例如对应于目标图像保持部231。另外,区域选择接受单元例如对应于区域选择接受部601。另外,模板图像生成单元例如对应于模板图像生成部301。另外,图像缩小单元例如对应于图像缩小部302。另外,类似图像检索单元例如对应于类似图像检索部310。
另外,在权利要求4中,个体抽出单元例如对应于个体抽出部311。另外,适合度算出单元例如对应于适合度算出部313。另外,遗传算法处理单元例如对应于遗传算法处理部314。另外,处理结束指示单元例如对应于处理结束指示部315。另外,准最佳解判断单元例如对应于准最佳解判断部316。另外,类似图像判断单元例如对应于类似图像判断部318。
另外,在权利要求6至8中,适合度算出预处理单元例如对应于适合度算出预处理部312。
另外,在权利要求11中,准备值算出单元例如对应于准备值算出部319。另外,模板图像准备值表例如对应于模板图像准备值表321。另外,目标图像准备值表例如对应于目标图像准备值表320。
另外,在权利要求15中,目标图像保持单元例如对应于目标图像保持部231。另外,区域选择接受单元例如对应于区域选择接受部601。另外,模板图像生成单元例如对应于模板图像生成部301。另外,个体抽出单元例如对应于个体抽出部311。另外,适合度算出单元例如对应于适合度算出部313。另外,遗传算法处理单元例如对应于遗传算法处理部314。另外,处理结束指示单元例如对应于处理结束指示部315。另外,准最佳解判断单元例如对应于准最佳解判断部316。另外,附近区域准最佳解判断单元例如对应于附近区域准最佳解判断部317。另外,类似图像判断单元例如对应于类似图像判断部318。
另外,在权利要求16以及17中,目标图像保持单元例如对应于目标图像保持部231。另外,区域选择接受过程例如对应于步骤S911。另外,模板图像生成过程例如对应于步骤S912。另外,图像缩小过程例如对应于步骤S913以及步骤S916。另外,类似图像检索过程例如对应于步骤S915、步骤S918以及步骤S919。
此外,在本发明的实施方式中说明的处理过程既可以理解为具有这些一系列过程的方法,另外,也可以理解为用于使计算机执行这些一系列过程的程序以及存储该程序的记录介质。

Claims (17)

1.一种图像处理装置,其特征在于,具备:
目标图像保持单元,保持成为检索对象的多个目标图像;
区域选择接受单元,接受对上述多个目标图像任一个的规定区域的选择;
模板图像生成单元,将接受了上述选择的区域的图像作为模板图像生成;
图像缩小单元,将上述模板图像以及上述目标图像缩小到与上述模板图像的纵宽以及横宽相应的缩小率;以及
类似图像检索单元,在上述缩小的目标图像中,利用遗传算法检索包含与上述缩小的模板图像类似的图像的上述缩小的目标图像。
2.根据权利要求1所述的图像处理装置,其特征在于,
在上述模板图像的纵宽和横宽的积是规定值以下的情况下,上述图像缩小单元不进行上述图像缩小单元中的缩小。
3.根据权利要求1所述的图像处理装置,其特征在于,
上述模板图像生成单元将上述选择的规定区域以规定倍率放大或者缩小后的图像作为上述模板图像生成。
4.根据权利要求3所述的图像处理装置,其特征在于,
上述类似图像检索单元具备:
个体抽出单元,从上述缩小的目标图像随机抽出多个个体,生成染色体,其中,该染色体具有基于上述个体的坐标以及放大或者缩小上述模板图像的上述规定倍率的染色体信息;
适合度算出单元,根据上述染色体信息以及像素值,算出上述染色体的适合度;
遗传算法处理单元,对在上述适合度算出单元中算出上述适合度的上述染色体进行选择、交配以及突然变异中至少一个处理,生成具有新染色体信息的染色体,在上述适合度算出单元中算出关于具有上述新染色体信息的染色体的适合度;
处理结束指示单元,指示按照规定条件重复进行的上述遗传算法处理单元中的处理的结束;
准最佳解判断单元,将在上述适合度算出单元中最后算出的适合度中值最大的适合度判断为准最佳解;以及
类似图像判断单元,在上述准最佳解超过第一阈值的情况下,判断为与上述缩小的模板图像类似的图像包含在上述缩小的目标图像中。
5.根据权利要求4所述的图像处理装置,其特征在于,
上述像素值是使用YUV、RGB以及HSV中的任一个表示的量。
6.根据权利要求5所述的图像处理装置,其特征在于,
还具备适合度算出预处理单元,该适合度算出预处理单元算出和上述目标图像中的上述染色体对应的区域的上述像素值的平均值与上述模板图像中的区域的上述像素值的平均值之间的差的绝对值,判断上述差的绝对值是否超过第二阈值,
在上述适合度预处理单元中上述差的绝对值被判断为超过上述第二阈值的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。
7.根据权利要求5所述的图像处理装置,其特征在于,
还具备适合度算出预处理单元,该适合度算出预处理单元算出将和上述染色体对应的上述目标图像中的区域的上述像素值的标准偏差与上述模板图像中的区域的上述像素值的标准偏差各自平方的结果的比,判断上述比是否在规定范围内,
在上述适合度预处理单元中上述比被判断为在规定范围内的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。
8.根据权利要求5所述的图像处理装置,其特征在于,
还具备适合度算出预处理单元,该适合度算出预处理单元算出和上述染色体对应的上述目标图像中的区域的中央点的上述像素值与上述模板图像中的区域的中央点的上述像素值之间的差的绝对值,判断上述差的绝对值是否超过第二阈值,
在上述适合度预处理单元中上述差的绝对值被判断为超过第二阈值的情况下,上述适合度算出单元将从上述类似图像判断单元中的上述判断的对象中除外的足够小的值设定为上述适合度。
9.根据权利要求5所述的图像处理装置,其特征在于,
上述适合度算出单元根据上述像素值以及上述染色体信息,利用互相关函数算出上述染色体的适合度。
10.根据权利要求9所述的图像处理装置,其特征在于,
上述适合度算出单元将对上述目标图像及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差的积。
11.根据权利要求9所述的图像处理装置,其特征在于,还具备:
准备值算出单元,对于上述缩小的模板图像以及上述缩小的目标图像的所有坐标,算出将上述缩小的模板图像以及上述缩小的目标图像中的从原点到任意坐标为止的上述像素值进行累加得到的准备值;
模板图像准备值表,将上述缩小的模板图像中的上述准备值与上述缩小的模板图像的坐标相对应地保持;以及
目标图像准备值表,将上述缩小的目标图像中的上述准备值与上述缩小的目标图像的坐标相对应地保持,
上述适合度算出单元使用上述准备值,进行对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加上述互相关函数中的上述像素值的计算,算出上述染色体的适合度。
12.根据权利要求8所述的图像处理装置,其特征在于,
上述适合度算出单元,将对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差的积;将对关于构成上述像素值的多个要素各自的利用上述互相关函数的算出值进行平方的结果的和的平方根归一化的结果,作为上述适合度算出。
13.根据权利要求8所述的图像处理装置,其特征在于,
上述适合度算出单元将对上述目标图像以及上述模板图像互相重叠的区域的所有坐标累加下述积的结果进行归一化的函数,作为上述互相关函数使用,其中,上述积是上述目标图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述模板图像的上述像素值的平均值之间的差、和上述模板图像中的任意坐标的上述像素值与上述目标图像及上述模板图像互相重叠的区域中的上述目标图像的上述像素值的平均值之间的差的积。
14.根据权利要求8所述的图像处理装置,其特征在于,
上述适合度算出单元,将w设为上述模板图像的宽度,将h设为上述模板图像的高度,将上述目标图像的坐标(X+i,Y+j)处的像素值设为Target(X+i,Y+j),将上述模板图像的坐标(i,j)处的像素值设为Template(i,j),将上述目标图像以及上述模板图像互相重叠的区域中的像素值的平均值设为Mtarget,将上述模板图像的像素值的平均值设为Mtemplate,作为上述互相关函数使用表示坐标(X,Y)处的互相关关系的以下的式子:
f ( X , Y ) = &Sigma; i = 0 w &Sigma; j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) ( Template ( i , j ) - M T arg et ) &Sigma; i = 0 w &Sigma; j = 0 h ( T arg et ( X + i , Y + j ) - M Template ) 2 &Sigma; i = 0 w &Sigma; j = 0 h ( Template ( i , j ) - M T arg et ) 2 .
15.一种图像处理装置,其特征在于,具备:
目标图像保持单元,保持成为检索对象的多个目标图像;
区域选择接受单元,接受对上述多个目标图像任一个的规定区域的选择;
模板图像生成单元,将接受了上述选择的区域中的图像以及将该区域中的图像以规定倍率放大或者缩小后的图像,作为模板图像生成;
个体抽出单元,从上述缩小的目标图像随机抽出多个个体,生成染色体,其中,该染色体具有基于上述个体的坐标以及放大或者缩小上述模板图像的上述规定倍率的染色体信息;
适合度算出单元,根据上述染色体信息以及像素值,算出上述染色体的适合度;
遗传算法处理单元,对在上述适合度算出单元中算出上述适合度的上述染色体进行选择、交配以及突然变异中至少一个处理,生成具有新染色体信息的染色体,在上述适合度算出单元中算出关于具有上述新染色体信息的染色体的适合度;
处理结束指示单元,指示按照规定条件重复进行的上述遗传算法处理单元中的处理的结束;
准最佳解判断单元,将在上述适合度算出单元中最后算出的适合度中值最大的适合度判断为准最佳解;
附近区域准最佳解判断单元,在包围与上述准最佳解对应的上述目标图像区域的所有规定区域中,算出上述规定区域中的适合度,将该适合度中值最大的适合度判断为上述规定区域中的准最佳解;以及
类似图像判断单元,在上述准最佳解判断单元中被判断的上述准最佳解以及在上述附近区域准最佳解判断单元中被判断的上述规定区域中的准最佳解中,最大的值超过规定阈值的情况下,判断为与上述缩小的模板图像类似的图像包含在上述缩小的目标图像中。
16.一种处理方法,是具备保持成为检索对象的目标图像的目标图像保持单元的图像处理装置中的处理方法,其特征在于,具备:
区域选择接受过程,接受对上述多个目标图像任一个的规定区域的选择;
模板图像生成过程,将接受了上述选择的区域的图像作为模板图像生成;
图像缩小过程,将上述模板图像以及上述目标图像缩小到与上述模板图像的纵宽以及横宽相应的缩小率;以及
类似图像检索过程,在上述缩小的目标图像中,利用遗传算法检索包含与上述缩小的模板图像类似的图像的上述缩小的目标图像。
17.一种程序,使具备保持成为检索对象的目标图像的目标图像保持单元的图像处理装置执行:
区域选择接受过程,接受对上述多个目标图像任一个的规定区域的选择;
模板图像生成过程,将接受了上述选择的区域的图像作为模板图像生成;
图像缩小过程,将上述模板图像以及上述目标图像缩小到与上述模板图像的纵宽以及横宽相应的缩小率;以及
类似图像检索过程,在上述缩小的目标图像中,利用遗传算法检索包含与上述缩小的模板图像类似的图像的上述缩小的目标图像。
CNB2006101404474A 2005-10-06 2006-10-08 图像处理装置和处理方法 Expired - Fee Related CN100524308C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005293917 2005-10-06
JP2005293917A JP2007102634A (ja) 2005-10-06 2005-10-06 画像処理装置

Publications (2)

Publication Number Publication Date
CN1945580A true CN1945580A (zh) 2007-04-11
CN100524308C CN100524308C (zh) 2009-08-05

Family

ID=37671165

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101404474A Expired - Fee Related CN100524308C (zh) 2005-10-06 2006-10-08 图像处理装置和处理方法

Country Status (6)

Country Link
US (1) US20070081729A1 (zh)
EP (1) EP1783637A3 (zh)
JP (1) JP2007102634A (zh)
KR (1) KR20070038891A (zh)
CN (1) CN100524308C (zh)
TW (1) TW200801996A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499165B (zh) * 2009-03-09 2011-01-26 广东威创视讯科技股份有限公司 交叉重叠染色体的分割方法
CN101520890B (zh) * 2008-12-31 2011-04-20 广东威创视讯科技股份有限公司 一种基于灰度特征图像的粘连染色体自动分割方法
WO2011079442A1 (en) * 2009-12-30 2011-07-07 Nokia Corporation Methods and apparatuses for facilitating content-based image retrieval
CN101452528B (zh) * 2007-12-04 2011-12-14 索尼株式会社 验证装置与验证方法
CN102668585A (zh) * 2009-11-24 2012-09-12 索尼计算机娱乐公司 图像数据生成辅助装置和图像数据生成辅助方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
JP2009141475A (ja) * 2007-12-04 2009-06-25 Nikon Corp カメラ
JP5049871B2 (ja) * 2008-05-16 2012-10-17 株式会社リコー 画像検索装置、画像検索方法、情報処理プログラム、記録媒体及び画像検索システム
JP5176746B2 (ja) * 2008-07-23 2013-04-03 株式会社ニコン 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
JP5176747B2 (ja) * 2008-07-23 2013-04-03 株式会社ニコン 画像フィルタ生成装置、画像フィルタ生成方法およびプログラム
US8948513B2 (en) * 2009-01-27 2015-02-03 Apple Inc. Blurring based content recognizer
US8842891B2 (en) 2009-06-09 2014-09-23 Arizona Board Of Regents On Behalf Of Arizona State University Ultra-low dimensional representation for face recognition under varying expressions
US20120212632A1 (en) * 2009-09-07 2012-08-23 Nokia Corporation Apparatus
US8523075B2 (en) 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
US8905314B2 (en) 2010-09-30 2014-12-09 Apple Inc. Barcode recognition using data-driven classifier
WO2013019743A2 (en) * 2011-07-29 2013-02-07 Reconrobotics, Inc. Apparatus and methods for object recognition using a genetically-defined feature space transform
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images
WO2014203687A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 画像処理方法、画像処理装置、および画像処理プログラム
US10515110B2 (en) * 2013-11-12 2019-12-24 Pinterest, Inc. Image based search
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
JP6344469B2 (ja) * 2014-06-11 2018-06-20 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム
CN110019908A (zh) * 2017-12-13 2019-07-16 南京机器人研究院有限公司 一种图像内容搜索方法
CN111147891B (zh) * 2019-12-31 2022-09-13 杭州威佩网络科技有限公司 视频画面中对象的信息的获取方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172852A (ja) * 1998-09-28 2000-06-23 Canon Inc 画像処理方法、装置および記録媒体
CN1405727A (zh) * 2002-11-07 2003-03-26 上海交通大学 基于遗传算法的图像内容检索方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452528B (zh) * 2007-12-04 2011-12-14 索尼株式会社 验证装置与验证方法
CN101520890B (zh) * 2008-12-31 2011-04-20 广东威创视讯科技股份有限公司 一种基于灰度特征图像的粘连染色体自动分割方法
CN101499165B (zh) * 2009-03-09 2011-01-26 广东威创视讯科技股份有限公司 交叉重叠染色体的分割方法
CN102668585A (zh) * 2009-11-24 2012-09-12 索尼计算机娱乐公司 图像数据生成辅助装置和图像数据生成辅助方法
CN102668585B (zh) * 2009-11-24 2015-09-30 索尼计算机娱乐公司 图像数据生成辅助装置和图像数据生成辅助方法
WO2011079442A1 (en) * 2009-12-30 2011-07-07 Nokia Corporation Methods and apparatuses for facilitating content-based image retrieval
US8571358B2 (en) 2009-12-30 2013-10-29 Nokia Corporation Methods and apparatuses for facilitating content-based image retrieval
AU2009357597B2 (en) * 2009-12-30 2015-11-05 Nokia Technologies Oy Methods and apparatuses for facilitating content-based image retrieval

Also Published As

Publication number Publication date
EP1783637A3 (en) 2007-06-20
KR20070038891A (ko) 2007-04-11
CN100524308C (zh) 2009-08-05
US20070081729A1 (en) 2007-04-12
EP1783637A2 (en) 2007-05-09
JP2007102634A (ja) 2007-04-19
TW200801996A (en) 2008-01-01

Similar Documents

Publication Publication Date Title
CN1945580A (zh) 图像处理装置
CN1260673C (zh) 2维码读取方法和读取装置、数字照相机及其便携终端
CN1306442C (zh) 文件管理方法及其装置、摄像装置
CN1187952C (zh) 校正输入图象失真的设备与方法
CN1284073C (zh) 信息显示系统及其信息处理装置、指示装置和标记显示法
CN1664859A (zh) 图像文件的生成
CN1678021A (zh) 图像处理设备和方法、记录媒体和程序
CN1671176A (zh) 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置
CN101031054A (zh) 图像处理设备、系统和方法、摄像设备和方法
CN1310521C (zh) 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1669052A (zh) 使用三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序
CN1508663A (zh) 携带式终端机及图像显示方法
CN1225117C (zh) 图像以及声音的重放装置及方法
CN1949271A (zh) 图像处理装置
CN1942899A (zh) 脸图像制作装置和方法
CN101046818A (zh) 信息处理设备、方法和程序产品
CN1531711A (zh) 由数字图象计算转换图象的方法和系统
CN1969314A (zh) 图像处理设备和方法、存储介质及其程序
CN1898676A (zh) 使用了点图案的信息输入输出方法
CN1551017A (zh) 图像检索装置、方法、程序及存储有该程序的存储介质
CN101067844A (zh) 二维条形码、信息处理设备、信息处理方法和程序
CN1254955C (zh) 图像显示装置及控制方法和具有该装置的照相机
CN101064774A (zh) 图像拾取装置、图像拾取方法以及程序
CN101031055A (zh) 图像处理装置及方法、记录介质、以及程序
CN1846229A (zh) 图像处理设备、图像处理程序和计算机可读记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090805

Termination date: 20091109