CN101425074A - 分析多个存储图像的方法和设备 - Google Patents
分析多个存储图像的方法和设备 Download PDFInfo
- Publication number
- CN101425074A CN101425074A CNA2008101739481A CN200810173948A CN101425074A CN 101425074 A CN101425074 A CN 101425074A CN A2008101739481 A CNA2008101739481 A CN A2008101739481A CN 200810173948 A CN200810173948 A CN 200810173948A CN 101425074 A CN101425074 A CN 101425074A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- memory
- slice groups
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及分析多个存储图像的方法和设备。一种分析多个存储图像的方法,包括步骤:将多个存储图像中的每个图像分为多个片段;得出多个片段组,每个片段组包括与其它片段组不同的所述片段的组合;得出与每个片段组的属性相对应的特征数据;与所述存储图像相关联地存储所述所得出的特征数据。
Description
技术领域
本发明涉及分析多个存储图像的方法和设备。
背景技术
已经得出了多种索引和搜索文本信息项或者至少具有一些文本内容的项的技术。这一技术的例子是由文本项生成特征数据(例如,字分布),并且使得项之间的比较能够基于特征数据的比较来进行。
不过,对于图像项而言,已经提出的有用技术很少。
一种简单的技术是将某些文本与图像关联起来。这可以简单到仅仅是标题,或者可以牵涉到比较详细的"元数据",比如一段介绍、图像中的项或人的一览表(schedule)、图像捕获时间、捕获图像时涉及到的那些的一览表等等。然后可以使用基于文本的搜索技术来识别类似的图像。但是提供精确和可用的元数据是很耗费时间的,并且计算量大。
其它一些技术基于图像自身的属性创建特征数据。这些属性可能包括颜色属性、纹理属性等等。但是这也是有局限性的,因为对于人类观察者而言代表相同事物的两个图像,可能具有差异悬殊的图像属性。例如,因为图像背景不同,某人的一对图像可能具有差异悬殊的图像属性。
而且,一般来说,图像处理是很缓慢的。不过,用户们希望快速地进行图像搜索和分析。为了提高速度,就要增加计算资源。于是这就增加了系统的成本和复杂度。
发明内容
本发明的目的是解决这些问题。
在本发明的一个方面中,提供了一种分析多个存储图像的方法,包括步骤:
将多个存储图像中的每个图像分为多个片段;
得到多组片段,每组包括与其它组不同的所述片段的组合;
得到与每组片段的属性相对应的特征数据;和
与所述存储图像相关联地存储所述得到的特征数据。
本发明中具体实施的技术能够减少基于例如用户规定的初始搜索条件搜索多个图像所需的时间周期和/或运算处理。这是因为,一旦建立了搜索条件,仅仅需要搜索多个图像中的每个图像的片段组,而不是整个图像。此外,在一些实施方式中,可以使用搜索条件的特征,比如所要搜索的区域的形状、大小或取向,来从可能包含与给定搜索特别相关的特征数据的多个图像中识别适当片段组。
在一些实施方式中,该方法包括生成存储图像的顺序表,存储图像的顺序是按照从第一图像得出的特征数据与对应于存储图像的所存储的得出特征数据之间的比较结果确定的。
此外,在一些实施方式中,第一图像的特征数据和所存储的特征数据是与所限定区域的大小和位置无关地得出的。
在一些实施方式中,特征数据代表每组片段的颜色属性。
在一些实施方式中,将存储图像分成多个大小基本相等的片段。
在一些实施方式中,片段是四边形的。
在一些实施方式中,该分析方法此外还包括:
在第一图像中限定区域;
得出与在第一图像中限定的区域的属性相对应的特征数据,该属性与所存储的得出特征数据相对应;和
将来自第一图像的所述得出特征数据与所述所存储的得出特征数据进行比较。
在一些实施方式中,第一图像中的限定区域在形状上与所存储的片段组中的至少一个相对应,并且比较是针对具有相应形状的那个或那些存储片段组进行的。
在一些实施方式中,第一图像中的限定区域是响应于用户输入而生成的。
在一些实施方式中,该分析方法此外还包括按照比较的结果选择至少一个存储图像。
在一些实施方式中,该分析方法此外还包括:在所述所选择的图像的选择得到的比较之后,将具有特征数据的所选择的存储图像中的片段组突出显示给用户。
按照另一个方面,提供了一种系统,用于在存储图像中搜索相似图像,该系统包括:
区域限定器,用于在正在测试的图像中限定围绕着前景对象的区域,该围绕着前景对象的区域包括正在测试的图像的背景的至少一部分;
特征数据生成器,用于生成代表前景对象的属性的特征数据和代表该区域中的背景的特征数据;和
比较装置,用于将所生成的特征数据与代表存储图像中的前景对象和背景的其他相应特征数据进行比较,和,响应于特征数据的比较,针对至少一些代表存储图像的特征数据,返回相关度数据,该相关度数据表示存储图像的各特征数据与从正在测试的图像定义的特征数据之间的相关程度。
在所附的权利要求中定义了本发明的各种不同的其它方面和特征。
附图说明
本发明的上述和其它目标、特征和优点将会从下文的说明性实施方式的详细介绍明显看出,说明性实施方式的详细介绍要结合附图来阅读,其中:
附图1A提供了用于实现本发明的实施方式的系统的示图;
附图1B提供了与本发明的实施方式相结合使用的图形用户界面的示图;
附图2A提供了被分割的图像的示图;
附图2B提供了图像的可能分割区域的图解说明;
附图3提供了具有选定的关注区域的图像的示图;
附图4提供了在经过了色彩分辨率降低之后的图像的示意图;
附图5提供了将图像分成颜色平面的示意图;
附图6示出直方图的示图;
附图7示出要针对边缘像素进行测试的图像的展开区域的示意图;
附图8示出复制并变换的像素的处理的图解说明;
附图9示出复制并变换的像素的处理的图解说明;
附图10是表示边缘像素的矩阵的图表;和
附图11是多个分成片段组的多个图像的示意图。
具体实施方式
附图1A是基于通用计算机10的图像处理系统的示意图,该通用计算机10具有包括用于程序和数据的盘存储装置30和与诸如以太网或因特网的网络50连接的网络接口卡40的处理器单元20、诸如阴极射线管或液晶显示器件的显示装置60、键盘70和诸如鼠标80的用户输入装置。该系统在程序控制下操作,这些程序存储在盘存储装置30上并且例如由网络50、可移动盘(未示出)提供或者是预先安装在盘存储装置30上的。
总地来说,该图像处理系统被安排成这样:用户可以在图像存储库中的大量图像中进行搜索,以便识别与用户规定的各种搜索条件相对应的图像。典型地,用户将会通过取得第一图像并且选择第一图像的部分或特征来规定搜索条件。在各实施方式中,第一图像(或所选择的一个或多个部分)将会受到处理。下文中将会介绍这一处理。这里应当注意,针对第一图像进行的处理也可以针对将会从中展开搜索的存储库中的一个或多个图像进行。对存储库中图像进行的处理可以在进行搜索之前实施(称为"预分析"),也可以当在这些图像中进行搜索时实施(称为"实时分析(on the fly)")。稍后将对这一处理加以解释。
然后图像处理系统将参照用户选择的第一图像的部分或特征来对图像存储库进行搜索。例如,用户可能希望从存储库中识别出包括鸟的图像。在这种情况下,用户选择包括鸟的第一图像并且选择包含鸟的图像的特定部分或特征。在进行了搜索之后,将会产生来自图像存储库的图像的列表。这识别了存储库中被认为类似于用户选择的第一图像的部分或特征或者包含与用户选择的第一图像的部分或特征类似的元素的图像。这为用户提供了对于特定搜索仅仅挑选出与他们相关的图像特征的能力。例如,在这个例子中,可以选择鸟喙并且在搜索过程中仅仅返回具有类似喙的图像。这使得计算机资源的使用效率更高,因为仅仅将相关部分返回给用户。此外,通过仅仅搜索以后文将会讨论的方式进行了处理的选定部分,所返回的图像是比例不变的。换句话说,在前面的例子中,不管喙占图像的20%还是占图像的70%都没有关系;都会将这两种图像作为相关图像返回。这改善了搜索机制。在一些实施方式中,该系统将会通过识别与所选择的搜索条件最紧密匹配的那些图像,来在所生成的列表中对图像分等级。
图像存储库可以包括存储在系统内(例如在盘存储装置30上)的多个图像。或者,图像存储库可以存储在远离该系统并且该系统能够经由某种形式的中间链路(比如与网络50连接的网络接口卡)访问的某种形式的存储介质上。这些图像可以在与网络50连接的多个存储节点上分配。
这些图像可以具有各种各样的形式,例如由照相机拍摄的"静止"图像,或者这些图像可以是从包括视频流的一系列图像中取得的。
附图1B是表示显示在显示装置60上的图形用户界面11的示意图。图形用户界面11包括搜索窗口114和结果窗口113。搜索窗口114显示从中得出搜索条件的第一图像112。
如前面所指出的,第一图像(或者,在一些实施方式中,所选择的部分)要接受图像处理。
图像搜索机制
为了在图像存储库中搜索图像,该图像处理系统进行下列步骤:
选择要从中得出搜索条件的第一图像。该图像可以是从图像存储库中选择的,也可以是经由网络50从外部源或者从附连于该系统的盘或其它存储介质中加载到该系统上的新图像。
典型情况下,要在显示装置60上将该图像呈现给用户,并且用户使用诸如鼠标80之类的输入装置选择该图像的区域。在一些实施方式中,将图像分割成网格,并且用户选择网格中包含用户进行搜索所基于的图像特征的一个或多个片段。不过,本发明并不局限于此,并且用户可以象下文将要指出的那样使用鼠标80定义他们自己的区域。附图2A示出已经分割成网格的图像和感兴趣区域的例子,通过选择网格中包含得出搜索条件区域的感兴趣特征的块而突出的该感兴趣区域。
如前面所指出的,在一些实施方式中,将会对图像存储库中的至少一些图像进行预分析。存储库中图像的预分析减小了搜索时系统上的处理负荷并且因而增加了在图像中进行搜索的执行速度。为了进一步提高搜索执行的速度,使用与分析第一图像时所使用的技术类似的技术来进行存储库中图像的预分析。此外,作为存储库中图像的预分析的一部分,可以将至少一些经过预分析的图像分割成块,例如通过应用网格,比如2×2网格、3×3网格、4×4网格。按照另外一种可选方案,可以使用非正方形网格,比如2×3或3×4网格。可以与图像整体无关地分析单独的块或块组,因此使得不仅图像存储库中的图像能够得到搜索,而且图像存储库中每个图像的不同部分也能够得到搜索。而且,该系统可以用于搜索形状上与用户选择的区域相对应的图像部分,如前所述。这样如果用户选择如附图2A中所示的区域,则将会从图像存储库中的图像中搜索形状相对应的区域。在附图2B中图解说明了这一原理,在附图2B中,突出了四个形状上与附图2A中的感兴趣区域相对应的区域21、22、23、24。虽然附图2B仅仅示出了四个形状相对应的区域,但是将会理解,附图2B中所示的4×4网格实际上包括更多形状相对应的区域。
在另一种实施方式中,如前面所提到的,用户可以简单地定义包含搜索所基于的图像特征的区域。这在附图3中由虚线框表示出来。感兴趣区域的定义通常使用用户输入装置80来进行。
在本发明的另一种实施方式中,将来自图像存储库的图像分割成多个片段组。对存储在图像存储库中的该多个片段组进行分析,以得出代表每个片段组的属性的特征数据。然后将这一分析的结果与图像相关联地存储起来。
于是用户可以从第一图像中选择与例如所感兴趣特征相对应的片段组。该系统可用于从图像存储库的图像中搜索在某方面与所选择的片段相对应的片段组。附图11示出这样的一个例子。附图11示出了图解说明划分成多个片段的第一图像1111的简略图(所示出的片段的数量是九个,相当于三乘三网格,但是将会意识到,这仅仅是说明性的,实际上,可以将第一图像划分成其它数量的片段,比如十六个,对应于四乘四网格,或者二十五个,对应于五乘五网格,等等)。此外,将会意识到,附图11中并未示出片段的全部可能组合。用虚线标出了由用户按照前面讨论的选择方法选择的选定片段组1112。一旦用户选择了片段组,则该系统就用于从图像存储库的图像中搜索与选定片段相对应的所存储的片段组。附图11示出了代表来自图像存储库的图像的多个图像1113到1126。将这多个图像1113到1126划分成片段和片段组,其中一些与用户选择的片段组相对应。用阴影片段表示在多个图像1113到1126中搜索到的片段组。在第一组多个图像1113,1114,1115,1116,1117,1118中可以看出,搜索到的片段组与用户选择的片段组的形状、大小和取向对应。在第二组多个图像1119,1120,1121,1122,1123中,搜索到的片段组与用户选择的片段组的形状和大小相对应。在第三组多个图像1124,1125,1126中,搜索到的片段组与用户选择的片段组的形状相对应。
在选择了包含感兴趣特征的区域之后,对图像存储库的搜索继续进行。为了进行搜索,需要对第一图像(或者选定部分)加以处理。
图像处理
为了开始进行搜索,在实施方式中,该系统对图像进行色彩分辨率降低过程。将会理解,图像的每个像素通常由代表像素颜色分量值的数据(比如"R"、"G"和"B"值(分别定义红色、绿色和蓝色分量))或者提供颜色分量值的颜色编码方案(比如"Y"、"CB"和"CR"(分别定义"亮度(luma)"值和"色度"值))定义。这些值决定了每个像素的颜色。能够用来提供像素颜色的可能颜色的数量是由用于代表像素颜色分量值的位数决定的。在典型情况下,这是1600万种颜色,不过这仅仅是举例。色彩分辨率降低过程在典型情况下将会涉及对每个颜色分量值进行"下采样"或者抽取(decimation)操作,其结果是减少了像素可能颜色的总数。在对图像实施了色彩分辨率降低过程之后,图像中颜色的数量将会减少。在实施了色彩分辨率降低过程之后,很多图像中会出现这样的效果:图像被划分成了多个同色区域。这一效果显现为给图像以"斑驳"外观。在附图4中示出了此种效果的简化例子。
附图4示出应用于如附图3中所示的图像的选定区域的色彩分辨率降低过程的结果,其中将图像划分成了同色的图像元素41、42、43、44。为了简便起见,将所呈现颜色的数量减少为四种,不过将会意识到,颜色的数量通常大于四种。在一些实施方式中,在经过了色彩分辨率降低过程之后,图像中的颜色数量为67种,不过可以想到小于原始图像颜色数量的任何数量。
在色彩分辨率降低过程将图像划分成多个同色区域之后,将图像进一步分为多个颜色平面,其中每个平面仅仅包括一种颜色的图像元素。这样,颜色平面的数量将会与经过色彩分辨率降低过程之后图像中的颜色总数相同。附图5A到5D示出了将图像划分成包括每种颜色的图像元素的颜色平面。
然后对每个平面进行分析,以便得出与包含在其中的图像元素或多个图像元素的属性相对应的特征数据,比如特征向量。该属性可以涉及图像元素的一个或多个方面,例如简单的大小或颜色,或者更加复杂的考虑,比如元素形状的样式。此外,将会理解,特征向量仅仅是图像元素属性的抽象量度的一种实例。另一个实例可以是绝对差的总和。在一些实施方式中,通过首先针对每个图像元素检测边缘像素并且然后计算围绕颜色平面内每个图像元素周边的像素的数量,来产生一个或多个颜色平面的特征向量。虽然下文中将进一步讨论边缘像素的检测,但是也可以使用诸如团块(blob)分析之类的公知技术。然后计算该周边值的平均值,为每个颜色平面产生单个纯量值(scalarvalue)。对每个颜色平面重复这一过程。取得为每个颜色平面计算出的平均纯量值并且产生直方图。附图6中示出了简化的直方图。
然后将该直方图与类似地为来自图像存储库的每个图像生成的直方图进行比较。
有很多种将从第一图像得出的直方图与从图像的存储库类似得出的直方图进行比较的技术。在一种非常简单的例子中,可以将两个直方图的对应图柱(bin)对齐并且计算直方图之间的绝对差。可以将这一减法运算的结果表达为另一个直方图。可以对得到的直方图中的图柱进行求和,以产生单个值。这个值越接近零,则直方图越相似。当求和得到的数据低于阈值时,识别出存储库中的相似图像。虽然仅仅介绍了一种比较直方图的简单技术,但是本领域技术人员将会意识到,还存在更加复杂的技术。
直方图比较的结果通常会产生与来自图像存储库的相似图像相应的多次"命中(hit)"。然后可以将这些类似在显示器屏幕上呈现给用户。将会理解,返回的图像的数量可以通过规定某些参数来控制。例如,可以将该系统安排成返回直方图与第一图像的直方图最密切对应的前10个图像。按照另外一种可选方案,可以将该系统安排成返回如前所述那样直方图与从第一图像得出的直方图之间的相似度满足某一阈值水平的所有图像。为了帮助用户,在"命中"图像出画出"命中"图像中与用户选择的片段组相对应的片段组的轮廓。
在一些实施方式中,计算每个图像元素的周界上的像素总数,以便为每个颜色平面提供特征向量。现有技术中公知的检测边缘像素的方法通常计算量大并且需要逐像素分析。这通常会使得针对高分辨率图像进行实时边缘检测相当困难。在该系统的一些实施方式中,在图像处理方法中,使用下述边缘检测技术。要理解,在其它一些实施方式中,可以使用不同的边缘检测技术。
边缘检测
该技术包括将要针对边缘像素进行检测的图像复制八次。每次复制沿着八个可能方向中的一个移动(即,空间变换)一个像素(即,x+1,y+0;x-1,y+0;x+0,y+1;x+0,y-1;x+1,y+1;x+1,y-1;x-1,y-1;x-1,y+1)。然后取得来自八个经过变换的复制图像的所有对应像素的XOR函数。XOR函数的结果得到二元矩阵,其中"1"代表边缘像素,"0"代表非边缘像素。附图7、8和9中图解说明了这一技术的简化形式。
附图7示出图像73上的点72所对应的简化展开区域71。简化展开区域71用于图解说明对图像73的小区域操作的技术。将会理解,下文仅仅是说明性的,并且在实践中,可以对图像73的所有部分应用该技术。如上所述,按照该技术,将系统安排为复制整个图像73八次,使得每个复本沿着每个可能方向(即,上,右上,右,右下,下,左下,左,左上)移动一个像素。简化的展开区域71上的箭头76表示与一个像素有关的相对运动。一旦创建了经过变换的复本,就对来自正在测试的像素和来自每个复制图像的对应像素的颜色数据应用XOR函数。附图8和9中图解说明了这一运算。为了进一步简化图示,附图8用阴影区域75示出了附图7中指示的区域71的仅仅一部分。可以看出,阴影区域75的中心像素76是边缘像素。如附图8中所示,将这个区域复制了8次,并且每个复制区域81,82,83,84,85,86,87,88沿着一个可能方向移动了一个像素。对正在测试的像素76的颜色数据和来自所复制的且经过变换的图像81,82,83,84,85,86,87,88的每个对应像素(在附图8中由虚线框89表示)的颜色数据应用XOR函数。由于在附图7的放大部分中所示的示图中仅存在两种颜色,因此可以认为颜色数据是"1"或者"0"。这与图像存储库的搜索实施方式中使用边缘检测技术是一致的。不过,将会意识到,这一特定技术并非局限于此,而是可以有不止两种颜色。参照附图8,对于正在测试的像素76,XOR函数的结果是:
1 XOR 1 XOR 0 XOR 0 XOR 0 XOR 1 XOR 1=1
这样,表明正在测试的像素76是边缘像素。
附图9表示非边缘像素的例子,即,中心像素91由同色像素围绕的例子。参照附图9,对于正在测试的像素91,XOR函数的结果是:
1 XOR 1 XOR 1 XOR 1 XOR 1 XOR 1 XOR 1=0
这样,表明正在测试的像素91是非边缘像素。
如上所述,一旦对区域71中的每个像素都应用了XOR函数,则产生了具有表示边缘像素的"1"和表示非边缘像素的"0"的二元矩阵。附图10中示出了这个二元矩阵。将会理解,不必仅用XOR逻辑函数对来自像素的数据进行运算,而是可以用其它逻辑函数的组合来进行运算,比如OR函数、NAND函数的组合或者逻辑函数的任何组合。这一检测边缘像素的特定技术是很有益处的,因为将图像移动一个像素的运算量小。此外,与现有技术相比,对经过移动的图像应用逻辑函数的运算量也小。因此这一边缘检测技术能够实现实时边缘检测。此外,当与附图7、8和9中描述的边缘检测技术一起使用搜索技术时,能够实现基本上实时的存储库中存储的视频图像的搜索。
如前面指出的,虽然前述处理是针对第一图像(或其选定部分)介绍的,但是应当理解,在实施方式中,相同或类似的处理也可以对存储库中存储的图像中的一个或多个进行。这可以形成"经过预分析的"图像或者可以"并行地(on the fly)"进行。
其它一些实施方式可以用在图像复原中,例如用来在已经扫描成数字格式的原本在生胶片上的图像素材的数字表达中检测划痕。本发明实施方式的其它应用涉及一般的视频处理。例如,可以将对象从图像中分离出来、对其进行处理并且然后再复制到该图像中。处理可以是例如颜色校正或者甚至是其它特殊效果。另一种应用可以是用目标超链接精确地为图像内对象加标注或标签。用于为照片中的面部手工加标签的系统通常允许用户使用矩形框定义面部,这个矩形框可能经常与另一张面部重叠,造成用户在点击超链接时举棋不定。本发明的实施方式可以有助于更加精确地定义被赋予了超链接的区域。
虽然前面的处理将色彩分辨率降低过程描述为对整个图像进行,但是可以设想到,这可以仅对图像的选定部分进行。这样可能会减小系统的处理负担。
虽然前文中一些实施方式是参照找出片段的特征数据(即,前景和背景成分是相对等同地对待的)来介绍的,但是在一些实施方式中,可以找出图像或图像的一部分(例如,片段)中的前景对象的特征数据和背景的特征数据。在实施方式中,使用这种办法,将会生成前景对象的特征数据。此外,还将生成片段中的全部或部分背景的特征数据。然后将所生成的前景对象和背景二者的特征数据与所存储图像中的前景特征数据和背景特征数据的相似组合的特征数据进行比较。这一比较的结果是,可以在实施方式中生成相关度指示,该相关度指示可以用于生成顺序表。在实施方式中,用户将首先看见最相关的存储图像。这使得更相关结果能够返回给用户,因为前景对象是在环境中看到的。例如,如果正在测试的片段由树木围绕的鸟喙的图像构成,则树木围绕的类似鸟喙就要比沙漠中的类似鸟喙更相关。这样,这种实施方式会返回更相关图像。
在一些实施方式中,可以不对要加以测试的图像进行八次复制和空间变换(这样不再使得空间变换针对每种可能的一个像素位移来实施),而是对图像进行的复制和空间变换的次数可以小于八次。虽然这样将会提供关于边缘像素是否存在的不完整分析,但是在某些应用中,所产生的信息可能足以提供与边缘像素有关的充足的有用信息。将会理解,可以对前面介绍的实施方式进行各种不同的改造,而不会超出本发明的发明思想。例如,虽然本发明是参照分立计算机设备介绍的,但是本发明可以是在跨越多个相连计算机进行操作的更加分布式的系统中实现的。服务器可以存储图像存储库中的图像并且执行搜索,同时经由网络连接与该服务器连接的远程计算机可以规定搜索条件。这可以通过将系统的一些部分(例如图形用户界面)整合成网页浏览器的"插件"来实现。
虽然本文已经参照附图详细介绍了本发明的说明性实施方式,但是应该理解,本发明并不局限于确切的实施方式,并且本领域技术人员可以在其中实施各种不同的改变和修改,而不会超出所附权利要求定义的本发明的范围和思想。
Claims (25)
1.一种分析多个存储图像的方法,该方法包括:
将该多个存储图像中的每个图像分为多个片段;
得出多个片段组,每个片段组包括与其它片段组不同的所述片段的组合;
得出与每个片段组的属性相对应的特征数据;和
与所述存储图像相关联地存储所述所得出的特征数据。
2.按照权利要求1所述的分析方法,其中特征数据代表所述每个片段组的颜色属性。
3.按照权利要求1所述的分析方法,其中将存储图像分成多个大小基本相等的片段。
4.按照权利要求1所述的分析方法,其中所述片段是四边形的。
5.一种搜索已经按照权利要求1进行了分析的存储图像的方法,该搜索方法包括:
在第一图像中限定区域;
得出与在第一图像中限定的区域的属性相对应的特征数据,该属性与存储的所得出的特征数据相对应;和
将来自第一图像的得出特征数据与所述存储的所得出的特征数据进行比较。
6.按照权利要求5所述的搜索方法,包括生成存储图像的顺序表,存储图像的顺序是根据来自第一图像的得出特征数据与对应于存储图像的存储的所得出的特征数据之间的比较结果确定的。
7.按照权利要求5所述的搜索方法,其中第一图像的特征数据和所存储的特征数据是与所限定区域的大小和位置无关地得出的。
8.按照权利要求5所述的搜索方法,其中第一图像中的限定区域在形状上与所存储的片段组中的至少一个相对应,并且比较是针对具有相应形状的那个或那些存储的片段组进行的。
9.按照权利要求5所述的搜索方法,其中第一图像中的限定区域是响应于用户输入而生成的。
10.按照权利要求5所述的搜索方法,包括根据比较结果选择至少一个存储图像。
11.按照权利要求10所述的搜索方法,包括在所述所选择的图像的选择造成的比较之后,将具有特征数据的所选择的存储图像中的片段组突出显示给用户。
12.一种分析多个存储图像的设备,该设备包括:
划分器,用于将该多个存储图像中的每个图像分为多个片段;
片段得出器,用于得出多个片段组,每个组包括与其它组不同的所述片段的组合;
特征数据得出器,用于得出与每个片段组的属性相对应的特征数据;和
存储介质,用于与所述存储图像相关联地存储所述所得出的特征数据。
13.按照权利要求12所述的设备,其中特征数据代表所述每个片段组的颜色属性。
14.按照权利要求12所述的设备,其中将存储图像分成多个大小基本相等的片段。
15.按照权利要求12所述的设备,其中片段是四边形的。
16.一种用于搜索已经由权利要求12的分析设备进行了分析的存储图像的设备,该用于搜索的设备包括:
区域限定器,用于在第一图像中限定区域;
特征数据搜索得出器,用于得出与在第一图像中限定的区域的属性相对应的特征数据,该属性与存储的所得出的特征数据相对应;和
比较器,用于将来自第一图像的得出特征数据与所述存储的特征数据进行比较。
17.按照权利要求16所述的设备,包括列表生成器,用于生成存储图像的顺序表,存储图像的顺序根据来自第一图像的得出特征数据与对应于存储图像的存储的所得出的特征数据之间的比较结果确定。
18.按照权利要求16所述的设备,其中特征数据得出器和特征数据搜索得出器,可用于与所限定区域的大小和位置无关地得出第一图像的特征数据和所存储的特征数据。
19.按照权利要求16所述的用于搜索的设备,其中第一图像中的限定区域在形状上与所存储的片段组中的至少一个相对应,并且比较是针对具有相应形状的那个或那些存储的片段组进行的。
20.按照权利要求16所述的用于搜索的设备,其中第一图像中的限定区域是响应于用户输入而生成的。
21.按照权利要求16所述的用于搜索的设备,包括选择器,用于根据比较结果选择至少一个存储图像。
22.按照权利要求21所述的用于搜索的设备,包括突出显示器,用于在所述所选择的图像的选择造成的比较之后、将具有特征数据的所选择的存储图像中的片段组突出显示给用户。
23.一种计算机程序,包括计算机可读指令,在将这些计算机可读指令加载到计算机上时,这些计算机可读指令将计算机配置为执行按照权利要求1的方法。
24.一种配置为用来在其中或其上存储权利要求23的计算机程序的存储介质。
25.一种系统,用于在存储图像中搜索相似图像,该系统包括:
区域限定器,用于在正在测试的图像中限定围绕前景对象的区域,围绕前景对象的区域包括正在测试的图像的背景的至少一部分;
特征数据生成器,用于生成该区域中代表前景对象的属性的特征数据和代表背景的特征数据;和
比较装置,用于将所生成的特征数据与存储图像中代表前景对象和背景的其它相应特征数据进行比较,以及响应于特征数据的比较,针对至少一些代表存储图像的特征数据,返回相关度数据,该相关度数据表示存储图像的各特征数据与从正在测试的图像定义的特征数据之间的相关程度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0721405A GB2454213A (en) | 2007-10-31 | 2007-10-31 | Analyzing a Plurality of Stored Images to Allow Searching |
GB0721405.9 | 2007-10-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101425074A true CN101425074A (zh) | 2009-05-06 |
Family
ID=38834624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008101739481A Pending CN101425074A (zh) | 2007-10-31 | 2008-10-31 | 分析多个存储图像的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20090110277A1 (zh) |
EP (1) | EP2058741A3 (zh) |
JP (1) | JP2009110526A (zh) |
CN (1) | CN101425074A (zh) |
GB (1) | GB2454213A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103900697A (zh) * | 2012-12-27 | 2014-07-02 | 杭州美盛红外光电技术有限公司 | 红外记录控制装置和红外记录控制方法 |
CN104748861A (zh) * | 2013-12-26 | 2015-07-01 | 杭州美盛红外光电技术有限公司 | 选择装置和选择方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5180922B2 (ja) * | 2009-07-09 | 2013-04-10 | 株式会社日立製作所 | 画像検索システム及び画像検索方法 |
US8670597B2 (en) | 2009-08-07 | 2014-03-11 | Google Inc. | Facial recognition with social network aiding |
JP5572120B2 (ja) * | 2011-05-02 | 2014-08-13 | 日本放送協会 | 構図データ生成装置及び構図データ生成プログラム |
US8824031B2 (en) * | 2012-06-28 | 2014-09-02 | Xerox Corporation | Method and apparatus for object assisted image editing and transmission of scanned documents |
RU2634225C1 (ru) * | 2016-06-20 | 2017-10-24 | Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") | Способы и системы поиска объекта в видеопотоке |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5671296A (en) * | 1994-02-15 | 1997-09-23 | Unisys Corporation | Method of electronically processing a quantized image |
US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
JP3921015B2 (ja) * | 1999-09-24 | 2007-05-30 | 富士通株式会社 | 画像解析装置及び方法並びにプログラム記録媒体 |
JP2001117928A (ja) * | 1999-10-14 | 2001-04-27 | Olympus Optical Co Ltd | 類似画像検索装置及び類似画像検索方法並びに類似画像検索処理プログラムを記録した記録媒体 |
JP3438719B2 (ja) * | 2000-11-28 | 2003-08-18 | ミノルタ株式会社 | 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ |
IL141650A (en) * | 2001-02-26 | 2005-12-18 | Elop Electrooptics Ind Ltd | Method and system for tracking an object |
US6915011B2 (en) * | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
FR2825814B1 (fr) * | 2001-06-07 | 2003-09-19 | Commissariat Energie Atomique | Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique |
FR2845186B1 (fr) * | 2002-09-27 | 2004-11-05 | Thomson Licensing Sa | Procede et dispositif de mesure de similarite entre images |
JP4217954B2 (ja) * | 2003-02-12 | 2009-02-04 | 富士ゼロックス株式会社 | 画像探索装置 |
US7831599B2 (en) * | 2005-03-04 | 2010-11-09 | Eastman Kodak Company | Addition of new images to an image database by clustering according to date/time and image content and representative image comparison |
US7639890B2 (en) * | 2005-10-25 | 2009-12-29 | General Electric Company | Automatic significant image generation based on image characteristics |
-
2007
- 2007-10-31 GB GB0721405A patent/GB2454213A/en not_active Withdrawn
-
2008
- 2008-09-12 EP EP08253017A patent/EP2058741A3/en not_active Withdrawn
- 2008-09-22 US US12/234,993 patent/US20090110277A1/en not_active Abandoned
- 2008-10-31 JP JP2008282401A patent/JP2009110526A/ja active Pending
- 2008-10-31 CN CNA2008101739481A patent/CN101425074A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103900697A (zh) * | 2012-12-27 | 2014-07-02 | 杭州美盛红外光电技术有限公司 | 红外记录控制装置和红外记录控制方法 |
CN113125016A (zh) * | 2012-12-27 | 2021-07-16 | 杭州美盛红外光电技术有限公司 | 红外记录控制装置和红外记录控制方法 |
CN104748861A (zh) * | 2013-12-26 | 2015-07-01 | 杭州美盛红外光电技术有限公司 | 选择装置和选择方法 |
Also Published As
Publication number | Publication date |
---|---|
US20090110277A1 (en) | 2009-04-30 |
JP2009110526A (ja) | 2009-05-21 |
EP2058741A3 (en) | 2009-12-30 |
EP2058741A2 (en) | 2009-05-13 |
GB0721405D0 (en) | 2007-12-12 |
GB2454213A (en) | 2009-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11004129B2 (en) | Image processing | |
Tensmeyer et al. | Deep splitting and merging for table structure decomposition | |
Mariano et al. | Locating uniform-colored text in video frames | |
CN101425074A (zh) | 分析多个存储图像的方法和设备 | |
Schmidt et al. | VAICo: Visual analysis for image comparison | |
US10803363B2 (en) | Media intelligence automation system | |
US20100158362A1 (en) | Image processing | |
CN101286230B (zh) | 图像处理设备和图像处理方法 | |
CN108447064B (zh) | 一种图片处理方法及装置 | |
Zeeshan et al. | A newly developed ground truth dataset for visual saliency in videos | |
US8121437B2 (en) | Method and apparatus of searching for images | |
JP2004530992A (ja) | ビデオ情報における自動的な自然コンテンツ検出 | |
KR101106448B1 (ko) | 지능 영상 감시를 위한 이동 객체 실시간 검출 방법 | |
Persson Norblad | Damage Detection in Circular Fashion: Garment Condition Assessment Using Computer Vision | |
Pan et al. | Accuracy improvement of deep learning 3D point cloud instance segmentation | |
GB2454214A (en) | Detecting Edge Pixels In An Image | |
KR20110009596A (ko) | 지능 영상 감시를 위한 이동 객체 실시간 검출 방법 | |
Smith et al. | Colour Histogram Segmentation for Object Tracking in Remote Laboratory Environments | |
Śluzek | Scale-Insensitive MSER Features: A Promising Tool for Meaningful Segmentation of Images | |
Jia et al. | PCR: A Large-Scale Benchmark for Pig Counting in Real World | |
Brown et al. | An application for tree detection using satellite imagery and vegetation data | |
Ahlström et al. | A visual search user study on the influences of aspect ratio distortion of preview thumbnails | |
JPH07311798A (ja) | データの情報表示方法およびデータ分析支援システム | |
KR20010071109A (ko) | 교육용 디지털 비디오 자료에서의 대표화면 추출결과 보정및 시각요약 생성 방법 | |
Turk | Homography-based multiple-camera person-tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090506 |