CN100456305C - 图像处理系统、装置和方法 - Google Patents
图像处理系统、装置和方法 Download PDFInfo
- Publication number
- CN100456305C CN100456305C CNB2007100075385A CN200710007538A CN100456305C CN 100456305 C CN100456305 C CN 100456305C CN B2007100075385 A CNB2007100075385 A CN B2007100075385A CN 200710007538 A CN200710007538 A CN 200710007538A CN 100456305 C CN100456305 C CN 100456305C
- Authority
- CN
- China
- Prior art keywords
- image
- color
- degree
- correlation
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title description 73
- 230000005540 biological transmission Effects 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims description 120
- 239000000284 extract Substances 0.000 claims description 81
- 230000014509 gene expression Effects 0.000 claims description 64
- 238000003672 processing method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 107
- 230000008569 process Effects 0.000 description 62
- 238000003860 storage Methods 0.000 description 52
- 230000004044 response Effects 0.000 description 51
- 238000004891 communication Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 39
- 230000001815 facial effect Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 12
- 230000014759 maintenance of location Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000008676 import Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 235000021384 green leafy vegetables Nutrition 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000153246 Anteros Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 244000141698 Prunus lannesiana Species 0.000 description 1
- 235000014001 Prunus serrulata Nutrition 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000021178 picnic Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012857 repacking Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种图像处理系统,包括用于拍摄图像的成像设备和用于处理图像的图像处理装置。成像设备包括:成像单元,用于拍摄图像;第一记录单元,用于记录与图像相关的信息,该信息与图像相关联;以及第一传输控制单元,用于控制图像向图像处理装置的传输。图像处理装置包括:接收控制单元,用于控制从成像设备传输的图像的接收;特征提取单元,用于提取所接收的图像的特征;第二记录单元,用于记录从图像提取的特征,该特征与图像相关联;以及第二输出控制单元,用于控制特征向成像设备的传输。
Description
相关申请的交叉参考
本发明包含于2006年2月1日向日本专利局提交的日本专利申请JP 2006-024185的主题,其全部内容结合于本文中作为参考。
技术领域
本发明涉及图像处理系统、装置、方法、程序、以及记录介质,特别涉及用于从图像中提取特征的系统、装置、方法、程序、以及记录介质。
背景技术
日本未审查专利申请公开第2004-62868号披露了在诸如数码照相机的小型消费电器(CE)中检测面部、提取图像特征、以及检索图像的功能。
发明内容
由于在典型小型CE中安装的处理器的能力有限,因而只能在有限的区域内分析图像。无法充分地对图像进行分析。分析结果提供不了足够的精确度,因而用途有限。
除非把要分析的图像的清晰度设置得很低,否则检测人物面部需要很长的时间。处理时间基本上都将超过典型用户可用的时间。如果将图像的清晰度设置得过低,则难以检测小尺寸的面部图像,特别是在团体照片中人物的面部图像。因此,低清晰度的图像不能满足检索团体照片中特定面部的需要。
例如,如果在数码照相机中执行上述分析处理,则照相机必须集中于该处理,使得功耗增加。图像拍摄所需的时间缩短,并减少了图像的帧数。
现在,数码照相机得到广泛使用,并且很多数码照相机功能转移到手机中。在日常生活中,拍摄(静止)图片的机会大量增加。如果用户想要在数码照相机上观察所拍摄的图像,则在检索处理中,只有依照图像拍摄顺序的缩小图像(缩略图)是可行的。就图像检索性能来说,数码照相机实质上优于提供有图像管理程序的计算机。
在具有大容量存储功能和相册功能的数码照相机中,需要检索用户期望的图像的功能。
期望提供一种即使自身的处理能力相对较小也能检索期望图像的装置。
根据本发明的一个实施例,图像处理系统包括用于拍摄图像的成像设备和用于处理图像的图像处理装置。成像设备包括:成像单元,用于拍摄图像;第一记录单元,用于将与图像相关的信息记录为具有预定数据结构的数据,所述信息与图像相关联;以及第一传输控制单元,用于控制图像向图像处理装置的传输。图像处理装置包括:接收控制单元,用于控制从成像设备传输的图像的接收;特征提取单元,用于提取所接收图像的特征;第二记录单元,用于将从图像中提取的特征记录为具有与成像设备中的数据结构相同结构的数据,所述特征与图像相关联;以及第二传输控制单元,用于控制特征向成像设备的传输。
成像单元拍摄图像。第一记录单元将与图像相关的信息记录为具有预定数据结构的数据,该信息与图像相关联。第一传输控制单元控制图像向图像处理装置的传输。接收控制单元控制从成像设备传输的图像的接收。特征提取单元提取所接收图像的特征。第二记录单元将从图像中提取的特征记录为具有与成像设备中的数据结构相同结构的数据,该特征与图像相关联。第二传输控制单元控制特征向成像设备的传输。
根据本发明的一个实施例,图像处理装置包括:特征提取单元,用于提取图像的特征;第一记录单元,用于将从图像中提取的特征记录为具有预定结构的数据,该特征与图像相关联;以及传输控制单元,用于控制特征向设备的传输,该设备将与图像相关的信息记录为具有与预定结构相同结构的数据。
图像处理装置还可包括接收控制单元,用于控制从设备传输的图像的接收。
图像处理装置还可包括用于记录图像的第二记录单元。
图像处理装置还可包括检索单元,用于根据被记录为具有所述结构的数据的特征来检索所记录的图像。
图像处理装置还可包括用于显示所检索出的图像的显示单元。
第一记录单元可包括数据库。
特征提取单元可提取特征作为与包含在图像中的面部图像相关的信息。
特征提取单元可提取包括图像中包含的面部图像的数目、面部图像的位置、面部图像的尺寸、以及面部图像面向的方向的特征中的至少一个。
特征提取单元可提取表示按照表示图像的颜色中特定颜色而分类的像素的数目的特征。
特征提取单元可提取用于计算任意两个图像的特征之间的相似程度的特征。
根据本发明的一个实施例,图像处理方法包括以下步骤:提取图像的特征;将从图像中提取的特征记录为具有预定结构的数据,所述特征与图像相关联;以及控制特征向设备的传输,设备将与图像相关的信息记录为具有与预定结构相同结构的数据。
根据本发明的一个实施例,计算机程序使计算机执行以下步骤:提取图像的特征;将从图像中提取的特征记录为具有预定结构的数据,所述特征与图像相关联;以及控制特征向设备的传输,设备将与图像相关的信息记录为具有与预定结构相同结构的数据。
根据本发明的一个实施例,记录介质存储计算机程序。
根据本发明的实施例,提取图像的特征,将从图像中提取的特征记录为具有预定结构的数据,所述特征与图像相关联。控制特征向设备的传输。设备将与图像相关的信息记录为具有与预定结构相同结构的数据。
根据本发明的一个实施例,设备检索图像。
根据本发明的一个实施例,所期望的图像可通过具有相对较低处理能力的设备来检索。
附图说明
图1是根据本发明一个实施例的信息处理系统的框图;
图2是数码照相机的框图;
图3是服务器的框图;
图4示出了执行程序的微处理器单元(MPU)的功能;
图5示出了执行程序的中央处理单元(CPU)的功能;
图6是图像分析器的框图;
图7是图像拍摄处理的流程图;
图8示出了原图像和缩小图像之间的关系;
图9是示出备份处理的流程图;
图10是示出图像分析处理的流程图;
图11示出了颜色直方图的生成;
图12示出了垂直分量直方图和水平分量直方图的生成;
图13A和图13B示出了垂直分量直方图和水平分量直方图的生成;
图14示出了图像备份和元数据重写;
图15示出了元数据的具体实例;
图16示出了存储在内容数据库上的元数据的结构;
图17示出了存储在内容数据库上的元数据或者存储在相似特征数据库上的元数据的结构;
图18示出了相似特征项的结构;
图19是示出图像获取处理的流程图;
图20示出了图像的获取以及元数据的重写;
图21是示出检索处理的流程图;
图22示出了数码照相机和服务器共用的元数据与图像之间的联系;
图23是示出检索处理的流程图;
图24示出了缩小图像的显示;
图25示出了缩小图像的显示;
图26是示出检索相似图像的检索处理的流程图;
图27示出了元数据和距离的结构;
图28示出了内容数据库、相似特征数据库、和时间组数据库的联系以及各个记录内容;
图29示出了相似性顺序的显示;
图30示出了相似性顺序的显示和时间序列的显示之间的切换;
图31是示出检索处理的流程图;
图32示出了相似性顺序的显示和时间序列的显示之间的切换;
图33是示出颜色特征提取器的框图;
图34示出了相关度提取器对应存储器上记录的对应信息;
图35示出了在提取特征存储器上记录的相关度的逻辑结构;
图36是详细示出颜色特征提取处理的流程图;
图37是详细示出相关度提取处理的流程图;
图38示出了RGB色空间;
图39示出了L*a*b*空间;
图40示出了白色子空间和黑色子空间;
图41示出了色饱和度边界和亮度边界;
图42示出了绿色、蓝色、红色、以及黄色的子空间;
图43是详细示出另一相关度提取处理的流程图;
图44是详细示出又一相关度提取处理的流程图;
图45示出了确定数据;
图46是详细示出又一相关度提取处理的流程图;
图47是示出检索处理的流程图;
图48示出了检索处理中的GUI图像;以及
图49A~图49D示出了检索处理中的图像命中。
具体实施方式
在描述本发明的实施例之前,以下论述了权利要求的元件与在说明书或附图中公开的特定元件之间的对应关系。该描述内容的目的是确保在说明书或附图中描述了支持要求保护的发明的实施例。因此,即使以下实施例中的元件没有被描述为与本发明的特定特征相关,这并不意味该元件与权利要求的特征不相关。相反,即使元件在文中被描述为与权利要求的特定特征相关,这也并不必然意味着该元件不与权利要求的其他特征相关。
根据本发明的一个实施例,图像处理系统包括:用于拍摄图像的成像设备(例如,图1的数码照相机11)和用于处理图像的图像处理装置(例如,图1的服务器13)。成像设备包括:成像单元(例如,图2的成像器件33),用于拍摄图像;第一记录单元(例如,图4的相似特征数据库112),用于将与图像相关的信息记录为具有预定数据结构的数据,所述信息与图像相关联;以及第一传输控制单元(例如,图4的传输控制器108),用于控制图像向图像处理装置的传输。图像处理装置包括:接收控制单元(例如,图5的接收控制器139-1),用于控制从成像设备传输的图像的接收;特征提取单元(例如,图5的图像分析器131),用于提取所接收图像的特征;第二记录单元(例如,图5的相似特征数据库142),用于将从图像中提取的特征记录为具有与成像设备中的数据结构相同结构的数据,所述特征与图像相关联;以及第二传输控制单元(例如,图5的传输控制器138-1),用于控制特征向成像设备的传输。
根据本发明的一个实施例,图像处理装置(例如,图1的服务器13)包括:特征提取单元(例如,图5的图像分析器131),用于提取图像的特征;第一记录单元(例如,图5的相似特征数据库142),将从图像中提取的特征记录为具有预定结构的数据,所述特征与图像相关联;以及传输控制单元(例如,图5的传输控制器138-1),用于控制特征向设备(例如,图1的数码照相机11)的传输,设备将与图像相关的信息记录为具有与预定结构相同的结构的数据。
图像处理装置还可包括接收控制单元(例如,图5的接收控制器139-1),用于控制从设备传输的图像的接收。
图像处理装置还可包括第二记录单元(例如,图5的图像存储器140),用于记录图像。
图像处理装置还可包括检索单元(例如,图5的检索单元137),用于根据被记录为具有所述结构的数据的特征来检索所记录的图像。
图像处理装置还可包括显示单元(例如,作为图3中的显示器的输出单元77),用于显示所检索到的图像。
根据本发明的实施例,图像处理方法和计算机程序的其中一个包括以下步骤:提取图像的特征(例如,图9的步骤S34);将从图像中提取的特征记录为具有预定结构的数据,所述特征与图像相关联(例如,图9的步骤S36);以及控制特征向设备的传输,设备将与图像相关的信息记录为具有与预定结构相同结构的数据(例如,图9的步骤S37)。
图1示出了根据本发明的一个实施例的图像处理系统。作为成像设备实例的数码照相机11拍摄图像,并将所拍摄的图像提供给作为图像处理装置实例的服务器13。作为成像设备另一个实例的手机12拍摄图像,随后将所拍摄的图像提供给服务器13。数码照相机11和手机12中的每一个都由所拍摄的图像生成缩小图像。
数码照相机11、手机12、以及服务器13中的每一个也是显示控制器的一个实例。
服务器13包括个人计算机、非便携式记录器、游戏机、以及专用设备,并记录从数码照相机11和手机12中的一个提供的图像。服务器13处理从数码照相机11和手机12中的一个提供的图像,并提取图像的特征。服务器13将作为处理结果而得到的数据提供给数码照相机11和手机12中的一个。
服务器13从网络服务器15-1和网络服务器15-2中的一个获取图像,并将所获取的图像记录在其上。服务器13处理从网络服务器15-1和网络服务器15-2中的一个获取的图像,并根据所获取的图像生成缩小图像。服务器13将作为处理结果得到的数据与缩小图像一起提供给数码照相机11和手机12中的一个。
数码照相机11和手机12中的一个基于作为图像处理结果得到并通过服务器13提供的数据,从所记录的图像中检索期望的图像。服务器13也基于作为图像处理结果得到的数据来检索所记录图像中的期望图像。
由于数码照相机11、手机12、以及服务器13中的每一个都基于作为图像处理结果得到的相同数据来检索图像,所以期望的图像可以相同的方式检索。
图2是示出数码照相机11的结构的框图。数码照相机11包括成像透镜31、光圈32、成像器件33、模拟信号处理器34、模数(A/D)转换器35、数字信号处理器36、微处理器(MPU)37、存储器38、数模(D/A)转换器39、监视器40、压缩/解压缩器41、卡接口42、存储卡43、AF电机和变焦电机44、控制电路45、电可擦可编程只读存储器(EEPROM)46、通信单元47、通信单元48、以及输入单元49。
成像透镜组31通过光圈32将对象的光学图像聚焦在成像器件33的光聚焦表面上。成像透镜31包括至少一个透镜。成像透镜31可以为单一焦距透镜或者诸如变焦透镜的可变焦距型透镜。
光圈32调节在成像器件33的聚焦表面上聚焦的光学图像的光量。
成像器件33可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器中的一个,并将在其聚焦表面上聚焦的光学图像转换为电信号。成像器件33将作为转换结果获得的电信号提供给模拟信号处理器34。
模拟信号处理器34包括采样保持电路、色分离电路、增益控制电路等。模拟信号处理器34对来自成像器件33的电信号执行相关双采样(CDS)处理,同时将电信号分离成R(红色)、G(绿色)、以及B(蓝色)的颜色信号,并(在白平衡处理中)调节每个颜色信号的信号电平。模拟信号处理器34将颜色信号提供给A/D转换器35。
A/D转换器35将各个颜色信号转换成数字信号,然后将数字信号提供给数字信号处理器36。
数字信号处理器36包括亮度及色差信号发生器、清晰度校正器、对比度校正器等。数字信号处理器36在MPU 37的控制下将数字信号转换成亮度信号(Y信号)和色差信号(Cr和Cb信号)。数字信号处理器36将经过处理的数字信号提供给存储器38。
MPU 37为嵌入式处理器,通常通过执行其程序来控制数码照相机11。
存储器38包括动态随机存取存储器(DRAM)。存储器38在MPU 37的控制下临时存储从数字信号处理器36提供的数字信号。D/A转换器39从存储器38读取数字信号,将读出的信号转换成模拟信号,并将模拟信号提供给监视器40。诸如液晶显示器(LCD)或场致发光(EL)显示器的监视器40响应于从D/A转换器39提供的模拟信号来显示图像。
从成像器件33提供的电信号定期更新存储器38中的数字信号,并且根据更新的数字信号生成的模拟信号提供给监视器40。结果,在成像器件33上聚焦的图像能够实时地在监视器40上显示。
监视器40在其屏幕上显示图形用户界面(GUI)图像。为了这个目的,MPU 37在存储器38中写入用以显示GUI图像的视频数据,使D/A转换器39将视频数据转换成模拟信号,然后使监视器40显示基于该模拟信号的GUI图像。
压缩/解压缩器41在MPU 37的控制下根据联合图像专家组(JPEG)或JPEG 2000标准来对存储在存储器38上的数字信号进行编码。压缩/解压缩器41通过卡接口42将经过编码的视频数据提供给存储卡43。包括半导体存储器或硬盘驱动器(HDD)的存储卡43可移动地装载于数码照相机11中。当被装载于数码照相机11中时,存储卡43被电连接至卡接口42。存储卡43存储从卡接口42提供的视频数据。
响应于来自MPU 37的命令,卡接口42控制视频数据向与其电连接的存储卡43的记录以及视频数据从存储卡43的读取。
记录在存储卡43上的视频数据经由卡接口42读取,并通过压缩/解压缩器41解码成数字信号。
通过控制电路45驱动的AF电机和变焦电机44相对于成像器件33移动成像透镜31,从而改变成像透镜31的焦点和焦距。响应于来自MPU 37的命令,控制电路45驱动AF电机和变焦电机44,同时也控制光圈32和成像器件33。
EEPROM 46存储由MPU 37执行的程序以及各种数据。
通信单元47满足诸如通用串行总线(USB)或电气电子工程师协会(IEEE)1394的标准,并通过有线传输介质与服务器13交换各种数据。
通信单元48满足诸如IEEE 802.11a、IEEE 802.11b、或IEEE802.11g的标准或蓝牙,并通过无线传输介质与服务器13交换各种数据。
输入单元49包括开关、按钮、以及触摸屏,并将响应于用户操作输入的信号提供给MPU 37。
如上所述,存储卡43记录视频数据。其上记录有视频数据的介质不限于半导体存储器或磁盘。介质可以为任何光盘、磁光盘。此外,可以使用的介质可以为允许以电方式、磁方式、光学方式、量子方式、或上述方式的组合写入和读取数据的介质。可以将这些介质中的一种安装在数码照相机11中。
可将视频数据简称为图像。
图3是示出服务器13的结构的框图。CPU 71在存储于只读存储器(ROM)72或存储单元78中的程序的控制下执行各种处理。随机存取存储器(RAM)73存储将被CPU 71执行的程序和数据。CPU 71、ROM 72、以及RAM 73通过总线74互相连接。
CPU 71通过总线74连接至输入-输出接口75。此外,由键盘、鼠标、麦克风等组成的输入单元76以及由显示器和扬声器组成的输出单元77也连接至输入输出接口75。响应于从输入单元76输入的命令,CPU 71执行各种处理。CPU 71将处理结果输出给输出单元77。
连接至输入-输出接口75的存储单元78包括例如硬盘,存储将被CPU 71执行的程序和数据。通信单元79满足诸如USB或IEEE1394的标准,并通过有线传输介质与数码照相机11和手机12中的一个交换各种数据,或者,满足IEEE 802.11a、IEEE 802.11b、或IEEE 802.11g的标准或蓝牙,通过无线传输介质与数码照相机11和手机12中的一个交换各种数据。通信单元80通过诸如互联网或局域网的网络14与网络服务器15-1和网络服务器15-2中的一个进行通信。
可以通过通信单元80获取程序,然后存储在存储单元78中。
当被加载有诸如磁盘、光盘、磁光盘、或半导体存储器的可移动介质82时,连接至输入-输出接口75的驱动器81驱动所加载的介质,以读取记录于其上的程序和数据。根据存储需要,将所读取的程序和数据传输至存储单元78。
图4示出了执行程序的RAM 73的功能。通过执行程序,MPU37实现了成像控制器101、缩小图像生成器102、元数据生成器103、条目生成器104、记录控制器105、显示控制器106、检索单元107、传输控制器108、接收控制器109、图像存储器110、内容数据库111、相似特征数据库112、相似结果数据库113、时间组数据库114、以及检索结果存储器115。
通过由数字信号处理器36控制成像透镜31以及由控制电路45控制存储器38,成像控制器101控制数码照相机11的图像拍摄操作。成像控制器101在起图像存储器110作用的存储卡43的记录区上记录所拍摄的图像。
缩小图像生成器102从存储器38读取所拍摄图像的数字信号,并缩小拍摄的图像,从而生成缩小图像。随后通过卡接口42将生成的缩小图像提供给存储卡43,随后,将其记录在作为图像存储器110的存储卡43的记录区上。
在成像控制器101的控制下拍摄像素数为3000000像素~4000000像素的高清晰图像。缩小图像生成器102根据所拍摄的图像生成适于通过数码照相机11观察的VGA(视频图形阵列)水平的像素数为640×480像素的缩小图像尺寸或等同的图像尺寸。
缩小图像生成器102可从图像存储器110读取图像,并可以缩小所读取的图像从而生成缩小图像。
为了区分缩小图像和拍摄的图像,将拍摄的图像称为原图像。如果不需要区分这两个图像,则将这两个图像都简称为图像。
如将在后面所描述的,原图像和缩小图像通过记录在内容数据库111上的数据而彼此对应。
元数据生成器103生成原图像的元数据。例如,元数据生成器103生成将以通过由日本电子工业发展协会(JEIDA)标准化的可交换图像文件格式(EXIF)指定的格式存储的元数据。
当拍摄原图像时,条目生成器104被构成为数据管理系统,并生成原图像和缩小图像的条目。所生成的条目存储在内容数据库111中。
记录控制器105控制原图像和缩小图像在图像存储器110上的记录。
显示控制器106控制缩小图像和GUI图像在监视器40上的显示。
检索单元107基于记录在内容数据库111、相似特征数据库112、相似结果数据库113、以及时间组数据库114中的数据,从记录在图像存储器110中的缩小图像和原图像中检索期望的缩小图像或期望的原图像。检索单元107使相应于检索结果的数据存储在检索结果存储器115中。
检索单元107包括距离计算器121。距离计算器121根据表示存储在相似特征数据112上的图像的特征的数据,计算表示两个图像之间相似程度的距离。距离计算器121使相似结果数据库113存储计算出的距离。
传输控制器108控制通信单元47,从而通过通信单元47控制原图像或缩小图像向服务器13的传输。通过控制通信单元47,接收控制器109控制从服务器13传输的图像的特征经由通信单元47的接收。图像的特征利用在服务器13中的各种图像处理获得。
设置于存储卡43的记录空间中的图像存储器110存储原图像和缩小图像。
内容数据库111、相似特征数据库112、相似结果数据库113、以及时间组数据库114由存储卡43中的预定记录空间及其数据库管理系统构成。
内容数据库111存储用于识别各个图像的数据和与该数据相关的图像的各种元数据。相似特征数据库112存储表示作为服务器13中图像处理的结果而获得的图像特征的数据。
相似结果数据库113存储通过检索单元107中的距离计算器121计算的表示两个图像之间的相似程度的距离。
当用户将图像分成组时,时间组数据库114存储用于识别属于每个组的图像的信息。
检索结果存储器115存储作为检索结果的数据。例如,检索结果存储器115存储具有相应于某一权重的颜色的图像的检索结果。已经根据通过特定的颜色名想起各个图像的相关度、以及根据通过用户操作输入的颜色名所表示的颜色的权重来执行检索操作。
相关度将在后面详细描述。
图5示出了执行其程序的CPU 71的功能。通过执行程序,CPU71实现了图像分析器131、缩小图像生成器132、元数据生成器133、条目生成器134、记录控制器135、显示控制器136、检索单元137、传输控制器138-1和138-2、接收控制器139-1和139-2、图像存储器140、内容数据库141、相似特征数据库142、相似结果数据库143、时间组数据库144、相关度提取器对应存储器145、提取特征存储器146、以及检索结果存储器147。
图像分析器131提取各个图像的特征。更具体来说,图像分析器131对各个图像执行图像处理,从而分析图像。图像分析器131将作为图像处理结果获得的图像特征提供给相似特征数据库142和传输控制器138-1中的一个。
图6是示出图像分析器131的结构的框图。图像分析器131包括面部图像检测器161和相似特征量提取器162。
面部图像检测器161提取作为与包含在图像中的面部图像相关的信息的图像的特征。例如,面部图像检测器161提取包含在图像中的面部图像的数目、图像中面部图像的位置、面部图像的尺寸、以及图像中面部图像面向的方向。
相似特征量提取器162提取图像的特征量,从而确定图像的相似程度。相似特征量提取器162包括相似特征矢量计算器171和颜色特征提取器172。相似特征矢量计算器171提取两个图像的特征,这两个图像之间的相似程度根据该特征来计算。颜色特征提取器172根据图像中每个像素的颜色,提取通过预定的颜色名想起图像的相关度。换句话说,颜色特征提取器172提取表示以具有预定颜色名的颜色进行分类的像素的数目的特征。
返回到图5,缩小图像生成器132在接收控制器139-2的控制下,缩小通过网络14从网络服务器15-1和网络服务器15-2中的一个获取的原图像。随后,将缩小图像记录在图像存储器140上。
缩小图像生成器132可从图像存储器140中读取图像,并缩小读出的图像,从而生成缩小图像。
元数据生成器133生成原图像的元数据。例如,元数据生成器133生成将被存储为符合由JEIDA标准化的EXIF格式的数据的元数据。
在接收控制器139-1的控制下,被构成为数据库管理系统的条目生成器134生成从数码照相机11获取的原图像的条目。条目生成器134在接收控制器139-2的控制下通过网络14从网络服务器15-1和网络服务器15-2中的一个获取原图像。如果根据原图像获得缩小图像,则条目生成器134生成原图像和缩小图像的条目。生成的条目被存储在内容数据库141上。
记录控制器135控制原图像和缩小图像在图像存储器140中的记录。
显示控制器136控制原图像和GUI图像在作为显示器的输出单元77上的显示。
根据存储在内容数据库141、相似特征数据库142、以及时间组数据库144中的一个中的数据,检索单元137检索存储在图像存储器140上的原图像和缩小图像,得到期望的原图像或期望的缩小图像。根据存储在提取特征存储器146中的数据,检索单元137检索存储在图像存储器140上的原图像和缩小图像,得到期望的原图像或期望的缩小图像。检索出单元137将检索结果数据存储在检索结果存储器147上。
检索单元137包括距离计算器151。距离计算器151根据表示存储在相似特征数据库142上的图像的特征的数据,计算表示两个图像之间相似程度的距离。距离计算器151使相似结果数据库143记录计算出的距离。
通过控制通信单元79,传输控制器138-1使通信单元79将作为图像分析器131中的图像处理结果而获得的图像特征传输给数码照相机11。通过控制通信单元79,接收控制器139-1使通信单元79接收从数码照相机11传输的原图像和缩小图像。
传输控制器138-2控制通信单元80。传输控制器138-2使通信单元80通过网络14将图像请求传输至网络服务器15-1和网络服务器15-2中的一个。通过控制通信单元80,接收控制器139-2使通信单元80接收从网络服务器15-1和网络服务器15-2中的一个传输的原图像和缩小图像。
设置于由硬盘构成的存储单元78的记录空间中的图像存储器140记录原图像和缩小图像。图像存储器140可设置在加载到驱动器81上的可移动介质82(例如磁盘、光盘、磁光盘、或半导体存储器)的记录空间中。
内容数据库141、相似特征数据库142、相似结果数据库143、以及时间组数据库144由存储单元78中的预定记录空间及其数据库管理系统构成。
内容数据库141存储用于识别各个图像的数据和与识别数据相关的各种元数据。相似特征数据库142存储作为图像分析器131中的图像处理结果而获得的图像特征的数据。
相似结果数据库113存储通过检索单元137中距离计算器151计算的表示两个图像之间相似程度的距离。
当用户将图像分成组时,时间组数据库144存储用于识别属于每个组的图像的信息。
相关度提取器对应存储器145存储表示颜色特征提取器172中的颜色名和以颜色为单位提取相关度的相关度提取器(将参照图33详细描述)之间对应关系的对应信息。
提取特征存储器146存储通过预定的颜色名想起图像的相关度。相关度通过颜色特征提取器172提取。
检索结果存储器147存储具有相应于某一权重的颜色的图像的检索结果。已经根据通过特定的颜色名想起每个图像的相关度,以及根据通过由用户操作输入的颜色名所表示的颜色的权重执行了检索操作。例如,检索结果存储器147存储在相关度和检索条件(由颜色名代表的颜色的权重)下检索得到的对应于某一权重的颜色的的图像的检索结果。
从图像中提取特征,随后将提取的特征记录在服务器13和数码照相机11中。下面描述该处理。
下面,参照图7的流程图来描述数码照相机11的图像拍摄处理。
在步骤S11中,成像控制器101通过数字信号处理器36、存储器38、AF电机和变焦电机44、以及控制电路45来控制成像透镜31,从而拍摄对象的图像。在步骤S12中,成像控制器101使压缩/解压缩器41根据JPEG或JPEG 2000标准对存储在存储器38上的数字信号进行编码,从而生成作为视频数据的原图像。成像控制器101将原图像记录在图像存储器110上。
元数据生成器103生成原图像的元数据。例如,元数据生成器103生成嵌入通过JEIDA标准化的EXIF数据中的元数据。例如,元数据可包括原图像的图像拍摄时间或成像条件。
在步骤S13中,缩小图像生成器102从存储器38中读取所拍摄图像的数字信号,并缩小所拍摄的图像,从而生成缩小图像。缩小图像生成器102使图像存储器110记录缩小图像。
在步骤S14中,条目生成器104生成原图像和缩小图像的条目。条目生成器104将所生成的条目与通过元数据生成器103生成的元数据相关联,然后,将条目添加(存储)在内容数据库111中,从而结束其处理。
由于将诸如图像拍摄时间和成像条件的元数据存储在内容数据库111中,所以可根据图像拍摄时间和成像条件来检索原图像和缩小图像。
手机12执行与图7所示的流程图相同的图像拍摄处理。
当如图8所示,数码照相机11和手机12中的一个拍摄图像时,在内容数据库111上存储与原图像201相关的元数据,并由原图像201生成缩小图像202。与原图像201相关并被存储在内容数据库111中的元数据也与缩小图像202相关联。
下面,参照图9的流程图描述服务器13的备份处理。在该备份处理中,由数码照相机11拍摄的图像通过服务器13备份。当将一端连接至数码照相机11的通用串连总线(USB)连接至服务器13时,响应于程序的启动开始服务器13的备份处理。
在步骤S31中,服务器13中的传输控制器138-1和传输控制器138-2通过通信单元79连接至数码照相机11。
在步骤S32中,服务器13中的传输控制器138-1和传输控制器138-2使通信单元79从数码照相机11获取原图像201和缩小图像202。例如,在步骤S32中,传输控制器138-1使通信单元79向数码照相机11发送传输原图像201和缩小图像202的传输请求。数码照相机11传输了原图像201和缩小图像202后,接收控制器139-1使通信单元79从数码照相机11接收原图像201和缩小图像202。接收控制器139-1将所接收的原图像201和缩小图像202提供给图像存储器140。
在步骤S33中,图像存储器140记录从数码照相机11获取的原图像201和缩小图像202。
在步骤S34中,图像分析器131分析记录在图像存储器140上的图像。
图像分析器131可以分析原图像201或缩小图像202。
参照图10的流程图更加详细地描述步骤S34中的分析处理。
在步骤S41中,图像分析器131中的面部图像检测器161从图像中检测面部图像。具体而言,在步骤S41中,面部图像检测器161提取作为与包含在图像中的面部图像相关的信息的图像特征。在步骤S41中,面部图像检测器161提取包含在图像中的面部图像的数目、图像中每个面部图像的位置、面部图像的尺寸、以及面部图像面向的方向。
具体而言,面部图像检测器161识别具有表示落入相应于人类皮肤的预定颜色范围内的颜色的像素值的像素。然后,面部图像检测器161将通过颜色识别的像素中预定数目的连续像素所组成的区域视为面部图像。
面部图像检测器161计算所检测的面部图像数。当将图像的总高度和总宽度中的每一个均设置为1时,面部图像检测器161检测面部图像的垂直位置和水平位置,作为面部图像相对于整个图像的位置。
当将图像的总高度和总宽度中的每一个均设置为1时,面部图像检测器161检测面部图像相对于整个图像的高度和宽度,作为图像中面部图像的尺寸。
面部图像检测器161确定所选择的面部图像在每个面部假定方向上是否与多个预定义图案中的一个相匹配。通过将与面部图像的图案相匹配的方向确定为面部方向,来检测面部方向。在这种情况下,面部图像检测器161检测面部的侧倾角(roll angle)、俯仰角(pitch angle)、及偏转角(yaw angle),作为所选面部图像的面部方向。
在步骤S42中,图像分析器131中的相似特征量提取器162中的相似特征矢量计算器171计算作为在图像相似程度确定中的特征量的相似特征矢量。具体而言,在步骤S42中,相似特征矢量计算器171提取两个图像的特征,这两个图像的相似程度就通过所述特征来计算。
例如,相似特征矢量计算器171计算作为颜色直方图的相似特征矢量。
具体来说,如图11所示,相似特征矢量计算器171将24位RGB原图像201的167772161色减小至32色,从而生成具有32色的减色图像221。换句话说,生成5位RGB减色图像221。相似特征矢量计算器171从原图像201的像素的像素值中提取预定的较高位,从而生成减色图像221。
相似特征矢量计算器171将由RGB表示的减色图像221的每个像素颜色转化成以L*a*b*表示的像素颜色。相似特征矢量计算器171识别表示减色图像221的像素颜色的L*a*b*空间中的位置。换句话说,识别通过减色图像221的每个像素所表示的32色中的任何颜色(L*a*b*空间中的位置)。
相似特征矢量计算器171进一步确定减色图像221中的32色的每种颜色的像素数,即,每种颜色出现的频率,从而生成颜色直方图。颜色直方图的标度代表颜色,以及颜色直方图的频率代表颜色像素的数目。
例如,相似特征矢量计算器171计算作为垂直分量直方图和水平分量直方图的相似特征矢量。
如图12所示,相似特征矢量计算器171将原图像201分成多个块241,每个块241包括16像素×16像素。在垂直方向和水平方向上对块241执行离散傅立叶变换(DFT)处理。
具体而言,相似特征矢量计算器171对设置于每个块241的垂直列中的16个像素执行DFT处理,从而提取垂直列的16个像素中图像的频率分量。由于块241包括16个垂直列,每个垂直列包括16个像素,因此,相似特征矢量计算器171通过在垂直方向上对块241执行DFT来提取16个图像的频率分量。
相似特征矢量计算器171以频率为单位将作为在垂直方向上对块241执行DFT处理的结果的图像的频率分量相加。相似特征矢量计算器171从相加得到的值中除DC分量之外的八个最低频率分量中选择最大分量。如果该最大值小于预定阈值,则废除块241的处理结果。
相似特征矢量计算器171将图像中每8个频率在每个块241中确定的各个最大值相加。如图13A和图13B所示,相似特征矢量计算器171生成表示每8个频率的最大值的出现频率的垂直分量直方图。垂直分量直方图的标度代表图像的频率,垂直分量直方图的出现频率代表提供最大频率分量的数目。
类似地,相似特征矢量计算器171对设置于块241的一行中的16个像素执行DFT处理,并提取一行中16个像素的图像的频率分量。由于每个块241包括16行,每行包括16个像素,所以相似特征矢量计算器171通过在水平方向上对块241执行DFT处理来提取16个图像的频率分量。
相似特征矢量计算器171将作为在水平方向上对块241执行DFT处理的结果而获得的图像的频率分量相加。相似特征矢量计算器171以频率为单位将作为在水平方向上对块241执行DFT处理的结果的图像的频率分量相加。相似特征矢量计算器171从相加得到的值中除DC分量之外的八个最低频率分量中选择最大分量。如果该最大值小于预定阈值,则废除块241的处理结果。
相似特征矢量计算器171将图像中每8个频率在每个块241中确定的各个最大值相加。如图13A和图13B所示,相似特征矢量计算器171生成表示每8个频率的最大值出现的频率的水平分量直方图。水平分量直方图的标度代表图像的频率,水平分量直方图中的出现频率代表提供最大频率分量的数目。
通过这种方式,相似特征矢量计算器171生成图像的垂直分量直方图和水平分量直方图。
在步骤S42中,相似特征矢量计算器171提取颜色直方图、垂直分量直方图、以及水平分量直方图作为两个图像的特征,根据该特征计算两个图像的相似程度。
返回图10,在步骤S43中,图像分析器131中的相似特征量提取器162内的颜色特征提取器172对图像执行颜色特征提取处理,从而结束处理。通过颜色特征提取处理,基于图像像素的颜色从图像中提取响应于预定颜色名想起图像的相关度。稍后将参照图36的流程图描述颜色特征提取处理。
在步骤S34中,图像分析器131分析记录在图像存储器140上的图像,并提取图像的特征。
在步骤S35中,元数据生成器133生成包含步骤S34中提取的图像特征的元数据。在步骤S36中,条目生成器134生成原图像201和缩小图像202的条目。条目生成器134将所生成的条目与在步骤S35中生成的元数据相关联,并将条目添加(存储)到内容数据库141和相似特征数据库142中。内容数据库141和相似特征数据库142记录含有在服务器13中提取的图像特征的元数据。
在步骤S37中,传输控制器138-1使通信单元79将包含图像特征的元数据记录到数码照相机11的内容数据库111和相似特征数据库112上。具体而言,在步骤S37中,传输控制器138-1使通信单元79将写入内容数据库111和相似特征数据库112的命令和在步骤S35中生成的元数据传输至数码照相机11。当通信单元47接收到元数据和写入内容数据库111和相似特征数据库112的命令时,接收控制器109将元数据和写入内容数据库111和相似特征数据库的命令提供给内容数据库111和相似特征数据库112。一旦接收到写入命令,内容数据库111和相似特征数据库112就记录含有在服务器13中提取的图像特征的元数据。
内容数据库141和相似特征数据库142以及内容数据库111和相似特征数据库112记录了含有在服务器13中提取的图像特征的相同元数据。
在步骤S38中,服务器13中的传输控制器138-1和接收控制器139-1使通信单元79断开与数码照相机11的连接,以结束其处理。
服务器13能够对通过手机12拍摄的图像执行如图9所示的相同备份处理。
如图14所示,当通过服务器13-1和13-2中的一个来备份通过数码照相机11和手机12中的一个所拍摄的图像时,服务器13-1和13-2分析所备份的图像,提取图像特征,并通过包含所提取图像特征的元数据261来重写数码照相机11和手机12中的一个。
图15示出了描述所提取的图像特征并与原图像201和缩小图像202相关联的元数据261的具体实例。
元数据261例如以可扩展标记语言(XML)描述。
<photo>标记和</photo>标记之间设置的是与原图像201和缩小图像202相关的信息以及表示原图像201和缩小图像202的特征的信息。
<guid>标记和</guid>标记之间设置的是作为识别与元数据261相关的原图像201和缩小图像202的识别信息的内容ID。例如,内容ID为128位长。内容ID对原图像201和源于原图像201的缩小图像202是共用的。
<FullImgPath>标记和</FullImgPath>标记之间设置的是包括作为视频数据的原图像201的文件的路径和包括原图像201的文件的文件名。<CacheImgPath>标记和</CacheImgPath>标记之间设置的是包括为视频数据的缩小图像202的文件的路径和包括缩小图像202的文件的文件名。
<TimeStamp>标记和</TimeStamp>标记之间设置的时间信息2003:03:31 06:52:32是指原图像201是在2003年3月31日6:52:32时拍摄的。
<Faceinfo>标记和</Faceinfo>标记之间设置的是与包括在通过内容ID识别的原图像201和缩小图像202中的面部图像相关的信息。
<TotalFace>标记和</TotalFace>标记之间设置的1是指包含在通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像数为1。具体而言,设置在<TotalFace>标记和</TotalFace>标记之间的值是指包含在通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像数。
<FaceEntry>标记和</FaceEntry>标记之间设置的是与一个面部图像相关的信息。由于图15中所示的元数据261中的面部图像数为1,所以排列了一对<FaceEntry>标记和</FaceEntry>标记。
<x>标记和</x>标记之间设置的值表示在通过内容ID识别的原图像201和缩小图像202其中之一中面部图像在水平方向上的位置。如图15所示,<x>标记和</x>标记之间的0.328767表示在原图像201和缩小图像202中的一个的左端在0.0,以及原图像201和缩小图像202中的一个的右端在1.0的情况下,面部图像在水平方向上的右端位置为0.328767。
<y>标记和</y>标记之间设置的值表示在通过内容ID识别的原图像201和缩小图像202其中之一中面部图像在垂直方向上的位置。如图15所示,<y>标记和</y>标记之间的0.204082表示在原图像201和缩小图像202中的一个的上端在0.0,以及原图像201和缩小图像202中的一个的下端在1.0的情况下,面部图像在垂直方向上的上端位置为0.204082。
具体而言,<x>标记和</x>标记之间设置的是面部图像的标准化水平位置,<y>标记和</y>标记之间设置的是面部图像的标准化垂直位置。
<width>标记和</width>标记之间设置的值表示通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像的宽度(水平方向上的尺寸)。如图15所示,<width>标记和</width>标记之间的0.408163表示在原图像201和缩小图像202中的一个的宽度为1.0的情况下,面部图像的宽度为0.408163。
<height>标记和</height>标记之间设置的值表示通过内容ID识别的原图像201和缩小图像202其中之一中的面部图像的高度(垂直方向上的尺寸)。如图15所示,<height>标记和</height>标记之间的0.273973表示在原图像201和缩小图像202中的一个的高度为1.0的情况下,面部图像的宽度为0.273973。
具体而言,<width>标记和</width>标记之间设置的是面部图像的标准化宽度。<height>标记和</height>标记之间设置的是面部图像的标准化高度。
<roll>标记和</roll>标记之间设置的值为面部图像的侧倾角。如图15所示,<roll>标记和</roll>标记之间的0.000000表示面部图像的侧倾角为0.000000度。
<pitch>标记和</pitch>标记之间设置的值为面部图像的俯仰角。如图15所示,<pitch>标记和</pitch>标记之间的0.000000表示面部图像的俯仰角为0.000000度。
<yaw>标记和</yaw>标记之间设置的值为面部图像的偏转角。如图15所示,<yaw>标记和</yaw>标记之间的0.000000表示面部图像的偏转角为0.000000度。
侧倾角为相对于前后轴(x轴)形成的角,表示面部在前后方向上的位置。俯仰角为相对于水平轴(y轴)形成的角,表示面部在左右方向上的位置。偏转角为相对于垂直轴(z轴)形成的角,表示面部在垂直方向上的位置。
<Similarityinfo>标记和</Similarityinfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202中的一个的特征量。当确定通过内容ID识别的原图像201和缩小图像202中的一个与另一个图像之间的相似程度时,使用该特征量。
如图15所示,<Similarityinfo>标记和</Similarityinfo>标记之间设置的是相关度和特征量。相关度表示响应于预定颜色名想起原图像201和缩小图像202中的一个的关联度,特征量用于计算图像的颜色或频率分量的相似程度。
<Colorinfo>标记和</Colorinfo>标记之间设置的相关度表示基于从通过内容ID识别的原图像201和缩小图像202其中之一中提取的原图像201和缩小图像202中的一个的像素的颜色,响应于特定颜色名想起原图像201和缩小图像202中的一个的关联程度。
<ColorWhite>标记和</ColorWhite>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的白色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorWhite>标记和</ColorWhite>标记之间的0示出的是表示响应于白色颜色名想起原图像201和缩小图像202中的一个的关联程度为0。
<ColorBlack>标记和</ColorBlack>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的黑色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorBlack>标记和</ColorBlack>标记之间的0示出的是表示响应于黑色颜色名想起原图像201和缩小图像202中的一个的关联程度为0。
<ColorRed>标记和</ColorRed>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的红色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorRed>标记和</ColorRed>标记之间的0示出的是表示响应于红色颜色名想起原图像201和缩小图像202中的一个的相关度为0。
<ColorYellow>标记和</ColorYellow>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的黄色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorYellow>标记和</ColorYellow>标记之间的0示出的是表示响应于黄色颜色名想起原图像201和缩小图像202中的一个的相关程度为0。
<ColorGreen>标记和</ColorGreen>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的绿色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorGreen>标记和</ColorGreen>标记之间的12示出的是表示响应于绿色颜色名想起原图像201和缩小图像202中的一个的相关度为0.12。相关度以百分率的形式表示。
<ColorBlue>标记和</ColorBlue>标记之间设置的相关度表示响应于从通过内容ID识别的原图像201和缩小图像202中的一个的像素颜色提取的蓝色颜色名想起原图像201和缩小图像202中的一个的关联程度。如图15所示,<ColorBlue>标记和</ColorBlue>标记之间的0示出的是表示响应于蓝色颜色名想起原图像201和缩小图像202中的一个的相关度为0。
<VectorInfo>标记和</VectorInfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202中的一个的特征,用于确定通过内容ID识别的原图像201和缩小图像202中的一个与另一个图像之间的相似程度。
在一对<VectorInfo>标记和</VectorInfo>标记之间设置的是通过内容ID识别的原图像201和缩小图像202的每一个的单个特征。在图15的元数据261中,描述了两对<VectorInfo>标记和</VectorInfo>标记。
在每对<VectorInfo>标记和</VectorInfo>标记之间设置有<method>标记和</method>标记以及<vector>标记和</vector>标记。<method>标记和</method>标记之间描述的是特征的方式,<vector>标记和</vector>标记之间描述的是其特征量。<vector>标记和</vector>标记之间描述的特征量为矢量。
在图15中最上面的<VectorInfo>标记和</VectorInfo>标记之间设置的<method>标记和</method>标记之间描述的颜色特征表示在随后的<vector>标记和</vector>标记之间设置的特征量为颜色特征量。颜色特征量为参照图11描述的颜色直方图中示出的颜色特征量。
如图15所示,从顶部开始的第二个<VectorInfo>标记和</VectorInfo>标记之间的<vector>标记和</vector>标记之间设置的文本特征表示在随后的<vector>标记和</vector>标记之间的特征量为图案(pattern)的特征量。图案的特征量为通过频率分量的频率直方图(即,参照图12和图13描述的垂直分量直方图和水平分量直方图)所表示的图案特征量。
整个元数据261存储在数码照相机11的内容数据库111和相似特征数据库112以及服务器13的内容数据库141和相似特征数据库142中。具体而言,适当地分割元数据261,将一部分存储在内容数据库111上,剩余部分存储在相似特征数据库112上。在服务器13中,也将存储在内容数据库111中的元数据261的相同部分存储在内容数据库141中,并也将存储在相似特征数据库112中的元数据261的相同部分存储在相似特征数据库142中。
图16示出了存储在内容数据库111和内容数据库141其中之一中的元数据的结构。
存储在内容数据库111和内容数据库141其中之一中的元数据包括:内容ID、图像拍摄时间、路径名、文件名、组ID、与包含在图像中的面部图像相关的信息(下文中称作面部图像信息)、标签ID、以及注释。
图像唯一的内容ID可识别图像。内容ID识别原图像201和缩小图像202。内容ID为GUID属性,并以字符串描述。表示拍摄图像的日期和时间的图像拍摄时间以协调世界时(UTC)或地方时描述。用协调世界时描述的图像拍摄时间与以嵌入EXIF格式的日期时间初始数据中的图像拍摄时间(UTC)一致。
以地方时描述的图像拍摄时间为date属性,并以日期格式描述。以地方时描述的图像拍摄时间与以嵌入EXIF格式的日期时间初始数据中的图像拍摄时间(地方时)一致。
诸如ms/CDIM/XXXXX/的路径名表示原图像201文件的目录名(文件名)。路径名为path属性,并以字符串描述。
诸如DSC00001.JPG的文件名表示包含作为视频数据的原图像201的文件的名称。文件名为DCFname属性,并以字符串描述。
诸如/DATA/EVENTTIMAGE/000000000001.JPG的缩小图像202的路径名和文件名表示缩小图像202的文件的目录名和文件名。缩小图像202的路径名和文件名为vgaCachePath属性,并以字符串写入。
组ID识别图像所属的组。用户将图像分类成所期望的组。组ID识别经过分类的图像的组。例如,通过事件(诸如旅行、运动会等)来分类图像,将在每个事件中拍摄的图像分成对应于事件的组。
组ID为groupID属性,并以数字串描述。
例如,面部图像信息表示图像是风景照片(不包括面部图像)、少数人物照片(1~5个人)、还是多数人物照片(6人以上)。如果面部图像信息为1,则图像为风景照片。如果面部图像信息为2,则图像为少数人物照片。如果面部图像信息为3,则图像为多数人物照片。面部图像信息为faceExistence属性,并以数字串描述。
面部图像信息可表示图像中包含的面部图像数、图像中面部图像的位置、面部图像的尺寸、以及面部面向的方向。
标签ID表示附属于图像的标签。标签ID为labels属性,并以数字串描述。
注释为comment属性,并以字符串描述。
保护状态表示诸如删除或添加的图像保护状态。保护状态为protect属性,并以逻辑数据串描述。
交换/输入标志表示是交换还是输入图像。交换/输入标志为exchangeOrImport属性,并以逻辑数据串描述。
为真的元启动标志表示服务器13根据图像生成元数据。元启动标志为metaEnableFlag属性,并以逻辑数据串描述。
为真的备份标志表示服务器13备份图像。备份标志为backUpFlag属性,并以逻辑数据串描述。
图17示出了在数码照相机11中存储的元数据部分和在相似特征数据库112中存储的元数据部分的结构。
内容项以图像为单位存储在内容数据库111上。内容项由元数据261的一部分构成。
例如,内容项281-1对应于通过存储的内容ID所识别的一个图像,并包括:内容ID、原图像201的路径名和文件名(图17中的Path)、缩小图像202的路径名和文件名、组ID、地方时格式的图像拍摄时间、以及面部图像信息。对应于另一个图像的内容项281-2包括:内容ID、原图像201的路径名和文件名(图17中的Path)、缩小图像202的路径名和文件名、组ID、地方时格式的图像拍摄时间、以及面部图像信息。
如果不需要区分内容项281-1和281-2,则将内容项简称为内容项281。
相似特征项以图像为单位存储在相似特征数据库112中。相似特征项包括除内容项281之外的元数据261的部分。相似特征项包括内容ID。
内容项282-1对应于通过所存储的内容ID识别的内容项281-1,即,对应于通过所存储的内容ID识别的一个图像。内容项282-1由内容ID、颜色直方图、以及频率分量直方图构成。
颜色直方图表示图像中32中颜色中的每一种出现的频率,并且为histogram属性。频率分量直方图包括垂直分量直方图和水平分量直方图,并表示在图像的每个垂直方向和水平方向上的八个频率的频率分量的最大值出现的频率,并且为texture属性。
类似地,内容项282-2对应于通过所存储的内容ID识别的内容项281-2,即,对应于通过存储的内容ID所识别的一个图像。内容项282-2由内容ID、颜色直方图、以及频率分量直方图构成。
如果不需要区分内容项282-1和282-2,则将内容项简称为内容项282。
相应于存储在内容数据库111上的内容项281的内容项282存储在相似特征数据库112上。
图18示出了内容项282的结构。内容项282包括项目291、项目292-1~292-32、以及项目293。项目291包括内容ID、指向项目292-1~292-32的指针、以及指向项目293的指针。指向项目292-1~292-32的指针对应于颜色直方图。指向项目293的指针对应于频率分量直方图。
项目292-1~292-32分别表示颜色直方图出现的频率,即,通过L*a*b*代表的每种颜色以及被那种颜色占据的图像与图像的面积比(例如,32色中的每一种的像素数)。项目292-1表示通过L*a*b*代表的作为32色其中一种的第一色,以及由第一色占据的图像与图像的占有率。项目292-2表示通过L*a*b*代表的作为32色其中一种的第二色,以及由第二色占据的图像与图像的占有率。
项目292-3~292-32(分别通过L*a*b*代表的每种颜色)包括32色中的第3至第32色,并且分别表示图像中第3至第32色的占有率。
项目292-1~292-32通常表示单个图像的颜色直方图。可以通过颜色特征矢量Cv表示颜色直方图。颜色特征矢量Cv可表示为Cv={(c1,r1),...,(c32,r32)}。(c1,r1)~(c32,r32)中的每一个表示通过c1~c32代表的32色的每一种对图像的占有率。
项目293表示垂直分量直方图和水平分量直方图。垂直分量直方图和水平分量直方图的每一个均示出八个出现频率。
由垂直分量直方图和水平分量直方图构成的频率分量直方图可以通过频率分量矢量Tv表示。可将频率分量矢量Tv描述为Tv={(t1,1),...,(t8,1),(t9,1),...,(t16,1)}。(t1,1)~(t16,1)中的每一个均表示通过t1~t16中任意一个所表示的频率分量的最大数(出现)。
下面,参照图19的流程图描述服务器13的图像获取处理。在该图像获取处理中,服务器13从网络服务器15-1、网络服务器15-2、以及其他设备中之一来获取图像。
在步骤S61中,服务器13中的传输控制器138-2和接收控制器139-2使通信单元80通过网络14从网络服务器15-1获取原图像201。
例如,在步骤S61中,传输控制器138-2和接收控制器139-2使通信单元80通过网络14连接至网络服务器15-1。传输控制器138-2使通信单元80通过网络14向网络服务器15-1发送传输原图像201的请求。网络服务器15-1通过网络14传输所请求的原图像201。传输控制器138-2使通信单元80接收通过网络服务器15-1传输的原图像201。传输控制器138-2将所接收的原图像201提供给图像存储器140。
在步骤S62中,缩小图像生成器132根据所接收的原图像201生成缩小图像202。例如,缩小图像生成器132通过对原图像201的像素进行臭氧来根据原图像201生成缩小图像202。可选地,缩小图像生成器132可以通过平均多个原图像201的连续像素并通过单个平均像素值代表多个连续像素来生成缩小图像202。
缩小图像生成器132将所生成的缩小图像202提供给图像存储器140。
在步骤S63中,图像存储器140记录接收到的原图像201和通过缩小图像生成器132生成的缩小图像202。
缩小图像生成器132可从图像存储器140读取原图像201,并根据所读取的原图像201生成缩小图像202。
在步骤S64中,图像分析器131分析记录在图像存储器140中上的图像。步骤S64中的图像分析处理与参照图10的流程图所描述的处理一致,此处省略对其的讨论。
在步骤S65中,元数据生成器133生成包括步骤S64中提取的图像特征的图像的元数据。在步骤S66中,条目生成器134生成原图像201和缩小图像202的条目。条目生成器134将生成的条目与在步骤S65中生成的元数据相关联,随后,将条目存储在内容数据库141(和相似特征数据库142)中。
在步骤S67中,传输控制器138-1和接收控制器139-1使通信单元79连接至数码照相机11。
在步骤S68中,检索单元137基于从数码照相机11传输的数据,从记录在图像存储器140上的缩小图像202中选择将被传送至数码照相机11的缩小图像202。检索单元137从图像存储器140读取所选择的缩小图像202,并将读取的缩小图像202提供给传输控制器138-1。
在步骤S69中,传输控制器138-1使通信单元79将选择的缩小图像202传输至数码照相机11。
在步骤S70中,传输控制器138-1使通信单元79以与在步骤S37中相同的方式,将作为被传输的缩小图像202的元数据的图像特征记录在数码照相机11中的内容数据库111和相似特征数据库112中。
在步骤S72中,服务器13中的传输控制器138-1和接收控制器139-1使通信单元79断开与数码照相机11的连接。于是,处理结束。
如图20所示,服务器13-1和服务器13-2中的一个通过网络14从网络服务器15-1、网络服务器15-2、以及其他设备中的一个获取原图像201,并记录所获取的原图像201。服务器13-1和服务器13-2中的一个根据原图像201生成缩小图像202,并分析原图像201,以提取原图像201的特征。服务器13-1和服务器13-2中的一个将缩小图像202与包括所提取的原图像201的特征的元数据261一起写入数码照相机11和手机12中的一个。
下面,参照图21的流程图描述数码照相机11的检索处理。在步骤S81中,检索单元107从存储在数码照相机11和手机12其中之一上的元数据中选择将被用于检索的元数据。例如,检索单元107在作为检索中使用的元数据的相关度和特征之间进行选择。相关度表示响应于基于当用户操作输入单元49时来自输入单元49的信号的图像拍摄时间、成像条件、面部图像信息、以及预定颜色想起图像的关联程度。特征被用于计算颜色或图像的频率分量的相似程度。
在步骤S81中,响应于来自用户所操作的输入单元49的信号,检索单元107选择在检索记录在图像存储器110中的原图像201和缩小图像202中的一个时的检索范围。
在步骤S82中,检索单元107获取作为从用户所操作的输入单元49提供的信号的检索开始命令。
在步骤S83中,检索单元107在检索范围内,从内容数据库111和相似特征数据库112的一个中连续读取原图像201和缩小图像202中的一个的元数据261。
在步骤S84中,检索单元107确定元数据261是否存在,即,确定元数据261是否无效。如果在步骤S84中确定元数据261存在,则处理前进至步骤S85。检索单元107根据元数据261生成检索结果显示控制数据。
在步骤S85中,使用作为表示用于计算颜色或图像的频率分量的相似程度的特征的矢量的元数据。具体而言,基于元数据,检索单元107基于作为所选图像(作为基准图像)的矢量以及作为检索范围内的图像矢量的元数据来计算矢量距离。这样,检索单元107生成作为检索结果显示控制数据的矢量距离。
矢量距离越小,图像看起来越相似。使用检索结果显示控制数据作为矢量距离,读取更加相似的图像,随后,按照相似度的顺序显示图像。
在步骤S85中,检索单元107基于作为表示响应于预定颜色想起图像的关联程度的相关度的元数据来比较相关度与输入阈值,并生成具有高于所输入阈值的相关度的检索结果显示控制数据。
使用具有高于所输入阈值的相关度的检索结果显示控制数据,响应于颜色名读取具有较高关联度的图像,即,具有该颜色更多分量的图像。这样,仅显示具有该颜色名的颜色的图像。
例如,检索单元107基于作为表示响应于预定颜色名建立关联的关联程度的相关度的元数据,通过计算所输入阈值与相关度之间的距离来计算检索结果显示控制数据。
使用检索结果显示控制数据,即,输入阈值与相关度之间的距离,读取并随后显示具有期望颜色名的颜色分量的期望量的图像。
检索结果显示控制数据包括内容ID,内容ID用于识别对应于检索结果显示控制数据的原图像201和缩小图像202的其中之一。
在步骤S86中,检索单元107在检索结果存储器115上存储所生成的检索结果显示控制数据。
在步骤S87中,检索单元107确定是否处理了检索范围内的所有原图像201或所有缩小图像202。如果在步骤S87中确定没有处理检索范围内的所有原图像201或所有缩小图像202,则处理返回步骤S83。检索单元107从内容数据库111和相似特征数据库112中的一个中读取检索范围内的下一原图像201和下一缩小图像202中的一个的元数据261,以重复上述处理。
如果在步骤S84中确定元数据261不存在,即,元数据261为无效,则处理返回到步骤S83。检索单元107从内容数据库111和相似特征数据库112其中之一中读取检索范围内的下一原图像201和下一缩小图像202中的一个的元数据261,并重复上述处理。
如果在步骤S87中确定处理了检索范围内的所有原图像201或所有缩小图像202,则处理前进至步骤S88。显示控制器106从检索结果存储器115读取检索结果显示控制数据。在步骤S89中,显示控制器106基于检索结果显示控制数据从图像存储器110读取原图像201和缩小图像202中的一个,并显示原图像201和缩小图像202的其中之一。于是结束处理。
如果在步骤S85中生成作为表示用于计算颜色或图像的频率分量相似度的特征的矢量的距离的检索结果显示控制数据,则在步骤S89中,显示控制器106在监视器40上以相对于基准图像相似度的顺序显示原图像201和缩小图像202的其中之一。
如果在步骤S85中表示作为响应于预定颜色名而想起的关联程度的相关度的检索结果显示控制数据大于所输入阈值,则在步骤S89中,显示控制器106在监视器40上显示包括更多那个颜色名的颜色的原图像201和缩小图像202中的一个。
如果在步骤S85中生成作为表示响应于预定颜色名而想起的关联程度的相关度与所输入阈值值之间的距离的检索结果显示控制数据,则在步骤S89中,显示控制器106在监视器40上显示包含期望量的具有期望颜色名的颜色的原图像201和缩小图像202中的一个。
手机12执行与参照图21的流程图所描述的处理相同的检索处理。服务器13执行与参照图21的流程图所描述的处理相同的检索处理。
如图22所示,基于存储在数码照相机11和手机12其中之一中的内容数据库111和相似特征数据库112中的元数据261检索缩小图像202,以相同的方式,基于存储在服务器13-1和服务器13-2其中之一中的内容数据库141和相似特征数据库142上的元数据261来检索原图像201。
下面,描述数码照相机11的具体检索处理。
图23是示出数码照相机11另一检索处理的流程图。在步骤S101中,显示控制器106使缩小图像202以时间顺序显示在监视器40上。具体而言,在步骤S101中,图像存储器110响应于来自用户操作的输入单元49的信号,从所记录的缩小图像202中将预定范围内的缩小图像202提供给显示控制器106。内容数据库111将由显示控制器106提供的预定范围内的缩小图像202的元数据261中图像拍摄时的元数据提供给显示控制器106。显示控制器106使监视器40以图像拍摄时序顺序,按照图像拍摄时间显示缩小图像202。
如图24所示,显示控制器106使监视器40以组为单位,按照图像拍摄的时序顺序显示缩小图像202。每个组都通过组ID来识别。图24右侧的每一个方框表示一个缩小图像202,每个方框中的数字表示图像拍摄顺序。显示控制器106在监视器40上以组为单位,按照光栅扫描序列的图像拍摄顺序显示缩小图像202。
在步骤S101中,图像存储器110可在监视器40上对图像进行分群。
现在,对分别在时间t1~t12拍摄的图像p1~p12进行分群。例如,在分群处理中设置条件A和条件B。根据条件A,图像p1~图像p12构成一群。条件A定义低粒度(粗糙)群,条件B定义高粒度(精细)群。条件B在粒度上高于条件A。例如,将事件名“结婚典礼”设置在由条件A定义的群中。
在具有事件名“结婚典礼”的群中,图像的图像拍摄时间的间隔变化程度小于预定阈值。
从图像p1~p12中,条件B定义图像p1~p3的一个群、图像p4~p7的另一个群、以及p8~p12的再一个群。
“教堂仪式”设置在由图像p1~p3构成的群中,“婚宴”设置在由图像p4~p7构成的群中,“二次聚会”设置在由图像p8~p12构成的群中。
在具有事件名“教堂仪式”的群中的图像p1~p3之间,图像的图像拍摄时间的时间间隔的变化程度较小。从图像p3至图像p4出现相对较长的时间间隔,图像p4是由在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的图像p4~p7构成的下一群中的第一个图像。在图像p3和图像p4之间的时间间隔期间内,确定出现频率改变。
在设置有事件名“婚宴”的群中,在图像p4~p7之间,图像拍摄时间的时间间隔的变化程度较小。从图像p7至图像p8出现相对较长的时间间隔,图像p8是由在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的图像p8~p12构成的下一群中的第一个图像。在图像p7和图像p8之间的时间间隔期间内,确定出现频率改变。
在设置有事件名“二次聚会”的群中,在图像p8~p12之间,图像拍摄时间的时间间隔的变化程度较小。从图像p12至下一图像出现相对较长的时间间隔,下一图像为在图像拍摄时间(在时间轴上)的时间间隔上具有较低变化程度的下一群的第一个图像。在图像p12和下一图像之间的时间间隔期间内,确定出现频率改变。
例如,用户手动设置事件名“结婚典礼”、“教堂仪式”、“婚宴”、以及“二次聚会”。
为对图像分群可设置多种条件,并基于条件定义不同粒度等级的群。
将包括在这样定义的每个群中的图像以分层结构的方式展示给用户。
在步骤S101中,图像存储器110可以使监视器40按照日期将显示区分成多个部分,并在预定部分中显示缩小图像202,使得被分配给该部分的数据与图像拍摄的日期匹配。具体而言,在步骤S101中,图像存储器110以日历格式显示缩小图像202。
在步骤S102中,检索单元107基于来自用户操作的监视器40的信号,从在监视器40上显示的缩小图像202中选择一个缩小图像202。
当选择了以时序格式显示的任意一个缩小图像202时,显示控制器106加亮所选择的缩小图像202或如图24所示地增强所选缩小图像202的轮廓。
当选择了以时序格式显示的任意一个缩小图像202时,如图25所示,显示控制器106在监视器40上放大所选择的缩小图像202。
在步骤S103中,检索单元107检索相似图像。
图26是示出在步骤S103中执行的相似图像检索处理的流程图。在步骤S131中,检索单元接收来自用户操作的输入单元49的信号,从而通过选择显示在监视器上的菜单中的“相似性检索”项获取相似性检索指令。
在步骤S132中,检索单元107通过接收来自用户操作的监视器40的信号来接收检索开始指令。
在步骤S133中,检索单元107从相似特征数据库112读取相应于在步骤S102中选择的缩小图像202的内容ID的相似特征矢量。该相似特征矢量是颜色特征矢量Cv和频率分量矢量Tv中的一个。
在步骤S134中,检索单元107从相似特征数据库112读取相应于检索范围内的一个缩小图像202的内容ID的相似特征矢量。
如果在步骤S133中读取是颜色特征矢量Cv的相似特征矢量,则在步骤S134中读出作为颜色特征矢量Cv的相似特征矢量。如果在步骤S133中读取作为频率分量矢量Tv的相似特征矢量,则在步骤S134中读取作为频率分量矢量Tv的相似特征矢量。
在步骤S135中,检索单元107计算在检索范围内的缩小图像202的相似特征矢量与所选缩小图像202的相似特征矢量之间的距离。
下面,描述每个都具有32个元素的颜色特征矢量Cv1={(c1_1,r1_1),...,(c32_1,r32_1)}和颜色特征矢量Cv2={(c1_2,r1_2),...,(c32_2,r32_2)}之间的距离的计算。
这里引入地面距离(ground distance)dij=d(c1i,c2j)的概念。地面距离dih定义了颜色特征矢量元素之间的距离,是两个颜色之间的欧几里德距离(在三轴L*a*b*空间中的距离)。因此,将地面距离dij描述为dij=‖c1i-c2j‖。
颜色特征矢量Cv1与颜色特征矢量Cv2之间的堆土机距离(EMD)通过解决确定从颜色特征矢量Cv1至颜色特征矢量Cv2的流F={Fji}的运输问题来计算。此处,颜色特征矢量Cv1为供方,颜色特征矢量Cv2为需求方,dij为单位运输成本。
通过将运输问题的最佳值(全部运输成本的最小值)除以流数并将商归一化,由方程式(1)计算EMD。
此时
通过方程式(1)计算的EMD为颜色特征矢量Cv1和颜色特征矢量Cv2之间的距离。
以与颜色特征矢量Cv的距离相同的方式来确定频率分量矢量Tv的距离。
可以为颜色特征矢量Cv的距离确定权重Wc,以及可以为频率分量矢量Tv的距离确定权重Wt,并且可以使用方程式(2)计算最终距离。
distance=EMDcolor×wc+EMDtexture×wt(wc+wt=1)(2)
用户可以确定权重Wc和Wt。权重Wc和Wt可以为固定值。具体而言,权重Wc和Wt的每一个均可以为0.5,并且可通过平均颜色特征矢量Cv的距离和频率分量矢量Tv的距离确定最终距离。
在1998年1月印度孟买Proceedings of the 1998 IEEEInternational Conference on Computer Vision会议上由Y.Rubner、C.Tomasi、以及L.J.Guibas发表的标题为“A Metric for Distributionswith Applications to Image Databases”的论文59~66页中公开了矢量距离计算中使用的EMD(堆土机距离)。矢量距离计算不限于该方法。例如,可以使用欧几里德距离或豪斯多夫距离。在1999年12月1日由Kyoritsu Shuppan出版的Computer Science Magazine bitDecember issue,作者为Michihiro KOBAYAKAWA和MamoruHOSHI的标题为“Interactive Image Retrieval based on WaveletTransform”论文30~41页和2000年5月2日由IECE出版的Technical Report of the Insitute of Electronics、Information andCommunication Engineers(IECE),作者为K.OH、K.KANEKO、A.MAKINOUCHI、和A.UENO的标题为“Design,Implementationand Performance Evaluation of Similar Image Retrieval System Basedon Self-Organizing Feature Map”卷10、第31号、页数9~16的文章中也公开了一些技术。也可以使用这些技术。
在步骤S136中,检索单元107将距离和在检索范围内与其相关的图像一起存储到相似结果数据库113中。例如,在步骤S136中,检索单元107将距离与在检索范围内与其相关的图像的内容ID一起存储在相似结果数据库113上。
图27示出了存储在内容数据库111和相似特征数据库112中的元数据以及存储在相似结果数据库113中的距离的结构。
如图27所示,数据库记录301-1对应于内容项281-1和内容项281-1的每一个,数据库记录301-2对应于内容项281-2和内容项281-2的每一个。
具体而言,数据库记录301-1和数据库记录301-2的每一个均包括内容ID、相似特征矢量、原图像201的路径名和文件名、组ID、图像拍摄时间、以及其他属性。
存储在相似结果数据库113上的距离记录302包括来自所选图像的内容ID和距离。使用内容ID将距离记录302与数据库记录301-1和数据库记录301-2的每一个相关联。
如果不需要区分数据库记录301-1和数据库记录301-2,则将数据库记录称作数据库记录301。
距离记录302中的距离为distance属性。
存储在时间组数据库114上的时间组记录303包括与组唯一对应的组ID(用于识别组)、以及识别属于通过组ID识别的组的图像的内容ID。在时间组记录303中的内容ID的排列为PhotoIdArray属性。
如图28所示,内容数据库111、相似结果数据库113、以及时间组数据库114都与其记录相关联。一个或多个数据库记录301存储在内容数据库111和相似特征数据库112(未示出)的每一个上,并且一个或多个时间组记录303存储在时间组数据库114上。
返回图26,在步骤S137中,检索单元107确定是否完成了检索范围内的所有图像。如果在步骤S137中确定没有完成所有图像,则处理返回步骤S134。检索单元107读取相应于检索范围内下一个缩小图像202的内容ID的相似特征矢量,并重复上述处理。
如果在步骤S137中确定已经完成了所有图像,则处理前进至步骤S138。检索单元107从相似特征数据库112读取与检索范围内的图像相关的距离。例如,在步骤S138中,检索单元107从相似特征数据库112读取距离和用于识别检索范围内的图像的内容ID。
在步骤S139中,检索单元107根据在步骤S138中读取的距离来分类检索范围内的图像,并结束处理。例如,在步骤S139中,检索单元107通过根据距离顺序分类用于识别检索范围内的图像的内容ID,从而以相似度的顺序分类检索区域内的图像。
返回图23,在步骤S104中,显示控制器106在监视器40上以相似度顺序显示缩小图像202。具体来说,在步骤S104中,显示控制器106从图像存储器110读取缩小图像202,并在步骤S139中,在监视器40上以在步骤S139中分类的相似度顺序显示缩小图像202。
如图29所示,显示控制器106使监视器40以相似度顺序显示与在步骤S102中选择的缩小图像202相似的缩小图像202。例如,显示控制器106在监视器40的显示区的左上部中显示在步骤S102中选择的缩小图像202,随后按照相似度顺序以光栅扫描顺序显示与关键图像相似的缩小图像202。图29右侧的每个小方块表示一个缩小图像202,每个方块中的字母示出缩小图像202的相似度顺序。
在步骤S105中,检索单元107响应于来自用户所操作的输入单元49的信号,从显示在监视器40上的缩小图像202中选择一个缩小图像202。
如图29所示,如果从按照相似度顺序以光栅扫描格式显示在监视器40上的缩小图像202中选择标签为B的缩小图像202,则加亮所选择的缩小图像202或增强所选择缩小图像202的轮廓。同时,显示控制器106在监视器40显示区中的关键图像的下面显示所选缩小图像202的放大视图。
在步骤S106中,检索单元107响应来自用户操作的输入单元49的信号来确定是否取消选择。如果检索单元107确定不取消,则处理前进至步骤S107。检索单元107确定是否输入所选择的缩小图像202。
如果在步骤S107中确定将输入所选缩小图像202,则检索单元107获取在步骤S105中选择的缩小图像202的组ID。具体而言,检索单元107读取通过在步骤S105中选择的缩小图像202的内容ID所识别的元数据261,从元数据261中提取用于识别所选缩小图像202所属组的组ID,并获取所选缩小图像202的组ID。
在步骤S109中,检索单元107从图像存储器110中读取属于通过所获取的组ID识别的组的缩小图像202。具体而言,检索单元107根据所获取的组ID检索时间组数据库114中的时间组记录303。检索单元107根据与所获取的组ID具有相同组ID的时间组记录303,从时间组数据库114中读取识别属于通过组ID识别的组的图像的内容ID串。检索单元107从图像存储器110读取通过内容ID识别的缩小图像202,内容ID为所读取的内容ID串中的元素。检索单元107将读出的缩小图像202提供给显示控制器106。
在步骤S110中,显示控制器106使监视器40以时序格式显示所读取的缩小图像202。处理由此结束。
在步骤S110中,显示控制器106可以使控制器40以分群格式或日历格式来显示缩小图像202。
如果在步骤S107中确定没有输入所选的缩小图像202,则处理返回到步骤S104,以重复步骤S104和后续步骤。
如果在步骤S106中确定将取消选择,则处理返回到步骤S101,重复步骤S101和后续步骤。
在步骤S102和S105中,在屏幕上维持图像被选状态,直至选择下一个图像为止。在步骤S101、S104、以及S110中,以用户可以识别所选图像的方式来显示其轮廓被增强的所选图像。
具体而言,在图像显示过程中,通过维持所选择的图像状态在时序显示格式和相似度顺序显示格式之间执行切换操作。
以这种方式,可以立刻显示在接近于与预定图像相似的图像的图像拍摄时间的时间所拍摄的图像。可以立刻显示相似于在接近于预定图像的图像拍摄时间的时间所拍摄图像的图像。因此,能够以检索顺序来追溯图像,并且通过图像相似度标准或接近时间标准来进行检索。通过有效地结合时间轴检索和相似度检索,即使具有小屏幕尺寸的数码照相机11也允许用户根据相似度和时间来观看并检索图像,这两种方式都是人类记忆中的支配因素。
代表相似度的距离表示统计相似度,会发生检索失败。出现与人类感观相似的图像可能逃过检索。即使发生这样的检索失败,也可以在一个视图中显示接近事件的图像,并且用户仍然可以识别与人类感观相似的图像。
可以每年拍摄诸如观赏樱花、焰火、野餐聚会的事件照片。可以将这样的事件照片聚集起来。在执行相似度检索后,立刻以时序顺序将图像重新排列。以时序顺序显示的相似时间的图像可以作为相册使用,以帮助用户回想事件。
数码照相机11可在图23的流程图的处理中检索原图像201。
在图23的流程图中示出的检索处理中,如图30的上部分所示,缩小图像202以时序顺序按照组在监视器40上显示。如果从以时序格式显示的缩小图像202中选择标签为字母A的缩小图像202,则检索与标签为字母A的缩小图像202相似的缩小图像202,并在监视器40上以相似度顺序显示。
监视器40以放大视图显示关键图像,即,标签为字母A的缩小图像202。
如果从以相似度顺序显示的缩小图像202中选择标签为字母B的缩小图像202,则监视器40以放大视图显示标签为字母B的缩小图像202作为关键图像。
在监视器40上以相似度顺序显示与标签为字母A的缩小图像202相似的缩小图像202。如果取消了标签为字母A的缩小图像202的选择,则以时序格式重新显示缩小图像202。
如果当从以相似度顺序显示的缩小图像202中选择标签为字母B的缩小图像202时选择了回车键,则以时序格式显示属于标签为字母B的缩小图像202的组的缩小图像202。在这种情况下,标签为字母B的缩小图像202以其轮廓被增强的方式被显示。
可通过图像拍摄日期将缩小图像202来分成组。以组为单位,监视器40以时序格式显示具有接近于标签为字母B的缩小图像202的图像拍摄日期的缩小图像202。
下面,描述服务器13的检索处理。图31是示出服务器13的检索处理的流程图。在步骤S161中,服务器13中的显示控制器136使作为显示单元的输出单元77以时序格式显示原图像201。具体来说,在步骤S161中,图像存储器140响应于来自用户操作的输入单元76的信号,从记录在其上的原图像201中,将检索范围内的原图像201提供给显示控制器136。内容数据库141将落入提供给显示控制器136的预定范围内的原图像201的元数据261中图像拍摄时处的元数据261提供给显示控制器136。显示控制器136根据图像拍摄时间,使输出单元77以图像拍摄的时序顺序显示原图像201。
例如,如图32的右部所示,显示控制器136使输出单元77以图像拍摄时间顺序(即,沿时间轴)显示缩小图像202。显示控制器136使输出单元77以组为单位,按拍摄顺序显示原图像201。
在步骤S162中,响应于来自通过用户操作的输入单元76的信号,检索单元137选择显示输出单元77上的原图像201中的一个。
在步骤S163中,检索单元137执行相似图像的检索处理。步骤S163中的检索处理通过检索单元137执行,而不是检索单元107。步骤S163中的检索处理的其余部分与参照图26描述的相同,此处省略对其的讨论。
在步骤S164中,显示控制器136使输出单元77以相似度顺序显示原图像201。具体而言,在步骤S164中,显示控制器136使输出单元77以分类的相似度顺序显示原图像201。
例如,如图32的左部所示,显示控制器136使输出单元77以相似度顺序来显示与在步骤S162中选择的原图像201相似的原图像201。
在步骤S165中,检索单元137响应于来自通过用户操作的输入单元49的信号,从显示在输出单元77上的原图像201中选择一个原图像201。
在步骤S166中,检索单元137响应于来自通过用户操作的通信单元47的信号,确定是否以时序格式显示图像。例如,响应于当用户选择显示在输出单元77上的切换按钮351和切换按钮352中的一个时从输入单元76输入的信号,检索单元137确定是否以时序顺序显示图像。
当在输入单元77上选择使图像以时序格式显示的切换按钮351时,确定在步骤S166中执行时序显示。处理前进至步骤S167。
在步骤S167中,检索单元137从内容数据库141中获取所选原图像201的组ID。具体而言,检索单元137从内容数据库141中读取通过所选原图像201的内容ID所识别的元数据261,并从读取的元数据261中提取识别所选原图像201的组的组ID。这样,检索单元137获得所选原图像201的组ID。
在步骤S168中,检索单元137从图像存储器140中读取属于通过所获取的组ID识别的组的原图像201。检索单元137根据所获取的组ID来检索时间组数据库144的时间组记录303。检索单元137根据包括与所获取的组ID相同的组ID的时间组记录303,从时间组数据库144中读取用于识别属于通过组ID识别的组的图像的内容ID串。检索单元137从图像存储器140中读取通过作为所读取的组ID串的元素的内容ID识别的原图像201。检索单元137将读出的原图像201提供给显示控制器136。
在步骤169中,显示控制器136使输出单元77显示所读取的原图像201。具体而言,在步骤S169中,显示控制器136使输出单元77以时序格式显示原图像201。
在步骤S170中,检索单元137响应于来自通过用户操作的输入单元76的信号,从显示在输出单元77上的原图像201中选择一个原图像201。
在步骤S171中,检索单元137响应于来自通过用户操作的输入单元49的信号,确定是否以时序格式显示图像。例如,检索单元137响应于当通过用户选择显示在输出单元77上的切换按钮351和切换按钮352中的一个时从输入单元76输入的信号,确定是否以时序格式显示图像。
如果通过用户选择了输出单元77上以相似度顺序显示图像的切换按钮352,则在步骤S171中,检索单元137确定以相似度顺序显示图像。如果在步骤S171中确定以时序格式显示图像,则处理返回到步骤S163。
如果通过用户选择了输出单元77上以时序顺序显示图像的切换按钮351,则在步骤S171中,检索单元137确定不以相似度顺序显示图像。处理返回到步骤S167,以重复步骤S167和后续步骤。
如果在步骤S166中选择切换按钮352,则不以时序格式显示图像,处理返回到步骤S163,以重复步骤S163和后续步骤。
响应于显示在输出单元77上的切换按钮351和切换按钮352的选择操作,可随意执行相似度顺序显示和时序顺序显示之间的切换操作。
下面,描述服务器13的相关度提取处理。
数码照相机11、手机12、以及服务器13使用作为图像特征的颜色名和颜色名的相关度来检索图像。服务器13从图像中提取预定颜色名的相关度,作为图像的一个特征。
颜色名的相关度指的是响应于特定颜色名想起图像的关联程度。换句话说,相关度指的是图像被看作具有特定颜色名的颜色的颜色比。
颜色名为红色、蓝色、黄色、白色、黑色、绿色等。
图33是示出用于提取颜色名的相关度的颜色特征提取器172的结构框图。颜色特征提取器172包括图像输入单元401、红色相关度提取器402、蓝色相关度提取器403、黄色相关度提取器404、以及提取特征记录器405。
为了举例,仅描述了红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404,可以使用用于提取任意颜色相关度的任意数目的相关度提取器。具体而言,能以颜色名为单位预备相关度提取器。
在下面描述的实例中,结合了红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404。
图像输入单元401从图像存储器140获取原图像201,从原图像201提取相关度。图像输入单元401从相关度提取器对应存储器145中获取颜色名和表示与红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的每一个相对应的对应信息。
如图34所示,在相关度提取器对应存储器145上记录的对应信息包括颜色名和用于识别红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的信息,从中提取颜色名的相关度。例如,如图34所示,颜色名“红色”对应于红色相关度提取器402,颜色名“蓝色”对应于蓝色相关度提取器403,以及颜色名“黄色”对应于黄色相关度提取器404。
基于对应信息,图像输入单元401将从图像存储器140获取的原图像201提供给红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404。
红色相关度提取器402从图像输入单元401提供的原图像201中提取表示响应于红色颜色名想起原图像201的关联程度的相关度。随后,红色相关度提取器402将从原图像201提取的、表示响应于红色颜色名的关联程度的相关度提供给提取特征记录器405。
蓝色相关度提取器403从图像输入单元401提供的原图像201中提取表示响应于蓝色颜色名想起原图像201的关联程度的相关度。随后,蓝色相关度提取器403将从原图像201提取的、表示响应于蓝色颜色名的关联程度的相关度提供给提取特征记录器405。
黄色相关度提取器404从图像输入单元401提供的原图像201中提取表示响应于黄色颜色名想起原图像201的关联程度的相关度。随后,黄色相关度提取器404将从原图像201提取的、表示响应于黄色颜色名的关联程度的相关度提供给提取特征记录器405。
提取特征记录器405将分别来自红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度与原图像201相关联,随后,在提取特征存储器146中存储得到的相关度。
如图35所示,提取特征存储器146将表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度与用于识别原图像201的内容ID一起存储。
如上所述,图像输入单元401输入记录在图像存储器140上的原图像201。不仅可以输入并处理原图像201,而且还可以输入并处理缩小图像202或减色图像221。除图像之外,可通过图像输入单元401输入与用于提取各个相关度的图像相关的颜色直方图。随后,红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404可以从输入的直方图中提取其相关度。
图35示出了记录在提取特征存储器146上的相关度的逻辑结构。如图所示,与内容ID 000相关,提取特征存储器146存储有表示相应于红色颜色名的关联程度的相关度0.80、表示相应于蓝色颜色名的关联程度的相关度0.00、以及表示相应于黄色颜色名的关联程度的相关度0.10,它们都根据通过内容ID 000识别的原图像201提取。与内容ID 001相关联,提取特征存储器146存储有表示相应于红色颜色名的关联程度的相关度0.00、表示相应于蓝色颜色名的关联程度的相关度0.25、以及表示相应于黄色颜色名的关联程度的相关度0.20,它们都由通过内容ID 001识别的原图像201提取。此外,与内容ID 002相关,提取特征存储器146存储了表示相应于红色颜色名的关联程度的相关度0.15、表示相应于蓝色颜色名的关联程度的相关度0.05、以及表示相应于黄色颜色名的关联程度的相关度0.00,它们都由通过内容ID 002识别的原图像201提取。
提取特征记录器405将分别由红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404提供的表示相应于红色颜色名的关联程度的相关度、表示相应于蓝色颜色名的关联程度的相关度、以及表示相应于黄色颜色名的关联程度的相关度作为元数据261,在与原图像201相关联的情况下存储到相似特征数据库142上。
相关度可嵌入作为EXIF数据的原图像201的预定区域中。
检索单元137检索作为图像特征的颜色名和颜色名的相关度。在这种情况下,检索单元137可以包括检索条件输入单元421和条件匹配单元422。
检索条件输入单元421响应于来自通过用户操作的输入单元76的信号来接收相关度的检索条件。检索条件输入单元421将相关度的检索条件提供给条件匹配单元422。
条件匹配单元422将由检索条件输入单元421提供的检索条件与记录在提取特征存储器146上的相关度进行匹配。条件匹配单元422将匹配结果,即,相应于满足检索条件的相关度的内容ID存储至检索结果存储器147。
图36是详细示出相应于步骤S43的颜色特征提取处理的流程图。在步骤S201中,图像输入单元401从图像存储器140接收原图像201,作为提取相关度的目标图像。图像输入单元401还从相关度提取器对应存储器145接收对应信息。
在步骤S202中,图像输入单元401接收颜色名。在步骤S203中,响应于对应信息,图像输入单元401识别红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404中的哪一个对应于所输入的颜色名。
例如,如果在步骤S202中输入红色颜色名,则图像输入单元401响应于步骤S203中的对应信息识别红色相关度提取器402。
图像输入单元401将输入的原图像201提供给红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404中识别出的任意一个。
在步骤S204中,在步骤S203中识别出的红色相关度提取器402、蓝色相关度提取器403、以及黄色相关度提取器404的其中一个执行相关度提取处理。稍后将详细描述相关度提取处理。
将所提取的相关度提供给提取特征记录器405。
在步骤S205中,提取特征记录器405在提取特征存储器146上存储提取出的相关度,作为与用于提取相关度的目标图像的原图像201相关的颜色特征矢量。
在步骤S206中,图像输入单元401确定是否已经从所有颜色名的原图像201中提取了相关度。如果没有完成所有颜色名,则处理返回到步骤S202,以输入下一颜色名并重复后续步骤。
如果在步骤S206中确定当前颜色名为最后的颜色名,即,已经从所有颜色名中的原图像201中提取了相关度,则处理结束。
图37是详细示出相应于当在步骤S203中识别红色相关度提取器402时执行的图36中步骤S204的相关度提取处理的流程图。
在步骤S221中,红色相关度提取器402对其内部计数器清零。在将被首先执行的步骤S222中,红色相关度提取器402接收第一像素的颜色,即,原图像201的第一像素的像素值。在步骤S223中,红色相关度提取器402计算像素的颜色在色空间中的位置。
在步骤S224中,红色相关度提取器402确定算出的在颜色空间中的位置是否在对应于红色颜色名的子空间内。
下面,描述计算像素的颜色在颜色空间中的位置。
例如,通过RGB表示原图像201中每个像素的像素值。像素值由R值、G值、以及B值构成。通过相互垂直的三个轴(即,R轴、G轴、以及B轴)来定义RGB空间。一个像素值确定一个在RGB颜色空间中的位置。
在RGB颜色空间中,很难通过单个区域描述被人类感知为某一颜色名的颜色的颜色位置。
现在,考虑通过在L*a*b*空间中的位置来描述像素的颜色。如图39所示,将L*a*b*空间定义为互相垂直的三个轴,即,L*轴,a*轴、及b*轴。在L*a*b*空间中,L*轴中的值L*越大,亮度越高,L*轴中的值L*越小,亮度越低。给定恒定的L*值,随着其越接近L*轴,颜色饱和度越低。
一个像素值确定L*a*b*空间中的一个位置。
在L*a*b*空间中,通过一个区域描述被人类感知为某一颜色名的颜色的颜色位置。包括由人类感知为预定颜色名的颜色的颜色位置的区域称作子空间。子空间为在L*a*b*空间中具有宽度的区域。
下面,描述白色和黑色子空间的实例。
图40示出了白色子空间441和黑色子空间442。白色子空间441为具有与L*轴共线的一个轴的椭圆体部分。椭圆体的形心(graphical center)位于L*a*b*空间的顶部位置(给出L*轴最大值的位置)。白色子空间441为椭圆体的内部空间部分,也为L*a*b*空间所共有。白色子空间441提供低色饱和度,同时提供高亮度。处于白色子空间441内的位置所表示的颜色被人类感知为白色。
黑色子空间442为具有与L*轴共线的一个轴的椭圆体部分。椭圆体的形心位于L*a*b*空间的底部位置(给出L*轴最小值的位置)。黑色子空间442为椭圆体的内部空间部分,也为L*a*b*空间所共有。黑色子空间442提供低色饱和度,同时提供低亮度。处于黑色子空间442内的位置所表示的颜色被人类感知为黑色。
下面,描述红色、黄色、绿色、以及蓝色的子空间。
由于红色、黄色、绿色、以及蓝色为彩色,所以从L*a*b*空间中排除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间。色饱和度边界461内的空间提供低色饱和度,由该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
亮度下限边界462以下的空间提供低亮度,由处于该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
亮度上限边界463以上的空间提供高亮度,处于该空间内的位置所代表的任何颜色都无法被人类感知为红色、黄色、绿色、或蓝色。
在除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间之外的L*a*b*空间内的任何颜色可以被人类感知为红色、黄色、绿色、或蓝色。
如图42所示,通过从垂直于由a*轴和b*轴构成的平面的L*轴放射性延伸的边界来分割除色饱和度边界461内的空间、亮度下限边界462以下的空间、亮度上限边界463以上的空间之外的L*a*b*空间的空间。例如,如果从L*轴正值部分以上的位置观看L*a*b*空间,则绿色子空间481为沿着a*轴并被在a*轴负值部分以上从L*轴延伸的边界和在a*轴负值部分以下从L*轴延伸的边界所包围的空间。
如果从L*轴正值部分以上观看L*a*b*空间,则蓝色子空间482为沿着b*轴并被向b*轴负值部分右侧从L*轴延伸的边界和向b*轴负值部分左侧从L*轴延伸的边界所包围的空间。通过蓝色子空间482内的位置代表的颜色被人类感知为蓝色。
如果从L*轴正值部分以上观看L*a*b*空间,则红色子空间483为沿着a*轴并被向a*轴正值部分以上延伸的边界和向a*轴负值部分以下延伸的边界所包围的空间。红色子空间483内的位置所代表的颜色被人类感知为红色。如果从L*轴正值部分之上观看L*a*b*空间,则黄色子空间484为沿着b*轴并被向b*轴正值部分右侧延伸的边界和向b*轴正值部分左侧延伸的边界所包围的空间。黄色子空间484内的位置所表示的颜色被人类感知为黄色。
在步骤S223中,红色相关度提取器402计算对应于像素颜色的在L*a*b*空间内的位置。在步骤S224中,红色相关度提取器402确定所计算的在L*a*b*空间内的位置是否落入对应于红色颜色名的红色子空间483中。具体而言,在步骤S224中,红色相关度提取器402确定像素的颜色是否为能被人类感知为红色的颜色。
如果在步骤S224中确定所计算的在L*a*b*空间内位置在对应于红色颜色名的红色子空间483内,则像素颜色为能被人类感知的颜色,处理前进至步骤S225。红色相关度提取器402将计数器加1,随后前进至步骤226。
如果在步骤S224中确定所计算的在L*a*b*空间中位置不在对应于红色颜色名的红色子空间483内,则像素的颜色不是被人类感知为红色的颜色。处理跳过步骤S225前进至步骤S226,即,不增加计数器。
在步骤S226中,红色相关度提取器402确定是否已经处理了原图像201中的所有像素。如果在步骤S226中确定没有处理完原图像201中的所有像素,则处理返回到步骤S222。输入颜色(即,原图像201中下一像素的像素值),随后重复上述处理。
如果在步骤S226中确定已经处理了原图像201中的所有像素,则处理前进至步骤S227。红色相关度提取器402将计数器的计数值除以原图像201的像素值。以这种方式,计算在原图像201中被确定为红色的颜色的比率。
在步骤S228中,红色相关度提取器402将除法结果视为红色相关度,并将红色相关度提供给提取特征记录器405,从而完成其处理。
已经讨论了L*a*b*空间的子空间。本发明不限于L*a*b*空间。可以采用使用空间来描述颜色名的颜色的颜色空间。使用这样的颜色空间,可基于颜色空间中的子空间来确定相关度。
在图37的相关度提取处理中,执行关于确定每个像素的颜色是否落入子空间内的二进制值确定处理。各个像素的颜色是否接近于子空间中心附近或是否接近于子空间的外围可用于确定相关度。
下面,描述在该情况下的相关度提取处理。
图43是详细示出当在步骤S203中识别出红色相关度提取器402时执行的图36的步骤S204中的另一相关度提取处理的流程图。在步骤S241中,红色相关度提取器402清除所存储的相关度。在将被第一次执行的步骤S242中,红色相关度提取器402接收颜色(即,原图像201的像素中的第一像素的像素值)。在步骤S243中,红色相关度提取器402计算对应于像素颜色的在颜色空间中的位置。
在步骤S244中,红色相关度提取器402计算所计算的在颜色空间中的位置落入对应于颜色名的子空间内的确信因子。具体来说,在步骤S244中,红色相关度提取器402计算所计算的在颜色空间中的位置落入对应于红色颜色名的子空间483内的确信因子。
确信因子为表示每个像素的颜色接近于子空间的中心附近或接近于子空间的外围的确定性程度,并随着所计算的位置向外远离子空间的中心而从1~0持续减小。
例如,在步骤S244中,当所计算的位置接近于红色子空间483的中心时,红色相关度提取器402得出确信因子接近于1,当所计算的位置接近于红色子空间483的外围时,得到确信因子接近于0。
在步骤S245中,红色相关度提取器402将确信因子与相关度相加。在步骤S246中,红色相关度提取器402确定当前的像素是否为最后的像素,即,是否已经处理了原图像201中的所有像素。如果在步骤S246中确定像素不是最后一个,则处理返回到步骤S242。输入颜色(即,原图像201中下一像素的像素值),并重复上述处理。
如果在步骤S246中确定当前像素为最后的像素,即,已经处理了原图像201中的所有像素,则红色相关度提取器402将红色相关度提供给提取特征记录器405,并完成其处理。
如果基于确信因子计算相关度,则所得的相关度更接近于人类感观。特别地,当图像包括大量更接近于子空间边界的颜色时,得出更可靠的相关度。
在参照图37描述的相关度提取处理的步骤S224中的处理为二进制分类处理,用于确定像素颜色是否为特定颜色名的颜色,可以用各种模式识别技术来代替。
下面,描述使用这种技术的相关度提取处理
图44是详细示出当在步骤S203中识别出红色相关度提取器402时在图36的步骤S204中执行的另一相关度提取处理的流程图。步骤S261和S262分别与图37的步骤S221和S222相同,此处省略对其的讨论。
在步骤S263中,红色相关度提取器402识别像素颜色的模式。
例如,在步骤S263中,红色相关度提取器402使用神经网络识别像素的颜色。例如,在由CORONA PUBLISHING CO.LTD出版的作者为Junichiro TORIWAKI的“Recognition Engineering-Pattern Recognition and Applications thereof”中描述了使用神经网络的模式识别技术。
在该模式识别中,预先人工收集表示具有特定颜色值(L*a*b*)的颜色是否为特定颜色名的颜色的多条确定数据,对所收集的确定数据执行神经网络学习处理,以生成识别所需的参数。
图45示出了表示颜色值是否为蓝色的确定数据的实例。在图45的确定数据中,通过L*值0.02、a*值0.04、b*值0.10识别的颜色不是蓝色,通过L*值0.72、a*值0.00、b*值0.12识别的颜色是蓝色,而通过L*值0.28、a*值-0.02、b*值0.15识别的颜色不是蓝色。
神经网络的使用允许根据这样生成的参数将像素的颜色确定为特定颜色名的颜色。
只要能够确定像素的颜色是否为特定颜色名的颜色,就可以采用任意模式识别技术。例如,可使用支持向量机(SVM)技术。
在步骤S264中,红色相关度提取器402确定关于像素的颜色是否属于红色的识别结果。如果在步骤S264中确定像素的颜色属于红色,则处理前进至步骤S265。红色相关度提取器402将计数器加1,随后前进至步骤S266。
如果在步骤S264中确定像素的颜色不属于红色,则处理跳过步骤S265前进至步骤S266,即,不增加计数器。
步骤S266~S268分别与步骤S226~S228相同,此处省略对其的讨论。
此外,可以使用模式识别技术来计算确信因子。
图46是详细示出当在步骤S203中识别出红色相关度提取器402时在图36的步骤S204中执行的相关度提取处理的流程图。步骤S281与图43的步骤S241相同,此处省略对其的讨论。步骤S282和S283分别与图44的步骤S262和S263相同,此处省略对其的讨论。
在步骤S284中,红色相关度提取器402计算像素的颜色属于一定颜色名的颜色的确信因子,作为识别结果。具体而言,在步骤S284中,红色相关度提取器402计算像素的颜色属于红色的确信因子作为识别结果。例如,可将输入到神经网络输出层的值作为确信因子。
步骤S285和步骤S286分别与图43的步骤S245和S246相同,此处省略对其的讨论。
除蓝色相关度提取器403和黄色相关度提取器404的操作和子空间不同之外,当在步骤S203中识别蓝色相关度提取器403时在图36的步骤S204中执行的相关度提取处理和当在步骤S203中识别黄色相关度提取器404时在图36的步骤S204中执行的相关度提取处理分别与当在步骤S203中识别红色相关度提取器402时在步骤S204中执行的相关度处理相同。其余处理与参照图37、43、44、以及46讨论的处理保持不变,此处省略对其的讨论。
图47是示出检索处理的流程图。在步骤S311中,检索条件输入单元421响应于来自通过用户操作的输入单元76的信号,获取与相关度相关的检索条件。检索条件输入单元421将与相关度相关的检索条件提供给条件匹配单元422。
如图48所示,在作为显示单元的输出单元77上显示图形用户界面(GUI)图像。如图48所示,由用户操作的滑动条491指定每种颜色的粒度(阈值)作为检索条件。当通过用户选中复选框492时,在步骤S311中获取对应于所选复选框492的由滑动条491指定的颜色名的粒度作为检索条件。
当选中黑色复选框492、红色复选框492、以及绿色复选框492时,在步骤S311中获取通过黑色滑动条491指定的黑色粒度、通过红色滑动条491指定的红色粒度、以及通过绿色滑动条491指定的绿色粒度作为检索条件。
当选择AND查找单选按钮493时,将通过滑动条491指定的颜色粒度的逻辑“与”设置为最终检索条件。当选择OR查找单选按钮494时,将通过滑动条491指定的颜色粒度的逻辑“或”设置为最终检索条件。
具体而言,在步骤S311中,检索条件输入单元421获取以针对多个颜色名的逻辑式所表示的检索条件,例如,(“红色”>0.5)AND(“蓝色”≥0.5)AND(“绿色”<0.1)。
用户可能希望检索蓝色天空的照片。于是,用户输入检索条件“蓝色”≥0.3。在步骤S311中,检索条件输入单元421获取检索条件“蓝色”≥0.3。
用户可能希望检索摘草莓的照片,并输入检索条件(“红色”>0.1)AND(“绿色”≥0.3)。在步骤S311中,检索条件输入单元421获取检索条件(“红色”>0.1)AND(“绿色”≥0.3)。
检索条件中颜色的颜色名不一定是通过相关度提取器所定义(预备)的颜色名。具体而言,检索条件中颜色的颜色名可以为所定义的颜色名的一部分或一个颜色名。
可以直接以数字输入颜色名,随后获取。
在步骤S312中,条件匹配单元422从提取特征存储器146获取将被检索的原图像201的颜色特征矢量。
在步骤S313中,条件匹配单元422确定所获取的颜色特征矢量是否满足检索条件。在步骤S313中,将获取的颜色特征矢量的元素中相对于所选中的复选框492的颜色名的元素与通过滑动条491指定的颜色名的粒度进行比较。如果颜色特征矢量的颜色名的元素高于所指定的粒度,则条件匹配单元422确定颜色特征矢量满足检索条件。
例如,颜色粒度的逻辑“与”可以为最终检索条件。如果颜色特征矢量的颜色名的元素高于在对应于所选中复选框492的颜色名的所有元素中的所指定的粒度,则条件匹配单元422在步骤S313中确定颜色特征矢量满足检索条件。例如,颜色粒度的逻辑“或”可以为最终检索条件。如果颜色特征矢量的颜色名的元素高于在对应于所选中复选框492的颜色名的任意元素中的所指定的粒度,则条件匹配单元422在步骤S313中确定颜色特征矢量满足检索条件。
如果在步骤S313中确定所获取的颜色特征矢量满足检索条件,则处理前进至步骤S314。条件匹配单元422额外将用于识别对应于在步骤S312中获取的颜色特征矢量的原图像201的内容ID存储至检索结果存储器147,随后,前进至步骤S315。
如果在步骤S313中确定所获取的颜色特征矢量不满足检索条件,则处理跳过步骤S314前进至步骤S315,即,不另外将内容ID存储在检索结果存储器147上。
在步骤S315中,检索条件输入单元421确定当前图像是否为最后的图像,即,是否已经完成了所有图像。如果在步骤S315中确定没有检索所有的图像,则处理返回到步骤S312。随后获取下一原图像201的颜色特征矢量,以重复上述处理。
如果在步骤S315中确定当前图像为最后的图像,即,已经检索了所有图像,则处理结束。
在上面的处理之后,在检索结果存储器147中存储识别满足检索条件的原图像201的内容ID。
图49A~图49D示出了存储在检索结果存储器147上并显示在作为显示单元的输出单元77上的通过内容ID识别的原图像201的实例。例如,绿色复选框492可能被选中,绿色滑动条491可以指定粒度。如图49A所示,在输出单元77上显示包括大量绿色的原图像201。可以通过在绿色滑动条491上指定的粒度来选中绿色复选框492,可以通过在红色滑动条491上指定的粒度来选中红色复选框492,并且可以选择AND查找单选按钮493。如图49B所示,在输出单元77上显示包括大量绿色和红色的原图像201。
可以通过在蓝色滑动条491上指定的粒度来选中蓝色复选框492。如图49C所示,在输出单元77上显示包括大量蓝色的原图像201。可以通过在蓝色滑动条491上指定的粒度来选中蓝色复选框492,可以通过在白色滑动条491上指定的粒度来选中白色复选框492,并且可以选择AND查找单选按钮493。在这种情况下,如图49C所示,在输出单元77上显示包括大量蓝色和白色的原图像201。
用户很容易估计在期望的图像中包括什么颜色。因此,用户能够容易地查找并检索期望的图像
根据检索结果,用户能够通过缩小了的检索条件(即,修改后的粒度)来检索图像。因此,用户能够更加容易地检索期望的图像。
因此,用户能够根据每个图像的颜色印象和环境直观地检索图像。
由于在图像收集上设置了多种检索条件,所以可以以任意粒度获取图像检索结果。
可以从图像中提取包括相关度的颜色特征矢量,使得可以根据与相关度大小比较的结果或逻辑计算来检索图像。因此,能够快速检索图像。
由于以相对较小位数的数值来描述相关度,因而减小了颜色特征矢量的数据大小。实现了颜色特征矢量的较小记录空间。
数码照相机11和手机12作为设备进行描述。只要设备能够处理图像就可以采用任何设备。例如,可以采用移动播放器或移动取景器作为设备。
通过所记录的图像的元数据,设备能够检索图像。设备拍摄图像,将与图像对应的信息和与该信息相关的图像记录为具有预定数据结构的数据,并控制图像向图像处理装置的传输。图像处理装置控制从设备传输的图像的接收,提取所接收图像的特征,将从图像中提取的特征和与特征相关的图像存储为与设备中的数据具有相同数据结构的数据,并控制图像特征向设备的传输。在这种配置中,即使具有相对较小处理能力的设备也能检索期望图像。
通过所记录的图像的元数据,设备能够检索图像。提取图像的特征,并将从图像提取的特征和与特征相关的图像存储为具有预定数据结构的数据。将与图像相关的信息存储为与设备中数据具有相同数据结构的数据。控制数据向设备的传输。在这种配置中,即使具有相对较小处理能力的设备也能够检索期望图像。
可以使用硬件或软件执行上面的系列处理步骤。如果使用软件执行上面的系列处理步骤,则可以在包含于硬件结构中的计算机中或执行多种处理的通用个人计算机中安装构成该软件的计算机程序。
如图2和图3所示,记录将被安装在计算机中并将被计算机执行的程序的记录介质包括:包括磁盘(包括软盘)、光盘(包括压缩光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、及磁光盘)、或半导体存储器的可移动介质82、以及诸如用于临时或永久存储程序的存储单元78的ROM 72、EEPROM 46、或硬盘。可以使用包括通信单元47、通信单元48、通信单元79、以及通信单元80(例如包括路由器和调制解调器的接口)的有线或无线通信介质、以及局域网、互联网、和数字广播卫星来执行在记录介质上存储程序。
可以以如上所述相同的时序顺序来执行描述将被存储在记录介质上的程序的处理步骤。也可以不以所述时序顺序来执行处理步骤。可选地,可以并行或独立地执行处理步骤。
在本说明书的上下文中,系统指的是包括多个装置的整个系统。
本领域的技术人员应该理解,根据设计要求和其他因素,可以有多种修改、组合、再组合和改进,均应包含在本发明的权利要求或等同物的范围之内。
Claims (12)
1.一种包括用于拍摄图像的成像设备和用于处理所述图像的图像处理装置的图像处理系统,
所述成像设备包括:
成像装置,用于拍摄所述图像;
第一记录装置,用于将与所述图像相关的信息记录为具有预定数据结构的数据,所述信息与所述图像相关联;以及
第一传输控制装置,用于控制所述图像向所述图像处理装置的传输;以及
所述图像处理装置包括:
接收控制装置,用于控制从所述成像设备传输的所述图像的接收;
特征提取装置,用于提取所接收图像的特征;
第二记录装置,用于将从所述图像提取的所述特征记录为具有与所述成像设备中的所述数据结构相同结构的数据,所述特征与所述图像相关联;以及
第二传输控制装置,用于控制所述特征向所述成像设备的传输。
2.一种图像处理装置,包括:
特征提取装置,用于提取图像的特征;
第一记录装置,用于将从所述图像提取的所述特征记录为具有预定结构的数据,所述特征与所述图像相关联;以及
传输控制装置,用于控制所述特征向设备的传输,所述设备将与所述图像相关的信息记录为具有与所述预定结构相同结构的数据。
3.根据权利要求2所述的图像处理装置,还包括接收控制装置,用于控制从所述设备传输的所述图像的接收。
4.根据权利要求2所述的图像处理装置,还包括用于记录所述图像的第二记录装置。
5.根据权利要求4所述的图像处理装置,还包括检索装置,用于根据被记录为具有所述结构的数据的所述特征来检索所记录的图像。
6.根据权利要求5所述的图像处理装置,还包括用于显示所检索出的图像的显示装置。
7.根据权利要求2所述的图像处理装置,其中,所述第一记录装置包括数据库。
8.根据权利要求2所述的图像处理装置,其中,所述特征提取装置提取所述特征作为与包含在所述图像中的面部图像相关的信息。
9.根据权利要求8所述的图像处理装置,其中,所述特征提取装置提取包括所述图像中包含的面部图像的数目、所述面部图像的位置、所述面部图像的尺寸、以及所述面部图像面向的方向的所述特征中的至少一个。
10.根据权利要求2所述的图像处理装置,其中,所述特征提取装置提取表示按照表示所述图像的颜色中的特定颜色而分类的像素的数目的特征。
11.根据权利要求2所述的图像处理装置,其中,所述特征提取装置提取用于计算任意两个图像的特征之间的相似程度的特征。
12.一种图像处理方法,包括以下步骤:
提取图像的特征;
将从所述图像提取的所述特征记录为具有预定结构的数据,所述特征与所述图像相关联;以及
控制所述特征向设备的传输,所述设备将与所述图像相关的信息记录为具有与所述预定结构相同结构的数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006024185 | 2006-02-01 | ||
JP2006024185A JP5170961B2 (ja) | 2006-02-01 | 2006-02-01 | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101013432A CN101013432A (zh) | 2007-08-08 |
CN100456305C true CN100456305C (zh) | 2009-01-28 |
Family
ID=37884816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007100075385A Expired - Fee Related CN100456305C (zh) | 2006-02-01 | 2007-02-01 | 图像处理系统、装置和方法 |
Country Status (6)
Country | Link |
---|---|
US (8) | US7884847B2 (zh) |
EP (2) | EP3358479A1 (zh) |
JP (1) | JP5170961B2 (zh) |
KR (1) | KR101346730B1 (zh) |
CN (1) | CN100456305C (zh) |
TW (1) | TWI338265B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103959047A (zh) * | 2012-09-14 | 2014-07-30 | 株式会社理光 | 图像检验装置、图像检验系统和图像检验方法 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4891144B2 (ja) * | 2007-05-08 | 2012-03-07 | キヤノン株式会社 | 画像検索装置及び画像検索方法 |
GB2449125A (en) * | 2007-05-11 | 2008-11-12 | Sony Uk Ltd | Metadata with degree of trust indication |
JP4680273B2 (ja) * | 2008-02-05 | 2011-05-11 | 京セラ株式会社 | 表示機能付き端末 |
JP2009217742A (ja) * | 2008-03-12 | 2009-09-24 | Fujifilm Corp | メタデータ付与方法及び装置、並びにメタデータ付与プログラム |
JP4934104B2 (ja) | 2008-06-06 | 2012-05-16 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
TW200952486A (en) * | 2008-06-13 | 2009-12-16 | Ind Tech Res Inst | Video surveillance system, module and method for annotation and de-annotation thereof |
JP5354981B2 (ja) * | 2008-07-14 | 2013-11-27 | キヤノン株式会社 | 文書管理装置、文書管理方法及びプログラム |
JP5104709B2 (ja) * | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
US8391615B2 (en) * | 2008-12-02 | 2013-03-05 | Intel Corporation | Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device |
JP5104743B2 (ja) * | 2008-12-16 | 2012-12-19 | 富士通株式会社 | 画像検索プログラム、画像検索方法及び記録媒体 |
US8365081B1 (en) * | 2009-05-28 | 2013-01-29 | Amazon Technologies, Inc. | Embedding metadata within content |
US9400808B2 (en) * | 2009-10-16 | 2016-07-26 | Nec Corporation | Color description analysis device, color description analysis method, and color description analysis program |
JP5740972B2 (ja) * | 2010-09-30 | 2015-07-01 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP5733952B2 (ja) * | 2010-11-04 | 2015-06-10 | キヤノン株式会社 | 撮像装置、撮像システム、及び撮像装置の制御方法 |
KR101733246B1 (ko) * | 2010-11-10 | 2017-05-08 | 삼성전자주식회사 | 얼굴 포즈를 이용한 화상 통화를 위한 화면 구성 장치 및 방법 |
JP5249369B2 (ja) * | 2011-02-02 | 2013-07-31 | 京セラ株式会社 | 表示機能付き端末 |
US8854383B2 (en) | 2011-04-13 | 2014-10-07 | Qualcomm Incorporated | Pixel value compaction for graphics processing |
JP2013003631A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
US8935259B2 (en) | 2011-06-20 | 2015-01-13 | Google Inc | Text suggestions for images |
US9569078B2 (en) | 2012-03-06 | 2017-02-14 | Apple Inc. | User interface tools for cropping and straightening image |
US20130239051A1 (en) | 2012-03-06 | 2013-09-12 | Apple Inc. | Non-destructive editing for a media editing application |
US9131192B2 (en) | 2012-03-06 | 2015-09-08 | Apple Inc. | Unified slider control for modifying multiple image properties |
KR101952260B1 (ko) * | 2012-04-03 | 2019-02-26 | 삼성전자주식회사 | 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법 |
US9582843B2 (en) * | 2012-08-20 | 2017-02-28 | Tautachrome, Inc. | Authentication and validation of smartphone imagery |
US9244694B2 (en) | 2012-12-27 | 2016-01-26 | Intel Corporation | Executing a command within a transport mechanism based on a get and set architecture |
US9235260B2 (en) * | 2012-12-27 | 2016-01-12 | Intel Corporation | Camera command set host command translation |
US9686460B2 (en) | 2012-12-27 | 2017-06-20 | Intel Corporation | Enabling a metadata storage subsystem |
WO2015014392A1 (en) * | 2013-07-30 | 2015-02-05 | Hewlett-Packard Development Company L.P. | Analysing image content |
JP6092049B2 (ja) * | 2013-08-28 | 2017-03-08 | 東芝ライフスタイル株式会社 | 撮像システム及び撮像装置 |
US9607014B2 (en) * | 2013-10-31 | 2017-03-28 | Adobe Systems Incorporated | Image tagging |
TWI532361B (zh) | 2013-12-27 | 2016-05-01 | 國立臺灣科技大學 | 自動尋景拍攝方法及其系統 |
USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
USD781318S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
US9972121B2 (en) | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
US10049477B1 (en) | 2014-06-27 | 2018-08-14 | Google Llc | Computer-assisted text and visual styling for images |
USD798309S1 (en) | 2014-07-16 | 2017-09-26 | Life Technologies Corporation | Cell counter display screen with graphical user interface |
JP6376873B2 (ja) * | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US20180239782A1 (en) * | 2015-03-02 | 2018-08-23 | Nec Corporation | Image processing system, image processing method, and program storage medium |
US9563957B1 (en) * | 2015-07-02 | 2017-02-07 | Yesvideo, Inc. | 2D/3D image scanning and compositing |
US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US10397415B1 (en) | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US20190047488A1 (en) * | 2017-08-10 | 2019-02-14 | Gentex Corporation | Low cost camera |
CN110087084B (zh) * | 2018-01-25 | 2022-03-18 | 联咏科技股份有限公司 | 视频处理装置及视频处理方法 |
WO2019205069A1 (en) * | 2018-04-27 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating 3d model of building |
CN109344273B (zh) * | 2018-07-25 | 2021-06-15 | 中兴通讯股份有限公司 | 一种壁纸管理的方法、装置和移动终端 |
CN110457998B (zh) * | 2019-06-27 | 2020-07-28 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
US11250266B2 (en) * | 2019-08-09 | 2022-02-15 | Clearview Ai, Inc. | Methods for providing information about a person based on facial recognition |
JP7468061B2 (ja) * | 2020-03-27 | 2024-04-16 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置、画像処理システムおよびプログラム |
USD983813S1 (en) | 2020-11-12 | 2023-04-18 | Life Technologies Corporation | Cell counter display screen with graphical user interface |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040008258A1 (en) * | 2002-07-10 | 2004-01-15 | Aas Eric F. | Face recognition in a digital imaging system accessing a database of people |
JP2004348563A (ja) * | 2003-05-23 | 2004-12-09 | Dds:Kk | 顔画像照合装置、携帯端末装置、顔画像照合方法及び顔画像照合プログラム |
JP2005100090A (ja) * | 2003-09-25 | 2005-04-14 | Konica Minolta Holdings Inc | 画像データ検索方法及び画像データ検索装置 |
CN1710925A (zh) * | 2004-06-18 | 2005-12-21 | 乐金电子(中国)研究开发中心有限公司 | 一种利用手机上设置的摄像头确认身份的装置及方法 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5023725A (en) * | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
JPH0793369A (ja) | 1993-09-24 | 1995-04-07 | Shisutegureitaazu Kk | 画像データの通信システム |
US6441854B2 (en) * | 1997-02-20 | 2002-08-27 | Eastman Kodak Company | Electronic camera with quick review of last captured image |
JPH1173488A (ja) * | 1997-08-29 | 1999-03-16 | Fuji Photo Film Co Ltd | 画像印刷システムおよび画像印刷方法 |
US6035055A (en) | 1997-11-03 | 2000-03-07 | Hewlett-Packard Company | Digital image management system in a distributed data access network system |
US6535243B1 (en) * | 1998-01-06 | 2003-03-18 | Hewlett- Packard Company | Wireless hand-held digital camera |
US6240423B1 (en) * | 1998-04-22 | 2001-05-29 | Nec Usa Inc. | Method and system for image querying using region based and boundary based image matching |
JP2000076275A (ja) | 1998-08-31 | 2000-03-14 | Canon Inc | 画像記憶方法および装置および記憶媒体 |
JP4144961B2 (ja) * | 1999-01-14 | 2008-09-03 | 富士フイルム株式会社 | 画像データ通信システム,サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体 |
US6577249B1 (en) * | 1999-10-19 | 2003-06-10 | Olympus Optical Co., Ltd. | Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method |
US7542070B2 (en) * | 2000-01-17 | 2009-06-02 | Fujifilm Corporation | Image processing apparatus, and photographing system for receiving and creating processing information |
JP2001309102A (ja) | 2000-04-19 | 2001-11-02 | Sony Corp | 通信方法およびその装置と提供媒体 |
JP2002175538A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 |
US8620110B2 (en) | 2000-12-15 | 2013-12-31 | Comcast Cable Holdings, Llc | Method and system for distributing digital images |
JP2002189724A (ja) | 2000-12-20 | 2002-07-05 | Victor Co Of Japan Ltd | 画像データ検索装置 |
JP2002366558A (ja) | 2001-06-11 | 2002-12-20 | Shiro Saito | コミュニケーションツール提供システム及び方法及びプログラム |
US7369160B2 (en) * | 2001-06-15 | 2008-05-06 | Yokogawa Electric Corporation | Camera system for transferring both image data and an image processing program to transfer the image data to an external device |
JP2002374481A (ja) * | 2001-06-18 | 2002-12-26 | Matsushita Electric Ind Co Ltd | ファイル名設定システム |
US7154535B2 (en) * | 2001-07-13 | 2006-12-26 | Matsushita Electric Industrial Co., Ltd. | Digital camera capable of directly accessing images recorded on another digital camera |
JP2003030243A (ja) | 2001-07-16 | 2003-01-31 | Canon Inc | 画像配信システム及び情報処理装置及びそれらの方法 |
JP4088060B2 (ja) * | 2001-10-31 | 2008-05-21 | 株式会社東芝 | 人物監視システム |
JP3984029B2 (ja) | 2001-11-12 | 2007-09-26 | オリンパス株式会社 | 画像処理装置およびプログラム |
JP2003204541A (ja) | 2001-12-28 | 2003-07-18 | Nippon Signal Co Ltd:The | 映像処理方法及び映像処理装置 |
JP3873793B2 (ja) * | 2002-03-29 | 2007-01-24 | 日本電気株式会社 | 顔メタデータ生成方法および顔メタデータ生成装置 |
JP2003337817A (ja) | 2002-05-20 | 2003-11-28 | Recruit Co Ltd | コンテンツ提示方法 |
JP2004005314A (ja) | 2002-06-03 | 2004-01-08 | Matsushita Electric Ind Co Ltd | データ検索システム及び、それに関する、装置または方法または記録媒体またはプログラム |
JP4292837B2 (ja) * | 2002-07-16 | 2009-07-08 | 日本電気株式会社 | パターン特徴抽出方法及びその装置 |
KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
JP2004266761A (ja) * | 2003-03-04 | 2004-09-24 | Canon Inc | 撮像装置 |
EP1669890A4 (en) | 2003-09-26 | 2007-04-04 | Nikon Corp | METHOD, DEVICE AND SYSTEM FOR CUMULATING ELECTRONIC IMAGES |
US20070183618A1 (en) * | 2004-02-10 | 2007-08-09 | Masamitsu Ishii | Moving object equipped with ultra-directional speaker |
US7515180B2 (en) * | 2004-03-12 | 2009-04-07 | Olympus Corporation | Shooting apparatus and servers, systems and methods for managing images shot by the shooting apparatus |
JP2005293020A (ja) * | 2004-03-31 | 2005-10-20 | Fujitsu Ltd | 移動物体の映像データ検索方法、移動物体の撮影・検出装置、移動物体の映像データ検索装置 |
JP4507679B2 (ja) * | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
JP2005321986A (ja) * | 2004-05-07 | 2005-11-17 | Pioneer Electronic Corp | ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム |
JP2005354134A (ja) | 2004-06-08 | 2005-12-22 | Sony Corp | 画像管理方法および装置、記録媒体、並びにプログラム |
US7333963B2 (en) * | 2004-10-07 | 2008-02-19 | Bernard Widrow | Cognitive memory and auto-associative neural network based search engine for computer and network located images and photographs |
US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US7831111B2 (en) * | 2005-10-31 | 2010-11-09 | Yahoo! Inc. | Method and mechanism for retrieving images |
US8208764B2 (en) * | 2006-01-21 | 2012-06-26 | Elizabeth Guckenberger | Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine |
JP4541316B2 (ja) * | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | 映像監視検索システム |
US20080126426A1 (en) * | 2006-10-31 | 2008-05-29 | Alphan Manas | Adaptive voice-feature-enhanced matchmaking method and system |
US8732161B2 (en) * | 2007-04-27 | 2014-05-20 | The Regents Of The University Of California | Event based organization and access of digital photos |
US9703782B2 (en) * | 2010-05-28 | 2017-07-11 | Microsoft Technology Licensing, Llc | Associating media with metadata of near-duplicates |
-
2006
- 2006-02-01 JP JP2006024185A patent/JP5170961B2/ja not_active Expired - Fee Related
-
2007
- 2007-01-25 TW TW096102776A patent/TWI338265B/zh not_active IP Right Cessation
- 2007-01-26 EP EP18164324.8A patent/EP3358479A1/en not_active Withdrawn
- 2007-01-26 EP EP07001738A patent/EP1816575A1/en not_active Ceased
- 2007-01-31 US US11/700,736 patent/US7884847B2/en not_active Expired - Fee Related
- 2007-02-01 CN CNB2007100075385A patent/CN100456305C/zh not_active Expired - Fee Related
- 2007-02-01 KR KR1020070010757A patent/KR101346730B1/ko active IP Right Grant
-
2010
- 2010-12-23 US US12/977,835 patent/US9047287B2/en not_active Expired - Fee Related
-
2015
- 2015-04-24 US US14/695,422 patent/US9710490B2/en active Active
-
2016
- 2016-12-06 US US15/370,237 patent/US9805064B2/en active Active
-
2017
- 2017-09-15 US US15/705,673 patent/US9965493B2/en active Active
-
2018
- 2018-04-03 US US15/944,124 patent/US10289698B2/en active Active
-
2019
- 2019-03-08 US US16/296,409 patent/US10579669B2/en active Active
-
2020
- 2020-01-13 US US16/740,964 patent/US11281712B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040008258A1 (en) * | 2002-07-10 | 2004-01-15 | Aas Eric F. | Face recognition in a digital imaging system accessing a database of people |
JP2004348563A (ja) * | 2003-05-23 | 2004-12-09 | Dds:Kk | 顔画像照合装置、携帯端末装置、顔画像照合方法及び顔画像照合プログラム |
JP2005100090A (ja) * | 2003-09-25 | 2005-04-14 | Konica Minolta Holdings Inc | 画像データ検索方法及び画像データ検索装置 |
CN1710925A (zh) * | 2004-06-18 | 2005-12-21 | 乐金电子(中国)研究开发中心有限公司 | 一种利用手机上设置的摄像头确认身份的装置及方法 |
Non-Patent Citations (2)
Title |
---|
Mobile multimedia library: An MPEG-7applicationwithcamera-equipped mobile phones. OAMI RYOMA ET AL.Proc. Of SPIE,Vol.5909 . 2005 |
Mobile multimedia library: An MPEG-7applicationwithcamera-equipped mobile phones. OAMI RYOMA ET AL.Proc. Of SPIE,Vol.5909 . 2005 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103959047A (zh) * | 2012-09-14 | 2014-07-30 | 株式会社理光 | 图像检验装置、图像检验系统和图像检验方法 |
US9767546B2 (en) | 2012-09-14 | 2017-09-19 | Ricoh Company, Limited | Image inspection apparatus, image inspection system and image inspection method |
Also Published As
Publication number | Publication date |
---|---|
US9710490B2 (en) | 2017-07-18 |
US11281712B2 (en) | 2022-03-22 |
US20200151210A1 (en) | 2020-05-14 |
US10289698B2 (en) | 2019-05-14 |
KR20070079331A (ko) | 2007-08-06 |
US9805064B2 (en) | 2017-10-31 |
US20180225308A1 (en) | 2018-08-09 |
US20110134257A1 (en) | 2011-06-09 |
US7884847B2 (en) | 2011-02-08 |
US10579669B2 (en) | 2020-03-03 |
CN101013432A (zh) | 2007-08-08 |
EP1816575A1 (en) | 2007-08-08 |
TW200805200A (en) | 2008-01-16 |
JP5170961B2 (ja) | 2013-03-27 |
KR101346730B1 (ko) | 2014-01-02 |
US20070216773A1 (en) | 2007-09-20 |
JP2007206918A (ja) | 2007-08-16 |
US20170083543A1 (en) | 2017-03-23 |
US20150234861A1 (en) | 2015-08-20 |
US20180004773A1 (en) | 2018-01-04 |
US20190205335A1 (en) | 2019-07-04 |
TWI338265B (en) | 2011-03-01 |
EP3358479A1 (en) | 2018-08-08 |
US9965493B2 (en) | 2018-05-08 |
US9047287B2 (en) | 2015-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100456305C (zh) | 图像处理系统、装置和方法 | |
CN100517328C (zh) | 显示控制装置和方法 | |
CN101013434A (zh) | 图像处理系统、装置、方法、程序及其记录介质 | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
US20060015496A1 (en) | Process-response statistical modeling of a visual image for use in determining similarity between visual images | |
US20060015495A1 (en) | Use of image similarity in image searching via a network of computational apparatus | |
CN102132318A (zh) | 图像收藏集的可缩放的相关性排序表示的自动创建 | |
JP2004508756A (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
JP6109118B2 (ja) | 画像処理装置および方法、情報処理装置および方法、並びにプログラム | |
Mumar | Image retrieval using SURF features | |
Ventura Royo | Image-based query by example using mpeg-7 visual descriptors | |
JP2013061974A (ja) | 画像処理装置および方法、情報処理装置および方法、プログラム、並びに画像処理システム | |
Lim et al. | Using dual cascading learning frameworks for image indexing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090128 |