CN101795357A - 成像设备、检索方法和程序 - Google Patents

成像设备、检索方法和程序 Download PDF

Info

Publication number
CN101795357A
CN101795357A CN201010106263A CN201010106263A CN101795357A CN 101795357 A CN101795357 A CN 101795357A CN 201010106263 A CN201010106263 A CN 201010106263A CN 201010106263 A CN201010106263 A CN 201010106263A CN 101795357 A CN101795357 A CN 101795357A
Authority
CN
China
Prior art keywords
image
retrieval
unit
characteristic quantity
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010106263A
Other languages
English (en)
Inventor
兼清由纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101795357A publication Critical patent/CN101795357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747Remote storage of video programs received via the downstream path, e.g. from the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device

Abstract

一种成像设备、检索方法和程序,包括图像获取机构,配置成通过对目标成像而获取图像以输出已获取图像;已获取图像特征量提取机构,配置成提取由图像获取机构获取的已获取图像的特征量;以及检索装置,配置成使用由已获取图像特征量提取机构提取的特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。

Description

成像设备、检索方法和程序
技术领域
本发明涉及成像设备、检索方法和程序,并且更特别地涉及能够更加容易地检索期望的图像的成像设备、检索方法和程序。
背景技术
近年来,诸如数码相机或便携式摄像机的电子装置(成像设备)已经普及,这些电子装置在成像元件的帮助下使目标成像以获取目标图像。这样的成像设备通常装配有诸如硬盘、半导体存储器或磁带装置的大容量存储介质,配置成能够安装诸如光盘或存储卡的可拆卸介质(便携的存储介质),或连接到外部记录装置。成像设备通过对目标成像而将目标图像(获取的图像)转换成电子数据,并将图像数据存储在这样的存储介质中。
随着存储介质具有更大容量和更高记录密度的趋势,已经可能购买具有大容量和小尺寸的便宜存储介质。另外,市场上已经开始出现了能够将数百或数千张图像的图像数据(获取的图像)存储在存储介质中的成像设备。
这样存储的图像数据转移到个人计算机,并例如由用户编辑、打印或经由电子邮件分发。图像数据还显示在提供给成像设备的诸如LCD(液晶显示器)的显示单元上。例如,成像设备通常具有成像模式和查看模式,在成像模式中,执行对目标成像的处理以生成获取图像的图像数据,在查看模式中,执行允许用户浏览在过去已经生成的图像数据的处理。在这样的成像设备中,当用户选择查看模式时,成像设备允许用户在存储于存储介质内的图像数据中选择期望的数据,并将由用户选择的图像数据显示在显示单元上。
例如,存在一种公知的方法,其中成像设备显示一栏由用户选择的存储于存储介质中的图像数据的缩略图像(例如,参见日本未审查专利申请公开No.2006-011606(相应于美国专利申请公开No.2006-165380A1))。当用户在栏中选择期望的缩略图像时,成像设备从存储介质中读取与选择的缩略图像相应的图像数据,并将图像显示在显示单元上。
发明内容
然而,当成像设备具有大容量存储介质时,用户可能不得不从大量的图像数据中选择期望的图像。另外,当成像设备将图像数据转移到服务器等以在数据库中记录时,用户可能不得不从更加多的大量图像中选择期望的图像。在此情况下,对于如日本未审查专利申请公开No.2006-011606(相应于美国专利申请公开No.2006-165380A1)中所公开的呈现一栏缩略图像的方法,可能难于使得用户没有困难地选择期望的图像。
因此,期望的是使得期望的图像能够从大量的图像中更加容易地检索出来。
根据本发明第一实施例的成像设备包括:图像获取装置,用于通过对目标成像而获取图像以输出已获取图像;已获取图像特征量提取装置,用于提取由图像获取装置获取的已获取图像的特征量;以及检索装置,用于使用由已获取图像特征量提取装置提取的特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
检索装置可包括检索目标图像获取装置,用于获取其它图像作为检索目标图像;检索目标图像特征量获取装置,用于提取由检索目标图像获取装置获取的检索目标图像的特征量;以及比较装置,用于比较已获取图像的特征量与检索目标图像的特征量。
成像设备还可包括用于接收用户指令的接收装置,并且图像获取装置可根据用户的指令而对目标成像。
成像设备还可包括用于分析已获取图像的图像分析装置,并且图像获取装置可根据图像分析装置的分析结果而对目标成像。
成像设备还可包括区域指定装置,用于指定比较特征量的局部区域,并且检索装置可使用局部区域内的特征量,从其它图像中检索局部区域内其特征与已获取图像的特征相同或相似的图像。
成像设备还可包括用于接收用户的指令的接收装置,并且区域指定装置可基于由已获取图像特征量提取装置提取的特征量,设置具有预定特征的区域作为用于局部区域的候选者,并将通过用户的指令从候选者中选择的区域指定为局部区域。
区域指定装置可基于由已获取图像特征量提取装置提取的特征量,指定具有预定特征的局部区域。
成像设备还可包括用于接收用户指令的接收装置,并且区域指定装置可将通过用户指令指派的区域指定为局部区域。
成像设备还可包括结果显示装置,用于显示通过检索装置的检索结果。
成像设备还可包括再检索装置,用于使用其它特征量,从由检索装置检索的图像中检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第一实施例的检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;以及使用特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第一实施例的致使计算机执行检索方法的程序,该检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;以及使用特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第二实施例的成像设备包括:图像获取装置,用于通过对目标成像而获取图像以输出已获取图像;提取装置,用于提取由图像获取装置获取的已获取图像的特征量;提供装置,用于将提取装置提取的特征量提供给另一设备;以及获取装置,用于获取关于其特征与已获取图像的特征相同或相似的图像的检索结果,该检索由使用提供装置提供的特征量的其它设备执行。
根据本发明第二实施例的检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;将提取的特征量提供给另一设备;以及获取关于其特征与已获取图像的特征相同或相似的图像的检索结果,该检索由使用特征量的其它设备执行。
根据本发明第二实施例的致使计算机执行检索方法的程序,该检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;将提取的特征量提供给另一设备;以及获取关于其特征与已获取图像的特征相同或相似的图像的检索结果,该检索由使用特征量的其它设备执行。
根据本发明第三实施例的成像设备包括:第一图像获取装置,用于通过对目标成像而获取图像以输出已获取图像;提取装置,用于提取由第一图像获取装置获取的已获取图像的特征量;第二图像获取装置,用于获取存储在另一设备中的图像数据的图像作为检索目标图像;以及检索装置,用于使用由提取装置提取的特征量,从由第二图像获取装置获取的图像数据的图像中,检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第三实施例的检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;获取存储在另一设备中的图像数据的图像作为检索目标图像;使用提取的特征量,从图像数据的已获取图像中,检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第三实施例的致使计算机执行检索方法的程序,该检索方法包括步骤:通过对目标成像而获取图像以输出已获取图像;提取已获取图像的特征量;获取存储在另一设备中的图像数据的图像作为检索目标图像;使用提取的特征量,从图像数据的已获取图像中,检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第一实施例,图像通过对目标成像而获取,以输出已获取图像,已获取图像的特征量被提取,并且使用提取的特征量,从除了已获取图像之外的图像数据的其它图像中,检索其特征与已获取图像的特征相同或相似的图像。
根据本发明第二实施例,图像通过对目标成像而获取,以输出已获取图像,已获取图像的特征量被提取,该提取的特征量提供给另一设备,并且获取关于其特征与已获取图像的特征相同或相似的图像的检索结果,该检索由使用特征量的设备执行。
根据本发明第三实施例,图像通过对目标成像而获取,以输出已获取图像,已获取图像的特征量被提取,获取存储在另一设备中的图像数据的图像作为检索目标图像,并且使用提取的特征量,从图像数据的已获取图像中,检索其特征与已获取图像的特征相同或相似的图像。
根据本发明的实施例,可能处理信息。特别地,可能更加容易地检索期望的图像。
附图说明
图1是示出根据本发明实施例的成像设备的概述的示意图。
图2是示出根据本发明实施例的成像设备的主要构造的例子的框图。
图3是示出示例性模式构造的示意图。
图4是示出成像检索单元的主要构造的例子的框图。
图5是示出选择检索单元的主要构造的例子的框图。
图6是示出模式选择处理的流程图。
图7是示出成像检索处理的流程图。
图8是示出选择检索处理的流程图。
图9A至9C是示出显示检索结果的方法的示意图。
图10A至10C是示出显示检索结果的方法的示意图。
图11A至11C是示出显示检索结果的方法的示意图。
图12A至12C是示出显示检索结果的方法的示意图。
图13是示出成像检索单元的构造的修改例子的框图。
图14是示出成像检索处理的流程图。
图15是示出成像检索处理的流程图。
图16A至16C是示出指定区域的方法的示意图。
图17是示出成像检索处理的流程图。
图18是示出成像检索处理的流程图。
图19A至19C是示出显示检索结果的方法的示意图。
图20是示出成像检索处理的流程图。
图21是示出根据本发明实施例的图像检索系统的概述的示意图。
图22是示出每个设备的主要构造的例子的框图。
图23是示出图像检索处理的流程图。
图24是示出每个设备的构造的修改例子的框图。
图25是示出图像检索处理的流程图。
图26是示出根据另一实施例的每个设备的主要构造的框图。
图27是示出每个设备的构造的修改例子的框图。
图28是示出图像检索处理的流程图。
具体实施方式
在下文中,将描述用于实施本发明的模式(下文中称为实施例)。该描述将以下列次序给出:
1、第一实施例(成像检索:成像设备内的图像检索);
2、第二实施例(成像检索:网络上的图像检索);和
3、第三实施例(成像检索:网络上的基于服务器的图像检索)。
1、第一实施例
成像设备的概述
图1是示出根据本发明实施例的成像设备的概述的示意图。
成像设备100通过对目标11成像而获取图像以输出已获取图像,将目标图像(已获取图像)转换成电子数据,并将因此获得的图像数据存储在结合于此的存储介质中。成像设备100是诸如数码相机或便携式摄像机的电子设备。在图1中,图像31至33表示生成的且存储在存储介质中的图像数据的图像。
成像设备100包括诸如LCD(液晶显示器)的显示装置(显示单元)。在查看模式中,成像设备100允许用户从存储在存储介质内的图像数据的图像(图像31至33)中选择期望的图像,并将选择的图像显示在显示单元上。
成像设备100具有使用关键图像从存储在存储介质内的图像数据的图像中检索图像的功能,经检索的图像与关键图像相同或相似。尽管关键图像可从存储在存储介质内的图像数据的图像中选择,但是成像设备100可使用通过成像新获取的图像21作为关键图像。
例如,当用户操作成像设备100以对目标11进行成像时,成像设备100使用已获取图像21作为关键图像,并从图像31至33中检索具有与关键图像的特征相同或相似特征的图像。于是,成像设备100在显示单元上显示经检索的图像(具有与关键图像的特征相同或相似特征的图像)作为检索结果。
在图1的例子的情况下,图像31具有与用作关键图像的已获取图像21相类似的特征。因此,成像设备100将图像31显示在显示单元上作为检索结果。
以此方式,通过使用关键图像的特征执行图像检索,成像设备100能够更加容易地检索用户的期望的图像。
图2是示出根据本发明实施例的成像设备100的主要构造的例子的框图。
如图2所示,成像设备100包括:控制单元111、光学单元121、成像单元122、图像处理单元123、存储单元124、显示单元125、输入单元131、输出单元132、通信单元133和驱动器134。
光学单元121包括光学元件,例如透镜、光圈和机械快门,并且调整焦点位置和曝光。在成像模式中,光学单元121允许从成像设备100的外部入射的光通过,以提供给成像单元122。成像单元122包括光电元件,例如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。成像单元122在光电元件的帮助下,将经由光学单元121提供的入射光(已获取图像)转换成电子数据,因此生成已获取图像的图像数据。成像单元122将生成的图像数据提供给图像处理单元123。
图像处理单元123执行关于从成像单元122提供的图像数据的预定图像处理,以执行诸如图像质量调整或图像大小控制的处理。图像处理单元123例如将经处理的图像数据提供给存储单元124以存储在其中。另外,图像处理单元123例如将经处理的图像数据提供给显示单元125以在其上显示。另外,图像处理单元123例如将经处理的图像数据提供给控制单元111,以用于在控制单元111中执行的处理。
存储单元124是存储图像数据的存储介质,并在其内存储从图像处理单元123或控制单元111提供的图像数据。另外,根据需要存储单元124将存储在其内的图像数据提供给控制单元111等。存储单元124包括任意类型的存储介质,例如磁记录介质(例如,软盘、磁带装置和硬盘)、光盘(例如,CD(光盘)和DVD(数字化视频光盘))和半导体存储器(例如,闪盘、SRAM(静态随机存取存储器)、DRAM(动态随机存取存储器))。
应该注意,存储介质可以是从存储单元124可拆卸的可拆卸存储介质,例如CD或DVD。在这样的情况下,存储单元124配置成包括可拆卸存储介质和可拆卸介质安装其上的驱动器。驱动器是能够从安装在其上的可拆卸介质读取信息和将信息写入到可拆卸介质中的装置。
存储单元124不限于任何特别类型,只要它能够存储图像数据,并且存储单元124可将信息存储到不同于已描述装置的其它装置。
显示单元125显示从图像处理单元123或控制单元111提供的图像数据的图像和GUI(图形用户界面)。显示单元125包括任意类型的显示器,例如LCD、PDP(等离子显示面板)、有机EL(电致发光)显示器或CRT(阴极射线管)显示器。显示单元125不限于任何特别类型,只要它能够显示图像,并且显示单元125可显示关于不同于已描述装置的其它装置的信息。另外,例如,用于接收用户的指令等的透明触摸面板可嵌入到显示单元125的显示表面上。
控制单元111包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等,并执行用于控制成像设备100的操作的各种处理。控制单元111将CPU从ROM读取的程序或数据载入到RAM中,并执行程序或数据,因此实现成像设备100的各种功能。例如,控制单元111包括功能模块,这些功能模块包括模式选择单元151、成像控制单元152和图像查看控制单元153。这些功能模块在控制单元111执行程序时实现。
载入到RAM中的程序或数据可从存储单元124中读取,并可从安装在驱动器134上的可拆卸介质141中读取。
模式选择单元151选择成像设备100的操作模式。如下文将描述,成像设备100具有多个操作模式,例如成像模式和查看模式,并取决于操作模式而改变将执行的处理(将实现的功能)。
成像控制单元152执行用于实现成像模式的功能的处理,例如,对目标成像的处理以生成图像数据。成像控制单元152通过主要地控制单元121至125(光学单元121至显示单元125)中的每一个,并且合适地控制单元131至134(输入单元131至驱动器134)中的每一个,而执行成像模式的处理。
图像查看控制单元153执行用于实现查看模式的功能的处理,查看模式允许用户浏览已经记录的已获取图像,例如,从存储单元124中读取图像数据和将图像显示在显示单元125上的处理。图像查看控制单元153通过主要地控制单元121至125(光学单元121至显示单元125)中的每一个,并且合适地控制单元131至134(输入单元131至驱动器134)中的每一个,而执行查看模式的处理。图像查看控制单元153包括成像检索单元161、选择检索单元162和选择查看单元163。
成像检索单元161执行用于实现包括在查看模式中的拾起(pickup)检索模式的功能的处理。成像检索单元161例如执行对目标成像以及使用已获取图像作为关键图像,从存储在存储单元124内的图像数据的图像中检索期望的图像(图像数据)的成像检索相关处理。成像检索单元161通过主要地控制单元121至125(光学单元121至显示单元125)中的每一个,并且合适地控制单元131至134(输入单元131至驱动器134)中的每一个,而执行拾起检索模式的处理。
选择检索单元162执行用于实现包括在查看模式中的选择检索模式的功能的处理。选择检索单元162例如执行使用存储在存储单元124内的图像数据的由用户选择的图像(已获取图像)作为关键图像,从存储在存储单元124内的图像数据的图像中检索期望的图像(图像数据)的选择检索相关处理。选择检索单元162通过主要地控制单元123至125(成像处理单元123至显示单元125)中的每一个,并且合适地控制单元131至134(输入单元131至驱动器134)中的每一个,而执行选择检索模式的处理。
选择查看单元163执行用于实现包括在查看模式中的选择查看模式的功能的处理。选择查看单元163例如执行在显示单元125上显示一栏存储在存储单元124内的图像数据的缩略图像,从存储单元124中读取与由用户选择的缩略图像相应的图像数据,在显示单元125上显示图像的选择查看相关处理。选择查看单元163通过主要地控制单元123至125(成像处理单元123至显示单元125)中的每一个,并且合适地控制单元131至134(输入单元131至驱动器134)中的每一个,而执行选择查看模式的处理。
根据需要,每个模块能够将信号(数据)传输给任何其它模块,以及能够从任何其它模块接收信号(数据)。
输入单元131一旦由用户操作时就接收指令输入,并将指令输入提供给控制单元111。输入单元131例如包括按钮、拨号盘、开关和触摸面板。输入单元131还可包括除了上述元件之外的其它输入装置。
输出单元132将从控制单元111提供的信息输出给连接到成像设备100的外部装置。输出单元132例如包括输出声音的扬声器、不同于用于显示图像、特征等的显示单元125的监控器、用于经由LED(发光二极管)或表明设备的状态的电信号输出信息的输出终端。输出单元132还可包括除了上述元件之外的其它输出装置。
通信单元133基于预定通信协议,与除了成像设备100之外的其它设备的通信单元建立有线或无线通信,以将控制单元111提供的信息提供给其它设备,或获取由其它设备提供的信息以将信息提供给控制单元111。通信单元133基于任何通信协议执行通信,例如,以太网(注册商标)、IEEE(电气和电子工程师协会)802.11、蓝牙、USB(通用串行总线)、IEEE1394和HDMI(高清多媒体界面)。
驱动器134驱动诸如磁盘、光盘、光磁盘或半导体存储器的可拆卸介质141。驱动器134从安装在其上的可拆卸介质141中读取程序或数据,以及将它们提供给控制单元111。驱动器134可构造成与成像设备100分离的装置,以当成像设备100读取存储在可拆卸介质141内的信息时,合适地连接到成像设备。
接下来,将描述成像设备100的操作模式的构造。图3是示出示例性模式构造的示意图。
如图3所示,成像设备100的操作模式包括成像模式和查看模式,在成像模式中,对目标成像并存储或显示因此生成的图像数据,在查看模式中,显示过去已经生成且存储在存储单元124内的图像数据的图像。查看模式包括拾起检索模式、选择检索模式和选择查看模式。
在拾起检索模式中,使用已获取图像的特征量作为检索关键,成像检索单元161从存储在存储单元124内的图像数据的图像中,检索其特征量与已获取图像的特征量相同或相似的图像,并且经检索的图像显示在显示单元125上。也就是说,使用已获取图像作为关键图像执行检索,并且显示检索结果。因此,对于用户检索期望的图像而言,仅需要执行成像以获得其特征与期望的图像的特征相同或相似的图像。因此,用户能够更加简单地检索期望的图像。
在选择检索模式中,在存储于存储单元124内的图像数据的图像中,使用由用户选择的图像的特征量作为检索关键,选择检索单元162从存储在存储单元124内的图像数据的图像中,检索其特征量与由用户选择的图像的特征量相同或相似的图像,并且经检索的图像显示在显示单元125上。也就是说,使用由用户选择的图像作为关键图像执行检索,并且显示检索结果。因此,对于用户检索期望的图像而言,仅需要选择其特征与期望的图像的特征相同或相似的图像。因此,用户能够更加简单地检索期望的图像。
在选择查看模式中,选择查看单元163允许用户选择存储于存储单元124内的图像数据的图像,并且在显示单元125上显示选择的图像。例如,选择查看单元163将一栏存储在存储单元124内的图像数据的缩略图像显示在显示单元125上,以帮助用户选择图像。
如上所述,因为基于操作模式执行不同的控制,因此控制单元111能够容易地防止动力提供给不需要的处理器(即,动力控制更容易)。因此,可能减小成像设备100的功率消耗。
成像检索单元的示例性构造
图4是示出成像检索单元161的主要构造的例子的框图。
如图4所示,成像检索单元161包括:关键图像获取单元201、关键图像特征量提取单元202、检索目标图像获取单元203、检索目标图像特征量提取单元204、特征量比较单元205和检索结果处理单元206。图4中的箭头表示主要信息转移方向或控制关系。每个模块根据需要能够沿除了图4所示的方向之外的方向,从任何其它模块接收信号(数据)以及将信号(数据)传送给任何其它模块。
关键图像获取单元201驱动光学单元121、成像单元122和图像处理单元123,以执行成像和生成已获取图像的图像数据。关键图像获取单元201从图像处理单元123中获取已获取图像的图像数据。关键图像获取单元201使用已获取的图像数据的图像作为用于检索的关键图像,并将图像数据提供给关键图像特征量提取单元202。
关键图像特征量提取单元202从由关键图像获取单元201提供的图像数据的图像(关键图像)中提取预定的特征量。在此,特征量可以是任何信息,只要该信息关于图像。例如,特征量可以是RGB或YCbCr的柱状图的量或值,并且可以是诸如脸识别结果的图像分析结果的量或值。关键图像的特征量可以由一种信息组成,并且可包括多种信息。例如,除了图像的上述特征量之外,关键图像的特征量可包括各种拍摄条件的量或值,例如,拍摄日期、拍摄地点、曝光和焦距。另外。关键图像的特征量可包括关于文件(图像数据)自身的信息,例如文件大小。关键图像特征量提取单元202提取用作关键图像的特征量的整个信息(特征量、拍摄条件等),并将它们提供给特征量比较单元205。
检索目标图像获取单元203从存储单元124中获取图像数据,作为将被检索的图像(检索目标图像)的图像数据,并将图像数据提供给检索目标图像特征量提取单元204。
检索目标图像特征量提取单元204从由检索目标图像获取单元203提供的图像数据的图像(检索目标图像)中提取预定的特征量。该特征量可以是任何信息,只要该特征量与由关键图像特征量提取单元202提取的关键图像的特征量相同。也就是说,当关键图像的特征量包括多种信息时,检索目标图像的特征量包括多种信息。检索目标图像特征量提取单元204将提取的特征量提供给特征量比较单元205。
特征量比较单元205比较由关键图像特征量提取单元202提供的关键图像的特征量与由检索目标图像特征量提取单元204提供的检索目标图像的特征量,以确定关键图像的特征量是否与检索目标图像的特征量相同或相似。当特征量包括多种信息时,各种信息中的部分或全部根据需要而彼此比较。特征量比较单元205将确定结果提供给检索结果处理单元206。当确定关键图像的特征量与检索目标图像的特征量相同或相似,那么特征量比较单元205使用检索目标图像作为与关键图像相应的图像,并将检索目标图像的图像数据提供给检索结果处理单元206。
检索目标图像获取单元203和检索目标图像特征量提取单元204获取存储在存储单元124内的全部图像数据作为检索目标图像,并提取每个图像的特征量。当检索目标限于存储在存储单元124内的部分图像数据时,或检索目标图像的数量限于预定数时,检索目标图像获取单元203和检索目标图像特征量提取单元204获取在此限制下(即,一部分图像数据存储在存储单元124内)用作检索目标的全部图像数据,作为检索目标图像。也就是说,特征量比较单元205相对于全部检索目标图像执行特征量的比较。
检索结果处理单元206执行关于以描述的方式执行检索的结果的处理。例如,检索结果处理单元206在显示单元125上显示一栏由特征量比较单元205提供的图像数据的缩略图像作为检索结果。
检索目标图像获取单元203、检索目标图像特征量提取单元204和特征量比较单元205将共同地称为检索单元207。即,检索单元207使用关键图像的特征量,从存储在存储单元124内的图像数据的图像中检索期望的图像。
选择检索单元的示例性构造
图5是示出选择检索单元162的主要构造的例子的框图。
如图5所示,选择检索单元162包括:关键图像获取单元211、关键图像特征量提取单元212、检索目标图像获取单元213、检索目标图像特征量提取单元214、特征量比较单元215和检索结果处理单元216。图5中的箭头表示主要信息转移方向或控制关系。每个模块根据需要能够沿除了图5所示的方向之外的方向,从任何其它模块接收信号(数据)以及将信号(数据)传送给任何其它模块。
关键图像获取单元211从存储在存储单元124内的图像数据中获取由用户选择的图像数据。关键图像获取单元211使用已获取的图像数据的图像作为用于检索的关键图像,并将图像数据提供给关键图像特征量提取单元212。
关键图像特征量提取单元212从由关键图像获取单元211提供的图像数据的图像(关键图像)中提取预定的特征量。在此,特征量可以是任何信息,只要该信息关于图像,类似于成像检索单元161的情况。关键图像特征量提取单元212将提取的特征量提供给特征量比较单元215。
检索目标图像获取单元213从存储单元124中获取图像数据(该图像数据不同于关键图像的图像数据),作为将被检索的图像(检索目标图像)的图像数据,并将图像数据提供给检索目标图像特征量提取单元214。
检索目标图像特征量提取单元214从由检索目标图像获取单元213提供的图像数据的图像(检索目标图像)中提取预定的特征量。该特征量可以是任何信息,只要该特征量与由关键图像特征量提取单元212提取的关键图像的特征量相同。检索目标图像特征量提取单元214将提取的特征量提供给特征量比较单元215。
特征量比较单元215比较由关键图像特征量提取单元212提供的关键图像的特征量与由检索目标图像特征量提取单元214提供的检索目标图像的特征量,以确定关键图像的特征量是否与检索目标图像的特征量相同或相似。特征量比较单元215将确定结果提供给检索结果处理单元216。当确定关键图像的特征量与检索目标图像的特征量相同或相似,那么特征量比较单元215使用检索目标图像作为与关键图像相应的图像,并将检索目标图像的图像数据提供给检索结果处理单元216。
检索目标图像获取单元213和检索目标图像特征量提取单元214获取存储在存储单元124内的全部图像数据作为检索目标图像,并提取每个图像的特征量。当检索目标限于存储在存储单元124内的部分图像数据时,或检索目标图像的数量限于预定数时,检索目标图像获取单元213和检索目标图像特征量提取单元214获取在此限制下(即,一部分图像数据存储在存储单元124内)用作检索目标的全部图像数据,作为检索目标图像。也就是说,特征量比较单元215相对于全部检索目标图像执行特征量的比较。
检索结果处理单元216执行关于以描述的方式执行检索的结果的处理。例如,检索结果处理单元216在显示单元125上显示一栏由特征量比较单元215提供的图像数据的缩略图像作为检索结果。
检索目标图像获取单元213、检索目标图像特征量提取单元214和特征量比较单元215将共同地称为检索单元217。即,检索单元217使用关键图像的特征量,从存储在存储单元124内的图像数据的图像中检索期望的图像。
处理流程
接下来,将描述控制单元111执行的处理的流程的例子。首先,将参考图6的流程图描述模式选择处理。
当用户例如操作输入单元(例如,开关)而输入操作模式改变命令时,控制单元111开始模式选择处理。
当模式选择处理开始时,控制单元111的模式选择单元151在步骤S101确定是否通过用户输入的改变命令而选择了成像模式。当确定选择成像模式时,处理流程进行到步骤S102。当选择成像模式时,在步骤S102中,成像控制单元152激活成像相关的处理器,例如单元121至125(光学单元121至显示单元125),并且控制激活的处理器以在步骤S103中开始对目标成像的成像控制处理。当开始成像控制处理时,模式选择单元151终止模式选择处理。
当在步骤S101中确定没有选择成像模式时,处理流程进行到步骤S104。在步骤S104中,模式选择单元151确定是否选择了拾起检索模式。当确定选择了拾起检索模式时,处理流程进行到步骤S105。当选择拾起检索模式时,在步骤S105中,成像检索单元161激活成像相关的处理器和图像检索/查看相关的处理器,例如单元121至124(光学单元121至存储单元124)。在步骤S106中,成像检索单元161控制激活的处理器,以开始对目标成像和使用已获取图像作为关键图像执行图像检索的成像检索处理。当开始成像检索处理时,模式选择单元151终止模式选择处理。
当在步骤S104中确定没有选择拾起检索模式时,处理流程进行到步骤S107。在步骤S107中,模式选择单元151确定是否选择了选择检索模式。当确定选择了选择检索模式,那么处理流程进行到步骤S 108。当选择了选择检索模式时,在步骤S108中,选择检索单元162激活图像检索/查看相关的处理器,例如单元123至125(图像处理单元123至显示单元125)。在步骤S109中,选择检索单元162控制激活的处理器,以开始使用由用户选择的图像作为关键图像执行图像检索的选择检索处理。当开始选择检索处理时,模式选择单元151终止模式选择处理。
当在步骤S107中确定没有选择选择检索模式时,处理流程进行到步骤S110,同时确定选择了选择查看模式。当选择了选择查看模式时,在步骤S110中,选择查看单元163激活选择图像查看相关的处理器,例如单元123至125(图像处理单元123至显示单元125)。在步骤S111中,选择查看单元163开始显示由用户选择的图像的选择查看处理。当开始选择查看处理时,模式选择单元151终止模式选择处理。
接下来,将参考图7的流程图描述成像检索单元161执行的成像检索处理。例如,当通过图6的步骤S106的处理的执行而开始成像检索处理时,在步骤S131中,关键图像获取单元201对目标成像以获取关键图像。
在步骤S132中,关键图像特征量提取单元202从关键图像中提取预定的特征量。在步骤S133中,检索目标图像获取单元203从存储器124中获取用作检索目标图像的图像的图像数据。在步骤S134中,检索目标图像特征量提取单元204从在步骤S133获取的检索目标图像中提取特征量。
在步骤S135中,特征量比较单元205比较在步骤S132中提取的关键图像的特征量与在步骤S134中提取的检索目标图像的特征量。在步骤S136中,特征量比较单元205确定是否已经处理全部检索目标图像。当确定在检索目标图像中存在没有处理的图像时,处理流程返回到步骤S133,并且执行后续的处理。也就是说,重复执行步骤S133至S136的处理,直至处理全部检索目标图像。
当在步骤S136中确定已经处理全部的检索目标图像,那么处理流程进行到步骤S137。在步骤S137中,检索结果处理单元206基于特征量比较的结果或其列表,在显示单元125上显示其特征量与关键图像的特征量相同或相似的检索目标图像。当步骤S137的处理结束时,成像检索单元161终止成像检索处理。
在拾起检索模式期间,成像检索单元161可重复地执行成像检索处理。
如上所述,因为成像设备100使用图像(其特征量)作为检索关键而执行图像检索,因而用户能够容易地检索期望的图像。例如,在选择查看模式中,成像设备100将存储在存储单元124内的图像数据的缩略图像列表呈现给用户,以允许用户从列表中选择期望的图像。然而,用户的工作量随着列表中图像数量的增加而增加。例如,用该方法可能难于从数百或数千张图像中找到期望的图像。
因此,当成像设备100使用检索关键执行图像检索,以允许用户指定期望的图像或减少将呈现给用户的图像时,可能减少用户的关于图像检索的工作量。尽管可能存在许多东西用作检索关键,但是因为检索目标是图像,因而可能难于使用字符串作为检索关键而执行检索。
首先,对于将用作检索关键的字符串,需要对于每个图像提前记录将用作检索关键的字符串。另外,即使对于每个图像记录字符串,但是将图像的特征例如合适地表达为文字也是不容易的。此外,文字可能不能够说成与用户的关于图像的印象相同。因此,对于每个图像难于记录有效的字符串作为检索关键。另外,尽管可以考虑其中用户将关于图像的诸如拍摄日期或拍摄条件的信息指定为检索关键的方法,但是在此情况下,用户必须具有每个图像的正确理解。
另外,因为从轻便的角度不期望使成像设备100的外壳不必要地大,因此在许多情况下,难于在成像设备100上安装具有高字符输入能力的诸如用于个人计算机的键盘的输入装置。也就是说,对于用户难于用成像设备100输入字符。
相反地,因为成像设备100使用图像(其特征量)作为检索关键而执行图像检索,因而用户仅通过将视觉上类似于期望图像的图像设置为检索关键,就能够容易地检索期望的图像。
换句话说,不能说用户对于期望的图像的细节具有正确的理解。当字符串用作检索关键时,存在小误解导致严重错误的担忧。例如,当期望的图像是“红色的车”的图像时,如果用户记错成“地下铁道车辆”的图像,那么用户可能将“地下铁道车辆”设置为检索关键;然而,用该检索关键(地下铁道车辆)不可能找到“红色的车”的图像。
相反地,在使用图像(其特征量)作为检索关键的情况下,即使用户将地下铁道车辆的图像设置为检索关键,当图像(地下铁道车辆的图像)的构造类似于期望的图像(红色的车的图像)的构造时,存在这些图像具有类似特征量的可能,并且检索到期望的图像。
如上所述,当图像用作检索关键时,即使当用户具有混乱的记忆,也可能增加合适地检索到期望的图像的可能性。
成像设备100具有用于对目标成像的功能,例如光学单元121和成像单元122。成像检索单元161通过使用该成像功能生成将用作检索关键(关键图像)的图像。例如,当图像显示在显示单元125上时,用户从周边搜索目标并确定组成等,以获得其特征量与那个图像的特征量相同或相似的图像,随后执行关键图像的成像。以此方式,用户能够容易地且自由地仅通过使用成像设备100对目标成像而设置关键图像。
另外,因为成像设备100是用于对目标成像的设备,因而外壳的表面、操作方法等配置成使得容易地执行成像操作。因此,用户能够从任意角度对任意目标成像,并且具有更加容易地任意成像条件。也就是说,用户能够更加容易地且自由地设置关键图像。
另外,用作检索目标图像的图像是在过去已经由成像设备100成像且存储在存储单元124内的图像。也就是说,用户通过使用与用于生成检索目标图像的构造相同的构造(例如,单元121至123(光学单元121至图像处理单元123)),能够获得将用作关键图像的图像。因此,用户能够容易地获得其特征量与检索目标图像的特征量相类似的关键图像。
例如,在用与用于生成检索目标图像的构造不同的构造获得关键图像的情况下,即使用户使关键图像的特征与检索目标图像的特征相似,由于构造的不同也难于使得它们完全相似。另外,可能出现其中它们无意中相似的情况。然而,如上所述,当使用与用于生成检索目标图像的构造相同的构造生成关键图像时,取决于用户的意图,用户能够使得关键图像的成像条件等与检索目标图像的成像条件等相同或不相同。也就是说,检索更容易。
另外,因为成像设备100不是在成像模式下而是在查看模式下执行成像检索,同时省略在正常成像模式期间的成像检索处理,因而可能抑制功率消耗不必要的增加。如果需要,在成像模式期间可执行成像检索。然而,通过提供拾起检索模式并在拾起检索模式中控制成像检索处理,成像设备100能够用最小的必要功率消耗来执行成像检索。
接下来,将参考图8的流程图描述选择检索单元162执行的选择检索处理。例如,当通过执行图6中的步骤S109的处理而开始成像检索处理时,在步骤S151中,关键图像获取单元211在显示单元125上显示一栏已记录图像,这些已记录图像是存储在存储单元124内的图像数据的图像,并允许用户从已记录图像中选择关键图像。在步骤S152中,关键图像获取单元211通过步骤S151的处理,从存储单元124中获取由用户选择的图像的图像数据作为关键图像。
以与图7中步骤S132至S137的处理相同的方式分别执行步骤S153至S158的处理。也就是说,在步骤S153中,关键图像特征量提取单元212从关键图像中提取预定的特征量。在步骤S154中,检索目标图像获取单元213从存储单元124中获取用作检索目标图像的图像的图像数据。在步骤S155中,检索目标图像特征量提取单元214从在步骤S154获取的检索目标图像中提取特征量。
在步骤S156中,特征量比较单元215比较在步骤S153提取的关键图像的特征量与在步骤S155中提取的检索目标图像的特征量。在步骤S157中,特征量比较单元215确定是否已经处理全部检索目标图像。当确定检索目标图像中存在任何没有处理的图像时,处理流程返回到步骤S154,并且执行后续的处理。
当在步骤S157中确定已经处理全部检索目标图像时,处理流程进行到步骤S158。在步骤S158中,检索结果处理单元216基于特征量比较的结果或其列表,在显示单元125上显示其特征量与关键图像的特征量相同或相似的检索目标图像。当步骤S158的处理结束时,选择检索单元162终止选择检索处理。
选择检索单元162在选择检索模式期间可重复地执行选择检索处理。
如上所述,在选择检索模式中,用户能够从存储在存储单元124内的图像中选择关键图像。通过这样做,用户能够不用执行成像而执行图像检索。由于该构造,因为不需要驱动光学单元121、成像单元122等,因此成像设备100能够减小功率消耗。
显示检索结果的方法
接下来,将参考图9A-9C至图12A-12C来描述在显示单元125上显示检索结果的方法的例子。在图9A-9C至图12A-12C中示出的检索结果屏幕300是在显示单元125上显示的屏幕,以显示上述图像检索(成像检索或选择检索)的检索结果。
如图9A所示,例如确定与关键图像相同或相似的图像(检索结果图像)显示在检索结果屏幕300上。在图9A的例子中,图像311至313是检索结果图像(其缩小图像(其缩略图像))。例如,当用户选择正显示的检索结果图像(其缩略图像)中的一个时,经选择的图像以放大的尺寸显示在显示单元125上。也就是说,当一栏检索结果图像显示在检索结果屏幕300上时,用户选择栏中的图像,经选择的图像以比栏中的尺寸更大的方式显示。
通过以此方式显示检索结果,用户能够容易地查看检索结果。
从改善图像质量的角度,优选的是由用户选择的将显示的图像的分辨率高于当图像显示为一栏时的分辨率。然而,从改善处理速度的角度,由用户选择的将显示的图像的分辨率可与当图像显示为一栏时的分辨率相同。
尽管出于解释的便利,特征“检索结果”描述为图9A至9C中的检索结果图像311至313,但是实际地显示每个图像。对于图10A-10C至图12A-12C同样如此。另外,在检索结果屏幕300上显示的检索结果图像的数量是任意的。此外,在检索结果屏幕300上显示的检索结果图像的分辨率是任意的。在下面的描述中,除非需要否则省略关于分辨率的描述。
另外,如图9B所示,关键图像可例如与检索结果图像一起显示在检索结果屏幕300上。在图9B的例子中,关键图像(其缩小图像)特别是关键图像314显示在检索结果屏幕300上,代替图9A的检索结果图像311。
类似于图9A的情况,当用户选择检索结果屏幕300上的检索结果图像312和313中的任何一个时,经选择的图像以放大的尺寸显示。
通过以此方式显示检索结果,用户能够容易地查看关键图像以及检索结果,并且从检索结果中选择图像,同时将它们与关键图像进行比较。
另外,类似于检索结果图像,在检索结果屏幕300上显示的关键图像的分辨率是任意的。在下面的描述中,除非需要否则省略关于分辨率的描述。
另外,如图9C所示,例如关键图像可在与检索结果屏幕300上检索结果图像的行不同的行的位置处显示。例如,如图9C的例子所示,关键图像314可在检索结果屏幕300上显示在检索结果图像311的上方。类似于图9A或9B的情况,当用户选择检索结果屏幕300上检索结果图像311至313中的任何一个时,经选择的图像以放大的尺寸显示。
通过以此方式显示检索结果,用户能够容易地查看关键图像以及检索结果,并且从检索结果中选择图像,同时将它们与关键图像进行比较。
另外,捕获图像(运动图像)可在检索结果屏幕300上显示为关键图像314,并且当预定条件得以满足时,使用已捕获图像的帧图像作为检索关键图像可执行检索。在此情况下,如果必要,显示在检索结果屏幕300上的检索结果图像311至313的一部分或全部在每次检索时更新。
例如,当用户操作成像设备100以一个接一个地拍摄(捕捉)多个目标的正面时,只要关键图像314中目标的正面(捕获图像中目标的正面)改变就检索图像,并且使用此时目标的正面作为关键图像进行的检索的检索结果连续地显示在检索节目屏幕300上。
另外,如图10A所示,当在检索结果屏幕300上不可能显示全部的检索结果图像时,可设置滚动按钮。在图10A的例子的情况下,在检索结果屏幕300上,除了图9C的例子的构造之外,滚动按钮315显示在检索结果图像311的左侧,并且滚动按钮316显示在检索结果图像313的右侧。
滚动按钮315和316的存在表明存在没有显示在检索结果屏幕300上的检索结果图像。当用户按压(点击)滚动按钮315时,检索结果图像向右滚动,从而检索结果图像313消失,检索结果图像311移动到图10A中的检索结果图像312的位置,并且在图10A中没有显示的新的检索结果图像显示在检索结果图像311的左侧(即,图10A中检索结果图像311的位置)。当用户按压(点击)滚动按钮316时,检索结果图像向左滚动,从而检索结果图像311消失,检索结果图像313移动到图10A中的检索结果图像312的位置,并且在图10A中没有显示的新的检索结果图像显示在检索结果图像313的右侧(即,图10A中检索结果图像313的位置)。
显示在检索结果屏幕300上的多个检索结果图像可以不同的尺寸显示。例如,如图10B所示,在中央显示的检索结果图像可以比左侧和右侧的检索结果图像更大的尺寸显示。图10B中示出的检索结果屏幕300的构造基本上与图10A中示出的检索结果屏幕300的构造相同。然而,在图10B的例子的情况下,检索结果图像312以比检索结果图像311和313更大的尺寸基本上显示在检索结果屏幕300的中心。另外,可以显示检索结果图像312以重叠其它图像。
如图10A的例子所示,当用户滚动检索结果图像时,以放大尺寸显示的检索结果图像改变。通过这样做,用户能够更加容易地比较检索结果图像。
另外,如图10C所示,多个关键图像可显示在检索结果屏幕300上。在图10C所示的检索结果屏幕300上,第一在前关键图像317、第二在前关键图像318和滚动按钮319与当前关键图像314一起显示。也就是说,在图10C的例子的情况下,检索结果屏幕300上的关键图像以时间的降序从右至左显示。在此情况下,例如更旧的图像(例如,第一和第二在前关键图像)存储在存储单元124中。滚动按钮的存在表明存在更旧的(第三在前)关键图像。当用户点击滚动按钮319时,关键图像向右滚动,从而第二在前关键图像318移动到图10C中第一在前关键图像317的位置,并且另一更旧的关键图像显示在第二在前关键图像318的左侧(即,图10C中第二在前关键图像318的位置)。
当用户选择以上述方式显示的多个关键图像中的一个时,与已选择的关键图像相应的检索结果图像显示在检索结果屏幕300上。通过这样做,用户能够浏览关于每个关键图像的检索结果,并且通过选择不同的关键图像而容易地比较每个关键图像的检索结果。另外,此时已选择的关键图像可以比其它关键图像更大的尺寸显示。例如,在图10C的情况下,当前的关键图像314由用户选择,并且因此以比第一在前关键图像317和第二在前关键图像318更大的尺寸显示。
另外,如图11A所示,关键图像314可显示在检索结果屏幕300的整个屏幕上。在此情况下,可显示检索结果图像311至313,并且可显示滚动按钮315和316以重叠关键图像314。通过这样做,因为关键图像314以放大尺寸显示,因而用户能够更加容易地检查关键图像314的细节。
另外,如图11B所示,即使当关键图像314以放大尺寸显示,关键图像也可在检索结果屏幕300的一部分中显示。
关键图像或检索目标图像可以是运动图像。当关键图像是运动图像时,如图11C所示,运动图像可在检索结果屏幕300上显示为关键图像324。
当检索目标图像是运动图像时,如由图11C中的检索结果图像321所示,其特征量确定为与关键图像324的特征量相同或相似的内容(检索目标图像的运动图像)可在检索结果屏幕300上显示为检索结果。例如,如检索结果图像322所示,其特征量确定为与关键图像324的特征量相同或相似的内容的开始帧的图像(静止图像)可在检索结果屏幕300上显示为检索结果。
对于内容的每个场景可执行图像检索。在此情况下,如图11C中的检索结果图像323所示,其特征量确定为与关键图像324的特征量相同或相似的场景的开始帧的图像(静止图像)可在检索结果屏幕300上显示为检索结果。
另外,如图11C中的检索结果图像321至323所示,多种不同类别的图像可显示为检索结果,例如运动图像和静止图像的结合,并且其中一类图像(例如,仅运动图像)可显示为检索结果。
通过这样做,用户能够容易地检索期望的图像,即使该检索结果或关键图像是运动图像。
滚动按钮325和326分别相应于滚动按钮315和316,并且当由用户操作时执行相同的处理,从而检索结果图像滚动。
另外,如图12A所示,一个检索结果可以多种方法显示。例如,在图12A的情况下,为运动图像的检索结果图像331显示在检索结果屏幕300的整个屏幕上。在此情况下,检索结果显示为重叠检索结果图像331,并且构成被检索为检索结果的运动图像的场景的开始帧的图像(静止图像)显示为检索结果图像332至334。滚动按钮335和336分别相应于滚动按钮315和316,并且当由用户操作时执行相同的处理,从而检索结果图像(每个场景的开始帧的图像)滚动(即,显示位置改变)。
另外,关键图像可以是已经存储的运动图像中的帧图像。例如,在此情况下,如图12C所示,运动图像可以在检索结果屏幕300上显示为关键图像351,并且当帧图像的帧图像满足预定条件时可执行检索,使得经检索的图像(静止图像)显示为检索结果(检索结果352至354)。在此情况下,显示在检索结果屏幕300上的检索结果每次检索时适当地更新。
当运动图像的帧图像用作关键图像时,存在用户不能够知道关键图像属于运动图像的哪个部分(场景或时帧)的担忧。因而,例如,如图12C所示,关键图像的进度条361可显示在检索结果屏幕300上,以表明当前回放位置362。也就是说,在图12C的情况下,进度条361表示运动图像的整个长度,并且由当前回放位置362表明的运动图像的帧图像是关键图像,并在检索结果屏幕300上显示为关键图像351。通过这样做,用户能够容易地知道与当前关键图像351相应的帧图像属于运动图像的哪个部分。
另外,如图12C所示,确定为与关键图像相同或相似的图像(检索结果)的数量(命中计数)可显示为关于每次检索的柱状图363,以在与关键图像的位置相应的附近位置,画在检索结果屏幕300的进度条361上。通过这样做,用户能够容易地获得关于命中计数的分布的信息。
关于命中计数分布的信息可以提前准备。例如,控制单元111可提前执行检索处理,以获得关于命中计数分布的信息,并将信息存储在存储单元124内。另外,在执行检索期间可生成命中计数分布,同时显示检索结果屏幕300。在此情况下,显示已经完成检索的部分的柱状图363。
通过以所述方式显示检索结果,用户能够检查检索为检索结果的内容的其它细节。
选择检索单元的另一示例性构造
成像设备100可具有除了所描述的构造之外的构造。图13是示出成像检索单元161的构造的修改例子的框图。下面将参考图14至20描述构造。
成像检索单元161可分析由成像单元122捕获的已捕获图像的内容,并基于关于捕获图像的分析结果获取关键图像。在此情况下,除了图4中示出的构造之外,成像检索单元161还包括图像分析单元401。
图像分析单元401控制单元121至123(光学单元121至图像处理单元123),以从图像处理单元123获取由成像单元122捕获的已捕获图像,并执行诸如关于已捕获图像的微笑检测的图像分析。图像分析单元401将分析结果提供给关键图像获取单元201。当预定的条件得以满足时(例如,当检测到微笑时),关键图像获取单元201于是通过参考提供的分析结果获取关键图像。该条件任意设置并且可以是任何条件。
下面将参考图14的流程图描述可应用于该情况的成像检索处理的流程的例子。该流程图相应于图7的流程图。
当成像检索处理开始时,在步骤S201中,图像分析单元401对目标成像以捕获图像。在步骤S202中,图像分析单元401分析已捕获的图像。在步骤S203中,关键图像获取单元201基于步骤S202的分析结果确定已捕获的图像是否满足预定条件。当确定预定条件没有得以满足时,处理流程返回到步骤S201,并且执行后续处理。当在步骤S203中确定预定条件得以满足时,处理流程进行到步骤S204。
以与图7中步骤S131至S137的处理相同的方式分别地执行步骤S204至S210的处理。
通过这样做,例如仅当在已捕获图像中检测微笑或场景改变时,获取(更新)关键图像。因而可能抑制不需要的关键图像的获取以及处理负载的增加。
成像检索单元161可在预定的定时获取关键图像,例如,每预定的时间段、每预定的帧数和每预定的时间。在此情况下,除了图4中示出的构造之外,成像检索单元161还包括计数单元402。
例如通过确定是否是预定的时间,预定的时间段是否已过或预定的帧数是否已经处理,计数单元402监控时间,测量时间段或对帧数进行计数,以确定是否出现预定的定时,并且当出现预定的定时时,发送通知给关键图像获取单元201,告知已经出现预定的定时。关键图像获取单元201响应通知获取关键图像。也就是说,关键图像获取单元201在预定的定时获取关键图像。
另外,成像检索单元161例如可响应用户的指令而获取关键图像。在此情况下,除了图4中示出的构造之外,成像检索单元161还包括用户指令接收单元403。
用户指令接收单元403接收用户的指示获取关键图像的指令,例如按压释放按钮,该指令由用户等输入到输入单元131,并且将接收的用户指令提供给关键图像获取单元201。关键图像获取单元201响应用户的指令获取关键图像。在此,输入用户的指示获取关键图像的指令的方法是任意的,并且可以基于任何操作。
下面将参考图15的流程图描述可应用于该情况的成像检索处理的流程的例子。该流程图相应于图7的流程图。
当成像检索处理开始时,在步骤S231中,用户指令接收单元403确定是否按压下释放按钮(输入指示获取关键图像的操作),并等待直到确定按压下释放按钮。当在步骤S231中确定按压下释放按钮(输入指示获取关键图像的操作)时,处理流程进行到步骤S232。
以与图7中步骤S131至S137的处理相同的方式分别地执行步骤S232至S238的处理。
通过这样做,用户能够指示获取关键图像。因此,用户能够容易地获得期望的关键图像。然而,因为可能抑制不需要的关键图像的获取,因此成像设备100能够抑制处理负载的增加。
关键图像获取单元201基于计数单元402的计数结果而获取关键图像的情况的流程处理基本上与图15的流程图相同。然而,在步骤S231的处理中,计数单元402确定是否出现预定的定时,并等待直到已经出现预定的定时。当确定已经出现预定的定时时,处理流程进行到步骤S232。
另外,成像检索单元161可构造成包括单元401至403(图像分析单元401至用户指令接收单元403)中的至少两个。在此情况下,基于多个条件执行关键图像的获取。
另外,关键图像的获取可基于不同于所描述的事件的出现而执行。
此外,相对于图像的部分区域,成像检索单元161执行关键图像和检索目标图像之间特征量的比较。在此情况下,除了图4中示出的构造之外,成像检索单元161还包括区域指定单元404。
区域指定单元404例如基于由关键图像特征量提取单元202提取的特征量,指定比较特征量所针对的区域(目标局部区域)。例如,区域指定单元404指定包括在关键图像内的图形的正面部分作为目标局部区域。特征量比较单元205相对于指定的目标局部区域比较特征量。
另外,区域指定单元404可基于用户的指令而指定目标局部区域。例如,当用户操作输入单元131以输入用户的指定目标局部区域的范围的指令时,用户指令接收单元403接收用户的指令,并且将其通知发送给区域指定单元404。一旦从用户指令接收单元403接收到通知,区域指定单元404根据用户的指令指定目标局部区域。特征量比较单元205相对于指定的目标局部区域比较特征量。
另外,目标局部区域例如可基于关键图像的特征和用户的指令这两者而指定。例如,区域指定单元404基于由关键图像特征量提取单元202提取的特征量,减少关于目标局部区域的候选者(目标局部区域候选者),并通过控制显示单元125通知目标局部区域候选者的用户。于是,用户通过从目标局部区域候选者中选择目标局部区域而操作输入单元131以输入用户的指令。一旦接收到用户的指令,用户指令接收单元403将其通知发送给区域指定单元404。一旦接收到来自用户指令接收单元403的通知,区域指定单元404根据用户的指令指定目标局部区域。特征量比较单元205相对于指定的目标局部区域比较特征量。
图16A至16C是示出指定区域的方法的示意图。在该例子中,将描述如下情况,其中区域指定单元404指定目标的正面部分作为目标局部区域。
在图16A的例子的情况下,显示在成像设备100的显示单元125上的检索结果屏幕300包括关键图像501和操作区域502,在操作区域502中显示用于接收用户的指令的GUI。关键图像501包括四个目标(目标11-1至11-4)。在图16A的例子的情况下,区域指定单元404设置每个目标的正面部分作为目标局部区域候选者,使得显示限定每个目标局部区域候选者的范围的帧511至514以重叠关键图像501。在显示单元125的显示表面上嵌入有作为输入单元131的触摸面板,并且用户通过用手指等指定正显示的帧而选择目标局部区域。
例如,在图16A的情况下,选择目标11-3的正面部分作为目标局部区域的用户用手指521轻敲嵌入在显示单元125内的触摸面板上的帧513上。改变被轻敲的帧513的表示以表明该帧被选择;例如,如图16A所示,由用户选择的帧513用实线选取,而其它帧用虚线选取。
在图16B的例子的情况下,转换按钮531显示在操作区域502中,使得当转换按钮531由用户操作时,改变选择作为目标局部区域的帧。例如,当用户用手指521操作(按压)转换按钮531时,在关键图像501内选择作为目标局部区域的帧如箭头所示改变。
在图16C的例子的情况下,选择按钮541-1至541-4显示在操作区域502中,使得当其中一个选择按钮由用户操作时,指定与选择按钮相应的帧,该帧将选择为目标局部区域。例如,当用户用手指521选择选择按钮541-3时,与选择按钮541-3相应的帧513选择为目标局部区域。
接收用户指令的方法可以是不同于所述方法的任何方法。
接下来,将参考图17的流程图描述成像检索处理的流程的例子。该流程图相应于图7的流程图。以与图7中步骤S131和S132的处理相同的方式分别执行步骤S251和S252的处理。
当提取特征量时,在步骤S253中,区域指定单元404从关键图像中基于关键图像的特征量而指定目标局部区域候选者。在步骤S254中,区域指定单元404将目标局部区域候选者呈现给用户,并且用户指令接收单元403接收用户关于呈现的选择。区域指定单元404基于用户的选择指定轻敲。
在步骤S255中,检索目标图像获取单元203以与图7的步骤S133的情况相同的方式获取检索目标图像。在步骤S256中,检索目标图像特征量提取单元204以与图7的步骤S134的情况相同的方式提取检索目标图像的特征量。然而,在此情况下,检索目标图像特征量提取单元204从检索目标图像的目标局部区域中提取特征量。
在步骤S257中,特征量比较单元205以与图7的步骤S135的情况相同的方式比较关键图像的特征量和检索目标图像的特征量。然而,在此情况下,特征量比较单元205仅相对于目标局部区域比较特征量。
以与图7中步骤S136和S137的处理相同的方式分别执行步骤S258和S259的处理。
当仅基于关键图像的特征量指定目标局部区域时,在步骤S253中区域指定单元404可指定轻敲,并且步骤S254的处理可省略。另外,当仅基于用户的指令而指定目标局部区域时,步骤S253的处理可省略,并且在步骤S254中,用户指令接收单元403可接收目标局部区域的指定范围。
如上所述,当仅相对于预定的局部区域比较特征量时,需要提取检索目标图像的特征量,并且仅相对于局部区域比较特征量。因此,成像检索单元161能够更加容易地执行成像检索处理。
另外,因为区域指定单元404减少了目标局部区域候选者,因而用户能够更加容易地指定目标局部区域。
检索结果处理单元206可执行不同于在显示单元125上显示检索结果的其它处理。例如,检索结果处理单元206可将关键图像存储在存储单元124中,如图13所示。能够应用于该情况的成像检索处理的流程的例子将参考图18的流程图进行描述。图18的流程图相应于图7的流程图。
以与图7中步骤S131至S137的处理相同的方式分别地执行图18中的步骤S271至S277的处理。在步骤S278中,检索结果处理单元206将在步骤S271获取的关键图像提供给将存储在其内的存储单元124。此时,诸如检索结果的信息可增加成与关键图像相关。当步骤S278的处理终止时,成像检索处理结束。
如上所述,通过将关键图像存储在存储单元124中,成像检索单元161能够在后续的处理中使用关键图像。例如,如上参考图10C所述,更旧的图像可显示在显示单元125上。
另外,检索结果处理单元206可经由输出单元132输出诸如关键图像或检索结果的信息到成像设备100的外部装置。
另外,成像检索单元161可从检索结果中创建新的内容,例如运动图像或幻灯片放映,并将内容作为检索结果显示在显示单元125上。
在该梳状电极中,成像检索单元161包括内容生成单元405。例如,当获得多个静止图像作为检索结果时,内容生成单元405使用静止图像创建幻灯片放映内容。另外,例如当获得多个运动图像作为检索结果时,内容生成单元405使用多个运动图像创建一个运动图像内容。
检索结果处理单元206将由内容生成单元405创建的内容(幻灯片放映或运动图像)显示在显示单元125上。
图12B示出了显示运动图像内容的示例性方法,其中经检索作为检索结果的多个运动图像中的每一个的多个场景结合到一个运动图像中。在图12B的例子中,使用检索结果创建的运动图像内容341显示在检索结果屏幕300的整个屏幕上。另外,每个包含经检索的场景的运动图像表现为水平条(水平条342至344),这些水平条显示为重叠运动图像内容341。每个水平条的阴影线部分相应于经检索的场景。通过按箭头所示的次序结合阴影线部分而创建运动图像内容341。
通过以所述方式显示作为检索结果的新内容,用户例如能够更加容易地浏览检索结果。
另外,成像检索单元161可执行关于获得的检索结果的再检索。例如,如图13所示,成像检索单元161还包括再检索单元406。
再检索单元406执行关于成像检索的检索结果的再检索的处理。此时,检索结果处理单元206在显示单元125上显示再检索按钮和检索结果,其中再检索按钮是用于从用户接收再检索指令的GUI。
图19A至19C是示出显示检索结果的方法的示意图。例如,检索结果处理单元206在检索结果屏幕300上显示关键图像551,如图19A所示。
检索结果处理单元206还在检索结果屏幕300上显示条件指定按钮552,其中条件指定按钮是来自关键图像551的特征量的一列检索条件,并且是用于允许用户指定将用于再检索的检索条件的GUI。在图19A的例子中,“面部”、“天气”和“衣服”显示为条件指定按钮552。这些项目可来自关键图像551的特征量,并且当由用户选择时,检查标记插入到已选择的按钮中,并且与该按钮相应的项目增加到再检索条件中。
在图19A的例子的情况下,检索结果处理单元206还在检索结果屏幕300上显示再检索按钮553和显示按钮554。当用户操作再检索按钮533时,执行再检索。当用户操作显示按钮554时,显示当前的检索结果。
图19B示出了显示检索结果的另一示例性方法。在图19B的例子的情况下,关键图像551显示在检索结果屏幕300的整个屏幕上,并且显示条件指定按钮552、再检索按钮553、检索结果图像561至563以及滚动按钮565和566,以重叠关键图像551。
图19C示出了另一例子。在图19C的例子的情况下,检索结果图像一个接一个地显示在检索结果屏幕300上。检索结果图像571显示在检索结果屏幕300的整个屏幕上,并且显示条件指定按钮552、再检索按钮553、滚动按钮572和573等,以重叠检索结果图像571。
在具有任何所述设计的检索结果屏幕300上,当用户操作再检索按钮553时,再检索单元406将信息提供给选择检索单元162,使得执行关于提供的关键图像的图像检索,该信息例如是响应用户的关于条件指定按钮552的操作而选择的检索条件、关键图像和检索结果图像。
可应用于该情况的成像检索处理的流程的例子将参考图20的流程图进行描述。图20的流程图相应于图7的流程图。
以与图7中步骤S131至S137的处理相同的方式分别地执行图20中的步骤S291至S297的处理。在步骤S298中,再检索单元406确定是否发出再检索指令。当确定发出再检索指令时,处理流程进行到步骤S299。
在步骤S299中,选择检索单元162使用关键图像和指定的条件,例如以与参考图8的流程图所述相同的方式执行选择检索处理。然而,在该情况下,由再检索单元406指定的关键图像用作关键图像。
当步骤S299的处理终止时,成像检索处理结束。当在步骤S298中确定没有发出再检索指令时,成像检索处理结束,同时省略步骤S299的处理。
通过以所述的方式执行再检索,用户能够更加容易地减少检索结果。也就是说,用户能够更加容易地检索期望的图像。
2、第二实施例
图像检索系统的概述
尽管对于其中相对于记录在成像设备内的图像数据(图像)执行检索的情况进行了描述,但是可相对于存储在成像设备外部的图像数据(图像)执行检索。
图21是示出根据本发明实施例的图像检索系统的概述的示意图。例如,如图21所示,成像设备可相对于记录在经由网络等而连接的服务器(数据库)内的图像数据(图像)执行检索。
图21中所示的图像检索系统600是使用通过成像设备601对目标11进行成像而获取的图像21作为关键图像,相对于记录在经由网络602而连接的服务器603内的图像31至33执行图像检索的系统。
也就是说,图像检索系统600基本上与图1的成像设备100相同,除了用作检索目标的图像31至33没有记录在成像设备601的存储单元内而是记录在服务器603内。
因此,例如,用户操作成像设备601以对目标11成像,并且获得图像21,以从记录在服务器603内的图像中检索期望的图像。当获得已获取的图像21时,成像设备601使用已获取的图像21作为关键图像,相对于记录在服务器603的数据库内的图像(图像31至33)执行图像检索,以检索其特征与已获取的图像21的特征相同或相似的图像31。
网络602是通信媒介的例子,其可以是诸如LAN(局部区域网络)、WAN(广域网络)或因特网的通信网络,并且可以是诸如USB或IEEE1349的电缆。另外,网络602可包括诸如无线LAN或红外通信的无线通信。此外,网络602可通过结合多种通信(通信媒介)而构造,例如无线LAN和因特网的结合。
每个设备的示例性构造
图22是示出图21所示的图像检索系统600的每个设备的主要构造的例子的框图。
如图22所示,成像设备601基本上具有与图2中所示的成像设备100相同的构造。另外,在此情况下,成像检索单元161基本上具有与参考图4所述相同的构造。然而,成像设备601的成像检索单元161具有代替图4的检索目标图像获取单元203的拓印处理613。
检索目标图像获取单元613构造成不仅从存储单元124中获取图像作为检索目标图像,还经由通信单元133获取记录在服务器603的图像数据库623内的图像(图像数据)作为检索目标图像。
在成像模式中,成像设备601不仅在图像处理单元123的帮助下关于通过对目标成像而获取的图像执行图像处理,将它们显示在显示单元125上,以及将它们存储在存储单元124中,还将它们经由通信单元133提供给服务器603,以记录在图像数据库623中。类似于成像设备601的成像设备可在图像数据库623中记录已获取的图像。
在拾起检索模式中,检索目标图像获取单元613不仅获取存储在存储单元124内的图像数据的图像,还获取记录在图像数据库623内的图像数据的图像作为检索目标图像。检索目标图像获取单元613将已获取的检索目标图像(图像数据)发送给检索目标图像特征量提取单元204。
检索目标图像获取单元613、检索目标图像特征量提取单元204和特征量比较单元205将共同地参考为检索单元617。也就是说,检索单元617使用关键图像的特征量,从存储在存储单元124内的图像数据的图像以及记录在图像数据库623内的图像数据的图像中的至少一种中检索期望的图像。
经由网络602连接到成像设备601的服务器603包括:通信单元621、图像记录单元622、图像数据库623和图像提供单元624。
通信单元621是与成像设备601的通信单元133相应的处理器。通信单元621经由网络602与通信单元133通信,以传送/接收诸如图像数据或控制命令的各种信息。
图像记录单元622将经由通信单元621从成像设备601提供的已获取图像的图像数据提供给将记录在其中的图像数据库623。图像数据库623通过诸如硬盘或闪盘的预定存储介质的存储区域而构造,并且是管理从成像设备601等提供的已获取图像的数据库。图像提供单元624读取存储在图像数据库623内的图像(图像数据),以及将图像提供给通信单元621。例如,图像提供单元624基于经由通信单元621从成像设备601提供的请求,从图像数据库623中读取检索目标图像,以及将检索目标图像提供给通信单元621。
通信单元621使用网络602将由图像提供单元624提供的检索目标图像(图像数据)提供给成像设备601(通信单元133)。
接下来,在该图像检索系统600中的成像检索处理的流程图的例子将参考图23的流程图进行描述。该流程图相应于图7的流程图。因此,以与图7中步骤S132和S132的处理相同的方式分别执行步骤S601和S602的处理。
在步骤S603中,检索目标图像获取单元613控制通信单元133,以将检索目标图像请求发送给服务器603。在步骤S621中一旦接收到请求,服务器603的图像提供单元624从图像数据库623中获取图像数据,并且在步骤S622中将作为检索目标图像的图像(图像数据)经由通信单元621提供给成像设备601。在步骤S604中,检索目标图像获取单元613经由通信单元133获取检索目标图像。
也就是说,代替图7中的步骤S133的处理,执行上述处理。
一旦获取检索目标图像,成像设备601以与图7中的步骤S134至S137相同的方式分别执行步骤S605至S608的处理。
通过这样做,即使相对于记录在成像设备601外部的服务器603中的图像执行检索,用户也能够容易地检索期望的图像。
成像设备601的检索结果处理单元206可将检索结果或关键图像经由通信单元133提供给服务器603,以记录在图像数据库623中。
每个设备的另一示例性构造
服务器603可使用通过对目标成像而获取的图像执行图像检索。图24是示出可应用于该情况的图像检索系统600的每个设备的构造的修改例子的框图。
在图24的情况下,除了参考图22所述的构造之外,成像设备601的成像检索单元161包括特征量提供单元631和检索结果获取单元632。
特征量提供单元631获取由关键图像特征量提取单元202提取的关键图像的特征量,以及控制通信单元133以将特征量提供给服务器603。当存在对于比较除了关键图像的特征量之外的特征量必须的附加信息时,特征量提供单元631经由通信单元133将该信息连同关键图像的特征量一起提供给服务器603。例如,当成像检索单元161具有区域指定单元404,并且仅相对于如上所述的局部区域(目标局部区域)比较特征量时,特征量提供单元631获取关于该目标局部区域的信息,并经由通信单元133将信息提供给服务器603。另外,例如,特征量提供单元631可获取关键图像的图像数据以及关键图像的特征量,并经由通信单元133将图像数据提供给服务器603。
服务器603使用由特征量提供单元631提供的关键图像的特征量执行图像检索,以及将检索结果传送给成像设备601。检索结果获取单元632控制通信单元133以获取由服务器603提供的检索结果。检索结果基本上与由特征量比较单元205输出的检索结果相同,并且包括其特征量基于特征量的比较结果而确定为与关键图像的特征量相同或相似的检索目标图像的图像数据。另外,检索结果可包括关键图像的图像数据或特征量。检索结果获取单元632将检索结果提供给检索结果处理单元636。
在图24的情况下,成像检索单元161包括检索结果处理单元636,代替图22中示出的检索结果处理单元206。检索结果处理单元636不仅处理由特征量比较单元205提供的检索结果,还处理由检索结果获取单元632提供的检索结果。也就是说,检索结果处理单元636可在显示单元125上显示检索结果,将检索结果存储在存储单元124内,以及经由通信单元133将检索结果提供给服务器603,以记录在图像数据库623中。另外,检索结果处理单元636可将用于图像检索的关键图像的图像数据存储在存储单元124内,以及经由通信单元133将图像数据提供给服务器603,以记录在图像数据库623中。
除了通信单元621和图像数据库623之外,服务器603还包括检索单元641。检索单元641获取经由通信单元621从成像设备601提供的关键图像的特征量。检索单元641使用已获取的特征量相对于记录在图像数据库623中的图像执行图像检索。检索单元641经由通信单元621将检索结果提供给成像设备601。
检索单元641包括:特征量获取单元651、检索目标图像获取单元652、检索目标图像特征量提取单元653、特征量比较单元654和检索结果提供单元655。
特征量获取单元651获取经由通信单元621由成像设备601提供的关键图像的特征量提取单元。当提供附加信息以及来自成像设备601的关键图像的特征量时,特征量获取单元651还获取附加信息。特征量获取单元651将已获取的信息提供给特征量比较单元654。
检索目标图像获取单元652是与检索目标图像获取单元613相应的处理器,并且基本上以与检索目标图像获取单元613相同的方式操作。检索目标图像获取单元652获取记录在图像数据库623内的图像(图像数据)作为检索目标图像。检索目标图像获取单元652提供已获取的检索目标图像(其图像数据)给检索目标图像特征量提取单元653。
检索目标图像特征量提取单元653是与检索目标图像特征量提取单元204相应的处理器,并且基本上以与检索目标图像特征量提取单元204相同的方式操作。检索目标图像特征量提取单元653从由检索目标图像获取单元652提供的检索目标图像(其图像数据)中提取特征量。检索目标图像特征量提取单元653将检索目标图像的已提取的特征量提供给特征量比较单元654。
特征量比较单元654是与特征量比较单元205相应的处理器,并且基本上以与特征量比较单元205相同的方式操作。特征量比较单元654比较关键图像的特征量与检索目标图像的特征量,以确定检索目标图像的特征是否与关键图像的特征相同或相似。特征量比较单元654相对于整个检索目标图像执行特征量的比较,并且将结果提供给检索结果提供单元655作为检索结果。
检索结果提供单元655经由通信单元621将由特征量比较单元654提供的检索结果提供给成像设备601。检索结果例如包括其特征确定为与关键图像的特征相同或相似的检索目标图像的特征量或图像数据、关于目标局部区域的信息以及关于其它检索条件的信息。
检索目标图像获取单元652、检索目标图像特征量提取单元653和特征量比较单元654将共同地称为检索单元656。也就是说,检索单元656使用关键图像的特征量,从记录在图像数据库623内的图像数据的图像中检索期望的图像。
如上所述,在图24所示的图像检索系统600的情况下,成像设备601和服务器603两者使用由成像设备601获得的已获取图像作为关键图像执行图像检索。更具体地,成像设备601相对于存储在成像设备601的存储单元124内的图像执行图像检索,并且服务器603相对于记录在服务器603的图像数据库623内的图像执行图像检索。
图25是示出由这样的图像检索系统600执行的图像检索处理的流程图。该流程图相应于图7的流程图。
当开始图像检索处理时,成像设备601以与图7中步骤S131和S132相同的方式分别执行步骤S641和S642的处理。在步骤S643中,成像设备601的特征量提供单元631经由通信单元133将在步骤S132提取的关键图像的特征量提供给服务器603。在步骤S661中,服务器603的特征量获取单元651经由通信单元621获取关键图像的特征量。
具有已提供的关键图像的特征量的成像设备601以与图7中步骤S133至S136的处理相同的方式分别执行步骤S644至S647的处理。另外,具有已提供的关键图像的特征量的服务器603以与步骤S644至S647的处理相同的方式分别执行步骤S662至S665的处理。然而,服务器603相对于记录在图像数据库623内的图像执行上述处理。
在步骤S666中,服务器603的检索结果提供单元655经由通信单元621将通过在前的直到步骤S665的处理而获得的检索结果提供给成像设备601。在步骤S648中,成像设备601的检索结果获取单元632通过控制通信单元133而获取检索结果。
在步骤S649中,成像设备601的检索结果处理单元636在显示单元125上显示检索结果。
如上所述,因为图像检索由成像设备601和服务器603这两者执行,因而图像检索系统600能够使用已获取的图像作为关键图像,相对于存储在存储单元124内的图像和记录在图像数据库623内的图像执行图像检索。通过这样做,用户能够容易地从大量的图像中检索期望的图像。
3、第三实施例
每个设备的示例性构造
图像检索可仅由服务器603执行。图26是示出图像检索系统600的每个设备的主要构造的另一例子的框图。
在图26所示的成像设备601的成像检索单元161的构造中,检索目标图像获取单元613、检索目标图像特征量提取单元204和特征量比较单元205从图24中所示的构造中省略。因此,成像检索单元161不执行图像检索。也就是说,诸如由关键图像特征量提取单元202提取的关键图像的特征量仅由特征量提供单元631通过通信单元133提供给服务器603。
另外,图26中示出的成像检索单元161包括检索结果处理单元706,代替图24中示出的检索结果处理单元636。检索结果处理单元706仅处理由检索结果获取单元632获取的检索结果。也就是说,检索结果处理单元706在显示单元125上显示由服务器603执行的图像检索的检索结果,将检索结果存储在存储单元124内,并经由通信单元133提供给服务器603等。
图26中示出的服务器603的构造与图24的情况相同。因此,由图26中示出的服务器603执行的处理与图24的情况相同。
每个设备的另一示例性构造
成像设备601的存储单元124可省略。图27是示出每个设备的构造的修改例子的框图。
图27中示出的成像设备601的成像检索单元161的构造基本上与图26中示出的构造相同。然而,成像检索单元161包括检索结果处理单元716,代替检索结果处理单元706。检索结果处理单元716在显示单元125上显示检索结果,并经由通信单元133将检索结果提供给服务器603等。然而,因为成像设备601没有存储单元124,因而检索结果处理单元716不用将检索结果、关键图像等提供给存储单元124。
图27所示的服务器603的构造与图26的情况相同。
图28是示出由图26或27所示的图像检索系统600执行的图像检索处理的流程图。该流程图相应于图7的流程图。
当开始图像检索处理时,成像设备601以与图7中步骤S131和S132相同的方式分别执行步骤S701和S702的处理。在步骤S703中,成像设备601的特征量提供单元631经由通信单元133将在步骤S132提取的关键图像的特征量提供给服务器603。在步骤S721中,服务器603的特征量获取单元651经由通信单元621获取关键图像的特征量。
具有已获取的关键图像的特征量的服务器603以与图7中步骤S133至S136的处理相同的方式分别执行步骤S722至S725的处理。然而,服务器603相对于记录在图像数据库623内的图像执行上述处理。
在步骤S726中,服务器603的检索结果提供单元655经由通信单元621将通过在前的直到步骤S725的处理而获得的检索结果提供给成像设备601。在步骤S704中,成像设备601的检索结果获取单元632通过控制通信单元133而获取检索结果。
在步骤S705中,成像设备601的检索结果处理单元636在显示单元125上显示检索结果。
由图26所示的图像检索系统执行的图像检索处理的流程与图25所示的流程图的流程相同,除了省略步骤S644至S647的处理之外。
如上所述,因为图像检索由服务器603执行,因此成像设备601能够省略图像检索处理,从而能够减少成像设备601的功率消耗,并且能够减少成像设备601的制造成本。另外,当使用图27中所示的构造时,成像设备601能够省略存储单元124并减少制造成本。
在上述描述中,经由例如由数码相机或便携式摄像机构造的成像设备100和601,已经描述了本发明。然而,这仅是示例性实施例,并且本发明能够应用于任何设备,只要该设备能够使用关键图像的特征量执行图像检索。例如,设备可以是诸如数码相框的阅读器(图像显示设备),并且可以是诸如个人计算机的通用信息处理设备。另外,设备可使用关键图像的特征量而仅执行图像检索。此外,设备可导致其它设备执行获取关键图像、提取特征量、存储检索目标图像和显示检索结果的处理中的一部分或全部处理。
上述一系列处理不仅可由硬件也可由软件执行。当一系列处理由软件执行时,包括在软件内的程序经由网络或记录介质而安装。
例如,记录介质可由与设备主体分离地设置的可拆卸介质141构造,并在其内记录分布的程序,以将程序递送给成像设备100(成像设备601)的管理员,如图2所示,并且可由控制单元111的ROM或包括在存储单元124内的硬盘构造,在结合到设备主体的情况下递送给管理员。
替换地,可经由有线或诸如局部区域网络、因特网、数字卫星广播的无线传输介质提供程序。在此情况下,程序由通信单元133经由有线或无线传输介质接收,并安装在存储单元124等其中。
由计算机执行的程序可以是根据该说明书中描述的过程以时间连续的方式执行处理的程序,并且可以是以并行的方式或在诸如响应呼叫的必须时刻执行处理的程序。
在此,在该说明书中,描述记录在记录介质内的程序的步骤不仅包括根据描述的过程以时间连续的方式执行的处理,还包括即使不以时间连续的方式执行但以并行和/或分离的方式执行的处理。
在该说明书中,术语“系统”用于意味着作为整体的包括多个装置和单元的设备。
本申请包括与2009年1月29日提交日本专利局的日本在先专利申请JP2009-017633中公开的主题相关的主题,其整个内容在此引入以作参考。
在上述描述中,描述为一个设备(或处理器)的构造可分成多个设备(或处理器)。替换地,描述为多个设备(或处理器)的构造可结合为单个设备(或处理器)。另外,与上述构造不同的构造可包括在每个设备(或每个处理器)的上述构造中。如果构造和作为整体的系统的操作基本上相同,那么设备(或处理器)的部分构造可添加到其它设备(或其它处理器)的构造中。本发明的实施例并不限于上述实施例,并且在不脱离本发明要点的范围内可以得到各种修改。

Claims (13)

1.一种成像设备,包括:
图像获取装置,用于通过对目标成像而获取图像以输出已获取图像;
已获取图像特征量提取装置,用于提取由所述图像获取装置获取的已获取图像的特征量;以及
检索装置,用于使用由所述已获取图像特征量提取装置提取的特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
2.根据权利要求1所述的成像设备,
其中,所述检索装置包括:
检索目标图像获取装置,用于获取其它图像作为检索目标图像;
检索目标图像特征量获取装置,用于提取由所述检索目标图像获取装置获取的检索目标图像的特征量;以及
比较装置,用于比较已获取图像的特征量与检索目标图像的特征量。
3.根据权利要求1所述的成像设备,还包括用于接收用户指令的接收装置,
其中,所述图像获取装置根据用户的指令而对目标成像。
4.根据权利要求1所述的成像设备,还包括用于分析已获取图像的图像分析装置,
其中,所述图像获取装置根据所述图像分析装置的分析结果而对目标成像。
5.根据权利要求1所述的成像设备,还包括用于指定用于比较特征量的局部区域的区域指定装置,
其中,所述检索装置使用局部区域内的特征量,从其它图像中检索局部区域内其特征与已获取图像的特征相同或相似的图像。
6.根据权利要求5所述的成像设备,还包括用于接收用户指令的接收装置,
其中所述区域指定装置基于由所述已获取图像特征量提取装置提取的特征量,设置具有预定特征的区域作为用于局部区域的候选者,以及将通过用户指令从候选者中选择的区域指定为局部区域。
7.根据权利要求5所述的成像设备,其中,所述区域指定装置基于由所述已获取图像特征量提取装置提取的特征量,指定具有预定特征的局部区域。
8.根据权利要求5所述的成像设备,还包括用于接收用户指令的接收装置,
其中,所述区域指定装置将通过用户指令指派的区域指定为局部区域。
9.根据权利要求1所述的成像设备,还包括结果显示装置,用于显示通过所述检索装置检索的结果。
10.根据权利要求1所述的成像设备,还包括再检索装置,用于使用另一个特征量,从由所述检索装置检索的图像中检索其特征与已获取图像的特征相同或相似的图像。
11.一种检索方法,包括以下步骤:
通过对目标成像而获取图像,以输出已获取图像;
提取已获取图像的特征量;以及
使用特征量从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
12.一种用于致使计算机执行检索方法的程序,所述检索方法包括步骤:
通过对目标成像而获取图像,以输出已获取图像;
提取已获取图像的特征量;以及
使用特征量从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
13.一种成像设备,包括:
图像获取机构,配置成通过对目标成像而获取图像以输出已获取图像;
已获取图像特征量提取机构,配置成提取由所述图像获取机构获取的已获取图像的特征量;以及
检索机构,配置成使用由所述已获取图像特征量提取机构提取的特征量,从除了已获取图像之外的其它图像中检索其特征与已获取图像的特征相同或相似的图像。
CN201010106263A 2009-01-29 2010-01-29 成像设备、检索方法和程序 Pending CN101795357A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP017633/09 2009-01-29
JP2009017633A JP2010176346A (ja) 2009-01-29 2009-01-29 撮像装置および検索方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN101795357A true CN101795357A (zh) 2010-08-04

Family

ID=42354213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010106263A Pending CN101795357A (zh) 2009-01-29 2010-01-29 成像设备、检索方法和程序

Country Status (3)

Country Link
US (1) US20100189365A1 (zh)
JP (1) JP2010176346A (zh)
CN (1) CN101795357A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092946A (zh) * 2013-01-11 2013-05-08 中兴通讯股份有限公司 终端批量图片选择的方法及系统
CN106851164A (zh) * 2017-03-28 2017-06-13 戴金辰 记录图像、影像生成保留方法
CN109196552A (zh) * 2016-05-30 2019-01-11 Sun电子株式会社 终端装置
CN112817503A (zh) * 2021-01-18 2021-05-18 陈林斌 电子相框的智能显示方法、电子相框及可读存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5601513B2 (ja) * 2010-08-12 2014-10-08 カシオ計算機株式会社 画像表示装置及びプログラム
CN103189817B (zh) 2010-11-02 2016-08-24 日本电气株式会社 信息处理系统和信息处理方法
CN103176996A (zh) * 2011-12-21 2013-06-26 阿里巴巴集团控股有限公司 基于图片特征信息的图片搜索方法及图片搜索引擎服务器
JP6032996B2 (ja) * 2012-08-08 2016-11-30 オリンパス株式会社 画像表示装置、画像表示方法、及び、画像表示プログラム
JP6089515B2 (ja) * 2012-09-11 2017-03-08 カシオ計算機株式会社 画像加工装置、画像加工方法、及びプログラム
JP5998807B2 (ja) * 2012-09-28 2016-09-28 株式会社メルコホールディングス 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP6378664B2 (ja) * 2015-12-02 2018-08-22 株式会社オプティム 情報特定システム、情報特定方法及びそのプログラム
JP6829391B2 (ja) * 2017-04-04 2021-02-10 株式会社ミクシィ 情報処理装置、情報配信方法、及び情報配信プログラム
JP7395889B2 (ja) 2019-09-06 2023-12-12 大日本印刷株式会社 画像処理装置及び画像検索方法
JP7395888B2 (ja) 2019-09-06 2023-12-12 大日本印刷株式会社 画像処理装置及び画像検索方法
JP2021149208A (ja) * 2020-03-16 2021-09-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3660943B2 (ja) * 1998-08-27 2005-06-15 カシオ計算機株式会社 画像検索装置および画像検索方法
JP2000148795A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
JP4565617B2 (ja) * 2004-06-10 2010-10-20 キヤノン株式会社 画像記録装置及びその制御方法
JP4517742B2 (ja) * 2004-06-23 2010-08-04 ソニー株式会社 画像表示制御装置および画像表示制御方法
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP2007310813A (ja) * 2006-05-22 2007-11-29 Nikon Corp 画像検索装置およびカメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092946A (zh) * 2013-01-11 2013-05-08 中兴通讯股份有限公司 终端批量图片选择的方法及系统
WO2014107954A1 (zh) * 2013-01-11 2014-07-17 中兴通讯股份有限公司 终端批量图片选择的方法及系统
CN109196552A (zh) * 2016-05-30 2019-01-11 Sun电子株式会社 终端装置
CN106851164A (zh) * 2017-03-28 2017-06-13 戴金辰 记录图像、影像生成保留方法
CN112817503A (zh) * 2021-01-18 2021-05-18 陈林斌 电子相框的智能显示方法、电子相框及可读存储介质
CN112817503B (zh) * 2021-01-18 2024-03-26 陈林斌 电子相框的智能显示方法、电子相框及可读存储介质

Also Published As

Publication number Publication date
US20100189365A1 (en) 2010-07-29
JP2010176346A (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
CN101795357A (zh) 成像设备、检索方法和程序
US7822233B2 (en) Method and apparatus for organizing digital media based on face recognition
US7869658B2 (en) Representative image selection based on hierarchical clustering
US8704914B2 (en) Apparatus to automatically tag image and method thereof
US7853898B2 (en) Method and apparatus for managing image display in a digital image display apparatus
US6538698B1 (en) Method and system for sorting images in an image capture unit to ease browsing access
US20110022982A1 (en) Display processing device, display processing method, and display processing program
CN101790034A (zh) 图像处理装置、图像显示方法和图像显示程序
US20060236251A1 (en) Apparatus with thumbnail display
CN101489116A (zh) 影像网络系统以及影像数据管理方法
CN101742104A (zh) 图像处理装置、图像处理方法和图像显示程序
CN101676913A (zh) 图像检索装置、数字照相机以及图像检索方法
CN101616224B (zh) 文档管理系统、文档管理设备和文档管理方法
US20100158362A1 (en) Image processing
US8456491B2 (en) System to highlight differences in thumbnail images, mobile phone including system, and method
US20090049083A1 (en) Method and Apparatus for Accessing Data Using a Symbolic Representation Space
CN101873430A (zh) 操作控制装置和操作控制方法
JP2004213429A (ja) 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法
US7706577B1 (en) Exporting extracted faces
CN110308848B (zh) 标签的交互方法、装置及计算机存储介质
JP4796022B2 (ja) 画像記録装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像記録方法
CN1685305A (zh) 便携式计算机装置
KR101624273B1 (ko) 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말
JP2004213428A (ja) 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法
GB2570498A (en) A method and user device for displaying video data, a method and apparatus for streaming video data and a video surveillance system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100804