JP2010176346A - 撮像装置および検索方法、並びにプログラム - Google Patents

撮像装置および検索方法、並びにプログラム Download PDF

Info

Publication number
JP2010176346A
JP2010176346A JP2009017633A JP2009017633A JP2010176346A JP 2010176346 A JP2010176346 A JP 2010176346A JP 2009017633 A JP2009017633 A JP 2009017633A JP 2009017633 A JP2009017633 A JP 2009017633A JP 2010176346 A JP2010176346 A JP 2010176346A
Authority
JP
Japan
Prior art keywords
image
unit
search
feature amount
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009017633A
Other languages
English (en)
Inventor
Yukiko Kanekiyo
由紀子 兼清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009017633A priority Critical patent/JP2010176346A/ja
Priority to US12/657,822 priority patent/US20100189365A1/en
Priority to CN201010106263A priority patent/CN101795357A/zh
Publication of JP2010176346A publication Critical patent/JP2010176346A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】所望の画像をより容易に検索することができるようにする。
【解決手段】キー画像取得部２０１は、撮像部１２２等を制御し、撮像画像を生成させ、それをキー画像として取得する。キー画像特徴量抽出部２０２は、そのキー画像について所定の特徴量を抽出する。検索対象画像取得部２０３は、記憶部１２４から検索対象画像を取得する。検索対象画像特徴量抽出部２０４は、その検索対象画像について所定の特徴量を抽出する。特徴量比較部２０５は、キー画像の特徴量と検索対象画像の特徴量とを比較し、両者が一致又は近似するか否かを判定する。検索結果処理部２０６は、得られた検索結果を表示部１２５に表示させる。本発明は、例えば、デジタルスチルカメラやカムコーダに適用することができる。
【選択図】図４

Description

本発明は、撮像装置および検索方法、並びにプログラムに関し、特に、所望の画像をより容易に検索することができるようにした撮像装置および検索方法、並びにプログラムに関する。
近年、デジタルスチルカメラやカムコーダ（ソニー株式会社の商標）など、被写体を撮像素子で撮像して画像化する電子デバイス（撮像装置）が普及している。このような撮像装置は、通常、例えばハードディスク、半導体メモリ、若しくはテープデバイス等の大容量の記憶媒体を有しているか、例えば光ディスクやメモリカード等のリムーバブルメディア（可搬性の記憶媒体）を装着することができるようになされているか、若しくは、外部の記録装置に接続されている。撮像装置は、撮像により、被写体の画像（撮像画像）を電子データ化し、その画像データを、このような所定の記憶媒体に記憶する。
また、記憶媒体の大容量化や高密度化が進み、小型で大容量の記憶媒体が安価に入手可能となってきており、記憶媒体に数百枚、数千枚の画像データ（撮像画像）を記憶させることができる撮像装置も普及し始めている。
このように記憶された画像データは、例えば、ユーザにより、パーソナルコンピュータに転送され、編集されたり、印刷されたり、電子メール等で配信されたりする。また、画像データは、撮像装置に設けられたLCD（Liquid Crystal Display）等の表示部に表示されることもある。例えば、撮像装置が、被写体を撮像し、撮像画像の画像データを生成するための処理を行う撮像モードと、過去に生成された画像データをユーザに閲覧させるための処理を行うビューアモードを有するとする。このような撮像装置においてユーザがビューアモードを選択すると、撮像装置は、記憶媒体に記憶されている画像データの中から所望のデータを利用者に選択させ、利用者に選択された画像データを表示部に表示する。
例えば、撮像装置が、記憶媒体に記憶されている画像データのサムネイル画像の一覧を表示部に表示し、ユーザに選択させる方法があった（例えば、特許文献１参照）。ユーザがその一覧の中から所望のサムネイル画像を選択すると、撮像装置は、その選択されたサムネイル画像に対応する画像データを記憶媒体より読み出し、その画像を表示部に表示する。
特開２００６−１１６０６号公報
しかしながら、大容量の記憶媒体を備える撮像装置の場合、ユーザは、大量の画像データの中から所望の画像を選択しなければならない場合が考えられる。また、例えば、撮像装置が画像データをサーバ等に転送し、データベースに登録するような場合、ユーザはさらに大量の画像の中から所望の画像を選択しなければならない場合が考えられる。これらのような場合、特許文献１に記載のようなサムネイル画像の一覧を提示する方法では、ユーザに所望の画像を容易に選択させることが困難である恐れがあった。
本発明は、このような状況に鑑みて提案されたものであり、大量の画像の中からでも所望の画像をより容易に検索することができるようにするものである。
本発明の第１の側面は、被写体を撮像し、撮像画像を取得する第１の画像取得手段と、前記第１の画像取得手段により取得された前記撮像画像の特徴量を抽出する第１の抽出手段と、前記第１の抽出手段により抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する第１の検索手段とを備える撮像装置である。
前記第１の検索手段は、前記他の画像を検索対象画像として取得する第２の画像取得手段と、前記第２の画像取得手段により取得された前記検索対象画像の前記特徴量を抽出する第２の抽出手段と、前記第１の抽出手段により抽出された前記特徴量と、前記第２の抽出手段により抽出された前記特徴量を比較する比較手段とを備えることができる。
ユーザ指示を受け付ける受付手段をさらに備え、前記第１の画像取得手段は、前記受付手段により受け付けられた前記ユーザ指示に従って前記被写体を撮像することができる。
前記撮像画像を解析する画像解析手段をさらに備え、前記第１の画像取得手段は、前記画像解析手段による取り込み画像の解析結果に従って前記被写体を撮像することができる。
前記特徴量を比較する部分領域を特定する領域特定手段をさらに備え、前記第１の検索手段は、前記領域特定手段により特定された前記部分領域内の前記特徴量を用いて、前記他の画像の中から、前記部分領域内の特徴が前記撮像画像に一致または近似する画像を検索することができる。
ユーザ指示を受け付ける受付手段をさらに備え、前記領域特定手段は、前記第１の抽出手段により抽出された前記特徴量に基づいて、所定の特徴を有する領域を前記部分領域の候補とし、前記受け付け手段により受け付けられた前記ユーザ指示により前記候補の中から選択された領域を前記部分領域として特定することができる。
前記領域特定手段は、前記第１の抽出手段により抽出された前記特徴量に基づいて、所定の特徴を有する前記部分領域を特定することができる。
ユーザ指示を受け付ける受付手段をさらに備え、前記領域特定手段は、前記受付手段により受け付けられた前記ユーザ指示により指定される領域を前記部分領域として特定することができる。
前記第１の検索手段による検索の結果を表示する結果表示手段をさらに備えることができる。
他の特徴量を用いて、前記第１の検索手段により検索された画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する第２の検索手段をさらに備えることができる。
本発明の第１の側面は、また、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索方法である。
本発明の第１の側面は、さらに、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索方法をコンピュータに実行させるプログラムである。
本発明の第２の側面は、被写体を撮像し、撮像画像を取得する画像取得手段と、前記画像取得手段により取得された前記撮像画像の特徴量を抽出する抽出手段と、前記抽出手段により抽出された前記特徴量を他の装置に供給する供給手段と、前記他の装置が前記供給手段により供給された前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する取得手段とを備える撮像装置である。
本発明の第２の側面は、また、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、抽出された前記特徴量を他の装置に供給し、前記他の装置が前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する検索方法である。
本発明の第２の側面は、さらに、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、抽出された前記特徴量を他の装置に供給し、前記他の装置が前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する検索方法をコンピュータに実行させるプログラムである。
本発明の第３の側面は、被写体を撮像し、撮像画像を取得する第１の画像取得手段と、前記第１の画像取得手段により取得された前記撮像画像の特徴量を抽出する抽出手段と、他の装置に記憶される画像データの画像を検索対象画像として取得する第２の画像取得手段と、前記抽出手段により抽出された前記特徴量を用いて、前記第２の画像取得手段により取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索手段とを備える撮像装置である。
本発明の第３の側面は、また、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、他の装置に記憶される画像データの画像を検索対象画像として取得し、抽出された前記特徴量を用いて、取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索方法である。
本発明の第３の側面は、さらに、被写体を撮像して撮像画像を取得し、取得された前記撮像画像の特徴量を抽出し、他の装置に記憶される画像データの画像を検索対象画像として取得し、抽出された前記特徴量を用いて、取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索方法をコンピュータに実行させるプログラムである。
本発明の第１の側面においては、被写体が撮像され、撮像画像が取得され、その撮像画像の特徴量が抽出され、抽出された特徴量を用いて、撮像画像以外の他の画像データの画像の中から、特徴が撮像画像に一致または近似する画像が検索される。
本発明の第２の側面においては、被写体が撮像され、撮像画像が取得され、その撮像画像の特徴量が抽出され、抽出された特徴量が他の装置に供給され、他の装置がその特徴量を用いて行う、特徴が撮像画像に一致または近似する画像の検索の結果が取得される。
本発明の第３の側面においては、被写体が撮像され、撮像画像が取得され、取得された撮像画像の特徴量が抽出され、他の装置に記憶される画像データの画像が検索対象画像として取得され、抽出された特徴量が用いられて、取得される画像データの画像の中から、特徴が撮像画像に一致または近似する画像が検索される。
本発明によれば、情報を処理することができる。特に、所望の画像をより容易に検索することができる。
本発明を適用した撮像装置の概要を説明する模式図である。 本発明を適用した撮像装置の主な構成の一実施の形態を示すブロック図である。 モードの構成例を説明する模式図である。 撮像検索部の主な構成例を示すブロック図である。 選択検索部の主な構成例を示すブロック図である。 モード選択処理を説明するためのフローチャートである。 撮像検索処理を説明するためのフローチャートである。 選択検索処理を説明するためのフローチャートである。 検索結果の表示の様子を説明するための模式図である。 検索結果の表示の様子を説明するための模式図である。 検索結果の表示の様子を説明するための模式図である。 検索結果の表示の様子を説明するための模式図である。 撮像検索部の構成の変形例を示すブロック図である。 撮像検索処理を説明するためのフローチャートである。 撮像検索処理を説明するためのフローチャートである。 領域指定の様子を説明するための模式図である。 撮像検索処理を説明するためのフローチャートである。 撮像検索処理を説明するためのフローチャートである。 検索結果の表示の様子を説明するための模式図である。 撮像検索処理を説明するためのフローチャートである。 本発明を適用した画像検索システムの概要を説明する模式図である。 各装置の主な構成の一実施の形態を示すブロック図である。 画像検索処理を説明するためのフローチャートである。 各装置の構成の変形例を示すブロック図である。 画像検索処理を説明するためのフローチャートである。 各装置の主な構成の他の実施の形態を示すブロック図である。 各装置の構成の変形例を示すブロック図である。 画像検索処理を説明するためのフローチャートである。
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像検索：撮像装置内の画像を検索する例）
２．第２の実施の形態（撮像検索：ネットワーク上の画像を検索する例）
３．第３の実施の形態（撮像検索：ネットワーク上の画像をサーバに検索させる例）
＜１．第１の実施の形態＞
［撮像装置の概要］
図１は、本発明を適用した撮像装置の概要を説明する模式図である。
撮像装置１００は、被写体１１を撮像し、その被写体の画像（撮像画像）を電子データ化し、得られた画像データを、内蔵する記憶媒体に記憶する。撮像装置１００は、例えばデジタルスチルカメラやカムコーダ（ソニー株式会社の商標）等の電子機器である。図１において、画像３１乃至画像３３は、過去に生成され、記憶媒体に記憶された画像データの画像を示す。
撮像装置１００は、LCD（Liquid Crystal Display）等の表示デバイス（表示部）を備えている。撮像装置１００は、ビューアモードにおいて、記憶媒体に記憶されている画像データの画像（画像３１乃至画像３３）の中から所望の画像をユーザに選択させ、選択された画像をその表示部に表示する。
撮像装置１００は、キー画像を用いて、そのキー画像に一致または類似する画像を、記憶媒体に記憶されている画像データの画像の中から検索する機能を有する。撮像装置１００は、記憶媒体に記憶されている画像データの画像をこのキー画像とすることもできるが、新たに行われた撮像により得られた撮像画像２１をキー画像とすることもできる。
例えば、ユーザが撮像装置１００を操作して被写体１１を撮像すると、撮像装置１００は、その撮像画像２１をキー画像とし、そのキー画像に特徴が一致または類似する画像を、画像３１乃至画像３３の中から検索する。撮像装置１００は、検索された画像（キー画像に特徴が一致または類似する画像）を、検索結果として表示部に表示する。
図１の例の場合、キー画像とされる撮像画像２１に対して画像３１が、その特徴が類似している。したがって、撮像装置１００は、画像３１を検索結果として表示部に表示する。
このように、キー画像の特徴を用いて画像検索を行うことにより、撮像装置１００は、ユーザが所望の画像をより容易に検索することができるようにすることができる。
図２は、本発明を適用した撮像装置１００の主な構成の一実施の形態を示すブロック図である。
図２に示されるように、撮像装置１００は、制御部１１１、光学部１２１、撮像部１２２、画像処理部１２３、記憶部１２４、表示部１２５、入力部１３１、出力部１３２、通信部１３３、および、ドライブ１３４を有する。
光学部１２１は、例えばレンズ、絞り、およびメカシャッタ等の光学素子よりなり、焦点位置や露出の調整を行う。光学部１２１は、撮像時において、撮像装置１００の外部より入射された光を透過し、撮像部１２２に供給する。撮像部１２２は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）センサ等の光電素子を有する。撮像部１２２は、その光電素子により、光学部１２１を介して供給された入射光（撮像画像）を電子データ化し、撮像画像の画像データを生成する。撮像部１２２は、生成した画像データを画像処理部１２３に供給する。
画像処理部１２３は、撮像部１２２より供給された画像データに対して所定の画像処理を行い、画質調整やサイズ変更等の処理を行う。画像処理部１２３は、処理後の画像データを、例えば記憶部１２４に供給して記憶させる。また、画像処理部１２３は、処理後の画像データを、例えば表示部１２５に供給してその画像を表示させる。さらに、画像処理部１２３は、処理後の画像データを、例えば制御部１１１に供給し、制御部１１１において実行される処理に利用させる。
記憶部１２４は、画像データを記憶する記憶媒体であり、画像処理部１２３や制御部１１１より供給される画像データ等を記憶する。また、記憶部１２４は、必要に応じて、記憶している画像データを、制御部１１１等に供給する。記憶部１２４は、例えば、フレキシブルディスク、テープデバイス、若しくはハードディスク等の磁気記録媒体、MD（Mini Disc（ソニー株式会社の登録商標））等の光磁気ディスク、CD（Compact Disc）やDVD（Digital Versatile Disc）等の光ディスク、または、フラッシュメモリ、SRAM（Static Random Access Memory）、若しくはDRAM（Dynamic Random Access Memory）等の半導体メモリ等、任意の記憶媒体を有する。
なお、この記憶媒体は、例えばCDやDVD等のように記憶部１２４より脱着可能な、記憶可能なリムーバブルメディアであってもよい。その場合、記憶部１２４は、その記憶可能なリムーバブルメディアと、そのリムーバブルメディアが装着されたドライブ等により構成される。ドライブは、装着されたリムーバブルメディアに対して情報の読み出しや書き込みが可能なデバイスである。
記憶部１２４は、画像データを記憶することができるものであればどのようなものであってもよく、上述した以外のデバイスに情報を記憶するようにしてもよい。
表示部１２５は、画像処理部１２３や制御部１１１より供給された画像データの画像やGUI（Graphical User Interface）等を表示する。表示部１２５は、例えば、LCD、PDP（Plasma Display Panel）、有機ELディスプレイ（Organic ElectroLuminescence Display）、またはCRT（Cathode Ray Tube）ディスプレイ等、任意のディスプレイを有する。表示部１２５は、画像を表示することができるものであればどのようなものであってもよく、上述した以外のデバイスに情報を表示するようにしてもよい。また、例えば、表示部１２５の表示面に、ユーザ指示等を受け付けるための透過性のタッチパネルが重畳される等しても良い。
制御部１１１は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）等を有し、撮像装置１００の動作を制御する各種処理を行う。制御部１１１は、CPUがROMより読み出したプログラムやデータをRAMにロードし、実行することにより撮像装置１００の各種機能を実現する。例えば、制御部１１１は、モード選択部１５１、撮像制御部１５２、および画像表示制御部１５３の機能ブロックを有する。これらの機能ブロックは、制御部１１１がプログラムを実行することにより実現される。
なお、RAMにロードされるプログラムやデータは、記憶部１２４より読み出されるようにしてもよいし、ドライブ１３４に装着されたリムーバブルメディア１４１より読み出されるようにしてもよい。
モード選択部１５１は、撮像装置１００の動作モードの選択を行う。撮像装置１００は、後述するように、撮像モードやビューアモードのように複数の動作モードを備えており、各動作モードに応じて実行する処理（実現する機能）を変更する。
撮像制御部１５２は、例えば被写体を撮像し、画像データを生成する処理等のような、撮像モードの機能を実現するための処理を行う。撮像制御部１５２は、主に光学部１２１乃至表示部１２５を制御し、さらに、入力部１３１乃至ドライブ１３４を適宜制御し、撮影モードの処理を実行する。
画像表示制御部１５３は、例えば画像データを記憶部１２４より読み出してその画像を表示部１２５に表示する処理等のような、ユーザが記録済みの撮像画像を閲覧するビューアモードの機能を実現するための処理を行う。画像表示制御部１５３は、主に光学部１２１乃至表示部１２５を制御し、さらに、入力部１３１乃至ドライブ１３４を適宜制御し、ビューアモードの処理を実行する。画像表示制御部１５３は、撮像検索部１６１、選択検索部１６２、および指定表示部１６３を有する。
撮像検索部１６１は、ビューアモードの中のピックアップ検索モードの機能を実現するための処理を行う。撮像検索部１６１は、例えば、被写体を撮像し、その撮像画像をキー画像として、記憶部１２４に記憶されている画像データの画像の中から所望の画像（画像データ）を検索する撮像検索に関する処理を行う。撮像検索部１６１は、主に光学部１２１乃至表示部１２５を制御し、さらに、入力部１３１乃至ドライブ１３４を適宜制御する。
選択検索部１６２は、ビューアモードの中の選択検索モードの機能を実現するための処理を行う。選択検索部１６２は、例えば、ユーザに選択された記憶部１２４に記憶されている画像データの画像（撮像画像）をキー画像として、記憶部１２４に記憶されている画像データの画像の中から所望の画像（画像データ）を検索する選択検索に関する処理を行う。選択検索部１６２は、主に画像処理部１２３乃至表示部１２５を制御し、さらに、入力部１３１乃至ドライブ１３４を適宜制御する。
指定表示部１６３は、ビューアモードの中の指定表示モードの機能を実現するための処理を行う。指定表示部１６３は、例えば、記憶部１２４に記憶されている画像データのサムネイル画像の一覧を表示部１２５に表示し、ユーザに選択されたサムネイル画像に対応する画像データを記憶部１２４より読み出して、その画像を表示部１２５に表示する指定表示に関する処理を行う。指定表示部１６３は、主に画像処理部１２３乃至表示部１２５を制御し、さらに、入力部１３１乃至ドライブ１３４を適宜制御する。
各ブロックは、必要に応じて相互に信号（データ）を授受することが可能とされている。
入力部１３１は、ユーザに操作されて指示入力を受け付け、その指示入力を制御部１１１に供給する。入力部１３１は、例えば、ボタン、つまみ、スイッチ、およびタッチパネル等により構成される。もちろん、入力部１３１が、これら以外の入力デバイスを有するようにしてもよい。
出力部１３２は、制御部１１１より供給される情報を、撮像装置１００の外部に出力する。出力部１３２は、例えば、音声を出力するためのスピーカ、画像や文字等を表示するための、表示部１２５以外のモニタ、機器の状態を示すLED（Light Emitting Diode）または、電気信号として情報を出力するための出力端子等を含む。もちろん、出力部１３２が、これら以外の出力デバイスを有するようにしてもよい。
通信部１３３は、所定の規格に基づいて、撮像装置１００以外の他の装置の通信部と、有線通信または無線通信を確立し、制御部１１１より供給される情報を他の装置に提供したり、他の装置より供給される情報を取得して制御部１１１に供給したりする。通信部１３３は、例えば、Ethernet（登録商標）、IEEE（Institute of Electrical and Electronic Engineers）802.11、Bluetooth、USB（Universal Serial Bus）、IEEE1394、またはHDMI（High-Definition Multimedia Interface）等、任意の規格に基づく通信を行う。
ドライブ１３４は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１４１を駆動する。ドライブ１３４は、装着されたリムーバブルメディア１４１よりプログラムやデータを読み出し、それを制御部１１１に供給する。なお、ドライブ１３４は、撮像装置１００と異なるデバイスとし、撮像装置１００がリムーバブルメディア１４１に記憶されている情報を読み出す際に、撮像装置１００に適宜接続されるようにしてもよい。
次に、撮像装置１００の動作モードの構成について説明する。図３は、モードの構成例を説明する模式図である。
図３に示されるように、撮像装置１００の動作モードには、被写体を撮像し、生成された画像データを記憶したり表示したりする撮像モードと、過去に撮像され、記憶部１２４に記憶されている画像データの画像を表示するビューアモードがある。ビューアモードには、ピックアップ検索モード、選択検索モード、および指定表示モードがある。
ピックアップ検索モードは、撮像検索部１６１が、記憶部１２４に記憶されている画像データの画像に対して、撮像画像の特徴量を検索キーとして、その特徴量が一致または類似する画像の検索を行い、検索された画像を表示部１２５に表示するモードである。つまり、撮像画像がキー画像とされて検索が行われ、その検索結果が表示される。したがって、ユーザは、所望の画像を検索するために、所望の画像の特徴と一致するまたは類似する撮像画像を得るように撮像を行うだけでよい。つまり、ユーザは、所望の画像をより容易に検索することができる。
選択検索モードは、選択検索部１６２が、記憶部１２４に記憶されている画像データの画像に対して、記憶部１２４に記憶されている画像データの、ユーザに選択された画像の特徴量を検索キーとして、その特徴量が一致または類似する画像の検索を行い、検索された画像を表示部１２５に表示するモードである。つまり、ユーザに選択された画像がキー画像とされて検索が行われ、その検索結果が表示される。したがって、ユーザは、所望の画像を検索するために、所望の画像の特徴と一致するまたは類似する画像を選択するだけでよい。つまり、ユーザは、所望の画像をより容易に検索することができる。
指定表示モードは、指定表示部１６３が、記憶部１２４に記憶されている画像データの画像を、ユーザに指定させ、その指定された画像を表示部１２５に表示するモードである。指定表示部１６３は、例えば、記憶部１２４に記憶されている画像データのサムネイル画像の一覧を表示部１２５に表示させ、ユーザの画像選択を支援する。
以上のように動作モードに分けて制御を行うことにより、制御部１１１は、不要な処理部への電源供給を容易に省略することができ（電力制御が容易になり）、容易に撮像装置１００の消費電力を低減させることができる。
［撮像検索部の構成の一実施の形態］
図４は、撮像検索部１６１の主な構成例を示すブロック図である。
図４に示されるように、撮像検索部１６１は、キー画像取得部２０１、キー画像特徴量抽出部２０２、検索対象画像取得部２０３、検索対象画像特徴量抽出部２０４、特徴量比較部２０５、および検索結果処理部２０６を有する。なお、図４において矢印は、主な情報の伝送方向や制御関係を示す。各ブロックは、図４に示される以外も、必要に応じて相互に信号（データ）を授受したり制御を行ったりすることが可能とされている。
キー画像取得部２０１は、光学部１２１、撮像部１２２、および画像処理部１２３を駆動させ、撮像を行わせ、撮像画像の画像データを生成させる。キー画像取得部２０１は、画像処理部１２３より撮像画像の画像データを取得する。キー画像取得部２０１は、取得した画像データの画像を検索のキー画像とし、その画像データをキー画像特徴量抽出部２０２に供給する。
キー画像特徴量抽出部２０２は、キー画像取得部２０１より供給された画像データの画像（キー画像）について所定の特徴量を抽出する。ここで、特徴量は、画像に関するものであればどのようなものであっても良い。例えば、RGBやYCbCrのヒストグラムであってもよいし、顔認識処理結果等の画像解析結果であってもよい。なお、キー画像の特徴量は、１種類の情報でなくても良く、複数種類の情報により構成されるようにしてもよい。例えば、上述した画像の特徴量に加え、撮影日時、撮影場所、露出、または焦点距離等の各種撮影条件が「キー画像の特徴量」に含まれるようにしてもよい。また、例えば、ファイルサイズ等のようなファイル（画像データ）そのものに関する情報が「キー画像の特徴量」に含まれるようにしてもよい。キー画像特徴量抽出部２０２は、「キー画像の特徴量」とする全ての情報（特徴量や条件等）を抽出し、それを特徴量比較部２０５に供給する。
検索対象画像取得部２０３は、検索対象の画像（検索対象画像）の画像データとして、記憶部１２４から画像データを取得し、それを検索対象画像特徴量抽出部２０４に供給する。
検索対象画像特徴量抽出部２０４は、検索対象画像取得部２０３より供給された画像データの画像（検索対象画像）について所定の特徴量を抽出する。この特徴量は、キー画像特徴量抽出部２０２が抽出するキー画像の特徴量と一致するものであればどのようなものであってもよい。つまり、キー画像の特徴量が複数種類の情報を含む場合、この検索対象画像の特徴量もその複数種類の情報を含む。検索対象画像特徴量抽出部２０４は、抽出した特徴量を特徴量比較部２０５に供給する。
特徴量比較部２０５は、キー画像特徴量抽出部２０２より供給されたキー画像の特徴量と、検索対象画像特徴量抽出部２０４より供給された検索対象画像の特徴量とを比較し、キー画像の特徴量と検索対象画像の特徴量が一致又は近似するか否かを判定する。特徴量が複数種類の情報よりなる場合、その一部または全部の情報が、必要に応じて比較される。特徴量比較部２０５は、その判定結果を検索結果処理部２０６に供給する。また、特徴量比較部２０５は、キー画像の特徴量と検索対象画像の特徴量が一致又は近似すると判定された場合、検索対象画像をキー画像に対応する画像とし、その検索対象画像の画像データを検索結果処理部２０６に供給する。
検索対象画像取得部２０３および検索対象画像特徴量抽出部２０４は、記憶部１２４に記憶されている全ての画像データを検索対象画像として取得し、それぞれの画像の特徴量を抽出する。なお、検索対象が記憶部１２４に記憶されている画像データの一部に制限される場合や、検索対象画像の数が所定数に制限される場合、検索対象画像取得部２０３および検索対象画像特徴量抽出部２０４は、それらの制限の下において検索対象とされる全ての画像データ（つまり、記憶部１２４に記憶されている画像データの一部）を検索対象画像として取得する。つまり、特徴量比較部２０５は、上述した特徴量の比較を、全ての検索対象画像について行う。
検索結果処理部２０６は、以上のように行われる検索の結果についての処理を行う。例えば、検索結果処理部２０６は、特徴量比較部２０５より供給される画像データのサムネイル画像の一覧を検索結果として表示部１２５に表示させる。
なお、検索対象画像取得部２０３、検索対象画像特徴量抽出部２０４、および特徴量比較部２０５をまとめて検索部２０７と称する。つまり、検索部２０７は、キー画像の特徴量を用いて記憶部１２４に記憶されている画像データの画像の中から所望の画像を検索する。
［選択検索部の構成の一実施の形態］
図５は、選択検索部１６２の主な構成例を示すブロック図である。
図５に示されるように、選択検索部１６２は、キー画像取得部２１１、キー画像特徴量抽出部２１２、検索対象画像取得部２１３、検索対象画像特徴量抽出部２１４、特徴量比較部２１５、および検索結果処理部２１６を有する。なお、図５において矢印は、主な情報の伝送方向や制御関係を示す。各ブロックは、図５に示される以外も、必要に応じて相互に信号（データ）を授受したり制御を行ったりすることが可能とされている。
キー画像取得部２１１は、記憶部１２４に記憶されている画像データのうち、ユーザが選択した画像データを取得する。キー画像取得部２１１は、取得した画像データの画像を検索のキー画像とし、その画像データをキー画像特徴量抽出部２１２に供給する。
キー画像特徴量抽出部２１２は、キー画像取得部２１１より供給された画像データの画像（キー画像）について所定の特徴量を抽出する。ここで、特徴量は、撮像検索部１６１の場合と同様、画像に関するものであればどのようなものであっても良い。キー画像特徴量抽出部２１２は、抽出した特徴量を特徴量比較部２１５に供給する。
検索対象画像取得部２１３は、検索対象の画像（検索対象画像）の画像データとして、記憶部１２４から画像データ（キー画像の画像データ以外の画像データ）を取得し、それを検索対象画像特徴量抽出部２１４に供給する。
検索対象画像特徴量抽出部２１４は、検索対象画像取得部２１３より供給された画像データの画像（検索対象画像）について所定の特徴量を抽出する。この特徴量は、キー画像特徴量抽出部２１２が抽出するキー画像の特徴量と一致するものであればどのようなものであってもよい。検索対象画像特徴量抽出部２１４は、抽出した特徴量を特徴量比較部２１５に供給する。
特徴量比較部２１５は、キー画像特徴量抽出部２１２より供給されたキー画像の特徴量と、検索対象画像特徴量抽出部２１４より供給された検索対象画像の特徴量とを比較し、キー画像の特徴量と検索対象画像の特徴量が一致又は近似するか否かを判定する。特徴量比較部２１５は、その判定結果を検索結果処理部２１６に供給する。また、特徴量比較部２１５は、キー画像の特徴量と検索対象画像の特徴量が一致又は近似すると判定された場合、検索対象画像をキー画像に対応する画像とし、その検索対象画像の画像データを検索結果処理部２１６に供給する。
検索対象画像取得部２１３および検索対象画像特徴量抽出部２１４は、記憶部１２４に記憶されている全ての画像データを検索対象画像として取得し、それぞれの画像の特徴量を抽出する。なお、検索対象が記憶部１２４に記憶されている画像データの一部に制限される場合や、検索対象画像の数が所定数に制限される場合、検索対象画像取得部２１３および検索対象画像特徴量抽出部２１４は、それらの制限の下において検索対象とされる全ての画像データ（つまり、記憶部１２４に記憶されている画像データの一部）を検索対象画像として取得する。つまり、特徴量比較部２１５は、上述した特徴量の比較を、全ての検索対象画像について行う。
検索結果処理部２１６は、以上のように行われる検索の結果についての処理を行う。例えば、検索結果処理部２０６は、特徴量比較部２０５より供給される画像データのサムネイル画像の一覧を検索結果として表示部１２５に表示させる。
なお、検索対象画像取得部２１３、検索対象画像特徴量抽出部２１４、および特徴量比較部２１５をまとめて検索部２１７と称する。つまり、検索部２１７は、キー画像の特徴量を用いて記憶部１２４に記憶されている画像データの画像の中から所望の画像を検索する。
［処理の流れの説明］
次に、制御部１１１が実行する処理の流れの実施の形態について説明する。初めに、図６のフローチャートを参照してモード選択処理を説明する。
例えば、ユーザが入力部（スイッチ等）を操作することにより、動作モードの切り替え指示を入力すると、制御部１１１は、モード選択処理を開始する。
モード選択処理が開始されると、制御部１１１のモード選択部１５１は、ステップＳ１０１において、ユーザにより入力された切り替え指示によって撮像モードが選択されたか否かを判定する。撮像モードが選択されたと判定された場合、処理はステップＳ１０２に進む。撮像モードが選択されると、撮像制御部１５２は、ステップＳ１０２において、例えば、光学部１２１乃至表示部１２５のような撮像に関する処理部を起動させ、ステップＳ１０３において、起動させた処理部を制御して被写体を撮像させる撮像制御処理を開始する。撮像制御処理が開始されると、モード選択部１５１は、モード選択処理を終了する。
また、ステップＳ１０１において、撮像モードが選択されていないと判定された場合、処理はステップＳ１０４に進む。ステップＳ１０４において、モード選択部１５１は、ピックアップ検索モードが選択されたか否かを判定する。ピックアップ検索モードが選択されたと判定された場合、処理はステップＳ１０５に進む。ピックアップ検索モードが選択されると、撮像検索部１６１は、ステップＳ１０５において、例えば、光学部１２１乃至記憶部１２４のように、撮像に関する処理部と画像検索表示に関する処理部を起動させる。撮像検索部１６１は、ステップＳ１０６において、起動させた処理部を制御して被写体を撮像して得られた撮像画像をキー画像として画像検索を行う撮像検索処理を開始する。撮像検索処理が開始されると、モード選択部１５１は、モード選択処理を終了する。
さらに、ステップＳ１０４において、ピックアップ検索モードが選択されていないと判定された場合、処理はステップＳ１０７に進む。ステップＳ１０７において、モード選択部１５１は、選択検索モードが選択されたか否かを判定する。選択検索モードが選択されたと判定された場合、処理はステップＳ１０８に進む。選択検索モードが選択されると、選択検索部１６２は、ステップＳ１０８において、例えば、画像処理部１２３乃至表示部１２５のように、画像検索表示に関する処理部を起動させる。選択検索部１６２は、ステップＳ１０９において、起動させた処理部を制御してユーザに選択された画像をキー画像として画像検索を行う選択検索処理を開始する。選択検索処理が開始されると、モード選択部１５１は、モード選択処理を終了する。
また、ステップＳ１０７において、選択検索モードが選択されていないと判定された場合、指定表示モードが選択されたとして、処理はステップＳ１１０に進む。指定表示モードが選択されると、指定表示部１６３は、ステップＳ１１０において、例えば、画像処理部１２３乃至表示部１２５のように、画像指定表示に関する処理部を起動させる。指定表示部１６３は、ステップＳ１１１において、ユーザに指定された画像を表示する指定表示処理を開始する。指定表示処理が開始されると、モード選択部１５１は、モード選択処理を終了する。
次に、図７のフローチャートを参照して、撮像検索部１６１により実行される撮像検索処理を説明する。例えば、図６のステップＳ１０６の処理が実行されて撮像検索処理が開始されると、キー画像取得部２０１は、ステップＳ１３１において、被写体を撮像し、キー画像を取得する。
ステップＳ１３２において、キー画像特徴量抽出部２０２は、キー画像より所定の特徴量を抽出する。ステップＳ１３３において、検索対象画像取得部２０３は、記憶部１２４から検索対象画像とする画像の画像データを取得する。ステップＳ１３４において、検索対象画像特徴量抽出部２０４は、ステップＳ１３３において取得された検索対象画像より特徴量を抽出する。
ステップＳ１３５において、特徴量比較部２０５は、ステップＳ１３２において抽出されたキー画像の特徴量と、ステップＳ１３４において抽出された検索対象画像の特徴量を比較する。ステップＳ１３６において、特徴量比較部２０５は、全ての検索対象画像を処理したか否かを判定する。検索対象画像とすべき未処理の画像が存在すると判定された場合、処理は、ステップＳ１３３に戻り、それ以降の処理が行われる。つまり、全ての検索対象画像が処理されるまで、ステップＳ１３３乃至ステップＳ１３６の処理が繰り返し実行される。
ステップＳ１３６において、全ての検索対象画像が処理されたと判定された場合、処理は、ステップＳ１３７に進む。ステップＳ１３７において、検索結果処理部２０６は、特徴量比較の結果、その特徴量がキー画像に一致または近似すると判定された検索対象画像、またはその一覧を表示部１２５に表示させる。ステップＳ１３７の処理が終了すると、撮像検索部１６１は、撮像検索処理を終了する。
なお、撮像検索部１６１は、ピックアップ検索モードの間、撮像検索処理を繰り返し実行するようにしてもよい。
以上のように、撮像装置１００が画像（の特徴量）を検索キーとして画像検索を行うことにより、ユーザは容易に所望の画像を検索することができる。例えば指定表示モードの場合、撮像装置１００は記憶部１２４に記憶されている画像データのサムネイル画像の一覧を提示し、ユーザにその一覧の中から所望の画像を選択させるが、一覧の画像数が増大するに従い、ユーザの作業量も増大してしまう。例えば、この方法で、数百枚、数千枚の画像の中から所望の画像を見つけるのは困難である場合が考えられる。
そこで、撮像装置１００が検索キーを用いて画像検索を行い、ユーザが所望の画像を特定したり、ユーザに提示する画像の絞り込みを行ったりするようにすることにより、ユーザの画像検索の作業量を低減させることができる。この検索キーとしては様々なものが考えられるが、検索対象は画像であるので、文字列を検索キーとして検索を行うことは困難である。
まず、文字列を検索キーとするためには、各画像に対して検索キー用の文字列を予め登録しておく必要がある。また、文字列を各画像に対して登録するとしても、例えば画像の特徴を文言で正しく表現するのは必ずしも容易ではなく、ユーザが持つ画像の印象と一致するとは限らないので、検索キーとして有効な文字列を各画像に登録することは困難である。さらに、例えば日時や撮像条件等のような画像に関する情報を検索キーとしてユーザが指定する方法も考えられるが、その場合ユーザがそれらの情報を正確に把握しておく必要がある。
また、携帯性を考慮すると撮像装置１００の筐体を不要に大きくすることは望ましくなく、例えばパーソナルコンピュータ用のキーボードのような文字入力性能の高い入力デバイスを撮像装置１００に搭載することは困難である場合が多い。つまり撮像装置１００においては、ユーザが文字を入力することも困難である場合が考えられる。
これに対して、撮像装置１００が画像（の特徴量）を検索キーとして画像検索を行うことにより、ユーザは、所望の画像に視覚的に類似する画像を検索キーとして設定するだけで、容易に所望の画像を検索することができる。
付言するに、ユーザは所望の画像の内容を正しく把握しているとは限らない。文字列を検索キーとする場合、その記憶違いが致命的な間違いとなる恐れがある。例えば、所望の画像が「赤い車の画像」であるときに、ユーザがその画像を「電車の画像」と記憶していると、ユーザは検索キーとして「電車」を設定するが、この検索キー（電車）では「赤い車の画像」を見つけることはできない。
これに対して、画像（の特徴量）を検索キーとする場合、仮にユーザが電車の画像を検索キーに設定したとしても、その画像（電車の画像）の構成が所望の画像（赤い車の画像）と類似する場合、互いの画像の特徴量が類似する可能性があり、所望の画像が検索される可能性がある。
このように、検索キーを画像とすることにより、ユーザの記憶が曖昧であっても、所望の画像を正しく検索することができる可能性が高くなる。
なお、撮像装置１００は、光学部１２１や撮像部１２２等、被写体を撮像するための機能を有する。撮像検索部１６１は、この撮像機能を利用して検索キー（キー画像）とする撮像画像を生成する。例えば、ある画像を表示部１２５に表示させる場合、ユーザは、その画像に特徴量が類似または一致する撮像画像を得るように、周囲より被写体を探し、構図等を決めて、キー画像の撮像を行う。このように、ユーザは、撮像装置１００を用いて被写体を撮像するだけで、キー画像を容易かつ自由に設定することができる。
また、撮像装置１００は、元々被写体を撮像する装置であるので、例えば筐体の構造や操作方法等は、撮像作業を容易に行うことができるようになされている。したがって、ユーザは、より容易に任意の被写体を任意の角度から任意の撮像条件で撮像することができる。つまり、ユーザは、キー画像の設定をより容易かつ自由に行うことができる。
さらに、検索対象画像とされる画像は、撮像装置１００において過去に撮像され、記憶部１２４に記憶されている画像である。つまり、ユーザは、検索対象画像と同じ構成（光学部１２１乃至画像処理部１２３等）を用いてキー画像とする撮像画像を得ることができる。したがって、ユーザは、検索対象画像と特徴量が類似するキー画像を容易に得ることができる。
例えば、キー画像を検索対象画像と異なる構成により得る場合、ユーザは、キー画像の特徴を検索対象画像に類似させようとしても、その構成の違いにより上手く類似させることができない場合が考えられる。また、意図せずに類似してしまう場合も考えられる。しかしながら、上述したように検索対象画像を生成した構成を用いてキー画像を生成することにより、ユーザは、容易に、ユーザの意図に応じて、キー画像の撮像条件等を検索対象画像に一致させたり、一致させなかったりすることができる。つまり検索がより容易になる。
また、撮像装置１００が、撮像モードではなくビューアモードにおいて撮像検索を行い、通常の撮像時に撮像検索処理を省略するので、不要な消費電力の増大を抑制することができる。なお、もちろん、撮像モードにおいて撮像検索を随時行うようにしても勿論よい。ただし、ピックアップ検索モードを設け、そのピックアップ検索モードにおいて撮像検索の処理を制御することにより、撮像装置１００は、必要最小限の消費電力により撮像検索を行うことができる。
次に、図８のフローチャートを参照して、選択検索部１６２により実行される選択検索処理を説明する。例えば、図６のステップＳ１０９の処理が実行されて選択検索処理が開始されると、キー画像取得部２１１は、ステップＳ１５１において、記憶部１２４に記憶されている画像データの画像である記録済み画像の一覧を表示部１２５に表示し、ユーザにその記録済み画像の中からキー画像を選択させる。キー画像取得部２１１は、ステップＳ１５２において、ステップＳ１５１の処理によりユーザにキー画像として選択された画像の画像データを記憶部１２４より取得する。
ステップＳ１５３乃至ステップＳ１５８の各処理は、図７のステップＳ１３２乃至ステップＳ１３７の各処理と同様に行われる。つまり、ステップＳ１５３において、キー画像特徴量抽出部２１２は、キー画像より所定の特徴量を抽出する。ステップＳ１５４において、検索対象画像取得部２１３は、記憶部１２４から検索対象画像とする画像の画像データを取得する。ステップＳ１５５において、検索対象画像特徴量抽出部２１４は、ステップＳ１５４において取得された検索対象画像より特徴量を抽出する。
ステップＳ１５６において、特徴量比較部２１５は、ステップＳ１５３において抽出されたキー画像の特徴量と、ステップＳ１５５において抽出された検索対象画像の特徴量を比較する。ステップＳ１５７において、特徴量比較部２１５は、全ての検索対象画像を処理したか否かを判定する。検索対象画像とすべき未処理の画像が存在すると判定された場合、処理は、ステップＳ１５４に戻り、それ以降の処理が行われる。
ステップＳ１５７において、全ての検索対象画像が処理されたと判定された場合、処理は、ステップＳ１５８に進む。ステップＳ１５８において、検索結果処理部２１６は、特徴量比較の結果、その特徴量がキー画像に一致または近似すると判定された検索対象画像、またはその一覧を表示部１２５に表示させる。ステップＳ１５８の処理が終了すると、選択検索部１６２は、選択検索処理を終了する。
なお、選択検索部１６２は、選択検索モードの間、選択検索処理を繰り返し実行するようにしてもよい。
以上のように、選択検索モードにおいては、ユーザは、記憶部１２４に記憶されている画像の中からキー画像を選択することができる。このようにすることにより、ユーザは、撮像を行うことなく、画像検索を行うことができる。これにより、光学部１２１や撮像部１２２等を駆動させる必要がないので、撮像装置１００は、消費電力を低減させることができる。
［検索結果の表示の様子］
次に、表示部１２５に表示される検索結果の様子の実施の形態を、図９乃至図１２を参照して説明する。図９乃至図１２に示される検索結果画面３００は、表示部１２５に表示される、上述した画像検索（撮像検索や選択検索）の検索結果を表示するための画面である。
検索結果画面３００には、例えば、図９Ａに示されるように、キー画像に一致するまたは近似すると判定された画像（検索結果画像）が表示される。図９Ａの例において、検索結果画像３１１乃至検索結果画像３１３のそれぞれは、その検索結果画像（の縮小画像（サムネイル画像））を示している。例えば、ユーザが、このように表示された検索結果画像（のサムネイル画像）の中から１つを選択すると、その画像が表示部１２５に大きく表示される。つまり、検索結果画面３００に検索結果画像の一覧が表示され、ユーザがその一覧の中から画像を選択すると、その画像が一覧のときよりも大きな画像サイズで表示される。
このように検索結果を表示することにより、ユーザは、検索結果を容易に把握することができる。
なお、ユーザに選択されて表示された画像の解像度は、一覧として表示されるときの解像度より大きい方が画質向上のためには望ましい。ただし、ユーザに選択されて表示された画像の解像度を、一覧として表示されるときの解像度と同一とし、処理速度を向上させるようにしてももちろんよい。
なお、図９においては、検索結果画像３１１乃至検索結果画像３１３として「検索結果」の文字が示されているが、これは説明の便宜上示したものであり、実際には、各画像が表示される。図１０以降においても同様である。また、検索結果画面３００に表示される検索結果画像の数は任意である。さらに、検索結果画面３００において表示される検索結果画像の解像度は任意である。以下においては必要が無い限り解像度についての説明を省略する。
また、検索結果画面３００には、例えば、図９Ｂに示されるように、検索結果画像とともにキー画像が表示されるようにしてもよい。図９Ｂの例において、検索結果画面３００には、図９Ａの検索結果画像３１１の代わりにキー画像（の縮小画像）（キー画像３１４）が表示されている。
図９Ａの場合と同様に、この検索結果画面３００において、ユーザが、検索結果画像３１２または検索結果画像３１３のいずれかを選択すると、その選択された画像が大きく表示される。
このように検索結果を表示することにより、ユーザは、検索結果とともにキー画像も容易に把握することができるだけでなく、キー画像と比較しながら検索結果の中から画像選択を行うことができる。
なお、検索結果画面３００に表示されるキー画像も検索結果画像と同様に、その解像度は任意である。以下においては必要が無い限り解像度についての説明を省略する。
さらに、検索結果画面３００は、例えば、図９Ｃに示されるように、キー画像を検索結果画像の並びと異なる位置に表示するようにしてもよい。例えば、図９Ｃの例に示されるように、検索結果画面３００の検索結果画像３１１の上側にキー画像３１４を表示するようにしてもよい。図９Ａや図９Ｂの場合と同様に、この検索結果画面３００において、ユーザが、検索結果画像３１１乃至検索結果画像３１３のうちいずれか１つを選択すると、その選択された画像が大きく表示される。
このように検索結果を表示することにより、ユーザは、検索結果とともにキー画像も容易に把握することができるだけでなく、キー画像と比較しながら検索結果の中から画像選択を行うことができる。
また、例えば、キー画像３１４として取り込み画像（動画像）が検索結果画面３００に表示されるようにし、所定の条件が満たされた時、その取り込み画像のフレーム画像がキー画像として検索が行われるようにしてもよい。この場合、検索結果画面３００に表示される検索結果画像３１１乃至検索結果画像３１３の一部または全部は、検索の度に随時更新される。
例えば、ユーザが撮像装置１００を操作して、画像取り込みモードにおいて複数の被写体の顔を１人ずつ写すと（取り込む）と、キー画像３１４の被写体の顔（取り込み画像の被写体の顔）が変わる度に検索が行われ、そのときの被写体の顔をキー画像として検索された検索結果が検索結果画面３００に順次表示される。
また、図１０Ａに示されるように、検索結果画面３００に検索結果画像を一度に表示することができない場合、スクロールボタンを設けるようにしてもよい。図１０Ａの例の場合、検索結果画面３００には、図９Ｃの例の構成以外に、検索結果画像３１１の左側にスクロールボタン３１５が表示され、検索結果画像３１３の右側にスクロールボタン３１６が表示される。
スクロールボタン３１５およびスクロールボタン３１６は、検索結果画面３００に表示されていない検索結果画像が存在することを示す。また、ユーザがスクロールボタン３１５を押下（選択）すると、検索結果画像が右にスクロールし、検索結果画像３１３が消え、図１０Ａの検索結果画像３１２の位置に移動した検索結果画像３１１の左隣（図１０Ａの検索結果画像３１１の位置）に、図１０Ａの時点で表示されていなかった新たな検索結果画像が表示される。さらに、ユーザがスクロールボタン３１６を押下（選択）すると、検索結果画像が左にスクロールし、検索結果画像３１１が消え、図１０Ａの検索結果画像３１２の位置に移動した検索結果画像３１３の右隣（図１０Ａの検索結果画像３１３の位置）に、図１０Ａの時点で表示されていなかった新たな検索結果画像が表示される。
なお、検索結果画面３００に表示される複数の検索結果画像の画像サイズは互いに異なっていてもよい。例えば、図１０Ｂに示されるように、中央に表示される検索結果画像が左右の検索結果画像よりも大きく表示されるようにしてもよい。図１０Ｂに示される検索結果画面３００の構成は、図１０Ａに示される検索結果画面３００の構成と基本的に同様である。ただし、図１０Ｂの例の場合、検索結果画像３１２が、検索結果画面３００の略中心に、検索結果画像３１１および検索結果画像３１３よりも大きく表示される。なお、検索結果画像３１２は、他の画像と重畳されて表示されるようにしてもよい。
図１０Ａに示される例のように、ユーザが検索結果画像をスクロールさせることにより、大きく表示される検索結果画像が切り替わる。このようにすることにより、ユーザは、より容易に検索結果画像を参照することができるようになる。
さらに、図１０Ｃに示されるように、検索結果画面３００にキー画像を複数表示するようにしてもよい。図１０Ｃにおいて検索結果画面３００には、今回のキー画像３１４とともに、前回のキー画像３１７、前々回のキー画像３１８、およびスクロールボタン３１９が表示される。つまり、図１０Ｃの例の場合、検索結果画面３００には、キー画像が過去に遡って表示される。なお、この場合、過去のキー画像（例えば前回や前々回のキー画像）は、例えば記憶部１２４に記憶されている。スクロールボタン３１９は、さらに過去の（前々々回）キー画像が存在することを示す。ユーザがスクロールボタン３１９を選択すると、キー画像は右にスクロールし、図１０Ｃの前回のキー画像３１７の位置に移動した前々回のキー画像３１８の左隣（図１０Ｃの前々回のキー画像３１８の位置）に、さらに過去のキー画像が表示される。
このように複数表示されるキー画像の中から１つをユーザが選択するとその選択されたキー画像に対応する検索結果画像が、検索結果画面３００に表示される。このようにすることにより、ユーザは、キー画像毎に検索結果を閲覧することができるとともに、キー画像の選択を切り替えることにより、各キー画像に対する検索結果を容易に比較することができる。また、このとき、選択されたキー画像を他のキー画像より大きく表示するようにしてもよい。例えば図１０Ｃの場合、今回のキー画像３１４がユーザにより選択されており、前回のキー画像３１７や前々回のキー画像３１８より大きく表示されている。
また、図１１Ａに示されるように、キー画像３１４を検索結果画面３００全体に表示するようにしてもよい。さらに、検索結果画像３１１乃至検索結果画像３１３、並びに、スクロールボタン３１５およびスクロールボタン３１６は、キー画像３１４に重畳させて表示するようにしてもよい。このようにすることにより、キー画像３１４が大きく表示されるので、ユーザは、キー画像３１４をより容易に細部まで閲覧することができる。
もちろん、図１１Ｂに示されるように、キー画像３１４を大きく表示させる場合であっても、検索結果画面３００の一部に表示するようにしてもよい。
なお、キー画像や検索対象画像は動画像であってもよい。キー画像が動画像の場合、図１１Ｃに示されるように、検索結果画面３００にキー画像３２４として動画像を表示するようにしてもよい。
また、検索対象画像が動画像の場合、図１１Ｃに示される検索結果画像３２１のように、検索結果画面３００に、キー画像３２４に特徴量が一致または近似するとされたコンテンツ（検索対象画像の動画像）が検索結果として表示されるようにしてもよい。また、検索結果画像３２２のように、検索結果画面３００に、キー画像３２４に特徴量が一致または近似するとされたコンテンツの先頭フレームの画像（静止画）が検索結果として表示されるようにしてもよい。
画像検索は、コンテンツを構成するシーン（場面）単位で行われるようにしてもよい。その場合、図１１Ｃの検索結果画像３２３のように、検索結果画面３００に、キー画像３２４に特徴量が一致または近似するとされたシーンの先頭フレームの画像（静止画）が検索結果として表示されるようにしてもよい。
もちろん、図１１Ｃに示される検索結果画像３２１乃至検索結果画像３２３のように、例えば動画像と静止画像等、互いに異なる複数種類の画像が検索結果として表示されるようにしても良いし、１種類の画像のみ（例えば動画像のみ）が表示されるようにしても良い。
このようにすることにより、ユーザは、検索結果やキー画像が動画像の場合も容易に所望の画像を検索することができる。
なお、スクロールボタン３２５およびスクロールボタン３２６は、それぞれ、スクロールボタン３１５およびスクロールボタン３１６に対応し、ユーザに操作されることによりそれらと同様の処理が行われ、検索結果画像のスクロールが行われる。
また、図１２Ａに示されるように、１つの検索結果が複数の方法で表示されるようにしてもよい。例えば図１２Ａの場合、検索結果画面３００全体に動画像の検索結果画像３３１が表示される。また、その検索結果が画像３３１に重畳されて、検索結果の動画像を構成する各シーンの先頭フレームの画像（静止画）が、検索結果画像３３２乃至検索結果画像３３４のように、表示される。なお、スクロールボタン３３５およびスクロールボタン３３６は、それぞれ、スクロールボタン３１５およびスクロールボタン３１６に対応し、ユーザに操作されることによりそれらと同様の処理が行われ、検索結果画像（シーンの先頭フレームの画像）のスクロール（表示位置の変更）が行われる。
さらに、キー画像を記憶済みの動画像内のフレーム画像としてもよい。例えば、この場合、検索結果画面３００には、図１２Ｃに示されるように、キー画像３５１として動画像が表示され、そのフレーム画像が所定の条件を満たす度に検索が行われ、検索された画像（静止画）が検索結果（検索結果３５２乃至検索結果３５４）として表示されるようにしてもよい。この場合、検索結果画面３００に表示される検索結果は、検索の度、適宜更新される。
このようにキー画像を動画像のフレーム画像とする場合、そのキー画像が動画像のどの部分（シーンや時刻）のものであるかをユーザが分からなくなってしまう恐れがある。そこで、例えば、図１２Ｃに示されるように、検索結果画面３００に、キー画像の走行バー３６１を表示させ、現在の再生位置３６２を示すようにしてもよい。つまり、図１２Ｃの場合、走行バー３６１は、動画像全体を示しており、その動画像の、現在の再生位置３６２が示すフレーム画像が、キー画像であり、キー画像３５１として検索結果画面３００に表示される。これにより、ユーザは、現在のキー画像３５１が示すフレーム画像が、動画像のどの部分の画像であるかを、容易に把握することができる。
なお、図１２Ｃに示されるように、各検索について、キー画像に一致又は近似すると判定された画像（検索結果）の数（ヒット数）を、それぞれ棒グラフ３６３として、検索結果画面３００の走行バー３６１の、キー画像の位置に応じた位置近傍に表示させるようにしてもよい。このようにすることにより、ユーザは容易にヒット数の分布の様子を把握することができる。
なお、このヒット数分布の情報は、予め用意されているようにしてもよい。例えば、制御部１１１が事前に検索処理を行ってそのヒット数分布の情報を求め、それを記憶部１２４に記憶させるようにしてもよい。また、このヒット数分布は、検索結果表示画面３００を表示中に行われる検索において生成されるようにしてもよい。この場合、例えば、検索が終了した部分の棒グラフ３６３のみが表示される。
このように検索結果を表示することにより、ユーザは、検索結果のコンテンツをより詳細に把握することができる。
［選択検索部の他の実施の形態］
なお、撮像装置１００は、上述した以外の構成を有するようにしてもよい。図１３は、撮像検索部１６１の構成の変形例を示すブロック図である。図１４乃至図２０を参照して説明する。
撮像検索部１６１は、撮像部１２２において取り込まれる取り込み画像の内容を解析し、キー画像の取得を、その取り込み画像の解析結果に基づいて行うようにしてもよい。この場合、撮像検索部１６１は、図４に示される構成の他に、画像解析部４０１をさらに有する。
画像解析部４０１は、光学部１２１乃至画像処理部１２３を制御し、撮像部１２２において取り込まれた取り込み画像を、画像処理部１２３より取得し、その取り込み画像に対して例えば笑顔検出等の画像解析を行う。画像解析部４０１は、その解析の結果をキー画像取得部２０１に供給する。キー画像取得部２０１は、供給された解析結果を参照し、例えば笑顔が検出されるなど、所定の条件が満たされた場合、キー画像の取得を行う。もちろんこの条件は任意であり、どのようなものであってもよい。
その場合の、撮像検索処理の流れの実施の形態を、図１４のフローチャートを参照して説明する。このフローチャートは、図７のフローチャートに対応する。
撮像検索処理が開始されると、画像解析部４０１は、ステップＳ２０１において、被写体を撮像し、画像を取り込む。画像解析部４０１は、ステップＳ２０２において、取り込み画像を解析する。ステップＳ２０３において、キー画像取得部２０１は、ステップＳ２０２の解析の結果、取り込み画像が所定の条件を満たすか否かを判定する。所定の条件が満たされないと判定した場合、処理はステップＳ２０１に戻り、それ以降の処理が繰り返される。また、ステップＳ２０３において、取り込み画像が所定の条件を満たすと判定された場合、処理はステップＳ２０４に進む。
ステップＳ２０４乃至ステップＳ２１０の各処理は、図７のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。
このようにすることにより、例えば、取り込み画像において、笑顔が検出されたり、シーンチェンジが検出されたりしたときのみ、キー画像が取得される（更新される）ようにすることができる。これにより、キー画像の不要な取得を低減させることができ、処理の負荷の増大を抑制することができる。
また、撮像検索部１６１は、キー画像の取得を、例えば所定の時間毎、所定のフレーム数毎、または所定の時刻のように、所定のタイミングにおいて行うようにしてもよい。この場合、撮像検索部１６１は、図４に示される構成の他に、計時部４０２をさらに有する。
計時部４０２は、例えば、時刻を監視したり、時間を計測したり、フレーム数をカウントしたりし、所定の時刻になった、所定の時間が経過した、または所定のフレーム数が処理された等、所定のタイミングになったか否かを判定し、所定のタイミングになった場合、その旨をキー画像取得部２０１に通知する。キー画像取得部２０１は、その通知に基づいてキー画像を取得する。つまり、キー画像取得部２０１は、所定のタイミングにおいてキー画像を取得する。
さらに、撮像検索部１６１は、キー画像の取得を、例えばユーザの指示に基づいて行うようにしてもよい。この場合、撮像検索部１６１は、図４に示される構成の他に、ユーザ指示受付部４０３をさらに有する。
ユーザ指示受付部４０３は、ユーザ等により入力部１３１に入力された、例えばレリーズボタンの押下等の、キー画像取得を指示するユーザ指示を受け付け、その受け付けたユーザ指示をキー画像取得部２０１に供給する。キー画像取得部２０１は、そのユーザからの指示に基づいて、キー画像の取得を行う。もちろんこのキー画像取得を示すユーザ指示を入力する方法は任意であり、どのような操作であってもよい。
この場合の、撮像検索処理の流れの実施の形態を、図１５のフローチャートを参照して説明する。このフローチャートは、図７のフローチャートに対応する。
撮像検索処理が開始されると、ユーザ指示受付部４０３は、ステップＳ２３１において、レリーズボタンが押下されたか否か（キー画像取得の指示を示す操作入力が行われたか否か）を判定し、押下されたと判定されるまで待機する。ステップＳ２３１において、レリーズボタンが押下された（キー画像取得の指示を示す操作入力が行われた）と判定された場合、処理は、ステップＳ２３２に進む。
ステップＳ２３２乃至ステップＳ２３８の各処理は、図７のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。
このようにすることにより、キー画像の取得をユーザが指示することができる。これにより、ユーザは、容易に所望のキー画像を得ることができる。また、キー画像の不要な取得を低減させることができるので、撮像装置１００は、処理の負荷の増大を抑制することができる。
なお、上述した、キー画像取得部２０１が、計時部４０２の計時結果に基づいてキー画像を取得する場合の処理の流れは、この図１５のフローチャートと基本的に同様に行われる。ただし、ステップＳ２３１の処理において、計時部４０２は、所定のタイミングになったか否かを判定し、所定のタイミングになったと判定するまで待機する。そして、所定のタイミングになったと判定された場合、処理はステップＳ２３２に進む。
また、撮像検索部１６１が画像解析部４０１乃至ユーザ指示受付部４０３のうち２つ以上を有するようにしてもよい。その場合、複数の条件によりキー画像の取得が行われる。
さらに上述した以外のイベント発生に基づいて、キー画像の取得が行われるようにしてもよい。
また、撮像検索部１６１が、キー画像と検索対象画像との間で行う特徴量の比較を、画像の一部の領域について行うようにしてもよい。この場合、撮像検索部１６１は、図４に示される構成の他に、領域特定部４０４をさらに有する。
領域特定部４０４は、例えば、キー画像特徴量抽出部２０２において抽出された特徴量に基づいて、特徴量を比較する領域（対象部分領域）を特定する。例えば、領域特定部４０４は、キー画像に含まれる人物の顔の部分を、対象部分領域として特定する。特徴量比較部２０５は、その特定された対象部分領域について、特徴量の比較を行う。
また、領域特定部４０４が、ユーザ指示に基づいて対象部分領域を特定するようにしてもよい。例えば、ユーザが、入力部１３１を操作して、対象部分領域の範囲を指定するユーザ指示を入力すると、ユーザ指示受付部４０３が、そのユーザ指示を受け付け、領域特定部４０４にその旨を通知する。領域特定部４０４は、ユーザ指示受付部４０３から通知を受け取ると、そのユーザ指示に従って、対象部分領域を特定する。特徴量比較部２０５は、その特定された対象部分領域について、特徴量の比較を行う。
さらに、例えば、キー画像の特徴とユーザ指示の両方に基づいて、対象部分領域が特定されるようにしてもよい。例えば、領域特定部４０４が、キー画像特徴量抽出部２０２において抽出された特徴量に基づいて、対象部分領域の候補（対象部分領域候補）を絞り込み、表示部１２５を制御して、その対象部分領域候補をユーザに通知する。ユーザは、入力部１３１を操作して、その対象部分領域候補の中から対象分領域として選択するユーザ指示を入力する。ユーザ指示受付部４０３は、そのユーザ指示を受け付け、領域特定部４０４にその旨を通知する。領域特定部４０４は、ユーザ指示受付部４０３から通知を受け取ると、そのユーザ指示に従って、対象部分領域を特定する。特徴量比較部２０５は、その特定された対象部分領域について、特徴量の比較を行う。
図１６は、領域指定の様子を説明するための模式図である。ここでは、領域特定部４０４は、被写体の顔の部分を対象部分領域とする場合について説明する。
図１６Ａの例の場合、撮像装置１００に設けられた表示部１２５に表示された検索結果画面３００は、キー画像５０１と、ユーザ指示を受け付けるGUIが表示される操作領域５０２により構成される。キー画像５０１には４人の被写体（被写体１１−１乃至被写体１１−４）が含まれている。図１６Ａの例の場合、領域特定部４０４は、各被写体の顔部分を対象部分領域候補として設定し、その対象部分領域候補の範囲を示す枠５１１乃至枠５１４をキー画像５０１に重畳させて表示させる。この表示部１２５の表示面には、入力部１３１としてタッチパネルが重畳されており、ユーザは、表示された枠を指等で指定することにより、対象部分領域を選択する。
例えば、図１６Ａの場合、被写体１１−３の顔の部分を対象部分領域として選択するユーザは、指５２１を用いて、表示部１２５に重畳されたタッチパネルの枠５１３上をタップする。タップされると、枠５１３の表示は、選択されていることを示すような表示に変化する（例えば、図１６Ａに示されるように、ユーザに選択された枠５１３は実線で表示され、その他の枠は点線で表示される）。
図１６Ｂの例の場合、操作領域５０２に、ユーザが操作することにより、対象部分領域として選択する枠を切り替えられる切替ボタン５３１が表示される。ユーザが例えば、指に５２１でこの切替ボタン５３１を操作（押下）すると、キー画像５０１において、対象部分領域として選択されている枠が矢印のように切り替えられる。
図１６Ｃの例の場合、操作領域５０２に、ユーザが操作することにより、対象部分領域として選択する枠が指定される選択ボタン５４１−１乃至５４１−４が表示される。例えば、ユーザが指５２１を用いて選択ボタン５４１−３を選択すると、その選択ボタン５４１−３に対応する枠５１３が対象部分領域として選択される。
ユーザ指示の受け付け方法は、これら以外の方法であってももちろん良い。
次に図１７のフローチャートを参照して、撮像検索処理の流れの実施の形態を説明する。このフローチャートは、図７のフローチャートに対応する。ステップＳ２５１およびステップＳ２５２の各処理は、図７のステップＳ１３１およびステップＳ１３２の各処理と同様に実行される。
特徴量が抽出されると、領域特定部４０４は、ステップＳ２５３において、キー画像の特徴量に基づいて、キー画像から対象部分領域候補を特定する。ステップＳ２５４において、領域特定部４０４は、対象部分領域候補をユーザに提示し、ユーザ指示受付部４０３は、その提示に対するユーザの選択を受け付ける。領域特定部４０４は、そのユーザの選択に基づいて対象部分領域を特定する。
ステップＳ２５５において、検索対象画像取得部２０３は、図７のステップＳ１３３の場合と同様に検索対象画像を取得する。ステップＳ２５６において、検索対象画像特徴量抽出部２０４は、図７のステップＳ１３４の場合と同様に、検索対象画像より特徴量を抽出する。ただし、この場合、検索対象画像特徴量抽出部２０４は、検索対象画像の対象部分領域より特徴量を抽出する。
ステップＳ２５７において、特徴量比較部２０５は、図７のステップＳ１３５の場合と同様に、キー画像の特徴量と検索対象画像の特徴量の比較を行う。ただし、この場合、特徴量比較部２０５は、特徴量を、対象部分領域についてのみ比較する。
ステップＳ２５８およびステップＳ２５９の各処理は、図７のステップＳ１３６およびステップＳ１３７の各処理と同様に実行される。
なお、キー画像の特徴量のみに基づいて対象部分領域を特定する場合、領域特定部４０４が、ステップＳ２５３において、対象部分領域を特定し、ステップＳ２５４の処理が省略されるようにすればよい。また、ユーザ指示のみに基づいて対象部分領域を特定する場合、ステップＳ２５３の処理が省略され、ステップＳ２５４において、ユーザ指示受付部４０３が、対象部分領域の範囲指定を受け付けるようにすればよい。
以上のように所定の部分領域についてのみ特徴量が比較されるようにすることにより、検索対象画像からの特徴量の抽出や、特徴量の比較は、その部分領域についてのみ行われるようにすれば良く、撮像検索部１６１は、撮像検索処理をより容易に行うことができる。
また、領域特定部４０４が対象部分領域候補を絞り込むことにより、ユーザは、対象部分領域をより容易に指定することができる。
また、検索結果処理部２０６は、検索結果を表示部１２５に表示させる以外の処理を行っても良い。例えば、検索結果処理部２０６が、図１３に示されるように、キー画像を記憶部１２４に記憶させるようにしてもよい。その場合の、撮像検索処理の流れの実施の形態を図１８のフローチャートを参照して説明する。図１８のフローチャートは、図７に対応するフローチャートである。
図１８のステップＳ２７１乃至ステップＳ２７７の各処理は、図７のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。ステップＳ２７８において、検索結果処理部２０６は、ステップＳ２７１において取得されたキー画像を記憶部１２４に供給し、記憶させる。このとき、キー画像に関連付けて、例えば検索結果等の情報を付加するようにしてもよい。ステップＳ２７８の処理が終了すると、撮像検索処理が終了する。
以上のように、キー画像を記憶部１２４に記憶させることにより、撮像検索部１６１は、そのキー画像を後の処理において利用することができる。例えば、図１０Ｃを参照して説明したように、古いキー画像を表示部１２５に表示させることができる。
また、検索結果処理部２０６が、キー画像や検索結果等の情報を、出力部１３２を介して撮像装置１００の外部に出力するようにしてもよい。
さらに、撮像検索部１６１は、検索結果から、動画やスライドショーのような新たなコンテンツを作成し、検索結果をそのコンテンツとして表示部１２５に表示させるようにしてもよい。
その場合、撮像検索部１６１は、コンテンツ作成部４０５を備える。コンテンツ作成部４０５は、例えば、検索結果として複数の静止画が得られた場合、それらの静止画を用いてスライドショーコンテンツを作成する。また、コンテンツ作成部４０５は、例えば、検索結果として複数の動画像が得られた場合、それらの動画像を用いて１本の動画像コンテンツを作成する。
検索結果処理部２０６は、コンテンツ作成部４０５において作成されたコンテンツ（スライドショーや動画像）を検索結果として表示部１２５に表示させる。
図１２Ｂは、検索結果として、検索された複数の動画像の複数のシーンが１つにまとめられた動画像コンテンツが表示される様子の例を示している。図１２Ｂの例において、検索結果画面３００全体には、検索結果を用いて作成された動画像コンテンツ３４１が表示される。また、その動画像コンテンツ３４１に重畳して、検索されたシーンを含む動画像がそれぞれ水平バー（水平バー３４２乃至水平バー３４４）で示されている。各水平バーの斜線部分が、検索されたシーンである。動画像コンテンツ３４１は、この斜線部分が矢印で示されるようにつなぎ合わされて作成されたものである。
このように、検索結果を新たなコンテンツとして表示するようにすることにより、例えば、ユーザがより容易に検索結果を閲覧することができるようにすることができる。
さらに、撮像検索部１６１は、求められた検索結果に対して再度検索を行うようにしてもよい。例えば、図１３に示されるように、撮像検索部１６１は、再検索部４０６をさらに備える。
再検索部４０６は、撮像検索の検索結果に対して再度検索を行うための処理を行う。このとき、検索結果処理部２０６は、検索結果とともに、ユーザより再検索の指示を受け付けるためのGUIである再検索ボタンを表示部１２５に表示させる。
図１９は、検索結果の表示の様子を説明するための模式図である。例えば、検索結果処理部２０６は、図１９Ａに示されるように、検索結果画面３００において、キー画像５５１を表示させる。
検索結果処理部２０６は、また、そのキー画像５５１の特徴量から導出される検索条件の一覧であり、再検索において使用する検索条件をユーザに指定させるためのGUIである条件指定ボタン５５２を検索結果画面３００に表示させる。図１９Ａの例においては、条件指定ボタン５５２として「顔」、「天気」、および「服」等のボタンが表示されている。これらの項目は、キー画像５５１の特徴量より導出可能な項目であり、ユーザが選択すると、その選択されたボタンにチェックが入り、そのボタンに対応する項目が再検索の検索条件に追加される。
図１９の例の場合、検索結果処理部２０６は、さらに、検索結果画面３００に、再検索ボタン５５３および表示ボタン５５４を表示させる。ユーザが再検索ボタン５５３を操作することにより、再検索が行われる。ユーザが表示ボタン５５４を操作することにより、現在の検索結果が表示される。
図１９Ｂは、このような検索結果の表示の他の例を示している。図１９Ｂの例の場合、キー画像５５１が検索結果画面３００全体に表示され、条件指定ボタン５５２、再検索ボタン５５３、検索結果画像５６１乃至検索結果画像５６３、スクロールボタン５６５、およびスクロールボタン５６６が、そのキー画像５５１に重畳されて表示される。
図１９Ｃは、さらに他の例を示している。図１９Ｃの例の場合、検索結果画面３００に検索結果画像が１枚ずつ表示される。検索結果画像５７１は、検索結果画面３００全体に表示され、条件指定ボタン５５２、再検索ボタン５５３、スクロールボタン５７２、およびスクロールボタン５７３等が、その検索結果画像５７１に重畳されて表示される。
以上のように任意のレイアウトの検索結果画面３００において、ユーザが、再検索ボタン５５３を操作すると、再検索部４０６は、条件指定ボタン５５２が操作されて選択された検索条件、キー画像、検索結果画像等の情報を、選択検索部１６２に供給し、供給したキー画像についての画像検索を実行させる。
この場合の撮像検索処理の流れの例を図２０のフローチャートを参照して説明する。図２０のフローチャートは、図７のフローチャートに対応する。
図２０のステップＳ２９１乃至ステップＳ２９７の各処理は、図７のステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。ステップＳ２９８において、再検索部４０６は、再検索が指示されたか否かを判定する。指示されたと判定された場合、処理はステップＳ２９９に進む。
ステップＳ２９９において、選択検索部１６２は、キー画像と指定された条件を用いて、例えば図８のフローチャートを参照して説明したような選択検索処理を行う。ただし、この場合、キー画像は再検索部４０６に指定されたキー画像が用いられる。
ステップＳ２９９の処理が終了すると、撮像検索処理が終了する。また、ステップＳ２９８において、再検索が指示されていないと判定された場合、ステップＳ２９９の処理は省略され、撮像検索処理が終了する。
以上のように、再検索を行うことにより、ユーザは、より容易に検索結果の中から更なる絞り込みを行うことができる。つまり、ユーザは、より容易に所望の画像を検索することができる。
＜２．第２の実施の形態＞
［画像検索システムの概要］
以上においては、撮像装置内に記録された画像データ（画像）の検索を行う場合について説明したが、撮像装置外の画像データ（画像）を検索対象とするようにしてもよい。
図２１は、本発明を適用した画像検索システムの概要を説明する模式図である。例えば、図２１に示されるように、撮像装置が、ネットワーク等を介して接続されるサーバ（データベース）に登録されている画像データ（画像）を対象として検索を行うようにしてもよい。
図２１に示される画像検索システム６００は、撮像装置６０１が被写体１１を撮像した撮像画像２１をキー画像として、ネットワーク６０２を介して接続されるサーバ６０３に登録されている画像３１乃至画像３３に対して画像検索を行うシステムである。
つまり、画像検索システム６００は、検索対象の画像３１乃至画像３３が撮像装置６０１の記憶部でなく、サーバ６０３に登録されていること以外、基本的に図１の撮像装置１００の場合と同様である。
したがって、例えば、ユーザは、サーバ６０３に登録されている画像の中から所望の画像を検索するために、撮像装置６０１を操作して、被写体１１を撮像し、撮像画像２１を得る。撮像装置６０１は、撮像画像２１を得ると、それをキー画像として、サーバ６０３のデータベースに登録されている画像（画像３１乃至画像３３）に対して画像検索を行い、撮像画像２１に特徴が一致または類似する画像３１を検索する。
なお、ネットワーク６０２は、通信媒体の例を示しており、例えばLAN（Local Area Network）、WAN（Wide Area Network）、若しくはインターネット等の通信網であってもよいし、例えばUSBやIEEE1394等のケーブル等であってもよい。また、ネットワーク６０２には、例えば、無線LANや赤外線通信のような無線通信も含まれるようにしてもよい。さらに、ネットワーク６０２が、例えば無線LANとインターネットのように、複数種類の通信（通信媒体）の組み合わせにより構成されるようにしてもよい。
［各装置の一実施の形態］
図２２は、図２１に示される画像検索システム６００の各装置の主な構成の一実施の形態を示すブロック図である。
図２２に示されるように、撮像装置６０１は、基本的に図２に示される撮像装置１００と同様の構成を有する。また、この場合の撮像検索部１６１は、基本的に図４を参照して説明した場合と同様の構成を有する。ただし、撮像装置６０１の撮像検索部１６１は、図４の検索対象画像取得部２０３の代わりに検索対象画像取得部６１３を有する。
検索対象画像取得部６１３は、記憶部１２４から画像（画像データ）を検索対象画像として取得するだけでなく、通信部１３３を介して、サーバ６０３の画像データベース６２３に登録されている画像（画像データ）を検索対象画像として取得する。
撮像装置６０１は、撮像モードにおいて、被写体を撮像して得られた撮像画像を、画像処理部１２３において画像処理した後、表示部１２５に表示したり、記憶部１２４に記憶させたりするだけでなく、通信部１３３を介してサーバ６０３に供給し、画像データベース６２３に登録させる。なお、撮像装置６０１と同様の他の撮像装置も、撮像画像を画像データベース６２３に登録させることができる。
検索対象画像取得部６１３は、ピックアップ検索モードにおいて、記憶部１２４に記憶されている画像データの画像だけでなく、その画像データベース６２３に登録した画像データの画像も検索対象画像として取得する。検索対象画像取得部６１３は、取得した検索対象画像（画像データ）を検索対象画像特徴量抽出部２０４に供給する。
なお、検索対象画像取得部６１３、検索対象画像特徴量抽出部２０４、および特徴量比較部２０５をまとめて検索部６１７と称する。つまり、検索部６１７は、キー画像の特徴量を用いて記憶部１２４に記憶されている画像データの画像と、画像データベース６２３に登録されている画像データの画像のうち、少なくともいずれか一方の中から所望の画像を検索する。
撮像装置６０１にネットワーク６０２を介して接続されるサーバ６０３は、通信部６２１、画像登録部６２２、画像データベース６２３、および画像提供部６２４を有する。
通信部６２１は、撮像装置６０１の通信部１３３に対応する処理部である。通信部６２１は、ネットワーク６０２を介して通信部１３３と通信を行い、画像データや制御命令等の各種情報の授受を行う。
画像登録部６２２は、通信部６２１を介して撮像装置６０１より供給される撮像画像の画像データを画像データベース６２３に供給し、登録させる。画像データベース６２３は、例えばハードディスクやフラッシュメモリ等の所定の記憶媒体の記憶領域よりなり、例えば撮像装置６０１等より供給される撮像画像を管理するデータベースである。画像提供部６２４は、画像データベース６２３に記憶されている画像（画像データ）を読み出し、その画像を通信部６２１に供給する。例えば、画像提供部６２４は、通信部６２１を介して撮像装置６０１より供給された要求に基づいて、検索対象画像を画像データベース６２３より読み出し、通信部６２１に供給する。
通信部６２１は、画像提供部６２４より供給された検索対象画像（画像データ）を、ネットワーク６０２を用いて撮像装置６０１（通信部１３３）に供給する。
次に、このような画像検索システム６００における撮像検索処理の流れの例を図２３のフローチャートを参照して説明する。このフローチャートは、図７のフローチャートに対応する。したがって、ステップＳ６０１およびステップＳ６０２の各処理は、図７のステップＳ１３１およびステップＳ１３２と同様に行われる。
ステップＳ６０３において、検索対象画像取得部６１３は、通信部１３３を制御し、サーバ６０３に対して検索対象画像を要求する。サーバ６０３の画像提供部６２４は、ステップＳ６２１において、その要求を取得すると、ステップＳ６２２において、画像データベース６２３より画像データを取得し、その画像（画像データ）を検索対象画像として、通信部６２１を介して撮像装置６０１に供給する。検索対象画像取得部６１３は、ステップＳ６０４において、通信部１３３を介して、その検索対象画像を取得する。
つまり、図７のステップＳ１３３の処理の代わりに上述した処理が行われる。
検索対象画像が取得されると、撮像装置６０１において、ステップＳ６０５乃至ステップＳ６０８の各処理が、図７のステップＳ１３４乃至ステップＳ１３７の各処理と同様に実行される。
このようにすることにより、ユーザは、撮像装置６０１の外部のサーバ６０３に登録されている画像を検索対象とする場合も、容易に所望の画像を検索することができる。
なお、撮像装置６０１の検索結果処理部２０６は、検索結果やキー画像を、通信部１３３を介してサーバ６０３に供給させ、画像データベース６２３に登録することができるようにしてもよい。
［各装置の他の実施の形態］
また、サーバ６０３も、撮像画像を用いた画像検索を行うことが出来るようにしてもよい。図２４は、その場合の画像検索システム６００の各装置の構成の変形例を示すブロック図である。
図２４の場合、撮像装置６０１の撮像検索部１６１は、図２２を参照して説明した構成に加え、特徴量供給部６３１および検索結果取得部６３２を有する。
特徴量供給部６３１は、キー画像特徴量抽出部２０２において抽出されたキー画像の特徴量を取得し、通信部１３３を制御してその特徴量をサーバ６０３に供給させる。なお、特徴量の比較に必要な情報がキー画像の特徴量以外に存在する場合、特徴量供給部６３１は、その情報もキー画像の特徴量とともに通信部１３３を介してサーバ６０３に供給する。例えば、撮像検索部１６１が領域特定部４０４を有し、上述したように一部の部分領域（対象部分領域）についてのみ特徴量を比較する場合、特徴量供給部６３１は、その対象部分領域の情報も取得し、通信部１３３を介してサーバ６０３に供給する。また、例えば、特徴量供給部６３１は、キー画像の特徴量とともに、そのキー画像の画像データも取得し、通信部１３３を解してサーバ６０３に供給するようにしてもよい。
サーバ６０３は、特徴量供給部６３１が供給したキー画像の特徴量を用いて画像検索を行い、その検索結果を撮像装置６０１に送信する。検索結果取得部６３２は、通信部１３３を制御し、サーバ６０３より供給されるその検索結果を取得する。この検索結果は、基本的に特徴量比較部２０５が出力する検索結果と同様であり、例えば、特徴量比較の結果、キー画像と特徴量が一致または近似すると判定された検索対象画像の画像データ等を含む。また、この検索結果に、キー画像の画像データや特徴量が含まれるようにしてもよい。検索結果取得部６３２は、取得した検索結果を検索結果処理部６３６に供給する。
また、図２４の場合の撮像検索部１６１は、図２２の場合の検索結果処理部２０６の代わりに、検索結果処理部６３６を有する。検索結果処理部６３６は、特徴量比較部２０５から供給される検索結果を処理するだけでなく、さらに、検索結果取得部６３２から供給される検索結果も同様に処理する。すなわち、検索結果処理部６３６は、それらの検索結果を表示部１２５に表示させたり、記憶部１２４に記憶させたり、通信部１３３を介してサーバ６０３に供給し、画像データベース６２３に登録させたりしてもよい。また、検索結果処理部６３６は、画像検索に用いられたキー画像の画像データを、記憶部１２４に記憶させたり、通信部１３３を介してサーバ６０３に供給し、画像データベース６２３に登録させたりしてもよい。
サーバ６０３は、通信部６２１および画像データベース６２３の他に検索部６４１を有する。検索部６４１は、撮像装置６０１から供給されるキー画像の特徴量を、通信部６２１を介して取得する。検索部６４１は、取得したその特徴量を用いて、画像データベース６２３に登録されている画像に対して画像検索を行う。検索部６４１は、その検索結果を、通信部６２１を介して撮像装置６０１に供給する。
検索部６４１は、特徴量取得部６５１、検索対象画像取得部６５２、検索対象画像特徴量抽出部６５３、特徴量比較部６５４、および検索結果供給部６５５を有する。
特徴量取得部６５１は、通信部６２１を介して、撮像装置６０１から供給されるキー画像の特徴量を取得する。撮像装置６０１からキー画像の特徴量とともに他の情報が供給される場合、特徴量取得部６５１は、その他の情報も取得する。特徴量取得部６５１は、取得した情報を特徴量比較部６５４に供給する。
検索対象画像取得部６５２は、検索対象画像取得部６１３に対応する処理部であり、基本的に検索対象画像取得部６１３と同様に動作する。検索対象画像取得部６５２は、画像データベース６２３に登録されている画像（画像データ）を検索対象画像として取得する。検索対象画像取得部６５２は、取得した検索対象画像（の画像データ）を検索対象画像特徴量抽出部６５３に供給する。
検索対象画像特徴量抽出部６５３は、検索対象画像特徴量抽出部２０４に対応する処理部であり、基本的に検索対象画像特徴量抽出部２０４と同様に動作する。検索対象画像特徴量抽出部６５３は、検索対象画像取得部６５２より供給された検索対象画像（の画像データ）から特徴量を抽出する。検索対象画像特徴量抽出部６５３は、抽出した検索対象画像の特徴量を特徴量比較部６５４に供給する。
特徴量比較部６５４は、特徴量比較部２０５に対応する処理部であり、基本的に特徴量比較部２０５と同様に動作する。特徴量比較部６５４は、キー画像の特徴量と検索対象画像の特徴量を比較し、検索対象画像の特徴がキー画像に一致または近似するか否かを判定する。特徴量比較部６５４は、このような特徴量比較を全ての検索対象画像について行い、その結果を検索結果として検索結果供給部６５５に供給する。
検索結果供給部６５５は、特徴量比較部６５４から供給された検索結果を、通信部６２１を介して撮像装置６０１に供給する。この検索結果には、例えば、キー画像に特徴が一致または近似すると判定された検索対象画像の画像データやその特徴量、キー画像の画像データ、対象部分領域の情報、および、その他検索条件に関する情報等が含まれる。
なお、検索対象画像取得部６５２、検索対象画像特徴量抽出部６５３、および特徴量比較部６５４をまとめて検索部６５６と称する。つまり、検索部６５６は、キー画像の特徴量を用いて画像データベース６２３に登録されている画像データの画像の中から所望の画像を検索する。
以上のように、図２４に示される画像検索システム６００の場合、撮像装置６０１とサーバ６０３の両方において、撮像装置６０１において得られた撮像画像をキー画像とする画像検索が行われる。より具体的には、撮像装置６０１は、撮像装置６０１の記憶部１２４に記憶される画像に対する画像検索を行い、サーバ６０３は、サーバ６０３の画像データベース６２３に登録される画像に対する画像検索を行う。
図２５は、このような画像検索システム６００により実行される画像検索処理を説明するためのフローチャートである。このフローチャートは、図７のフローチャートに対応する。
画像検索処理が開始されると、撮像装置６０１は、ステップＳ６４１およびステップＳ６４２の各処理を図７のステップＳ１３１およびステップＳ１３２と同様に行う。ステップＳ６４３において、撮像装置６０１の特徴量供給部６３１は、ステップＳ１３２において抽出されたキー画像の特徴量を、通信部１３３を介してサーバ６０３に供給する。サーバ６０３の特徴量取得部６５１は、ステップＳ６６１において、通信部６２１を介して、そのキー画像の特徴量を取得する。
キー画像の特徴量を供給した撮像装置６０１は、ステップＳ６４４乃至ステップＳ６４７の各処理を、図７のステップＳ１３３乃至ステップＳ１３６の各処理と同様に実行する。また、キー画像の特徴量を取得したサーバ６０３は、ステップＳ６６２乃至ステップＳ６６５の各処理を、ステップＳ６４４乃至ステップＳ６４７の各処理と同様に実行する。ただし、サーバ６０３は、画像データベース６２３に登録されている画像に対して上述した処理を行う。
ステップＳ６６６において、サーバ６０３の検索結果供給部６５５は、ステップＳ６６５までの処理により得られた検索結果を、通信部６２１を介して撮像装置６０１に供給する。撮像装置６０１の検索結果取得部６３２は、ステップＳ６４８において、通信部１３３を制御し、その検索結果を取得する。
撮像装置６０１の検索結果処理部６３６は、ステップＳ６４９において、検索結果を表示部１２５に表示させる。
以上のように画像検索を撮像装置６０１およびサーバ６０３の両方において行うようにすることにより、画像検索システム６００は、記憶部１２４に記憶されている画像と画像データベース６２３に登録されている画像の両方に対して撮像画像をキー画像とする画像検索を行うことができる。これにより、利用者は、より多くの画像の中から容易に所望の画像を検索することができる。
＜３．第３の実施の形態＞
［各装置の一実施の形態］
画像検索は、サーバ６０３のみにおいて行われるようにしてもよい。図２６は、画像検索システム６００の各装置の主な構成の他の実施の形態を示すブロック図である。
図２６に示される撮像装置６０１の撮像検索部１６１の構成は、図２４の場合の構成と比較して、検索対象画像取得部６１３、検索対象画像特徴量抽出部２０４、および特徴量比較部２０５が省略されている。したがって、撮像検索部１６１は、画像検索を行わない。キー画像特徴量抽出部２０２において抽出されたキー画像の特徴量等の情報は、特徴量供給部６３１によって通信部１３３を介してサーバ６０３に供給されるのみである。
また、図２６の場合の撮像検索部１６１は、図２４の場合の検索結果処理部６３６の代わりに検索結果処理部７０６を有する。検索結果処理部７０６は、検索結果取得部６３２が取得した検索結果のみを処理する。つまり、検索結果処理部７０６は、サーバ６０３において行われた画像検索の検索結果を、表示部１２５に表示させたり、記憶部１２４に記憶させたり、通信部１３３を介してサーバ６０３等に供給したりする。
図２６の場合のサーバ６０３の構成は、図２４の場合と同様である。したがって、図２６の場合のサーバ６０３により実行される処理は、図２４の場合と同様である。
［各装置の他の実施の形態］
また、撮像装置６０１の記憶部１２４を省略するようにしてもよい。図２７は、各装置の構成の変形例を示すブロック図である。
図２７に示される撮像装置６０１の撮像検索部１６１の構成は、図２６の場合の構成と基本的に同様である。ただし、図２７の撮像検索部１６１は、検索結果処理部７０６の代わりに検索結果処理部７１６を有する。検索結果処理部７１６は、検索結果を表示部１２５に表示したり、通信部１３３を介してサーバ６０３等に供給したりする。ただし、撮像装置６０１は記憶部１２４を有していないので、検索結果処理部７１６は、記憶部１２４への検索結果やキー画像等の供給を省略する。
図２７の場合のサーバ６０３の構成は、図２６の場合と同様である。
図２８は、図２６や図２７に示される画像検索システム６００により実行される画像検索処理を説明するためのフローチャートである。このフローチャートは、図７のフローチャートに対応する。
画像検索処理が開始されると、撮像装置６０１は、ステップＳ７０１およびステップＳ７０２の各処理を図７のステップＳ１３１およびステップＳ１３２と同様に行う。ステップＳ７０３において、撮像装置６０１の特徴量供給部６３１は、ステップＳ１３２において抽出されたキー画像の特徴量を、通信部１３３を介してサーバ６０３に供給する。サーバ６０３の特徴量取得部６５１は、ステップＳ７２１において、通信部６２１を介して、そのキー画像の特徴量を取得する。
キー画像の特徴量を取得したサーバ６０３は、ステップＳ７２２乃至ステップＳ７２５の各処理を、図７のステップＳ１３３乃至ステップＳ１３６の各処理と同様に実行する。ただし、サーバ６０３は、画像データベース６２３に登録されている画像に対して上述した処理を行う。
ステップＳ７２６において、サーバ６０３の検索結果供給部６５５は、ステップＳ７２５までの処理により得られた検索結果を、通信部６２１を介して撮像装置６０１に供給する。撮像装置６０１の検索結果取得部６３２は、ステップＳ７０４において、通信部１３３を制御し、その検索結果を取得する。
撮像装置６０１の検索結果処理部６３６は、ステップＳ７０５において、検索結果を表示部１２５に表示させる。
したがって、図２６の画像検索システムにより実行される画像検索の処理の流れは、例えば、図２５のフローチャートのステップＳ６４４乃至ステップＳ６４７の各処理を省略したものと同等である。
以上のように画像検索をサーバ６０３に実行させることにより、撮像装置６０１は、画像検索処理を省略することができ、撮像装置６０１の消費電力を低減させることができるだけでなく、撮像装置６０１の製造コストを低減させることができる。また、図２７に示されるような構成とすることにより、撮像装置６０１は、記憶部１２４が省略されるので、さらに、製造コストを低減させることができる。
なお、以上においては、例えばデジタルスチルカメラやカムコーダ（ソニー株式会社の商標）よりなる撮像装置１００および撮像装置６０１を用いて本発明を説明したが、これは一実施の形態であり、本発明は、キー画像の特徴量を用いて画像検索を行うことができるものであれば、どのようなものにも適用することができる。例えば、デジタルフォトフレームのようなビューア（画像表示装置）であってもよいし、パーソナルコンピュータ等の汎用の情報処理装置であってもよい。さらに、キー画像の特徴量を用いて画像検索のみを行う装置であってもよく、キー画像の取得や特徴量の抽出、検索対象とする画像の記憶、並びに、検索結果の表示等の各処理の一部または全部を他の装置にて行う装置であってもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図２に示されるように、装置本体とは別に、撮像装置１００（撮像装置６０１）の管理者にプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１４１により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、制御部１１１のROMや、記憶部１２４に含まれるハードディスクなどで構成される。
また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。この場合、プログラムは、有線または無線の伝送媒体を介して、通信部１３３により受信され、記憶部１２４等にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１００ 撮像装置， １２２ 撮像部， １２４ 記憶部， １２５ 表示部， １３１ 入力部， １３３ 通信部， １５１ モード選択部， １５３ 画像表示制御部， １６１ 撮像検索部， １６２ 選択検索部， ２０１ キー画像取得部， ２０２ キー画像特徴量抽出部， ２０３ 検索対象画像取得部， ２０４ 検索対象画像特徴量抽出部， ２０５ 特徴量比較部， ２０６ 検索結果処理部， ４０１ 画像解析部， ４０２ 計時部， ４０３ ユーザ指示受付部， ４０４ 領域特定部， ４０５ コンテンツ作成部， ４０６ 再検索部， ６００ 画像検索システム， ６０１ 撮像装置， ６０２ ネットワーク， ６０３ サーバ， ６１３ 検索対象画像取得部， ６２１ 通信部， ６２３ 画像データベース， ６３１ 特徴量供給部， ６３２ 検索結果取得部， ６３６ 検索結果処理部， ６４１ 検索部， ７０６ 検索結果処理部， ７１６ 検索結果処理部

Claims (18)

  1. 被写体を撮像し、撮像画像を取得する第１の画像取得手段と、
    前記第１の画像取得手段により取得された前記撮像画像の特徴量を抽出する第１の抽出手段と、
    前記第１の抽出手段により抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する第１の検索手段と
    を備える撮像装置。
  2. 前記第１の検索手段は、
    前記他の画像を検索対象画像として取得する第２の画像取得手段と、
    前記第２の画像取得手段により取得された前記検索対象画像の前記特徴量を抽出する第２の抽出手段と、
    前記第１の抽出手段により抽出された前記特徴量と、前記第２の抽出手段により抽出された前記特徴量を比較する比較手段と
    を備える請求項１に記載の撮像装置。
  3. ユーザ指示を受け付ける受付手段をさらに備え、
    前記第１の画像取得手段は、前記受付手段により受け付けられた前記ユーザ指示に従って前記被写体を撮像する
    請求項１に記載の撮像装置。
  4. 前記撮像画像を解析する画像解析手段をさらに備え、
    前記第１の画像取得手段は、前記画像解析手段による取り込み画像の解析結果に従って前記被写体を撮像する
    請求項１に記載の撮像装置。
  5. 前記特徴量を比較する部分領域を特定する領域特定手段をさらに備え、
    前記第１の検索手段は、前記領域特定手段により特定された前記部分領域内の前記特徴量を用いて、前記他の画像の中から、前記部分領域内の特徴が前記撮像画像に一致または近似する画像を検索する
    請求項１に記載の撮像装置。
  6. ユーザ指示を受け付ける受付手段をさらに備え、
    前記領域特定手段は、前記第１の抽出手段により抽出された前記特徴量に基づいて、所定の特徴を有する領域を前記部分領域の候補とし、前記受け付け手段により受け付けられた前記ユーザ指示により前記候補の中から選択された領域を前記部分領域として特定する
    請求項５に記載の撮像装置。
  7. 前記領域特定手段は、前記第１の抽出手段により抽出された前記特徴量に基づいて、所定の特徴を有する前記部分領域を特定する
    請求項５に記載の撮像装置。
  8. ユーザ指示を受け付ける受付手段をさらに備え、
    前記領域特定手段は、前記受付手段により受け付けられた前記ユーザ指示により指定される領域を前記部分領域として特定する
    請求項５に記載の撮像装置。
  9. 前記第１の検索手段による検索の結果を表示する結果表示手段をさらに備える
    請求項１に記載の撮像装置。
  10. 他の特徴量を用いて、前記第１の検索手段により検索された画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する第２の検索手段をさらに備える
    請求項１に記載の撮像装置。
  11. 被写体を撮像して撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する
    検索方法。
  12. 被写体を撮像して撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    抽出された前記特徴量を用いて、前記撮像画像以外の他の画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する
    検索方法をコンピュータに実行させるプログラム。
  13. 被写体を撮像し、撮像画像を取得する画像取得手段と、
    前記画像取得手段により取得された前記撮像画像の特徴量を抽出する抽出手段と、
    前記抽出手段により抽出された前記特徴量を他の装置に供給する供給手段と、
    前記他の装置が前記供給手段により供給された前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する取得手段と
    を備える撮像装置。
  14. 被写体を撮像して撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    抽出された前記特徴量を他の装置に供給し、
    前記他の装置が前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する
    検索方法。
  15. 被写体を撮像して撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    抽出された前記特徴量を他の装置に供給し、
    前記他の装置が前記特徴量を用いて行う、特徴が前記撮像画像に一致または近似する画像の検索の結果を取得する
    検索方法をコンピュータに実行させるプログラム。
  16. 被写体を撮像し、撮像画像を取得する第１の画像取得手段と、
    前記第１の画像取得手段により取得された前記撮像画像の特徴量を抽出する抽出手段と、
    他の装置に記憶される画像データの画像を検索対象画像として取得する第２の画像取得手段と、
    前記抽出手段により抽出された前記特徴量を用いて、前記第２の画像取得手段により取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する検索手段と
    を備える撮像装置。
  17. 被写体を撮像して撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    他の装置に記憶される画像データの画像を検索対象画像として取得し、
    抽出された前記特徴量を用いて、取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する
    検索方法。
  18. 被写体を撮像し、撮像画像を取得し、
    取得された前記撮像画像の特徴量を抽出し、
    他の装置に記憶される画像データの画像を検索対象画像として取得し、
    抽出された前記特徴量を用いて、取得される前記画像データの画像の中から、特徴が前記撮像画像に一致または近似する画像を検索する
    検索方法をコンピュータに実行させるプログラム。
JP2009017633A 2009-01-29 2009-01-29 撮像装置および検索方法、並びにプログラム Pending JP2010176346A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009017633A JP2010176346A (ja) 2009-01-29 2009-01-29 撮像装置および検索方法、並びにプログラム
US12/657,822 US20100189365A1 (en) 2009-01-29 2010-01-28 Imaging apparatus, retrieval method, and program
CN201010106263A CN101795357A (zh) 2009-01-29 2010-01-29 成像设备、检索方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009017633A JP2010176346A (ja) 2009-01-29 2009-01-29 撮像装置および検索方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2010176346A true JP2010176346A (ja) 2010-08-12

Family

ID=42354213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009017633A Pending JP2010176346A (ja) 2009-01-29 2009-01-29 撮像装置および検索方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20100189365A1 (ja)
JP (1) JP2010176346A (ja)
CN (1) CN101795357A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044251A (ja) * 2010-08-12 2012-03-01 Casio Comput Co Ltd 画像表示装置及びプログラム
WO2012060039A1 (ja) * 2010-11-02 2012-05-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法
JP2014036344A (ja) * 2012-08-08 2014-02-24 Olympus Corp 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2014057118A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 画像加工装置、画像加工方法、及びプログラム
JP2014071702A (ja) * 2012-09-28 2014-04-21 Melco Holdings Inc 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2017102756A (ja) * 2015-12-02 2017-06-08 株式会社オプティム 情報特定システム、情報特定方法及びそのプログラム
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
JP2018180610A (ja) * 2017-04-04 2018-11-15 株式会社ミクシィ 情報処理装置、情報配信方法、及び情報配信プログラム
JP2021043525A (ja) * 2019-09-06 2021-03-18 大日本印刷株式会社 画像処理装置及び画像検索方法
JP2021043526A (ja) * 2019-09-06 2021-03-18 大日本印刷株式会社 画像処理装置及び画像検索方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176996A (zh) * 2011-12-21 2013-06-26 阿里巴巴集团控股有限公司 基于图片特征信息的图片搜索方法及图片搜索引擎服务器
CN103092946A (zh) * 2013-01-11 2013-05-08 中兴通讯股份有限公司 终端批量图片选择的方法及系统
CN106851164A (zh) * 2017-03-28 2017-06-13 戴金辰 记录图像、影像生成保留方法
JP2021149208A (ja) * 2020-03-16 2021-09-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112817503B (zh) * 2021-01-18 2024-03-26 陈林斌 电子相框的智能显示方法、电子相框及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076302A (ja) * 1998-08-27 2000-03-14 Casio Comput Co Ltd 画像検索方法，画像検索装置および電子スチルカメラ
JP2005352780A (ja) * 2004-06-10 2005-12-22 Canon Inc 画像記録装置及びその制御方法
JP2007310813A (ja) * 2006-05-22 2007-11-29 Nikon Corp 画像検索装置およびカメラ

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148795A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
JP4517742B2 (ja) * 2004-06-23 2010-08-04 ソニー株式会社 画像表示制御装置および画像表示制御方法
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076302A (ja) * 1998-08-27 2000-03-14 Casio Comput Co Ltd 画像検索方法，画像検索装置および電子スチルカメラ
JP2005352780A (ja) * 2004-06-10 2005-12-22 Canon Inc 画像記録装置及びその制御方法
JP2007310813A (ja) * 2006-05-22 2007-11-29 Nikon Corp 画像検索装置およびカメラ

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044251A (ja) * 2010-08-12 2012-03-01 Casio Comput Co Ltd 画像表示装置及びプログラム
EP2637078A4 (en) * 2010-11-02 2017-05-17 NEC Corporation Information processing system and information processing method
WO2012060039A1 (ja) * 2010-11-02 2012-05-10 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法
JPWO2012060039A1 (ja) * 2010-11-02 2014-05-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理システム、および情報処理方法
US9014754B2 (en) 2010-11-02 2015-04-21 Nec Casio Mobile Communications, Ltd. Information processing system and information processing method
JP5870929B2 (ja) * 2010-11-02 2016-03-01 日本電気株式会社 情報処理システム、情報処理装置および情報処理方法
JP2014036344A (ja) * 2012-08-08 2014-02-24 Olympus Corp 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2014057118A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 画像加工装置、画像加工方法、及びプログラム
JP2014071702A (ja) * 2012-09-28 2014-04-21 Melco Holdings Inc 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2017102756A (ja) * 2015-12-02 2017-06-08 株式会社オプティム 情報特定システム、情報特定方法及びそのプログラム
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US11016296B2 (en) 2016-05-30 2021-05-25 Suncorporation Terminal device
JP2018180610A (ja) * 2017-04-04 2018-11-15 株式会社ミクシィ 情報処理装置、情報配信方法、及び情報配信プログラム
JP2021043525A (ja) * 2019-09-06 2021-03-18 大日本印刷株式会社 画像処理装置及び画像検索方法
JP2021043526A (ja) * 2019-09-06 2021-03-18 大日本印刷株式会社 画像処理装置及び画像検索方法
JP7395888B2 (ja) 2019-09-06 2023-12-12 大日本印刷株式会社 画像処理装置及び画像検索方法
JP7395889B2 (ja) 2019-09-06 2023-12-12 大日本印刷株式会社 画像処理装置及び画像検索方法

Also Published As

Publication number Publication date
US20100189365A1 (en) 2010-07-29
CN101795357A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
JP2010176346A (ja) 撮像装置および検索方法、並びにプログラム
US10445575B2 (en) Image monitoring system and image monitoring program
US9013604B2 (en) Video summary including a particular person
JP2006042171A (ja) カメラ、再生装置およびアルバム登録方法
US20110064319A1 (en) Electronic apparatus, image display method, and content reproduction program
JP2011101251A (ja) 電子機器及び画像表示方法
JP2011257980A (ja) 画像表示装置、画像表示方法、およびプログラム
JP6417752B2 (ja) ネットワークカメラシステム、情報処理方法、プログラム
US8463052B2 (en) Electronic apparatus and image search method
JP6637291B2 (ja) 医療支援システムおよび検査画像検索方法
US20100235336A1 (en) Method and apparatus for managing image files
JP5531671B2 (ja) 画像記録装置
JP4227638B2 (ja) 画像処理装置及び方法、並びにプログラム
JP2009187155A (ja) 監視装置、監視方法、及び監視プログラム
JP2004282435A (ja) 画像蓄積表示方法およびその装置、プログラム、記録媒体
JP5414842B2 (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP2011228874A (ja) 表示処理装置
JP6420945B2 (ja) 情報処理装置、情報処理装置におけるデータ表示方法及びプログラム
JP2011243212A (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP2012004713A (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体
JP2011135568A (ja) 端末装置
JP2019054518A (ja) ネットワークカメラシステム、情報処理方法、プログラム
JP2011119957A (ja) 撮像装置
JP2011227907A (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110331