JP2006227692A - 情報処理装置、情報処理方法、情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理システム Download PDF

Info

Publication number
JP2006227692A
JP2006227692A JP2005037457A JP2005037457A JP2006227692A JP 2006227692 A JP2006227692 A JP 2006227692A JP 2005037457 A JP2005037457 A JP 2005037457A JP 2005037457 A JP2005037457 A JP 2005037457A JP 2006227692 A JP2006227692 A JP 2006227692A
Authority
JP
Japan
Prior art keywords
image
information
displayed
file
thumbnail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005037457A
Other languages
English (en)
Other versions
JP4333599B2 (ja
Inventor
Osamu Date
修 伊達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005037457A priority Critical patent/JP4333599B2/ja
Priority to EP06250267A priority patent/EP1691542B1/en
Priority to TW095102318A priority patent/TW200635370A/zh
Priority to KR1020060013517A priority patent/KR20060092075A/ko
Priority to CNB2006100046886A priority patent/CN100422995C/zh
Priority to US11/354,429 priority patent/US8279319B2/en
Publication of JP2006227692A publication Critical patent/JP2006227692A/ja
Application granted granted Critical
Publication of JP4333599B2 publication Critical patent/JP4333599B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/0045Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array vertically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32112Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】画像ファイルに付随するメタデータの有効利用を図る。
【解決手段】撮像装置1において、台紙データ200を起動させて台紙画像100を表示させるようにする。台紙画像100上に表示される複数のサムネイル貼付エリアAR1から1つを選択して撮像操作を行うと、撮像画像データに対して撮影日時、位置情報などの撮影時関連情報が対応付けられるようにする。そして、この撮影時関連情報が、サムネイル貼付エリアAR1に設定される画像貼付条件情報を満たしていれば、選択したサムネイル貼付エリアAR1に対して撮像画像データのサムネイル画像が貼り付けされるようにする。
【選択図】図5

Description

本発明は、画像情報を画像として表示させたり、また、画像情報を記録媒体に記録させるための処理を実行する情報処理装置と、その方法に関する。また、このような画像情報に関する情報処理を実行するサーバ装置と端末装置から成る情報処理システムに関する。
例えば、画像ファイルを管理するのにあたっては、その画像ファイルに関連した何らかの情報内容を有するメタデータを画像ファイルごとに関連付け、このメタデータを利用することがしばしば行われる。
このようなメタデータの代表的な使用形態として、ファイル検索を挙げることができる。つまり、画像ファイルを検索するために、ユーザは検索条件として、所望のキーワードを入力する。検索処理としては、先ず、入力されたキーワードに一致する内容のメタデータを検索して特定し、この特定されたメタデータと関連付けられて管理されている画像ファイルを検索結果として出力する。このようなメタデータを使用した検索であれば、例えばファイル名などの基本的な検索条件以外のキーワードを検索条件として検索を行うことが可能であり、検索機能としてはより充実したものとなる。
特開2002−318807号公報
このようにして、メタデータは検索などのために利用して有効なものではあるが、現状においては、さらなる有効利用が図られる余地が残っている。
そこで本発明は上記した課題を考慮して、情報処理装置として次のように構成する。
つまり、第1の画像情報を取得する画像情報取得手段と、取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この関連情報を、取得された第1の画像情報に対応付ける情報対応付け手段と、少なくとも第2の画像情報と条件情報とを有して形成される機能データを利用して、表示部に第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して第1の画像情報を示す代表画像を表示させることのできる表示処理手段と、この表示処理手段により代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、条件情報が示す条件を満たしているか否かについて判別する判別手段と、この判別手段により条件を満たしていることが判別された場合においてのみ、表示させるべき代表画像を表示処理手段により表示させる表示制御手段とを実行するように構成することとした。
また、情報処理方法としては、第1の画像情報を所定の画像情報取得手段により取得させる取得手順と、取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この関連情報を、取得された第1の画像情報に対応付ける情報対応付け手順と、少なくとも第2の画像情報と条件情報とを有して形成される機能データを利用して、表示部に第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して上記第1の画像情報を示す代表画像を表示させることのできる表示手順と、表示手順により代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、条件情報が示す条件を満たしているか否かについて判別する判別手順と、この判別手順により条件を満たしていることが判別された場合においてのみ表示させるべき代表画像を上記表示手順により表示させる制御手順とを実行するように構成することとした。
また、情報処理システムとして次のように構成することとした。
本発明の情報処理システムは、サーバ装置と端末装置から成る。そして、サーバ装置において少なくとも第2の画像情報と条件情報とを有して形成される機能データを作成する作成手段と、作成手段により作成した機能データを所定の通信網を介して、サーバ装置から端末装置に送信する第1の通信手段と、端末装置において、サーバ装置から送信されてきた上記機能データを受信して保持する保持手段と、端末装置において、第1の画像情報を取得する画像情報取得手段と、端末装置において、取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この第1の関連情報を、取得された第1の画像情報に対応付ける情報対応付け手段と、端末装置において、保持手段により保持した機能データに基づいて、表示部に第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して上記第1の画像情報を示す代表画像を表示させることのできる表示処理手段と、端末装置において、表示処理手段により代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、条件情報が示す条件を満たしているか否かについて判別する判別手段と、端末装置において、上記判別手段により上記条件を満たしていることが判別された場合においてのみ、上記表示させるべき代表画像を上記表示処理手段により表示させる表示制御手段と、端末装置において、少なくとも、第2の画像情報の画像上に表示させた代表画像の表示結果の情報と、第2の画像情報の画像上に表示させた代表画像が示す第1の画像情報とをサーバ装置に送信する第2の送信手段とを備えることとした。
上記各構成によると、取得した第1の画像情報が、先ず、第1の関連情報(メタデータ)と関連付けされる。この第1の画像情報は、その代表画像を第2の画像情報の画像上に表示させるようにして使用される。第2の画像情報は、条件情報とにより機能データを形成する。そして、代表画像を第2画像情報の画像上に表示させるためには、その縮小画像が示す第1の画像情報に対応付けられた第1の関連情報が条件情報を満足していることを判定するようにされる。つまり、代表画像が示す第1の関連情報が条件情報を満足している場合においてのみ、第2の画像情報の画像上に対して、その代表画像を表示させることができる。
かかる本発明の構成では、取得した第1の画像情報に対応付けられる第1の関連情報としてのメタデータを、第2の画像情報の画像上に代表画像を表示させるための可否判断に使用していることになる。このようなメタデータの使用を前提にすれば、これまでにはなかったような機能のアプリケーションを構築して、ユーザに提供することができる。つまり、メタデータの有効利用が図られる。
以下、本願発明を実施するための最良の形態(以降、実施の形態ともいう)について説明する。本実施の形態は、本願発明としての情報処理装置を撮像装置に適用している。
図1のブロック図は、本実施の形態の撮像装置1の構成例を示している。
先ず、カメラ部10は、レンズ光学系により撮像して得られた画像光を信号に変換するための部位であり、光学ブロック11、CCD(Charge Coupled Device)12、前処理回路13、光学ブロック用ドライバ14、CCDドライバ15、及びタイミング生成回路16とを備えて成る。
光学ブロック11は、レンズ光学系、フォーカス機構、シャッター機構、絞り(アイリス)機構などを備えて成り、入射された光を撮像光としてCCD12の受光面に結像させる。
また、光学ブロック11におけるフォーカス制御、シャッター制御、絞り値の可変制御などは、この場合には、光学ブロック用ドライバ14から出力される駆動信号によって行われるものとしている。つまり、光学ブロック用ドライバ14は、制御部5の制御に応じて、フォーカス機構、シャッター機構、及び絞り機構などを駆動するための駆動信号を生成して出力する。この駆動信号に応じて、フォーカス機構、シャッター機構、及び絞り機構が動作することで、フォーカス状態、シャッター動作、シャッター速度、及び絞り値などが適切な状態に制御される。
CCD12は、上記のようにして受光面にて受光した撮像光について光電変換を行うもので、受光面にて受光された撮像光に応じて蓄積された信号電荷を、タイミング生成回路16からの出力されるタイミング信号に基づいて順次出力することで、撮像光に対応した電気信号を出力する。
タイミング生成回路16は、制御部5の制御に応じて必要とされるタイミング信号を形成する。また、CCDドライバ15は、タイミング生成回路16からのタイミング信号に基づいて、CCD12に対して駆動信号を出力する。
なお、光電変換素子(撮像素子)としては、CCDに限定されるものではなく、例えばCMOSセンサなどをはじめ他の素子を採用してもよい。
前処理回路13は、CCD12から出力された信号を入力して、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行したうえで、A/D(Analog/Digital)変換処理を行って、デジタル信号に変換する。
前処理回路13から出力されたデジタル信号は、カメラDSP2に供給される。カメラDSP2は、入力されたデジタル信号から、必要に応じて、動画又は静止画としてのデジタル画像データを生成する。また、このデジタル画像データに対して、AE(Auto Exposure)、AWB(Auto White Balance)などのカメラ信号処理を施す。
このようにして得られたデジタル画像データは、例えば、所定の圧縮方式による圧縮符号化、さらには記録符号化を施したうえで、システムバス55、媒体インターフェイス4を介して記録媒体30に転送し、ファイルとして管理される形式で記録を行うことができる。
また、撮像画像のモニタ映像をLCD8にて表示出力させるためのビデオ信号処理なども実行するようにされる。この処理によって得られた表示用画像データは、システムバス55を介してLCDコントローラ7に入力される。LCDコントローラ7は、入力される表示用画像データに応じてLCD8を駆動する。これにより、LCD8には、例えばモニタ画像が表示される。
また、記録媒体30に記録された画像データのファイルは、制御部5の制御により読み出しを行って、媒体インターフェイス4、システムバス55を介してカメラDSP2に入力される。この場合、カメラDSP2は、入力された画像データについて、記録符号化に対する復調処理、データ圧縮に対する復調処理(伸張処理)を実行したうえで、所定の信号処理により、上記と同様に表示用画像データを得て、LCD8にて表示させることができる。
カメラDSP2は、上記した各種の信号処理を実行するのにあたって、例えばSDRAM3を作業領域として使用する。SDRAM3に対するデータの書き込み/読み出し制御は、カメラDSP2内に備えられるSDRAMコントローラが実行する。
制御部5は、撮像装置1における各部を制御するもので、CPU(Central Processing Unit)51、RAM(Random Access Memory)52、フラッシュROM(Read Only Memory)53、時計回路54をシステムバス55経由で接続して成るマイクロコンピュータとして構成される。
RAM52は、CPU51の演算結果を一時記憶するなど、主としてCPU51の作業領域として用いられる。また、フラッシュROM53は、CPU51が実行すべきプログラムや、各種処理に必要とされる設定データなどが記憶される。また、時計回路54は、計時を行うことで、現在年月日、現在曜日、現在時刻などの情報を出力可能とされる。
この場合の操作部6は、撮像装置1の筐体の所要位置に備えられる各種操作子、タッチパネル、などの入力操作手段を一括して示している。操作部6では、操作結果に応じた操作情報信号をCPU51に出力する。CPU51は、入力された操作情報信号に応じて所要の制御、処理を実行する。
外部インターフェイス9は、所定のデータインターフェイスを経由して、撮像装置1と他の外部機器とを相互通信可能に接続するために設けられる。
この場合において、外部インターフェイス9に適用される実際のデータインターフェイスとしては特に限定されるべきものではないが、例えばIEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)などの有線によるデータインターフェイスを採用することが考えられる。また、Bluetoothなどの無線データインターフェイスでもよい。
さらに、インターネット、LANなどのネットワーク接続に対応した有線、無線のネットワークインターフェイスが採用されてもよい。
また、GPS(Global Positioning System)部20は、GPSを利用して現在位置情報を取得することのできる部位である。制御部5のCPU51は、必要に応じて、このGPS部20により取得した現在位置情報をシステムバス55を経由して取り込んで使用する。
本実施の形態では、上記構成の撮像装置1を次のようにして使用することができる。
撮像装置1のユーザは、旅行会社が商品として提供する或るツアーを利用した旅行者(ツアー客)であるとする。そして、このユーザが所有する撮像装置1には、旅行会社側から提供された、スタンプラリーの台紙としての機能を撮像装置1に与えることのできる台紙データ(機能データ)を入手して、記録媒体30又は撮像装置1内のフラッシュROM53に記憶させているものとする。
なお、台紙データをどのようにして入手して記録媒体30又はフラッシュROM53に記憶保持させるのかについては、特に限定しない。例えば、旅行会社から有償、又は無償で、台紙データが記憶済みの記録媒体30をツアー客に譲渡又は貸与するようにすることが考えられる。また、例えば外部インターフェイス9によりダウンロード装置と接続して、台紙データをダウンロードするようにして記録媒体30またはフラッシュROM53に記録させてもよい。また、外部インターフェイス9によりインターネットなどのネットワークを経由して所定のサーバと接続し、このサーバから台紙データをダウンロードすることも考えられる。また、台紙データを二次元バーコードとして提供して、撮像装置1により、この二次元バーコードを撮像、デコードして、台紙データを取得できるようにすることも考えられる。
なお、以降においては、説明を簡単にするために、台紙データは、既に記録媒体30に記憶させてあるものとする。
一般のスタンプラリーは、例えば紙製などの実物の台紙を用意する。そして、予め指定された複数の場所、地点などに順次赴いていき、指定の場所、地点に到着するごとに、その場所でスタンプを台紙に捺印していく。このようにして台紙には、赴いた場所、地点のスタンプがたまっていくことになる。そして、スタンプラリーの催行内容などにもよるが、例えば指定された全ての場所、地点のスタンプを台紙に捺印した参加者には、賞品などを提供することが行われる。また、スタンプラリーの後では、台紙に捺印されたスタンプの内容が思い出として残る。
撮像装置1のユーザ(ツアー客)は、自身が所有する撮像装置1を台紙代わりに使用するようにして、ツアー中においてスタンプラリーに参加することができるようになっている。撮像装置1を台紙として使用するには、台紙データを記憶保持させた記録媒体30を撮像装置1に装填しておき、媒体インターフェイス4経由で、台紙データの読み出しが行える状態としておく。そして、この状態の下で、操作部6に対する所定の操作を行って台紙データを起動させると、台紙データのGUI(Graphical User Interface)画面としての台紙画像が表示されるようになっている。ユーザは、このようにして表示される台紙画像に対して、例えば次に説明するような手順で、スタンプを捺印する代わりに、撮像装置1で撮像した画像(写真)を貼り付けていくことができる。
図2(a)は、例えば撮像装置1の表示部であるLCD8の表示画面に表示される台紙画像100の表示態様例を示している。
この台紙画像100においては、画面左側に配置されるサムネイル貼付エリアAR1と、その右側に配置されるガイド情報表示エリアAR2から成る領域が、1つの場所、地点に対応する。この図では、K駅、O駅、T駅の3地点に対応した領域が表示されていることになる。
サムネイル貼付エリアAR1は、撮像画像を縮小したサムネイル画像(代表画像)TNを貼り付けるようにして重畳表示させる領域である。このサムネイル貼付エリアAR1が、通常のスタンプラリーの台紙の場合のスタンプの捺印指定位置に対応することになる。その左隣のガイド情報表示エリアAR2には、対応する場所、地点に関連した情報として、例えばその場所に関する紹介文、また周辺施設、旧跡などに関する情報などのガイド的な情報が文字等によって表示される。
ここで、例えば撮像装置1のユーザが、K駅に到着したとする。スタンプラリーに参加しているこのユーザは、K駅に到着したことの証を残すために、K駅付近で撮影した画像を台紙画像100に貼り付けようとすることになる。このためには、ユーザは、操作部6に対する操作によって、図2(a)に示すようにして、カーソルCRを、K駅に対応するサムネイル貼付エリアAR1まで移動して配置させる。なお、この段階では、ユーザにメッセージを通知するメッセージエリアAR3においては、例えば「画像を貼り付ける「駅」を選択してください」のようにして、捺印代わりにサムネイル画像を貼り付けるサムネイル貼付エリアAR1の選択を促すメッセージが表示されている。
そして、上記のようにして所望のサムネイル貼付エリアAR1にカーソルCRを配置させて決定操作を行ったとすると、撮像装置1は撮像モードに移行し、これに応じて、LCD8の表示画面は、例えば図2(b)に示すようにして、現在の撮像画像についてのモニタ画像を表示する。このときのメッセージエリアAR3には、例えば画像を撮影してください」のようにして、画像の撮影を促すメッセージを表示している。
ユーザは、任意に撮像画像のフレーミングを決定して撮影を行う。つまり、シャッターボタン操作に相当する所定操作を行う。
この場合、このようにして撮影を行った位置が、K駅として認められる範囲内であったとする。このことを撮像装置1が認識した場合には、図3(a)に示すようにして、撮像した画像が、K駅に対応するサムネイル貼付エリアAR1に表示される。
このようにして、台紙画像100には、ユーザが撮影を行った画像のサムネイル画像TNが、撮影場所に応じたサムネイル貼付エリアAR1に表示されていく。つまり、スタンプの捺印代わりに、到着地点で記念撮影した画像が台紙に貼り付けられる。このようにしてサムネイル貼付エリアAR1に対してサムネイル画像TNを貼り付けていくことで、台紙画像100としては、主要な場所ごとにユーザが撮影した写真とガイド情報とが掲載された内容のアルバムとして出来上がっていくことになる。
また、図3(a)に示すメッセージエリアAR3においては、「撮像画像をガイド情報と一緒に記録しますか?」というメッセージ(ダイアログ)が表示されている。このダイアログに対してユーザはyes/noの操作を行うことができるようになっている。
yes/noの何れの操作が行われても、今回の撮像画像データを1つの画像ファイルとして記録媒体30に記録することが行われる。ただし、yesの操作が行われたのに対応しては、画像ファイルとともに、K駅のガイド情報表示エリアAR2に表示されている内容の元となっている情報(ガイド情報)も、画像ファイルと対応付けられて管理されるようにして、同じ記録媒体30に記録する。noの操作に対応しては、ガイド情報の記録は行わずに、画像ファイルのみを記録する。
また、先の図2(b)の状況において、撮影を行った位置がK駅として認められる範囲内ではないことを撮像装置1が認識した場合には、その撮像画像のサムネイル画像TNを台紙画像100に表示させることは行わずに、台紙画像100に代えて、図3(b)に示すダイアログ画像102を、LCD8の表示画面に表示させる。
このダイアログ画像102には、例えば、「撮影した画像はK駅で撮影された画像ではないので、台紙には貼り付けられません」のようにして、K駅としてみなしてよい地域範囲で撮影されていないことを理由に、台紙には貼り付けられないことを通知する。
このようにして、本実施の形態では、例えば撮影位置が、選択したサムネイル貼付エリアAR1が要求する位置範囲の条件を満たしている場合においてのみ、撮像画像のサムネイル画像TNを、選択したサムネイル貼付エリアAR1に表示させることとしている。これにより、例えば、ユーザが誤って、選択したサムネイル貼付エリアAR1が対応する場所とは違う場所で撮影した画像のサムネイル画像が、上記選択したサムネイル貼付エリアAR1に表示されてしまうことを防ぎ、ユーザを混乱させないようにしている。また、スタンプラリーをゲームとして開催している場合には、不正なサムネイル画像の貼付表示が行われるのを防止できる。
なお、本実施の形態では、上記のようにして、撮像画像のサムネイル画像TNを、選択したサムネイル貼付エリアAR1に貼り付けることができない場合であっても、撮像画像データを画像ファイルとして記録媒体に記録することはできるようにしている。このことに応じて、図3(b)のダイアログ画像102においては、「この画像(今回の撮像画像)を記録媒体に記録しますか?」というダイアログとともに、yesボタンBt1と、NoボタンBt2が表示されている。
ここで、yesボタンBt1を選択してクリックに相当する操作を行えば、今回の撮像画像データが画像ファイルとして記録媒体30に記録される。表示画面としては、ダイアログ画像102から台紙画像100に戻る。これに対してNoボタンBt2を選択してクリックに相当する操作を行えば、今回の撮像画像データを記録媒体30に記録することなく、例えば台紙画像100の表示に戻る。
以下、上記図2及び図3により説明した、本実施の形態のスタンプラリーを実現するための技術構成について説明していくこととする。
先ず、図4には、図2及び図3により説明した手順に対応させて、本実施の形態のスタンプラリーに必要なデータを、その構造とともに示している。
図4(a)には台紙データ200が示される。
台紙データ200(機能データ)は、記録媒体30に記録されているもので、台紙画像100(第2の画像情報)としてのGUI画像を表示させ、また、台紙画像100に対して行われたとされる操作に応じて撮像装置1が処理動作を実行できるようにするための情報を有して成る。そのための情報として、ここでは、台紙画像データ201、画像貼付条件情報202、ガイド情報203(第2の関連情報)、実行スクリプト(プログラム)204を備えるものとしている。
台紙画像データ201は、図2(a)及び図3(a)に示した台紙画像100、及び図3(b)に示したダイアログ画像102などのように、スタンプラリーに必要な画像表示に使用する画像素材としての画像データ群から成る。
画像貼付条件情報202は、指定の撮影場所ごとに対応する(台紙画像100においてはサムネイル貼付エリアAR1ごとに対応する)条件情報群から成る。例として、図2(a)、図3(a)の台紙画像100に示されるK駅に対応する条件情報としては、K駅の位置を基準として所定の位置範囲に撮影位置を限定することを示す情報を少なくとも有するものとする。これに加えて、例えば撮影日時について、予め定めた時間帯(例えば2005年1月4日 AM10:00〜AM11:00)に限定することを示す情報を含めることもできる。すると、例えばK駅に対応するサムネイル貼付エリアAR1には、「K駅に対応する所定の位置範囲に撮像装置1が在る状態で、時間帯情報が示す時間帯において撮影された撮像画像データのサムネイル画像」でなければ貼付表示できないようにすることができる。
ガイド情報203は、指定の撮影場所ごとに対応してガイド情報表示エリアAR2に表示される内容の元となるガイド情報としてのデータ群から成る。
実行スクリプト(プログラム)204は、図2、図3により説明したようなスタンプラリーの動作が実行されるように記述、構成されたスクリプトあるいはプログラムである。このような実行スクリプト(プログラム)204は、例えば所定のマークアップ言語、あるいは、所定のプログラム言語を使用して作成されたもので、CPU51が実行する。このようにして、台紙データ200は、本実施の形態のスタンプラリーのためのアプリケーションソフトウェアとしての機能を持つ。
図4(b)には、撮像画像データ210(第1の画像情報)が示されている。この撮像画像データ210は、図2(b)にて説明した状態で撮像したことで生成されるものである。また、撮像画像データを生成するのに応じて、撮影時関連情報(メタデータ)211(第1の関連情報)を生成し、撮像画像データ210との対応付けが行われる。この場合の撮影時関連情報211としては、少なくとも、撮影時の位置情報(撮影時位置情報)であることとする。また、これに加えて、例えば撮影日時の情報(撮影日時情報)も含める場合も考えられる。撮影時位置情報は、撮影タイミングに応じて、GPS部20から位置情報を取り込むことで取得できる。撮影日時情報は、撮影タイミングに応じて時計回路54から日付と時刻の情報を取り込むことで取得できる。
このようにして、図4(b)に示した撮像画像データ210と撮影時関連情報211とが生成されると、撮影時関連情報211と、この撮像画像データ210のサムネイル画像TNを貼り付けるべきサムネイル貼付エリアAR1に対応する画像貼付条件情報202との内容の比較(条件比較)を行うことになる。そして、この画像貼付条件情報202の条件内容に撮影時関連情報211の内容が合致していることが認識されると、撮像画像データのサムネイル画像データが生成されて、台紙画像100において選択したサムネイル貼付エリアAR1に対して、このサムネイル画像TNが貼付表示される。
また、図3(a)にて説明したように、台紙画像100のサムネイル貼付エリアAR1に対してサムネイル画像TNを貼付表示できた場合には、そのサムネイル貼付エリアAR1に対応するガイド情報表示エリアAR2の表示内容の元となるガイド情報203と、サムネイル画像TNの元となる撮像画像データ210とを、記録媒体30に記録することができる。
図4(c)は、この記録結果を示している。
この図に示す画像ファイル210A(ファイル化された第1の画像情報)は、撮像により生成された撮像画像データ210をファイル形式化したものとされる。つまり、必要に応じて圧縮符号化、記録符号化が施されたことでファイルとして扱われるデータである。そして、この画像ファイル210Aと、台紙データ200側のガイド情報203から抜き出してきた、対応のガイド情報203の部分とが対応付けられて管理されるようにして記録媒体30に記録している。また、この場合には、撮影時関連情報211も、同じく、画像ファイル210Aと対応付けられて管理される状態で記録媒体30に記録した場合を示している。
このようにして、本実施の形態では、撮像画像データ210を元とする画像ファイル210Aと共に、ガイド情報203、撮影時関連情報211を画像ファイル210Aに対応付けて、記録媒体30に記録できる。ここで、相互に対応付けが行われる画像ファイル210A、ガイド情報203、撮影時関連情報211については、画像ファイル210Aを主情報として、ガイド情報203、撮影時関連情報211は、この主情報に関連した情報内容を有している副情報、つまりメインのデータに対するメタデータである、としてみることができる。
図5は、上記図4に示すようにして記録媒体30に記録される、画像ファイル210A、及びメタデータ(ガイド情報203、撮影時関連情報211)についての管理形態例を示している。なお、この図では、記録媒体30側の内容に加えて、記録媒体30での管理に対応する表示画像も示している。
先ず、記録媒体30においては、ファイルとして、画像ファイル210A、管理ファイル300が記録される。また、この図では、これらのファイルの他に、台紙データ100も記録媒体30に記録されている場合を示している。上記説明では、画像ファイル210Aとともに、メタデータ(ガイド情報203、撮影時関連情報211)も記録媒体に記録されるのであるが、このメタデータは、独立したファイルとしてではなく、後述するようにして、管理ファイル300の構造内に含められる。
管理ファイル300の構造について説明する。
管理ファイル300は、同じ記録媒体30に記録される1画像ファイル(ここでは説明の都合上、画像ファイルの1種類のみに限定する)に関連した、属性的な情報を格納して管理するファイルである。この管理ファイル300は、記録媒体30においては1つのファイルとして管理されて記録が行われるが、その構造としては、さらに属性ファイル400、サムネイルファイル500、及びタイトルファイル600の3つのサブファイルに分割される。
属性ファイル400は、1つの属性ファイルヘッダ401と、画像ファイルごとに対応して備えられる1以上の属性スロット402から成る。各属性スロット402は固定長であることが規定されている。
なお、属性ファイルヘッダ401、及び属性スロット402の内部構造については後述する。
サムネイルファイル500は、1以上のサムネイルスロット501を備えて形成される。1つのサムネイルスロット501は、原則として1つの画像ファイル210Aに対応して、対応する画像ファイル210Aを示す代表画像であるサムネイル画像データを格納する。また、サムネイルスロット501についても固定長であることが規定されている。
また、タイトルファイル600は、1以上のタイトルスロット601から成る。1つのタイトルスロット601も、1つの画像ファイル210Aに対応すべきものとされて、所定の固定長であることが規定される。タイトルスロット601には、例えばテキスト形式のデータなど任意のデータを格納できるものとされている。
属性ファイルヘッダ401の内部構造としては、ここでの図示は省略しているが、例えば、現属性ファイルの作成日時、修正日時を示す情報、属性スロット402のサイズを示す情報、格納する属性スロット402の数を示す情報、及びサムネイルファイルリスト、タイトルファイルリストなどを含む。
サムネイルファイルリストは、サムネイルファイル500の作成日時、修正日時を示す情報、サムネイルスロット501のサイズを示す情報、サムネイルスロット501の格納数を示す情報などを格納する。
タイトルファイルリストは、タイトルファイル600の作成日時、修正日時を示す情報、タイトルスロット601のサイズを示す情報、タイトルスロット601の格納数を示す情報などを格納する。
属性スロット402の内部構造としては、図5の属性ファイル400内に示されているようにして、例えばサムネイルスロットインデックス421、タイトルスロットインデックス422、ファイル識別子423、作成日時424、位置情報425などから成る。
サムネイルスロットインデックス421は、現属性スロット401に対応付けられたサムネイルスロット501を指定する情報を格納する。サムネイルファイル500は、固定長のサムネイルスロット501を論理的に連結配置するようにして形成される。そこで、サムネイルスロットインデックス421としては、例えばサムネイルファイル500におけるサムネイルスロット501の配置順を指定することで、1つのサムネイルスロット501を特定できることになる。
タイトルスロットインデックス422は、現属性スロット401に対応付けられたタイトルスロット601を指定する情報を格納する。タイトルファイル600も、固定長のタイトルスロット601を論理的に連結配置するようにして形成されていることから、タイトルスロットインデックス422としても、タイトルファイル600におけるタイトルスロット601の配置順を指定するようにしておけば、1つのタイトルスロット601を特定できる。
ファイル識別子423は、現属性ファイルが対応する画像ファイル210Aを示すファイル識別子を格納する。
ここまでの説明から分かるように、記録媒体30に記録されている1つの画像ファイル210Aは、ファイル識別子423によって、1つの属性スロット401と対応付けられていることになる。そして、この属性スロット401のサムネイルスロットインデックス421を参照することで、1つのサムネイルスロット501が特定されるが、このサムネイルスロット501は、上記1つの画像ファイル210Aと対応していることになる。また、この属性スロット401のタイトルスロットインデックス422を参照して特定される1つのタイトルスロット601も、上記1つの画像ファイル210Aと対応していることになる。
つまり、管理ファイル300によっては、記録媒体30に記録されている1つの画像ファイルと、この画像ファイルに対応付けられたサムネイル画像データ(サムネイルスロット501)、及びこの画像ファイルに関連する任意の内容の情報(メタデータ:タイトルスロット601)とを、属性ファイル400の属性スロット402を軸として対応付けるようにして管理している。
また、この場合の属性スロット402においては、さらに、オプションとして、作成日時424、位置情報425の情報を格納することとしている。作成日時424は、現属性スロット402が対応する画像ファイル210Aについての作成日付、時刻を示す。また、位置情報425は、現属性スロット402が対応する画像ファイル210Aが作成されたとされる位置を示す情報である。
そして、図4(c)のようにして画像ファイル210Aと対応付けられて記録媒体30に記録されたメタデータ(ガイド情報203、撮影時関連情報211)は、上記図5に示す記録媒体30におけるファイル管理形態においては、次のようにして管理される。
先ず、撮影時関連情報211であるが、これについては、画像ファイルの生成時(撮影時)に対応する位置情報と日時情報とから少なくとも成るものとして先に説明した。これらの位置情報及び日時情報は、それぞれ、対応する画像ファイル210Aの属性スロット402の位置情報425、作成日時424として格納される。また、ガイド情報203は、対応する画像ファイル210Aのタイトルスロット601に格納するようにされる。なお、この図では、説明の便宜上、ガイド情報203としてのメタデータを、GUIとして表示された台紙画像100におけるガイド情報表示エリアAR2から取り出して、タイトルスロット602に格納するイメージとなっているが、実際のガイド情報のデータの流れとしては、例えば、台紙画像100の表示のために台紙データ200から読み込んでRAMに展開したガイド情報203を、タイトルスロット602に組み込むようにして記録管理する。
このようにして、本実施の形態では、画像データファイル210Aと管理ファイル300とを記録することとしたうえで、上記のようにして、管理ファイル300側でメタデータを管理することで、1つの画像ファイル210Aと、ガイド情報203、撮影時関連情報211などのメタデータとについて、相互に対応付けを行った状態で記録管理することが可能とされている。
また、先に図3(a)にて説明したように、台紙画像100には撮像画像のサムネイル画像TNを貼付表示する。サムネイル画像TNの貼付には、サムネイル画像データを生成して、これを使用していることになる。そこで、図5にも示しているように、台紙画像100への貼付表示に使用したサムネイル画像データを、サムネイルスロット501に格納すべきサムネイルデータとして、記録媒体30に記録して管理することができる。そして、一旦、サムネイルスロット501に格納されたサムネイル画像データは、例えば以降において台紙データ100を起動して台紙画像100を表示させたときに、貼付済みのサムネイル画像TNの表示に使用することができる。
また、サムネイルファイル500内のサムネイルスロット501に格納されるサムネイル画像データは、図示するようにして、まず、LCD8にて表示させるファイル一覧画像を表示させるときにファイルを示すアイコン(サムネイル画像)として表示させるようにして使用することができる。
このような、サムネイルファイル500と、台紙画像100又はファイル一覧画像の関係であれば、台紙画像100又はファイル一覧画像に対してサムネイル画像を表示させるときには、逐一、元の画像データからサムネイル画像を生成する画像処理を実行する必要はなく、しかるべきサムネイルスロット501にアクセスして読み出したサムネイル画像データを使用すればよいことになる。
また、図6には、図5とは異なる形式による画像ファイルとメタデータの管理形態例を示している。この図において、図5と同一部分には同一符号を付して説明を省略する。
この図6において、図5のファイル管理形態と大きく異なるのは、管理ファイル300において、サムネイルファイル500を含まないことである。本実施の形態の管理ファイル300としては、属性ファイル400を必須として、残るサムネイルファイル500、及びタイトルファイル600はオプションとされている。
そこで、図6では、サムネイルファイル500が設けられないことに応じて、画像ファイル210Aについて、画像ファイルの実体であるメインの画像データ210A−1と、この画像データ210A−1に対応するサムネイル画像データ210A−2から成る構造のファイルとしている。従って、この場合には、例えば台紙画像100に対してサムネイル画像TNとして貼付表示させたサムネイル画像データを、上記サムネイル画像データ210A−2として使用して、画像ファイル210Aを形成することができる。また、LCD8にて表示させるファイル一覧画像を表示させるときには、ファイルを示すアイコンを表示するのに、このサムネイル画像データ210A−2を使用することができる。
なお、図6においても、ガイド情報203及び撮影時関連情報211(位置情報、日時情報)などのメタデータの管理は、図5と同様である。
ところで、タイトルスロット601には、先に説明したガイド情報203としてのメタデータをはじめとして、対応の画像ファイル210Aに関連する各種の情報(メタデータ)が格納されるが、例えばこれらのメタデータは、その内容に応じてデータサイズが異なり、また、ユーザによる入力操作や、何らかのアプリケーションの処理によって、後から内容が追加されることも考えられる。しかし、タイトルスロット601は固定長であることが規定されているので、上記したことを考慮すると、タイトルスロット601のサイズ設定によっては、容量が不足して、1つのタイトルスロット601に対して必要な情報の全てを格納できなくなる可能性が生じてくる。
そこで、このような場合には、1つの画像ファイル210Aに対応するタイトルスロット601のサイズ(容量)について、図7に示すようにして拡張することができるようになっている。
図7には、属性スロット402として、属性スロットA,Bの2つが示されている。この場合の属性スロット402としては、先に図5、図6に示していたサムネイルスロットインデックス421、タイトルスロットインデックス422などの他に、属性スロットナンバ420、リンク先スロットナンバ426の情報を、その構造内に含めることとしている。属性スロットナンバ420は、属性スロット402ごとに固有に付されるナンバ(番号)である。リンク先スロットナンバ426は、現属性スロットに続けて連結されるべき属性スロットのナンバを示す。
属性スロットAのタイトルスロットインデックス422によって示されるタイトルスロットAの内容としては、図示するようにして、メタデータID#1が付されたメタデータ1に続けて、順次、メタデータ2(メタデータID#2),メタデータ3(メタデータID#3),メタデータ4(メタデータID#4)が格納されているものとする。また、このタイトルスロットAは、これらメタデータ1〜4により、その容量一杯に使用されている。つまり、このタイトルスロットAに対しては、これ以上データを追加格納することができない。
そのうえで、この属性スロットAのリンク先スロットナンバ426には、属性スロットBのスロットナンバを示す有効値が格納されている。これにより、属性スロットAに続けて属性スロットBが連結されていることが示される。
そこで、属性スロットBのタイトルスロットインデックス422を参照すると、このタイトルスロットインデックス422によりタイトルスロットBが指示されている。タイトルスロットBにおいては、図示するようにして、メタデータID#5のメタデータ5が格納されている。
これにより、或る1画像ファイルに対応するタイトルスロット601としては、タイトルスロットA−タイトルスロットBを連結したものとして管理されることになる。そして、タイトルスロットA−タイトルスロットBを連結することで、この画像ファイルに対応するタイトルスロットの内容としては、メタデータ1(メタデータID#1)、メタデータ2(メタデータID#2),メタデータ3(メタデータID#3),メタデータ4(メタデータID#4)、メタデータ5(メタデータID#5)ということになる。このようにして、属性スロットをリンク先スロットナンバにより連結させ、これらの連結された属性スロットごとのタイトルスロットインデックス422によりタイトルスロットを指定することで、1つの画像ファイルに対して、複数が連結されたタイトルスロットを対応付けることができる。つまり、タイトルスロットの拡張が可能となっている。
図8のフローチャートは、先に図2及び図3により説明した台紙画像100を使用したスタンプラリーを実現するための処理を示している。なお、この図に示す処理は、CPU51が、台紙データ200の実行スクリプト(プログラム)204、及びフラッシュROM53に記憶されているプログラムを実行することで得られる。また、この図に示す処理は、台紙データ200が起動されており、台紙画像100を表示させている状態にて実行しているものとする。
先ず、ステップS101においては、図2(a)にて説明したように、サムネイル画像TNを貼り付けるサムネイル貼付エリアAR1が選択決定されるのを待機している。そして、ユーザ操作の結果として、サムネイル貼付エリアAR1が選択決定されたことを判別すると、ステップS102以降の処理に進む。
ステップS102においては、撮影モードに移行する。このとき、例えば図2(b)に示したようにして、LCD8には撮像画像が表示される。この状態の下でシャッター操作(撮影操作)を行えば撮像画像データが得られる。
そして、ステップS103にて撮影操作が行われたことを判別すると、撮像モードを終了してステップS104以降の処理に進む。
ステップS104においては、例えばカメラDSP2を制御して、撮影操作に応じて得られた撮像画像についての撮像画像データを生成する。また、次のステップS105においては、この撮像画像データについての撮影時関連情報211を取得する。つまり、日時情報については、時計回路54から、そのとき計時されていた日付、時刻の情報を取り込むことで取得するようにされる。また、位置情報については、そのときにGPS部20にて計測された位置情報を取り込むことで取得する。また、ステップS106においては、ステップS104にて生成した撮像画像データを使用して、カメラDSP2により、サムネイル画像データを生成させる。サムネイル画像データは、例えば撮像画像データから所定規則に従って画素を間引く処理などを施して、所定の画素数(解像度)による縮小画像を生成するようにされる。
ステップS107においては、ステップS105にて取得した撮影時関連情報211の内容が、ステップS101にて選択決定されたサムネイル貼付エリアAR1に対応して設定された画像貼付条件情報202として示される条件を満たしているか否かについて判別する。
例として、画像貼付条件情報202は、サムネイル画像貼付を許可する条件として「K駅とされる緯度/経度を中心とする所定の半径距離内にあること」、かつ、「撮影日時が2005年2月5日 13:00〜14:00であること」とする。この場合において、撮影時関連情報211を形成する位置情報が「K駅とされる緯度/経度を中心とする所定の半径距離内」であり、かつ、日時情報が、「2005年2月5日 13:00〜14:00」の時間内であれば、ステップS107において肯定結果が得られることになる。
ステップS107において肯定の判別結果が得られた場合には、ステップS108に進んで、ステップS101に対応して選択決定されたサムネイル貼付エリアAR1に対して、ステップS106にて生成したサムネイル画像データを利用して、サムネイル画像TNが表示されるように表示制御を実行する。このときには、例えば、台紙データにおけるスクリプト(あるいは台紙画像100を表示出力するためのマークアップ言語などでもよい)に対して、このサムネイル貼付エリアAR1に対して表示させるべきサムネイル画像データを指定した記述内容が付加されるように書き換えを行う。
次のステップS109においては、ステップS104にて得た撮像画像データを、メタデータ(ガイド情報203)と関連付けて記録媒体30に記録するか否かについて判別する。これは、先に図3(a)にて説明したように、ユーザ操作により決定されるので、このユーザによるyes/noの操作結果を待機することになる。
ユーザが、yesの操作を行った場合には、ステップS109にて肯定の判別結果が得られることとなる。この場合には、ステップS110により、撮像画像データを画像ファイル形式にエンコードしたうえで、この画像ファイルを、メタデータ(ガイド情報203)と関連付けて記録する。このためには、今回記録媒体30に記録すべき画像ファイルに対応する属性スロット402、サムネイルスロット501(図6の場合には省略される)、タイトルスロット601を生成し、これらのスロットに対して必要なデータを格納していくようにされる。このときに、ガイド情報203は、タイトルスロット601に対して格納することになる。また、ステップS105にて取得した撮影時関連情報211は、属性スロットの作成日時424、位置情報425に格納する。
また、ユーザが、noの操作を行った場合には、ステップS112に進み、撮像画像データの画像ファイルのみを記録媒体30に記録し、メタデータについての記録は行わない。ただし、この場合においても、画像ファイルに対応する属性スロット402、サムネイルスロット501(図6の場合には省略される)、タイトルスロット601を生成する。そして、記録媒体30にこれらのための記録領域を確保して、これらスロットの記録を行う。しかし、この場合のタイトルスロット601には、ガイド情報203を格納しない。
このとき、撮影時関連情報211(日時情報、位置情報)については、属性スロット402に必須の情報であるとして属性スロット402の作成日時424、位置情報425の領域に格納することとすればよい。或いは、ガイド情報203と同等のメタデータとして扱って作成日時424、位置情報425の領域への格納は行わないようにすることも考えられる。
また、先のステップS107において、否定の判別結果が得られた場合には、ステップS111に進む。ステップS111においては、例えば図3(b)に示したダイアログ画像102を表示させた状態で、撮像画像データを記録媒体30に記録すべきか否かの判別を行う。この判別も、図3(b)にて説明した、ユーザによるyesボタンBt1,noボタンBt2に対する操作結果を待機することになる。
yesボタンBt1に対する操作が行われた場合には、ステップS111にて肯定の判別結果が得られることとなって、ステップS112に進み、撮像画像データを画像ファイルとして記録媒体30に記録するための処理を実行する。これに対して、noボタンBt2に対する操作が行われたのであればステップS111では否定の判別結果が得られることとなる。この場合には、撮像画像データを記録媒体30に記録することなく、この図に示す処理を一旦終了して、例えば元のルーチンに戻るようにされる。
ここで、台紙画像100のGUI構成の変形例を説明しておく。
変形例としての台紙画像100は、スタンプラリーの台紙形式ではなく、アルバム形式をとる。スタンプラリーの台紙形式では、画像を撮影するごとにサムネイル貼付エリアAR1に対して、サムネイル画像を貼り付けていくようにされていた。これに対して、アルバム形式では、先ず、ユーザは、例えば旅行先で撮影した画像を、画像ファイルとして記録媒体30に記録してためておくようにする。そして、このようにして記録媒体30に記憶済みとされている画像ファイルのうちから選択したもののサムネイル画像TNを、アルバム形式の台紙画像100のサムネイル貼付エリアAR1に対して貼付表示させていく。
図9は、このようなアルバム形式の台紙画像100にサムネイル画像TNを貼り付けていく作業を行うためにLCD8の表示画面に表示されるGUI画面を示している。図9においては、先ず、その上部において、記録媒体30に記録済みとされている画像ファイルのサムネイル画像TNが横方向に配列表示されている。その下に、アルバム形式の台紙画像100が表示されている。この台紙画像100においても、地点場所ごとに、サムネイル貼付エリアAR1とガイド情報表示エリア203とが対になった領域が表示されている。ユーザは、記録媒体30に記録済みの画像ファイルのサムネイル画像TNを見て、台紙画像100のサムネイル貼付エリアAR1に貼付表示させるべきサムネイル画像TN(画像ファイル)を選ぶ。そして、この選んだサムネイル画像TNを、貼付を行うべきサムネイル貼付エリアAR1に対してドラッグアンドドロップさせる操作を行う。つまり、画像ファイルと、サムネイル貼付エリアAR1との対応を指示する。
そして、この場合においても、ドラッグアンドドロップされたサムネイル画像TNにより示される画像ファイルに対応付けられているメタデータ(撮影時関連情報211)が、このサムネイル貼付エリアAR1に対応して設定された画像貼付条件(画像貼付条件情報202)を満たしているか否かについての判定が行われる(図8のステップS107の処理となる)。画像貼付条件を満たしていれば、ドラッグアンドドロップしたサムネイル貼付エリアAR1に、そのままサムネイル画像TNが貼付表示される。また、サムネイル画像TNが貼付表示された場合には、この貼付表示されたサムネイル画像が示す画像ファイルに対して、貼付表示が行われたサムネイル貼付エリアAR1に対応するガイド情報203がメタデータとして対応付けられる。このときには、ガイド情報203を該当のタイトルスロット601に追加記録するようにして、管理ファイル300についての更新を行う。
このようにして、台紙画像100がアルバム形式の場合にも、画像ファイルに対応付けられたメタデータと、台紙画像100においてサムネイル貼付エリアAR1ごとに設定された画像貼付条件情報202とが一致している場合においてのみ、サムネイル貼付エリアAR1に対してサムネイル画像TNを貼り付けることが可能な機能を与えることが可能とされる。
これまでの説明から、本実施の形態の撮像装置1によっては、記録媒体30に記録された画像ファイル210は、管理ファイル300により、メタデータと関連付けられた状態で管理されていることになる。このことを利用して、本実施の形態の撮像装置1は、図10に示すようにして、メタデータを検索条件として記録媒体30に記録される画像ファイルの検索が行えるように構成される。なお、図10において図5又は図6と同一部分については同一符号を付して説明を省略する。
例えば撮像装置1に対する所定操作によって検索モードを選択したとすると、LCD8の表示画面には、図10の上部に示すような表示態様により検索画面104が表示される。
検索画面104においては、少なくともキーワード(検索語句:検索条件)入力エリアAR21と、検索結果表示エリアAR22の各表示領域が設けられる。
ユーザは、所定の文字入力操作によって、キーワード入力エリアAR21に対してキーワード(kw)としての語句を入力することができる。このキーワード入力は、一般のキーワード入力のようにして、複数語句のAND、ORを検索条件とするなどの入力方式が可能な構成としてよい。
上記のようにしてキーワードを入力した後に、検索実行のための所定操作を行うと、撮像装置1は、検索処理を開始する。
本実施の形態の検索処理としては、例えば図10の手順1〜手順5により実行される。
先ず、手順1は、管理ファイル300のタイトルファイル600内から、入力されたキーワードに一致する語句の情報内容を含むタイトルスロット601を特定していく処理を実行する。
このようにしてタイトルスロット601が特定されたら、続いては、手順2として示すように、属性ファイル400のうちから、このタイトルスロット601を示すタイトルスロットインデックス422を含む属性ファイル402を特定する。また、これに伴って、手順3として示すように、特定された属性ファイル402のファイル識別子を参照することで、1つの画像ファイル210が特定されることになる。この特定された画像ファイル210が、ユーザの入力したキーワードに一致するものとして検索された画像ファイルであることになる。
このようにして得られた検索結果は、検索画面104において、検索された画像ファイルのサムネイル画像TNを表示させることで出力するようにされる。このためには、手順4として示すように、先の手順2で特定された属性スロット402のサムネイルスロットインデックス421を参照して、対応するサムネイルスロット501を指定する。そして、手順5により、この指定されたサムネイルスロット501に格納されているサムネイル画像データを読み出し、このサムネイル画像データにより、検索結果表示エリアAR22に対してサムネイル画像TNを表示させる。このようにして、本実施の形態では、検索結果としてサムネイル画像を表示する場合においても、サムネイルファイル500のサムネイルスロット501に格納されるサムネイル画像データを使用することができる。つまり、元の画像ファイルから逐一サムネイル画像を生成する画像信号処理を実行する必要がない。
なお、検索結果として、キーワードに一致する画像ファイルが2以上となった場合(手順2において、2以上のタイトルスロット601が、キーワードに一致した場合)には、検索結果表示エリアAR22に対して、これら複数の画像ファイルの個々に対応するサムネイル画像TNを表示させればよい。この検索結果を出力させた状態から、例えば絞り込み検索が行えるような構成としてもよい。
また、検索結果表示エリアAR22には、サムネイル画像TNとともに、属性スロット402を形成する作成時刻424、位置情報425などの情報要素や、タイトルスロット601に格納したガイド内容などに対応する情報(つまり、画像ファイルのメタデータ)を、例えば文字などにより表示させて、検索結果の画像ファイルについて、より多くの情報量が提示できるようにしてもよい。
図11は、上記図10により説明した検索処理の手順を、CPU51により実行される処理として示すフローチャートである。CPU51は、この図に示す処理のために、フラッシュROM53に記憶させたプログラムを実行する。また、この検索機能が、台紙データ200に付随するものである場合には、台紙データ200の実行スクリプト(プログラム)204を実行することになる。
先に説明したように、ユーザによる撮像装置1に対する操作によって画像ファイルの検索モードが指示されると、ステップS201に示すようにして、画像ファイル検索のためのGUI画像である検索画面104を表示させるための処理を実行する。
また、検索画面104の表示とともに、次のステップS202においては、記録媒体30の管理ファイル300のタイトルファイル600にアクセスして、このタイトルファイル600の読み出しを実行する。読み出したタイトルファイル600は、RAM52にて保持される。
ステップS203においては、ユーザ操作に応じたキーワード入力のための処理を実行する。このときには、操作により入力されたキーワードのデータをRAM52に保持するとともに、入力されたキーワード(検索条件)の文字列を、検索画面104上のキーワード入力エリアAR21に対して表示させるための表示制御処理も実行する。そして、例えばユーザの検索実行を指示する操作が行われたとすると、ステップS204において肯定の判別結果が得られることとなって、ステップS205に進む。
ステップS205においては、先のステップS202の処理によってRAM52に保持しているタイトルファイル600のタイトルスロット601の情報内容と、ステップS203→ステップS204の処理を経て確定されたキーワードとの比較を行っていくことで、キーワードと一致する内容を含むタイトルスロット601を検索(特定)する処理を実行する。この処理が図10の手順1に対応する。そして、次のステップS206において、ステップS205の検索結果として、キーワードと一致する内容を含むタイトルスロット601が存在したとして肯定の判別結果が得られたのであれば、ステップS207以降の処理に進み、否定の判別結果が得られたのであればステップS213に進む。
ステップS207においては、ステップS205の処理により、キーワードと一致する内容を含むものとして検索(特定)されたタイトルスロットのタイトルスロットナンバをnum_tlとして保持する。タイトルスロットナンバは、タイトルファイル600内のタイトルスロット601を個々に特定するためのナンバであり、属性スロット402のタイトルスロットインデックス422は、このタイトルスロットナンバを格納することによりタイトルスロット601を指定する。また、タイトルスロットナンバとタイトルスロット601との対応としては、1つには、タイトルスロットナンバをタイトルスロット601の構造における所定位置に格納することが考えられる。あるいは、タイトルファイル600は、固定長のタイトルスロット601を先頭から順次的に格納した構造であるとみることができるので、タイトルファイル600における格納順を、タイトルスロットナンバとすることも考えられる。
ステップS208においては、記録媒体30に記憶される管理ファイル300の属性ファイル400にアクセスして、記録媒体30から属性ファイル400の読み出しを実行し、RAM52に保持する。
ステップS209では、RAM52に保持した属性ファイル400の属性スロット402のうちから、ステップS207により保持したタイトルスロットナンバnum_tlを格納するタイトルスロットインデックス422を有している属性スロット402を検索(特定)する処理を実行する。これは、図9の手順2のための処理となる。また、このステップS209の処理により属性スロット402が検索されたことで、対応する画像ファイル210は、ファイル識別子423により一義的に示されることになる。つまり、ステップS209による属性スロット402の検索を以て、図9の手順3としての画像ファイルの特定も行われたこととなる。
次のステップS210以降は、検索画面AR22に対して検索結果を表示出力するための処理となる。
先ず、ステップS210においては、上記ステップS209により検索した属性スロット402が有するサムネイルスロットインデックス421に格納されるサムネイルスロットナンバをsum_tnとして保持する。サムネイルスロットナンバも、タイトルスロットナンバに準じて、サムネイルファイル500内のサムネイルスロット501を個々に特定するためのナンバであり、属性スロット402のサムネイルスロットインデックス421は、このサムネイルスロットナンバを格納することによりサムネイルスロット501を指定する。また、サムネイルスロットナンバとサムネイルスロット501の対応としても、サムネイルスロットナンバをサムネイルスロット501の構造における所定位置に格納する、あるいは、サムネイルファイル500におけるサムネイルスロット501(固定長)の格納順を、サムネイルスロットナンバとすることも考えられる。
ステップS211においては、記録媒体30に記憶される管理ファイル300のサムネイルファイル500にアクセスして、記録媒体30からサムネイルファイル500の読み出しを行ってRAM52に保持する。
そして、次のステップS212においては、上記ステップS211によりRAM52に保持されたサムネイルファイル500が格納するサムネイルスロット501のうちで、サムネイルスロットナンバsum_tnが示すサムネイルスロット501にアクセスする(図10の手順4に対応)。そして、このアクセスしたサムネイルスロット501から、そこに格納されているサムネイル画像データを読み出す。さらに、この読み出したサムネイル画像データが、検索画面104の検索結果表示エリアAR22にて表示されるようにするための表示制御処理を実行する(図10の手順5に対応)。なお、検索結果表示エリアAR22に対して、メタデータの内容も表示する場合には、必要な情報を、ステップS209にて検索した属性スロット402、また、この属性スロット402のタイトルスロットインデックス422が指定するタイトルスロット205から読み出して、デコード処理を行って文字として表示出力するための処理を付加する。
ステップS213では、ステップS206にて否定の判別結果が得られたのに応じて、検索結果として、キーワードに一致する画像ファイルは存在しなかったことを通知する旨を、所定の表示態様により検索画面104に表示させる。
例えば画像ファイルの構造そのものにメタデータを含めるようなファイル形式の場合において、キーワードとメタデータとの一致に基づいて検索結果を得る手法の場合には、画像ファイル検索のために、画像ファイルそのものに順次アクセスしてオープンする必要が生じてくる。本実施の形態では、画像ファイルの検索にあたり、管理ファイル300のタイトルファイル600を使用する。タイトルファイル600は、管理ファイル300における、1つのサブファイルとして管理される構造である。つまり、本実施の形態では、1つのファイルにアクセスすれば画像ファイル検索を遂行できる。つまり、本実施の形態における検索処理は、管理ファイル300を利用することで、高速化、及び処理負荷の軽減などが図られている。
また、前述もしたように、管理ファイル300内の各サブファイルである、属性ファイル400、サムネイルファイル500、及びタイトルファイル600は、それぞれ、固定長の属性スロット402、サムネイルスロット501、タイトルスロット601、を順次配列した構造を有している。これにより、上記した検索処理(検索結果の表示処理も含む)、及び検索処理以外の何らかの処理などで、管理ファイル300を使用する場合には、スロットへのアクセスは、例えばアドレスに基づくアクセスなどによることなく、例えば、サブファイルにおいてスロットのサイズに基づいた簡易なアクセス処理とすることができる。
また、本実施の形態の画像ファイル検索において、キーワードとの比較が行われる対象は、画像ファイルに対応付けられたメタデータであるが、これらのメタデータは、元来、撮影時関連情報211、あるいは台紙データ200におけるガイド情報203とされる。撮影時関連情報211は、撮影時における日時、位置情報などであり、ガイド情報203は、台紙データ200の作成時において、例えば旅行会社側がその内容を考慮して決定したものである。このことは、換言すれば、メタデータの内容は、撮像装置1を操作するユーザの個人的な感性、意図、嗜好などが反映されたものではなく、多くのユーザにとって共用し得る客観性を持つものである、つまり、汎用性を有しているものであるということがいえる。これにより、検索処理を含む、本実施の形態の台紙データ200を利用して撮像を行った画像ファイルの管理としては、多くのユーザが同等に利用しやすいものとされている。
ところで、先に述べているように、本実施の形態において、どのような入手経路により台紙データ200入手して記録媒体30又はフラッシュROM53に記憶保持させるのかについては、特に限定されるものではなく、いくつかの例を考えることができる。
これらの例の中で、撮像装置1の外部インターフェイス9によりインターネットなどのネットワークを経由して所定のサーバと接続し、このサーバから台紙データをダウンロードするとした場合について説明しておく。
図12は、 撮像装置1が台紙データ200をサーバからダウンロードすることとした場合のシステム構成を示している。この場合には、図示するようにして、撮像装置1は、ネットワーク800と接続する。ネットワーク800との接続のためには、例えば上記外部インターフェイス9について、ネットワーク800に対する接続が可能なように構成することになる。これにより、同じネットワーク800と接続されるサーバ700との通信が可能になる。
サーバ700は、例えば図示するようにして、台紙データ作成部701、通信処理部702、記憶部703、及び制御部704を備えて成るものとされる。
台紙データ作成部701は、台紙データ200を作成するための各種ハードウェア、ソフトウェアから成り、図4(a)に示した構造の台紙データ200を作成する。なお、台紙データ200の内容としては、仕向けされる旅行プランなどに応じて異なるものを作成することになる。
通信処理部702は、ネットワーク800との接続と、このネットワーク800を経由した他の機器との通信を司るためのハードウェア、ソフトウェアを備えて構成される。この通信処理部702を備えることで、ネットワーク800と接続した撮像装置1との通信が可能とされる。
記憶部703は、例えば現状であればHDD(ハードディスク)などの大容量の記憶媒体を備えて構成され、各種所要の情報、データを記憶保持するために備えられる。本実施の形態において記憶部703に記憶保持すべき情報としては、例えば、台紙データ200、ユーザデータベース711、アルバム素材データ712などを挙げることができる。
記憶部703に記憶される台紙データ200は、台紙作成装置701により作成したものとされる。また、ユーザデータベースは、台紙データ200をダウンロードしたユーザに関する所要の情報により構築されたデータベースである。アルバム素材データ712は、後述するようにして撮像装置1から送信されてくるデータである。
制御部704は、上記各部に対する制御を含み、サーバ700についての各種制御処理を実行する。
上記したように、サーバ700側では、台紙作成部701により、旅行プランなどに応じた複数種類の台紙データ200を作成し、記憶部200に記憶保持しておくようにされる。
撮像装置1のユーザは、撮像装置1をネットワーク800経由でサーバ700と接続したうえで、先ず、ユーザ登録を行う。つまり、ユーザの撮像装置1に対する所定操作によって、撮像装置1によりユーザ登録に必要な情報(ユーザ登録情報)を送信させる。ユーザ登録情報としては、ユーザ名、ユーザID、及び撮像装置1を個々に識別するための装置IDなどを挙げることができる。また、後のサーバ利用にあたってユーザ認証を必要とするのであれば、パスワードなどのユーザ認証用データなどの情報も含めるようにされる。
ユーザ登録情報を受信したサーバ700においては、この情報を利用して、ユーザデータベース711に対する新規ユーザ登録のための処理を実行する。
また、撮像装置1のユーザは、ユーザ登録情報の送信と同時的に、あるいは、ユーザ登録情報送信の後の機会において、撮像装置1に対する操作を行って、撮像装置1からサーバ700に対して、ネットワーク800経由で台紙データ200の送信(ダウンロード)を要求することができる。
この台紙データ200の要求を受信したサーバ700は、例えば必要があれば、要求情報とともに送信された撮像装置ID、ユーザID、認証用パスワードなどと、ユーザデータベース711に登録された情報とを照合するなどして、ユーザ認証処理を実行する。そして、例えばユーザ認証が成立したのであれば、要求された台紙データ200を撮像装置1に対して送信する。
撮像装置1では、送信された台紙データ200を受信して、例えば記録媒体30、あるいはフラッシュROM53に記憶させる。
撮像装置1のユーザは、先に説明したようにして、台紙データ200を起動させてスタンプラリーを行うことができる。先に説明したようにして、撮像画像のサムネイル画像TNを貼り付けたことで、台紙データ200の実行スクリプト(プログラム)204は、サムネイル貼付エリアAR1と、貼付表示すべき画像ファイルとの対応が記述されるようにして編集されることになる。
上記のようにして編集された台紙データ200を、写真の画像ファイル(及び管理ファイル300)とともに記録媒体30に記憶させておけば、ユーザは、撮像装置1により、自身が撮像した写真(画像ファイル)のサムネイル画像を貼付表示させた台紙画像100を再生して見ることができる。しかし本実施の形態では、さらに、このようにして作成した台紙画像100と同様に装丁された記念アルバムを製本してもらう、というサービスを受けることができる。
このためには、ユーザは、撮像装置1に対する操作により、撮像装置1からサーバ700に対してネットワーク800経由でアルバム素材データを送信する。アルバム素材データとしては、少なくとも、編集後の台紙データ200と、台紙データ200のサムネイル貼付エリアAR1に表示すべきサムネイル画像に対応する画像ファイルとなる。例えば、これらのデータを、記録媒体30又はフラッシュROM53から読み出して、アルバム素材データとしての所定の形式に変換して送信出力する。
アルバム素材データ712を受信したサーバ700は、記憶部703に記憶して必要な期間保持しておくようにされる。
そして、このようにして記憶部703に記憶されたアルバム素材データ712は、記念アルバムを製本する業者に渡される。業者は、アルバム素材データ712を利用して、記念アルバムを製本する。製本された記念アルバムは、しかるべき経路を経て撮像装置1のユーザに渡されることになる。
ところで、先に図5及び図6に示した台紙画像100には、広告画像表示エリアAR4が示されている。この広告画像表示エリアAR4には、何らかの広告のための画像が表示される。このようにして台紙画像100に対して広告画像を表示させるためには、例えば台紙データ200を作成するときに台紙画像データ201として広告画像を用意し、この広告画像がしかるべき位置に表示されるように、実行スクリプト(プログラム)204を記述すればよい。
このようにして広告画像表示エリアAR4を表示させることとすれば、台紙画像100を広告に利用することができる。この広告画像表示エリアAR4による広告を、例えば台紙データ200を提供した旅行会社自らが利用すれば、自身の会社の他の商品などを知ってもらうことができて有益である。また、台紙データ200を提供した旅行会社以外の会社の広告を広告画像表示エリアAR4に表示させることとすれば、広告料の収入が見込めることとなる。
また、例えば一般のWebページなどにおけるように、広告画像表示エリアAR4に対してクリック相当の操作を行うと、例えば、ネットワーク経由で関連する所定のWebサイトにアクセスできるように台紙データ200を構築することも考えられる。
なお、上記実施の形態では、台紙データ200は観光用であることを前提としているが、その用途は、観光に限定されるものではない。例えば、スタンプラリー以外の何らかのゲームなどにも応用できる。また、これまでの説明では、台紙画像100に貼付表示するサムネイル画像TNの元となる画像ファイル(撮像画像データ)は静止画形式であることを前提としているが、画像ファイルとしては、動画像形式であってもよい。画像ファイルが動画像形式の場合には、その画像ファイルから、所定規則に従って代表的に抜き出した静止画のサムネイル画像データを生成し、台紙画像にサムネイル画像TNとして貼付表示させればよい。あるいは、撮像装置1の画像処理性能によっては、台紙画像100において動画のサムネイル画像TNを貼付表示させることも考えられる。このことに応じて、本発明の情報処理装置としては、デジタルスチルカメラであっても、ビデオカメラであってもよい。さらには、これらの撮像装置以外の機器に適用することも考えられる。
また、上記実施の形態では、台紙画像100のGUIを実現するためには、CPUが、台紙データ200の実行スクリプト、プログラムを実行するものとしている。つまり、台紙データ(機能データ)は、GUI実現のためのプログラム的なデータも含んでいる。しかしながら、例えば、台紙データからは実行プログラム(スクリプト)を除き、撮像装置1側に対して、台紙データとは別に、台紙画像100に対応するプログラムをインストールするようにして記憶保持させておくことも考えられる。このプログラムをCPUが実行することで、台紙データの台紙画像データ、貼付条件情報、ガイド情報などを利用して、先に図2、図3、あるいは図9にて説明したGUIが実現される。
また、サムネイル画像TNが示すファイルとしては、画像ファイル210Aのような画像形式以外に、例えばオーディオデータファイルなども場合によっては考えられる。この場合において、台紙画像100に貼付表示するサムネイル画像TNとしては、例えばオーディオデータファイルを示すことのできる何らかの絵柄などとすることが考えられる。例えば、オーディオデータファイルが楽曲なのであれば、その楽曲の入ったアルバムジャケット、アーティストの写真などとすることが考えられる。
本発明の実施の形態としての撮像装置の構成例を示すブロック図である。 実施の形態のスタンプラリーの手順を、台紙画像などの表示態様例により示す図である。 実施の形態のスタンプラリーの手順を、台紙画像などの表示態様例により示す図である。 実施の形態のスタンプラリーに必要なデータを、その構造とともに示す図である。 画像ファイル及びメタデータ(ガイド情報、撮影時関連情報)の管理形態例と、これに対応する表示画像の表示内容の例を示す図である。 画像ファイル及びメタデータ(ガイド情報、撮影時関連情報)の管理形態例と、これに対応する表示画像の表示内容についての他の例を示す図である。 1画像ファイルに対応するタイトルスロットの拡張例を示す図である。 実施の形態の台紙画像の使用に応じた処理を示すフローチャートである。 台紙画像のGUI構成の変形例を示す図である。 実施の形態における画像ファイル検索の処理手順を模式的に示す図である。 実施の形態における画像ファイル検索の処理を示すフローチャートである。 台紙データをサーバからダウンロードすることとした場合のシステム構成を示す図である。
符号の説明
1 撮像装置、2 カメラDSP、3 SDRAM、4 媒体インターフェイス、5 制御部、6 操作部、7 LCDコントローラ、8 LCD、9 外部インターフェイス、10 カメラ部、11 光学ブロック、12 CCD、13 前処理回路、14 光学ブロック用ドライバ、15 CCD用ドライバ、16 タイミング生成回路、30 記録媒体、51 CPU、52 RAM、53 フラッシュROM、54 時計回路、55 システムバス、100 台紙画像、104 検索画面、200 台紙データ、201 台紙画像データ、202 画像貼付条件情報、203 ガイド情報、204 実行スクリプト、210 撮像画像データ、210A 画像ファイル、211 撮影時関連情報、300 管理ファイル、400 属性ファイル、402 属性スロット、420 属性スロットナンバ、421 サムネイルスロットインデックス、422 タイトルスロットインデックス、423 ファイル識別子、424 作成日時、425 位置情報、426 リンク先スロットナンバ、500 サムネイルファイル、501 サムネイルスロットインデックス、600 タイトルファイル、601 タイトルスロット、700 サーバ、701 台紙作成部、702 通信処理部、703 記憶部、704 制御部、711 ユーザデータベース、712 アルバム素材データ

Claims (7)

  1. 第1の画像情報を取得する画像情報取得手段と、
    取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この関連情報を、上記取得された第1の画像情報に対応付ける情報対応付け手段と、
    少なくとも第2の画像情報と条件情報とを有して形成される機能データを利用して、表示部に上記第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して上記第1の画像情報を示す代表画像を表示させることのできる表示処理手段と、
    上記表示処理手段により上記代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、上記条件情報が示す条件を満たしているか否かについて判別する判別手段と、
    上記判別手段により上記条件を満たしていることが判別された場合においてのみ、上記表示させるべき代表画像を上記表示処理手段により表示させる表示制御手段と、
    を実行するようにされていることを特徴とする情報処理装置。
  2. 上記機能データは、上記第2の画像情報の所定の画像領域ごとに対応して条件情報が割り当てられており、
    上記判別手段は、表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、この代表画像を表示させるべきとして選択した上記第2の画像情報の画像領域に対応する条件情報が示す条件を満たしているか否かについて判別するようにされている、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 上記機能データは、上記第2の画像情報の画像上に表示させた第1の画像情報に対応付けることのできる所定内容の情報である第2の関連情報をさらに有し、
    上記第2の画像情報の画像上に表示された代表画像が示す第1の画像情報を記録媒体に記録するときには、この第1の画像情報と上記第2の関連情報とを対応付けて、記録媒体への記録を行う記録手段をさらに備える、
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 上記機能データは、上記第2の画像情報の所定の画像領域ごとに対応して上記第2の関連情報が割り当てられており、
    上記記録手段は、代表画像が表示された第2の画像情報の領域に対応して割り当てられた第2の関連情報を、この代表画像が示す第1の画像情報と対応付けて、記録媒体への記録を行うようにされている、
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 記録媒体に記録された上記第1の画像情報を検索するものであり、入力された検索条件と、第1の画像情報に対応付けられて記録媒体に記録されている第1の関連情報及び/又は第2の関連情報との内容比較を行うことで検索を実行する検索手段、
    をさらに備える、ことを特徴とする請求項3に記載の情報処理装置。
  6. 第1の画像情報を所定の画像情報取得手段により取得させる取得手順と、
    取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この関連情報を、上記取得された第1の画像情報に対応付ける情報対応付け手順と、
    少なくとも第2の画像情報と条件情報とを有して形成される機能データを利用して、表示部に上記第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して上記第1の画像情報を示す代表画像を表示させることのできる表示手順と、
    上記表示手順により上記代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、上記条件情報が示す条件を満たしているか否かについて判別する判別手順と、
    上記判別手順により上記条件を満たしていることが判別された場合においてのみ、上記表示させるべき代表画像を上記表示手順により表示させる制御手順と、
    を実行するようにされていることを特徴とする情報処理方法。
  7. サーバ装置と端末装置から成り、
    サーバ装置において少なくとも第2の画像情報と条件情報とを有して形成される機能データを作成する作成手段と、
    上記作成手段により作成した機能データを所定の通信網を介して、サーバ装置から端末装置に送信する第1の通信手段と、
    端末装置において、上記サーバ装置から送信されてきた上記機能データを受信して保持する保持手段と、
    端末装置において、第1の画像情報を取得する画像情報取得手段と、
    端末装置において、取得された第1の画像情報に関連した所定の情報内容を有する第1の関連情報を生成し、この第1の関連情報を、上記取得された第1の画像情報に対応付ける情報対応付け手段と、
    端末装置において、上記保持手段により保持した上記機能データに基づいて、表示部に上記第2の画像情報の画像を表示させるとともに、表示された第2の画像情報の画像上に対して上記第1の画像情報を示す代表画像を表示させることのできる表示処理手段と、
    端末装置において、上記表示処理手段により上記代表画像を表示させるときに、この表示させるべき代表画像が示す第1の画像情報に対応付けられた第1の関連情報の内容が、上記条件情報が示す条件を満たしているか否かについて判別する判別手段と、
    端末装置において、上記判別手段により上記条件を満たしていることが判別された場合においてのみ、上記表示させるべき代表画像を上記表示処理手段により表示させる表示制御手段と、
    上記端末装置において、少なくとも、上記第2の画像情報の画像上に表示させた代表画像の表示結果の情報と、上記第2の画像情報の画像上に表示させた代表画像が示す第1の画像情報とを、上記サーバ装置に送信する第2の送信手段と、
    を備えることを特徴とする情報処理システム。
JP2005037457A 2005-02-15 2005-02-15 情報処理装置、情報処理方法 Expired - Fee Related JP4333599B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005037457A JP4333599B2 (ja) 2005-02-15 2005-02-15 情報処理装置、情報処理方法
EP06250267A EP1691542B1 (en) 2005-02-15 2006-01-18 Information processing apparatus, information processing method, and information processing system
TW095102318A TW200635370A (en) 2005-02-15 2006-01-20 Information processing apparatus, information processing method, and information processing system
KR1020060013517A KR20060092075A (ko) 2005-02-15 2006-02-13 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템
CNB2006100046886A CN100422995C (zh) 2005-02-15 2006-02-15 信息处理设备、信息处理方法和信息处理系统
US11/354,429 US8279319B2 (en) 2005-02-15 2006-02-15 Information processing apparatus, information processing method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005037457A JP4333599B2 (ja) 2005-02-15 2005-02-15 情報処理装置、情報処理方法

Publications (2)

Publication Number Publication Date
JP2006227692A true JP2006227692A (ja) 2006-08-31
JP4333599B2 JP4333599B2 (ja) 2009-09-16

Family

ID=36143268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005037457A Expired - Fee Related JP4333599B2 (ja) 2005-02-15 2005-02-15 情報処理装置、情報処理方法

Country Status (6)

Country Link
US (1) US8279319B2 (ja)
EP (1) EP1691542B1 (ja)
JP (1) JP4333599B2 (ja)
KR (1) KR20060092075A (ja)
CN (1) CN100422995C (ja)
TW (1) TW200635370A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198198A (ja) * 2007-02-02 2008-08-28 Samsung Electronics Co Ltd 携帯用端末機及びそのためのディスプレイ方法
JP2011076277A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd スタンプ・システム、方法、プログラム、記録媒体
JP2012019362A (ja) * 2010-07-07 2012-01-26 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2012230649A (ja) * 2011-04-27 2012-11-22 Canon Inc 情報処理装置およびその制御方法、並びにプログラム
US8762882B2 (en) 2007-02-05 2014-06-24 Sony Corporation Information processing apparatus, control method for use therein, and computer program

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4245310B2 (ja) 2001-08-30 2009-03-25 忠正 藤村 分散安定性に優れたダイヤモンド懸濁水性液、このダイヤモンドを含む金属膜及びその製造物
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
JP4240096B2 (ja) * 2006-09-21 2009-03-18 ソニー株式会社 情報処理装置および方法、プログラム並びに記録媒体
JP2008108200A (ja) * 2006-10-27 2008-05-08 Canon Inc 情報抽出装置及び方法、並びにプログラム及び記憶媒体
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
US20080231741A1 (en) * 2007-03-21 2008-09-25 Mcintyre Dale F Camera with multiple displays
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
JP5233350B2 (ja) * 2008-03-21 2013-07-10 富士ゼロックス株式会社 文書処理装置及び文書処理プログラム
US8274571B2 (en) * 2009-05-21 2012-09-25 Google Inc. Image zooming using pre-existing imaging information
KR20100128392A (ko) * 2009-05-28 2010-12-08 삼성전자주식회사 영상 디스플레이 방법, 영상 매칭 방법 및 이를 이용한 디스플레이 장치
JP5614016B2 (ja) * 2009-09-09 2014-10-29 ソニー株式会社 通信システム、通信装置及び通信方法、コンピューター・プログラム、並びに、コンテンツ提供装置及びコンテンツ提供方法
EP4009651A1 (en) 2011-07-12 2022-06-08 Snap Inc. Methods and systems of providing visual content editing functions
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US11734712B2 (en) 2012-02-24 2023-08-22 Foursquare Labs, Inc. Attributing in-store visits to media consumption based on data collected from user devices
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
JP2014178999A (ja) * 2013-03-15 2014-09-25 Ricoh Co Ltd 情報処理システム、機器、情報処理方法、及びプログラム
JP5765364B2 (ja) * 2013-04-17 2015-08-19 コニカミノルタ株式会社 画像処理装置、プレビュー画像を表示する方法、およびプログラム
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9165339B2 (en) 2013-11-22 2015-10-20 Google Inc. Blending map data with additional imagery
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
IL239237B (en) 2014-06-05 2018-12-31 Rotem Efrat Network document extension
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
US10423983B2 (en) 2014-09-16 2019-09-24 Snap Inc. Determining targeting information based on a predictive targeting model
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US11388226B1 (en) 2015-01-13 2022-07-12 Snap Inc. Guided personal identity based actions
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
US9521515B2 (en) 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
US10223397B1 (en) 2015-03-13 2019-03-05 Snap Inc. Social graph based co-location of network users
KR102662169B1 (ko) 2015-03-18 2024-05-03 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
US10817898B2 (en) 2015-08-13 2020-10-27 Placed, Llc Determining exposures to content presented by physical objects
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US10430838B1 (en) 2016-06-28 2019-10-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections with automated advertising
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10387514B1 (en) 2016-06-30 2019-08-20 Snap Inc. Automated content curation and communication
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
WO2018045076A1 (en) 2016-08-30 2018-03-08 C3D Augmented Reality Solutions Ltd Systems and methods for simultaneous localization and mapping
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
KR102163443B1 (ko) 2016-11-07 2020-10-08 스냅 인코포레이티드 이미지 변경자들의 선택적 식별 및 순서화
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10915911B2 (en) 2017-02-03 2021-02-09 Snap Inc. System to determine a price-schedule to distribute media content
US11250075B1 (en) 2017-02-17 2022-02-15 Snap Inc. Searching social media content
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US11170393B1 (en) 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
CN110800018A (zh) 2017-04-27 2020-02-14 斯纳普公司 用于社交媒体平台的朋友位置共享机制
US10467147B1 (en) 2017-04-28 2019-11-05 Snap Inc. Precaching unlockable data elements
US10803120B1 (en) 2017-05-31 2020-10-13 Snap Inc. Geolocation based playlists
US10430924B2 (en) * 2017-06-30 2019-10-01 Quirklogic, Inc. Resizable, open editable thumbnails in a computing device
US11475254B1 (en) 2017-09-08 2022-10-18 Snap Inc. Multimodal entity identification
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10499191B1 (en) 2017-10-09 2019-12-03 Snap Inc. Context sensitive presentation of content
US10573043B2 (en) 2017-10-30 2020-02-25 Snap Inc. Mobile-based cartographic control of display content
US11265273B1 (en) 2017-12-01 2022-03-01 Snap, Inc. Dynamic media overlay with smart widget
US11017173B1 (en) 2017-12-22 2021-05-25 Snap Inc. Named entity recognition visual context and caption data
US10678818B2 (en) 2018-01-03 2020-06-09 Snap Inc. Tag distribution visualization system
US11507614B1 (en) 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10885136B1 (en) 2018-02-28 2021-01-05 Snap Inc. Audience filtering system
US10327096B1 (en) 2018-03-06 2019-06-18 Snap Inc. Geo-fence selection system
KR20230129617A (ko) 2018-03-14 2023-09-08 스냅 인코포레이티드 위치 정보에 기초한 수집가능한 항목들의 생성
US11163941B1 (en) 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items
US10219111B1 (en) 2018-04-18 2019-02-26 Snap Inc. Visitation tracking system
US10896197B1 (en) 2018-05-22 2021-01-19 Snap Inc. Event detection system
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10778623B1 (en) 2018-10-31 2020-09-15 Snap Inc. Messaging and gaming applications communication platform
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11249614B2 (en) 2019-03-28 2022-02-15 Snap Inc. Generating personalized map interface with enhanced icons
US10810782B1 (en) 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system
US10560898B1 (en) 2019-05-30 2020-02-11 Snap Inc. Wearable device location systems
US10582453B1 (en) 2019-05-30 2020-03-03 Snap Inc. Wearable device location systems architecture
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11821742B2 (en) 2019-09-26 2023-11-21 Snap Inc. Travel based notifications
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11228551B1 (en) 2020-02-12 2022-01-18 Snap Inc. Multiple gateway message exchange
US11516167B2 (en) 2020-03-05 2022-11-29 Snap Inc. Storing data based on device location
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11430091B2 (en) 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US10956743B1 (en) 2020-03-27 2021-03-23 Snap Inc. Shared augmented reality system
US11290851B2 (en) 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11483267B2 (en) 2020-06-15 2022-10-25 Snap Inc. Location sharing using different rate-limited links
US11314776B2 (en) 2020-06-15 2022-04-26 Snap Inc. Location sharing using friend list versions
US11503432B2 (en) 2020-06-15 2022-11-15 Snap Inc. Scalable real-time location sharing framework
US11308327B2 (en) 2020-06-29 2022-04-19 Snap Inc. Providing travel-based augmented reality content with a captured image
US11349797B2 (en) 2020-08-31 2022-05-31 Snap Inc. Co-location connection service
US11606756B2 (en) 2021-03-29 2023-03-14 Snap Inc. Scheduling requests for location data
US11645324B2 (en) 2021-03-31 2023-05-09 Snap Inc. Location-based timeline media content system
US12026362B2 (en) 2021-05-19 2024-07-02 Snap Inc. Video editing application for mobile devices
US11829834B2 (en) 2021-10-29 2023-11-28 Snap Inc. Extended QR code
US12001750B2 (en) 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US66666A (en) * 1867-07-09 Improvement in preserving, storing, and transporting fruits, vegetables
JP2943263B2 (ja) * 1990-07-11 1999-08-30 ミノルタ株式会社 撮影画像検索システム
JPH07271810A (ja) * 1994-03-30 1995-10-20 Hitachi Software Eng Co Ltd 図形部品情報検索方法
EP0713186B1 (en) * 1994-11-15 2006-07-05 Canon Kabushiki Kaisha Method and apparatus for retrieving images from a database
JPH10254903A (ja) * 1997-03-14 1998-09-25 Omron Corp 画像検索方法および装置
US6567551B2 (en) * 1998-04-27 2003-05-20 Canon Kabushiki Kaisha Image search apparatus and method, and computer readable memory
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US20010012062A1 (en) * 1998-07-23 2001-08-09 Eric C. Anderson System and method for automatic analysis and categorization of images in an electronic imaging device
US6538698B1 (en) * 1998-08-28 2003-03-25 Flashpoint Technology, Inc. Method and system for sorting images in an image capture unit to ease browsing access
US6564206B1 (en) * 1998-10-05 2003-05-13 Canon Kabushiki Kaisha Information search apparatus and method, and storage medium
US6819356B1 (en) * 1998-11-18 2004-11-16 Casio Computer Co., Ltd. Image search method in electronic still camera with GPS reception function
US7054508B2 (en) * 2000-08-03 2006-05-30 Canon Kabushiki Kaisha Data editing apparatus and method
WO2002013061A1 (fr) * 2000-08-07 2002-02-14 Sharp Kabushiki Kaisha Dispositif serveur servant a traiter des informations selon des informations concernant la position d'un terminal
GB2373120A (en) * 2001-03-07 2002-09-11 Hewlett Packard Co Viewing digital images via a games console
JP2002318807A (ja) 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd メタデータ作成装置およびメタデータ作成方法
JP2002329191A (ja) 2001-05-07 2002-11-15 Sharp Corp 情報処理方法及びその情報処理方法を備える電子アルバムシステム
JP2003046832A (ja) 2001-07-27 2003-02-14 Canon Inc デジタルカメラ、情報処理装置、情報処理方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP2003132078A (ja) 2001-10-25 2003-05-09 Toppan Printing Co Ltd データベース構築装置、データベース構築方法、データベース構築プログラム、記録媒体
JP2003196668A (ja) 2001-12-27 2003-07-11 Seiko Epson Corp ネットワークを介した画像の提供および閲覧
JP2003242163A (ja) * 2002-02-19 2003-08-29 Canon Inc 画像記録装置、情報処理装置、情報処理方法及びプログラム
WO2003079359A1 (fr) * 2002-03-18 2003-09-25 Sharp Kabushiki Kaisha Procede, dispositif et support d'enregistrement de donnees, et procede et dispositif de reproduction de donnees
JP2003333486A (ja) 2002-05-13 2003-11-21 Fuji Photo Film Co Ltd 画像管理方法および装置並びにプログラム
JP4138375B2 (ja) * 2002-06-28 2008-08-27 富士フイルム株式会社 画像管理装置、撮像装置および画像保管管理システム
JP2004139548A (ja) 2002-08-23 2004-05-13 Fuji Xerox Co Ltd 情報書き込みシステム、情報書き込み方法
JP2004096270A (ja) * 2002-08-30 2004-03-25 Hitachi Ltd 撮像システム
JP4651263B2 (ja) * 2002-12-18 2011-03-16 ソニー株式会社 情報記録装置及び情報記録方法
JP2004318521A (ja) 2003-04-16 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> サービス利用システムのサービス変換サーバおよびそのプログラム
JP4053939B2 (ja) 2003-07-15 2008-02-27 星野楽器株式会社 ペダル装置
JP3843975B2 (ja) * 2003-10-01 2006-11-08 ソニー株式会社 記録媒体管理装置および記録媒体管理方法
US20050104976A1 (en) * 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
JP4455302B2 (ja) * 2003-12-25 2010-04-21 富士フイルム株式会社 画像編集装置および方法並びにプログラム
US20050219665A1 (en) * 2004-03-01 2005-10-06 Fuji Photo Film Co., Ltd. Apparatus, method, and program for editing images
JP2006066014A (ja) * 2004-08-30 2006-03-09 Sony Corp 画像情報記録装置および画像情報表示装置
JP4301185B2 (ja) * 2005-02-25 2009-07-22 ソニー株式会社 ファイル管理装置、ファイル管理方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198198A (ja) * 2007-02-02 2008-08-28 Samsung Electronics Co Ltd 携帯用端末機及びそのためのディスプレイ方法
US8522164B2 (en) 2007-02-02 2013-08-27 Samsung Electronics Co., Ltd. Portable terminal and display method and medium therefor
US8762882B2 (en) 2007-02-05 2014-06-24 Sony Corporation Information processing apparatus, control method for use therein, and computer program
US9129407B2 (en) 2007-02-05 2015-09-08 Sony Corporation Information processing apparatus, control method for use therein, and computer program
US9983773B2 (en) 2007-02-05 2018-05-29 Sony Corporation Information processing apparatus, control method for use therein, and computer program
JP2011076277A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd スタンプ・システム、方法、プログラム、記録媒体
JP2012019362A (ja) * 2010-07-07 2012-01-26 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2012230649A (ja) * 2011-04-27 2012-11-22 Canon Inc 情報処理装置およびその制御方法、並びにプログラム

Also Published As

Publication number Publication date
CN100422995C (zh) 2008-10-01
US20060209089A1 (en) 2006-09-21
KR20060092075A (ko) 2006-08-22
US8279319B2 (en) 2012-10-02
JP4333599B2 (ja) 2009-09-16
EP1691542B1 (en) 2013-03-13
EP1691542A1 (en) 2006-08-16
CN1822643A (zh) 2006-08-23
TW200635370A (en) 2006-10-01

Similar Documents

Publication Publication Date Title
JP4333599B2 (ja) 情報処理装置、情報処理方法
JP4462331B2 (ja) 撮像装置、制御方法、プログラム
JP5385598B2 (ja) 画像処理装置及び画像管理サーバ装置及びそれらの制御方法及びプログラム
JP3944160B2 (ja) 撮像装置、情報処理装置、それらの制御方法及びプログラム
US20100216441A1 (en) Method for photo tagging based on broadcast assisted face identification
JP2007219615A (ja) 検索装置、検索方法、プログラム
JP5803723B2 (ja) 構造物点検支援方法、構造物点検支援プログラム及び構造物点検支援装置
JP6223534B2 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP2023036595A (ja) スマートフォン、スマートフォンの制御方法、プログラム
JP2006338553A (ja) コンテンツ再生装置
JP2010257215A (ja) デジタルカメラ及び挿絵写真撮影/投稿プログラム
TW200925898A (en) Method and system for generating shared records web page file
JP2001100887A (ja) オブジェクト処理装置
JP2007065146A (ja) 画像注文システム
JP4624983B2 (ja) デジタル画像処理環境において画像処理プロファイルを作成し利用する方法、システム、デジタルカメラ装置、及びアプリケーションソフトウェア
JP7380025B2 (ja) 撮像装置、情報処理方法、プログラム
JP4054167B2 (ja) 撮像装置
KR20100101960A (ko) 디지털 카메라, 사진 분류 시스템 및 방법
JP2010045620A (ja) 情報処理装置、カメラ
JP2009110288A (ja) 画像分類装置及び画像分類方法
JP2007235903A (ja) 撮像画像表示処理プログラム、撮像画像表示処理方法、情報処理端末装置、撮像装置、撮像画像送信方法、画像取得支援プログラム、画像取得支援方法、画像取得支援サーバ、撮像画像取得システム
JP2011097250A (ja) ネットワークカメラ
JP5664729B2 (ja) 検索方法、検索装置、プログラム、検索条件設定方法、情報端末装置
JP6014918B2 (ja) 情報処理装置、情報処理システム、及びプログラム
KR20180075720A (ko) 앨범 제작 서비스 시스템과 이를 이용한 서비스 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees