JP2004229024A - Method for managing image, image managing system usable therefor and imaging unit - Google Patents

Method for managing image, image managing system usable therefor and imaging unit Download PDF

Info

Publication number
JP2004229024A
JP2004229024A JP2003015429A JP2003015429A JP2004229024A JP 2004229024 A JP2004229024 A JP 2004229024A JP 2003015429 A JP2003015429 A JP 2003015429A JP 2003015429 A JP2003015429 A JP 2003015429A JP 2004229024 A JP2004229024 A JP 2004229024A
Authority
JP
Japan
Prior art keywords
image
shooting
photographing
condition
schedule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003015429A
Other languages
Japanese (ja)
Other versions
JP4357178B2 (en
Inventor
Mayumi Komura
真裕美 甲村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003015429A priority Critical patent/JP4357178B2/en
Publication of JP2004229024A publication Critical patent/JP2004229024A/en
Application granted granted Critical
Publication of JP4357178B2 publication Critical patent/JP4357178B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that the frequent setting of complicated communication is inconvenient in a digital camera for transferring a photographed image via a network. <P>SOLUTION: In an image managing system 10, a user accesses to an image server 18 via the network 16 by using a user terminal 20, and sets publishing conditions and photographing plan of the image. When the user photographs the image by using a photographing unit 12, the photographing unit 12 transfers the photographed image and its photographing conditions to the image server 18 through an accessing point 14 via a radio network. The image server 18 collates the photographing conditions and the photographing plan, extracts the publishing conditions conforming to the photographing conditions, and publishes the photographed image to a specific party under the publishing conditions. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像管理方法とこの方法に利用可能な画像管理システムおよび撮像装置に関する。本発明は特に、撮影した画像を無線ネットワーク経由で保存する技術に関する。
【0002】
【従来の技術】
近年、街頭や特定の店舗内に基地局を設置して通信エリアを提供する公衆無線LANの通信基盤が整備されつつある。公衆無線LANはその名の通り、もともとは屋内の限られたエリア内での使用が一般的であった無線LAN技術を応用し、これを広範囲に点在させることによって屋外でも無線ネットワーク通信を利用可能にする。こういった無線技術をデジタルカメラに利用した例が提案されている(例えば、特許文献2参照。)。
【0003】
【特許文献1】
特開平7−296001号公報 (全文)
【特許文献2】
特開2002−94857号公報 (全文)
【0004】
【発明が解決しようとする課題】
ここで、撮影した画像を無線ネットワーク経由でサーバに即時転送するタイプのデジタルスチルカメラは、そのカメラ内に大きな保存領域をもたなくとも気軽に多量の画像を撮影して保存できる特徴がある。しかしながら、撮影画像ごとに、または撮影状況ごとに送信先や公開相手を変えたい場合に、デジタルカメラの簡素なインターフェイスを通じて複雑な設定をするのは困難である。また画像を撮影するたびにデジタルカメラのインターフェイスを通じて通信設定を変えていたのでは、撮影して瞬時にその画像をサーバへ転送できるという本来の特徴を最大限に生かすことが難しい。
【0005】
本発明はこうした状況に鑑みなされたものであり、その目的はデジタルカメラの操作性を損なわずに画像の即時転送を実現する点にある。本発明の別の目的は、デジタルカメラの操作性を損なわずに画像の即時公開を実現する点にある。
【0006】
【課題を解決するための手段】
本発明のある態様は画像管理方法である。この方法は、画像の公開条件と画像の撮影予定との対応関係をその画像の撮影に先立って設定する過程と、画像を撮影する過程と、撮影した画像を撮像装置がその撮影を契機として撮影条件とともに無線ネットワーク経由で送信する過程と、撮影した画像およびその撮影条件を画像サーバが無線ネットワーク経由で受信する過程と、撮影条件に適合する撮影予定を抽出する過程と、抽出した撮影予定に対応する公開条件の下で撮影した画像を公開する過程と、を有する。
【0007】
「公開条件」には、ネットワーク上で公開する画像の閲覧権限が定められていてもよい。例えば、閲覧者の識別情報、アクセス経路、アクセス時間など、閲覧が許可される条件が画像ごとに定められていてもよい。「撮影予定」は、撮影予定日時および撮影予定位置のうち少なくともいずれかであってもよい。「撮影条件」は、実際の撮影日時および撮影位置のうち少なくともいずれかであってもよい。
【0008】
「撮影に先立って」とあるように、所定の操作部を通じて設定する必要がある項目を撮影前に撮像装置以外の装置、例えばパーソナルコンピュータ(以下、PCという)など入力インターフェイスを有する装置を通じて設定しておく。したがって、撮像装置のように入力インターフェイスが最小限に抑えられた装置を通じて複雑な公開条件を設定する必要がなく、簡単に画像を公開できる。撮影して瞬時に画像が画像サーバへ転送されるとともに、あらたな操作をしなくとも自動的に最適な公開条件の下で画像を公開できる。
【0009】
本発明の別の態様は画像管理システムである。このシステムは、被写体の画像を撮影する撮像装置と、撮影した画像を管理する画像サーバと、を備える。撮像装置は、撮影条件を検出する条件検出部と、撮影した画像をその撮影を契機として撮影条件とともに無線ネットワーク経由で画像サーバへ送信する送信部と、を有する。画像サーバは、画像の公開条件と画像の撮影予定との対応関係をその画像の撮影に先立って設定する事前設定部と、撮像装置から撮影した画像および撮影条件を無線ネットワーク経由で受信する受信部と、撮影条件に適合する撮影予定を抽出する抽出部と、抽出した撮影予定に対応する公開条件の下で撮影した画像を公開する公開処理部と、を有する。
【0010】
本態様においても撮影を瞬時にサーバへ転送でき、そのまま特別な操作をしなくとも簡単かつ自動的に特定の相手へ画像を公開できる。
【0011】
本発明のさらに別の態様は撮像装置である。この装置は、被写体の画像を撮影する撮像部と、撮影した画像の公開条件を撮影条件に基づいて設定させるために、撮影における撮影条件として撮影日時および撮影位置のうち少なくともいずれかを検出する条件検出部と、撮影した画像をその撮影を契機として撮影条件とともに無線ネットワーク経由で画像サーバへ送信する送信部と、を有する。
【0012】
本態様によれば、撮影直後の画像を画像サーバへ自動的に転送して最適な公開条件の下で公開することができるとともに、そうした機能のある撮像装置を特別なインターフェイスを設けなくても実現できる。
【0013】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、プログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。
【0014】
【発明の実施の形態】
図1は、画像管理システム10の基本構成を示す。アクセスポイント14、画像サーバ18、ユーザ端末20がネットワーク16を介して接続される。撮像装置12とアクセスポイント14が無線ネットワークを介して接続される。撮影者であるユーザは、PCなどのユーザ端末20を通じてネットワーク16経由で画像サーバ18へアクセスし、撮影画像の公開条件と撮影予定をその撮影に先立って設定する。ユーザは撮像装置12を用いて撮影予定に基づいて被写体を撮影する。撮像装置12は、撮影条件とともに撮影画像をアクセスポイント14を介して画像サーバ18へ転送する。画像サーバ18は、受信した撮影条件を、あらかじめ設定された撮影予定と照合し、適合する撮影予定に対応する公開条件を抽出する。その公開条件の下で、画像サーバ18は受信した撮影画像を公開する。画像サーバ18による画像の公開は、ネットワーク上で共有される電子アルバムとして機能する。
【0015】
撮像装置12および画像サーバ18の構成は、ハードウエア的には、CPU、メモリ、通信モジュール、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたデータ送受信機能や画像処理機能のあるプログラムなどによって実現されるが、以下それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。撮像装置12は、撮影画像を無線ネットワーク経由で画像サーバ18に保存するデジタルスチルカメラである。撮像装置12が撮影する画像は静止画だけでなく、動画が含まれてもよいし、画像に付随する音声データを含んでもよい。画像サーバ18は、LANまたはWANを介してアクセス可能なサーバコンピュータであり、例えば家庭内で家電製品をネットワーク経由で統括する、いわゆるホームサーバであってもよい。
【0016】
ネットワーク16はLANまたはWANのいずれでもよい。撮像装置12とアクセスポイント14は無線ネットワーク経由でデータを送受信する。無線ネットワークは例えばIEEE802.11a/b/gなどの無線LAN通信であり、アクセスポイント14は主に公衆無線LANの基地局を示す。
【0017】
図2は、撮像装置12の構成を示す機能ブロック図である。撮像装置12は、撮像部30、バッファメモリ38、表示部40、条件検出部42、日時取得部44、位置取得部46、および通信処理部48を有する。撮像部30は、被写体からの光を取り込んで結像するレンズ32と、結像された像を電気信号に変換するCCD34と、電気信号をA/D変換して圧縮処理する画像処理部36と、を含む。バッファメモリ38は、JPEG形式やMPEG形式などで圧縮された静止画または動画のデータを画像処理部36または通信処理部48から受け取って一時的に記憶するRAMである。
【0018】
表示部40は、バッファメモリ38が記憶する画像を復号してLCDに表示させる。通信処理部48は、無線LANの通信モジュールを含み、アンテナ54を介してアクセスポイント14と通信する。日時取得部44は、現在の日時情報を内蔵時計から取得する。位置取得部46は、現在の位置情報をGPS(Global Positioning System、全地球測位システム)を利用して取得する。位置情報は例えば緯度および経度からなる。
【0019】
通信処理部48は、送信部50および受信部52を含む。送信部50は、バッファメモリ38が記憶する撮影画像を画像サーバ18へ送信する。また画像再生が指示された場合、受信部52は画像サーバ18に保存された画像を受信し、これをバッファメモリ38に書き込む。
【0020】
条件検出部42は、撮像部30によって画像が撮影されたときに、その画像の撮影条件を検出する。例えば撮影条件として撮影日時と撮影位置を日時取得部44および位置取得部46から検出する。また例えば条件検出部42は、ズーム設定、焦点設定、露出設定、解像度設定などの撮影条件を撮像部30から検出してもよい。条件検出部42は、検出した撮影条件を送信部50へ送り、送信部50は撮影画像とともにその撮影条件を画像サーバ18へ送信する。
【0021】
図3は、画像サーバ18の構成を示す機能ブロック図である。画像サーバ18は、事前設定部60、画像格納部68、公開処理部70、抽出部76、通信処理部78を有する。事前設定部60は、画像の公開条件をユーザの指示にしたがって設定する公開条件設定部62と、撮影予定をユーザの指示にしたがって設定する撮影予定設定部64と、公開条件と撮影予定の対応関係をユーザの指示にしたがって設定して保持する設定保持部66と、を含む。通信処理部78は、ユーザ端末20からユーザの指示を受信するとともに撮像装置12から撮影画像および撮影条件を受信する受信部82と、撮像装置12やユーザ端末20へ画像を送信する送信部80と、を含む。
【0022】
画像格納部68は、受信部82が受信した撮影画像を格納する。抽出部76は、受信部82が受信した撮影条件を設定保持部66が保持する撮影予定と照合し、撮影条件に適合する撮影予定を抽出する。さらに、抽出部76は、抽出した撮影予定に対応する公開条件を抽出して公開処理部70へ送る。公開処理部70は、抽出部76が抽出した公開条件の下で撮影画像を公開する。公開処理部70は、公開条件にしたがって画像の閲覧権限を設定する権限設定部72と、画像の保存または閲覧をする者を認証する認証部74と、認証された者からの転送要求に応じて画像格納部68に格納された画像を送信部80へ送る転送処理部75と、を含む。認証部74は、ユーザから撮影画像を受信するにあたってそのユーザの本人認証を行う。認証には、識別情報やパスワードによる認証の他、指紋などの特徴による生体認証を用いてもよい。権限設定部72は、本人認証されたユーザから受信する画像を画像格納部68に格納する。また、認証部74は、画像格納部68が格納する撮影画像について閲覧を要求する者を公開条件にしたがって認証する。送信部80は、転送処理部75から送られた画像を認証部74が認証した特定の者に対して転送する。
【0023】
図4は、画像管理システム10における処理の過程を示すフローチャートである。ユーザは画像サーバ18へ画像の公開条件を設定するとともに(S10)、画像サーバ18へ撮影予定を設定する(S12)。ユーザが撮像装置12を用いて被写体の画像を撮影すると(S14)、条件検出部42がその撮影条件を検出し(S16)、撮影画像および撮影条件を送信部50が送信する(S18)。画像サーバ18が撮影画像および撮影条件を受信し(S20)、その撮影条件に適合する撮影予定を抽出部76が抽出し(S22)、その撮影予定に対応する公開条件を抽出部76が抽出する(S24)。抽出した公開条件の下で公開処理部70が撮影画像を公開する(S26)。
【0024】
図5は、撮影予定として撮影日時を指定する画面例を示す。ユーザは撮影に先立ち、画面100を通じて撮影予定日付110と撮影予定時間帯112を指定する。例えばここでは「2003年2月13日9時〜14時」を撮影予定日時として指定する。
【0025】
図6は、撮影予定として撮影日時をカレンダー上で指定する画面例を示す。ユーザは撮影日時の指定画面として本図と図5のいずれかを選択できる。この画面100はカレンダー形式の予定表となっており、縦軸116が時間を表し、横軸114が日付を表す。本図は1週間分の予定表であり、例えば「2月13日」の欄にて9時から14時までの領域を選択して撮影予定の日付および時間帯を指定する。
【0026】
図7は、撮影予定として撮影場所を地名で指定する画面例を示す。ユーザは撮影に先立ち、画面100を通じて選択用地名候補102の中からいずれかを選択する。選択用地名候補102は、広域の地名から詳細な地名まで階層的に地名を網羅する。例えば選択用地名候補102から「関東地区」を選択すると、次の詳細な候補として「東京都」「神奈川県」「埼玉県」などの県名が表示され、さらに「東京都」を選択すると「千代田区」「中央区」「港区」など段階的に下位の地名が候補として表示される。これらの候補から段階的に地名を選択することができ、広域の地名で撮影場所を指定してもよいし、より詳細な地名で撮影場所を指定してもよい。
【0027】
図8は、撮影予定として撮影場所を地図上で指定する画面例を示す。ユーザは撮影に先立ち、画面100を通じて選択用地図104の中からいずれかの地域を選択する。ユーザは撮影場所の指定画面として本図と図7のいずれかを選択できる。選択用地図104として、まず全国を複数の地域で区切った地図を表示し、ユーザがいずれかの地域を選択すると、段階的に詳細な地図が表示されていく。それら段階的に表示される地図から選択することにより、ユーザは広域で撮影場所を指定してもよいし、より詳細な地域で撮影場所を指定してもよい。
【0028】
図9は、公開条件として公開相手を指定する画面例を示す。ユーザは撮影に先立ち、画面100を通じて相手リスト120から所望の名前を選択して、公開相手欄122へコピーすることにより、公開相手を指定する。相手リスト120に表示される名前にはあらかじめ電子メールアドレスが関連づけられている。撮影画像が公開されたときに、その公開サイトのURLとパスワードが公開相手の電子メールアドレス宛に自動的に送信される。パスワードは権限設定部72が自動生成する。これにより、撮影者は簡単に公開相手を指定できるとともに、特別な操作をすることなく公開した旨を公開相手に通知できる。また自動的に公開内容がパスワードで守られ、プライバシーの保護を図ることができる。
【0029】
図10は、事前設定部60が保持する撮影予定テーブル140の構成例を示す。撮影予定テーブル140には、日時欄142、場所欄144、閲覧許可者欄146が含まれる。日時欄142には撮影予定として撮影日時が格納され、場所欄144には撮影予定として撮影場所が格納され、閲覧許可者欄146には閲覧が許可された公開相手の情報が格納される。例えば、「2003年2月13日9時〜14時」に「文京区湯島2丁目(学校)」で撮影された画像は、「雪子、月子、花子」の3名に閲覧を許可する旨を示す情報が撮影予定テーブル140に格納されている。
【0030】
図11は、条件検出部42により検出された撮影条件のテーブルを示す。撮影条件テーブル150には、ファイル名欄152、日時欄154、位置欄156が含まれる。ファイル名欄152には撮影した画像のファイル名が格納され、日時欄154には撮影日時が格納される。位置欄156には撮影位置の緯度および経度が格納される。例えば画像「DCS0021.jpg」は、「2003年2月16日11時06分32秒」の日時に「北緯35度39分19秒 東経139度44分55秒」の位置にて撮影されたことが示される。この撮影条件テーブル150が撮影画像とともに撮像装置12から画像サーバ18へ送信される。画像サーバ18においては、抽出部76によって日時欄154から撮影日時、位置欄156から撮影位置がそれぞれ読み出される。抽出部76は、これら撮影日時および撮影位置と適合する撮影予定として、「2003年2月16日10時〜13時」の日時に場所「東京タワー」にて撮影する旨が定められた予定148を図10に示す撮影予定テーブル140から抽出する。
【0031】
一方、画像「DCS0023.jpg」は、「2003年2月16日13時26分05秒」の日時に「北緯35度39分19秒 東経139度44分55秒」の位置で撮影されているが、図10の撮影予定テーブル140と照合すると、予定148とは撮影日時が一致しない。また日時「2003年2月16日13時〜15時」に場所「国立博物館」にて撮影する旨が定められた予定149とは撮影位置が一致しない。こうした事態を想定して、例えば撮影位置の一致を優先して撮影予定を抽出するよう設定しておいてもよい。その場合、撮影位置が一致する予定148が優先的に抽出される。
【0032】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、いくつか変形例を挙げる。
【0033】
実施の形態においては、撮影条件と撮影予定を照合するときに、撮影位置の一致を優先して適合する撮影予定を抽出する設定を説明した。変形例としては、撮影日時の一致を優先的に照合して撮影予定を抽出する設定としてもよいし、撮影日時および撮影位置の双方とも一致する撮影予定を抽出する設定としてもよい。また、撮影日時および撮影位置のいずれかまたは双方とも一致しないときに、時間的または位置的に近い撮影予定を撮像装置12に表示させて、撮影者に選択を促す設定としてもよい。
【0034】
実施の形態においては、公開条件および撮影予定を画像サーバ18にて設定した後、これらを画像サーバ18が保持する構成とした。変形例においては、画像サーバ18にて設定した公開条件および撮影予定を撮影前に撮像装置12へ転送し、撮像装置12に保持させる構成としてもよい。例えば撮影画像ごとに異なる画像サーバに送信したい場合に、複数の画像サーバのURLを公開条件に定めておき、これを撮影日時や撮影位置と対応づけておいてもよい。これにより、例えば昼間の時間帯に社内で撮影した画像は会社のサーバへ送信し、勤務時間後に外出先で撮影した画像は自宅のサーバへ送信するなど個別の設定をすることができる。このような撮像装置12へ保持させる公開条件は、画像サーバ18から撮像装置12へ転送させる構成だけでなく、メモリカードなどの所定の記録媒体を介して撮像装置12へ読み込ませる構成としてもよい。
【0035】
【発明の効果】
本発明によれば、ネットワーク保存型カメラの利便性を向上させることができる。
【図面の簡単な説明】
【図1】画像管理システムの基本構成を示す図である。
【図2】撮像装置の構成を示す機能ブロック図である。
【図3】画像サーバの構成を示す機能ブロック図である。
【図4】画像管理システムにおける処理の過程を示すフローチャートである。
【図5】撮影予定として撮影日時を指定する画面例を示す図である。
【図6】撮影予定として撮影日時をカレンダー上で指定する画面例を示す図である。
【図7】撮影予定として撮影場所を地名で指定する画面例を示す図である。
【図8】撮影予定として撮影場所を地図上で指定する画面例を示す図である。
【図9】公開条件として公開相手を指定する画面例を示す図である。
【図10】事前設定部が保持する撮影予定テーブルの構成例を示す図である。
【図11】条件検出部により検出された撮影条件のテーブルを示す図である。
【符号の説明】
10 画像管理システム、 12 撮像装置、 16 ネットワーク、 18画像サーバ、 30 撮像部、 42 条件検出部、 44 日時取得部、 46 位置取得部、 50 送信部、 60 事前設定部、 70 公開処理部、 76 抽出部、 80 送信部。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image management method, an image management system and an imaging device that can be used for the method. The present invention particularly relates to a technique for storing a captured image via a wireless network.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a communication infrastructure of a public wireless LAN that provides a communication area by installing a base station on a street or in a specific store has been improved. As the name implies, the public wireless LAN uses wireless LAN technology that was originally used indoors in a limited area, and uses wireless network communication outdoors by distributing it over a wide area. enable. An example in which such a wireless technology is used for a digital camera has been proposed (for example, see Patent Document 2).
[0003]
[Patent Document 1]
JP-A-7-296001 (full text)
[Patent Document 2]
JP-A-2002-94857 (full text)
[0004]
[Problems to be solved by the invention]
Here, a digital still camera of a type that immediately transfers a captured image to a server via a wireless network has a feature that a large number of images can be easily captured and stored without having a large storage area in the camera. However, it is difficult to make complicated settings through a simple interface of a digital camera when it is desired to change a transmission destination or a public party for each photographed image or each photographing situation. Further, if the communication settings are changed through the interface of the digital camera every time an image is taken, it is difficult to make the most of the original feature that the image can be taken and the image can be instantaneously transferred to the server.
[0005]
The present invention has been made in view of such circumstances, and has as its object to realize immediate transfer of images without impairing the operability of a digital camera. Another object of the present invention is to realize immediate publication of an image without impairing the operability of a digital camera.
[0006]
[Means for Solving the Problems]
One embodiment of the present invention relates to an image management method. In this method, a process of setting a correspondence between an image release condition and a shooting schedule of an image prior to shooting of the image, a process of shooting the image, and a process of shooting the shot image by the shooting device using the shooting as an opportunity Corresponding to the process of transmitting via the wireless network with the conditions, the process of receiving the captured image and its capturing conditions via the wireless network, the process of extracting the capturing schedule that matches the capturing conditions, and the extracted capturing schedule Publishing the image taken under the publishing condition.
[0007]
The “publication condition” may set the authority to browse images to be made public on the network. For example, conditions that allow browsing, such as browsing user identification information, access routes, and access times, may be defined for each image. The “shooting schedule” may be at least one of the scheduled shooting date and time and the scheduled shooting position. The “shooting condition” may be at least one of the actual shooting date and time and the shooting position.
[0008]
As described in "Before shooting", items that need to be set through a predetermined operation unit are set before shooting by using a device other than the imaging device, for example, a device having an input interface such as a personal computer (hereinafter, referred to as a PC). Keep it. Therefore, it is not necessary to set complicated disclosure conditions through a device having a minimum input interface such as an imaging device, and the image can be published easily. The image can be transferred to the image server instantly after shooting, and the image can be automatically released under the optimum disclosure condition without any new operation.
[0009]
Another embodiment of the present invention relates to an image management system. This system includes an imaging device that captures an image of a subject, and an image server that manages the captured image. The imaging apparatus includes a condition detection unit that detects a shooting condition, and a transmission unit that transmits the shot image to the image server via the wireless network together with the shooting condition in response to the shooting. The image server includes: a pre-setting unit configured to set a correspondence relationship between an image disclosure condition and an image capturing schedule before capturing the image; and a receiving unit configured to receive the image captured by the image capturing apparatus and the capturing condition via a wireless network. And an extraction unit that extracts a shooting schedule that matches the shooting conditions, and a publishing unit that publishes images shot under publishing conditions corresponding to the extracted shooting schedules.
[0010]
Also in this embodiment, the image can be instantly transferred to the server, and the image can be easily and automatically released to a specific party without any special operation.
[0011]
Still another embodiment of the present invention relates to an imaging device. The apparatus includes an imaging unit that captures an image of a subject, and a condition that detects at least one of a shooting date and time and a shooting position as shooting conditions in shooting in order to set disclosure conditions of the shot image based on the shooting conditions. A detecting unit; and a transmitting unit configured to transmit the captured image to the image server via the wireless network together with the capturing condition in response to the capturing.
[0012]
According to this aspect, it is possible to automatically transfer an image immediately after shooting to an image server and publish the image under optimal publishing conditions, and realize an imaging apparatus having such a function without providing a special interface. it can.
[0013]
In addition, any combination of the above-described components and the components and expressions of the present invention, methods, devices, systems, computer programs, recording media storing the programs, and those which are mutually replaced among data structures, This is effective as an aspect of the present invention.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows a basic configuration of the image management system 10. The access point 14, the image server 18, and the user terminal 20 are connected via the network 16. The imaging device 12 and the access point 14 are connected via a wireless network. The user who is the photographer accesses the image server 18 via the network 16 through the user terminal 20 such as a PC, and sets the disclosure conditions of the photographed image and the photographing schedule before the photographing. The user uses the imaging device 12 to photograph the subject based on the photographing schedule. The imaging device 12 transfers the photographed image together with the photographing conditions to the image server 18 via the access point 14. The image server 18 collates the received photographing condition with a preset photographing schedule, and extracts a disclosure condition corresponding to a suitable photographing schedule. Under the disclosure conditions, the image server 18 discloses the received captured image. The release of images by the image server 18 functions as an electronic album shared on a network.
[0015]
The configuration of the imaging device 12 and the image server 18 can be realized by a CPU, a memory, a communication module, and other LSIs in hardware, and has a data transmission / reception function and an image processing function loaded in the memory in software. The functional blocks that are realized by programs and the like are described below, and are realized by their cooperation. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof. The imaging device 12 is a digital still camera that stores a captured image in an image server 18 via a wireless network. The image captured by the imaging device 12 may include not only a still image but also a moving image, and may include audio data accompanying the image. The image server 18 is a server computer that can be accessed via a LAN or a WAN, and may be, for example, a so-called home server that controls home electric appliances in a home via a network.
[0016]
The network 16 may be a LAN or a WAN. The imaging device 12 and the access point 14 transmit and receive data via a wireless network. The wireless network is, for example, wireless LAN communication such as IEEE 802.11a / b / g, and the access point 14 mainly indicates a base station of a public wireless LAN.
[0017]
FIG. 2 is a functional block diagram illustrating a configuration of the imaging device 12. The imaging device 12 includes an imaging unit 30, a buffer memory 38, a display unit 40, a condition detection unit 42, a date and time acquisition unit 44, a position acquisition unit 46, and a communication processing unit 48. The imaging unit 30 includes a lens 32 that captures light from a subject and forms an image, a CCD 34 that converts the formed image into an electric signal, an image processing unit 36 that performs A / D conversion of the electric signal and performs compression processing. ,including. The buffer memory 38 is a RAM that receives still image or moving image data compressed in the JPEG format or the MPEG format from the image processing unit 36 or the communication processing unit 48 and temporarily stores the data.
[0018]
The display unit 40 decodes the image stored in the buffer memory 38 and displays the image on the LCD. The communication processing unit 48 includes a communication module of a wireless LAN, and communicates with the access point 14 via the antenna 54. The date and time acquisition unit 44 acquires the current date and time information from the internal clock. The position acquisition unit 46 acquires the current position information by using a GPS (Global Positioning System). The position information includes, for example, latitude and longitude.
[0019]
The communication processing unit 48 includes a transmitting unit 50 and a receiving unit 52. The transmission unit 50 transmits the captured image stored in the buffer memory 38 to the image server 18. When an image reproduction is instructed, the receiving unit 52 receives the image stored in the image server 18 and writes the received image in the buffer memory 38.
[0020]
The condition detecting unit 42 detects a photographing condition of the image when the image is photographed by the imaging unit 30. For example, the photographing date and time and the photographing position are detected from the date and time acquiring unit 44 and the position acquiring unit 46 as the photographing conditions. Further, for example, the condition detecting unit 42 may detect, from the imaging unit 30, shooting conditions such as zoom setting, focus setting, exposure setting, and resolution setting. The condition detecting unit 42 sends the detected photographing condition to the transmitting unit 50, and the transmitting unit 50 transmits the photographing condition to the image server 18 together with the photographed image.
[0021]
FIG. 3 is a functional block diagram illustrating the configuration of the image server 18. The image server 18 includes a pre-setting unit 60, an image storage unit 68, a disclosure processing unit 70, an extraction unit 76, and a communication processing unit 78. The pre-setting unit 60 includes a disclosure condition setting unit 62 that sets an image disclosure condition according to a user instruction, a shooting schedule setting unit 64 that sets a shooting schedule according to a user instruction, and a correspondence relationship between the disclosure condition and the shooting schedule. And a setting holding unit 66 for setting and holding according to a user's instruction. The communication processing unit 78 includes a receiving unit 82 that receives a user's instruction from the user terminal 20 and receives a captured image and a capturing condition from the imaging device 12, and a transmission unit 80 that transmits an image to the imaging device 12 and the user terminal 20. ,including.
[0022]
The image storage unit 68 stores the captured image received by the receiving unit 82. The extraction unit 76 compares the shooting conditions received by the receiving unit 82 with the shooting schedule held by the setting holding unit 66, and extracts a shooting schedule that matches the shooting conditions. Further, the extraction unit 76 extracts a disclosure condition corresponding to the extracted shooting schedule and sends it to the disclosure processing unit 70. The disclosure processing unit 70 discloses the captured image under the disclosure conditions extracted by the extraction unit 76. The publishing processing unit 70 includes an authority setting unit 72 for setting an image browsing authority according to a publishing condition, an authentication unit 74 for authenticating a person who saves or browses an image, and in response to a transfer request from the authenticated person. And a transfer processing unit 75 that sends the image stored in the image storage unit 68 to the transmission unit 80. Upon receiving a captured image from a user, the authentication unit 74 authenticates the user. For authentication, biometric authentication based on features such as fingerprints may be used in addition to authentication using identification information or a password. The authority setting unit 72 stores the image received from the authenticated user in the image storage unit 68. The authentication unit 74 authenticates a person who requests browsing of the captured image stored in the image storage unit 68 according to the disclosure condition. The transmission unit 80 transfers the image sent from the transfer processing unit 75 to a specific person authenticated by the authentication unit 74.
[0023]
FIG. 4 is a flowchart illustrating a process of processing in the image management system 10. The user sets an image disclosure condition in the image server 18 (S10) and sets a shooting schedule in the image server 18 (S12). When the user captures an image of a subject using the imaging device 12 (S14), the condition detecting unit 42 detects the capturing condition (S16), and the transmitting unit 50 transmits the captured image and the capturing condition (S18). The image server 18 receives the photographed image and the photographing condition (S20), the extracting unit 76 extracts a photographing schedule that matches the photographing condition (S22), and the extracting unit 76 extracts a disclosure condition corresponding to the photographing schedule. (S24). The disclosure processing unit 70 discloses the captured image under the extracted disclosure conditions (S26).
[0024]
FIG. 5 shows an example of a screen for designating a shooting date and time as a shooting schedule. The user specifies a scheduled shooting date 110 and a scheduled shooting time zone 112 through the screen 100 prior to shooting. For example, here, “February 13, 2003, 9:00 to 14:00” is designated as the scheduled shooting date and time.
[0025]
FIG. 6 shows an example of a screen for designating a shooting date and time on a calendar as a shooting schedule. The user can select any one of FIG. 5 and FIG. The screen 100 is a calendar in a calendar format. The vertical axis 116 represents time, and the horizontal axis 114 represents date. This drawing is a schedule table for one week. For example, an area from 9:00 to 14:00 is selected in a column of “February 13” to specify a date and a time zone of a shooting schedule.
[0026]
FIG. 7 shows a screen example in which a shooting location is designated by a place name as a shooting schedule. Prior to photographing, the user selects one of the selected place name candidates 102 through the screen 100. The selected place name candidates 102 hierarchically cover place names from wide place names to detailed place names. For example, if "Kanto district" is selected from the selection place name candidates 102, prefecture names such as "Tokyo", "Kanagawa prefecture", and "Saitama prefecture" are displayed as the next detailed candidates, and when "Tokyo" is further selected, Lower place names, such as Chiyoda Ward, Chuo Ward, and Minato Ward, are displayed as candidates in stages. From these candidates, the place name can be selected in stages, and the shooting place may be designated by a wide place name or the shooting place may be designated by a more detailed place name.
[0027]
FIG. 8 shows an example of a screen for designating a shooting location on a map as a shooting schedule. The user selects any area from the selection map 104 through the screen 100 before photographing. The user can select any one of FIG. 7 and FIG. First, a map in which the whole country is divided into a plurality of regions is displayed as the selection map 104, and when the user selects one of the regions, a detailed map is displayed step by step. By selecting from the maps that are displayed step by step, the user may specify a shooting location in a wide area, or may specify a shooting location in a more detailed area.
[0028]
FIG. 9 shows an example of a screen for designating a disclosure partner as a disclosure condition. Prior to photographing, the user selects a desired name from the partner list 120 via the screen 100 and copies it to the public partner column 122, thereby designating a public partner. An e-mail address is associated with the name displayed on the partner list 120 in advance. When a photographed image is made public, the URL and password of the public site are automatically transmitted to the electronic mail address of the public partner. The password is automatically generated by the authority setting unit 72. As a result, the photographer can easily specify the public party and can notify the public party of the release without any special operation. In addition, the disclosed contents are automatically protected by a password, and privacy can be protected.
[0029]
FIG. 10 shows a configuration example of the shooting schedule table 140 held by the advance setting unit 60. The shooting schedule table 140 includes a date and time column 142, a location column 144, and a permitted viewing column 146. The date and time column 142 stores the shooting date and time as the shooting schedule, the location column 144 stores the shooting location as the shooting schedule, and the authorized viewer column 146 stores information on the permitted viewing party. For example, an image taken at “Yushima 2-chome (school), Bunkyo-ku, from 9:00 to 14:00 on February 13, 2003” is permitted to be viewed by three people, “Yukiko, Tsukiko, Hanako”. Is stored in the shooting schedule table 140.
[0030]
FIG. 11 shows a table of the photographing conditions detected by the condition detecting unit 42. The shooting condition table 150 includes a file name column 152, a date and time column 154, and a position column 156. The file name column 152 stores the file name of the captured image, and the date and time column 154 stores the date and time of shooting. The position column 156 stores the latitude and longitude of the shooting position. For example, the image “DCS0021.jpg” was taken at the date and time “February 16, 2003, 11:06:32” at the latitude of 35 ° 39: 19N and 139 ° 44: 55E. Is shown. The photographing condition table 150 is transmitted from the imaging device 12 to the image server 18 together with the photographed image. In the image server 18, the extraction unit 76 reads the shooting date and time from the date and time column 154 and the shooting position from the position column 156. The extraction unit 76 sets a schedule 148 that is to be shot at the location “Tokyo Tower” on the date and time “February 16, 2003, 10:00 to 13:00” as a shooting schedule that matches the shooting date and time and the shooting position. Is extracted from the shooting schedule table 140 shown in FIG.
[0031]
On the other hand, the image “DCS0023.jpg” was captured at the date and time “13:26:05 on February 16, 2003” at a position of “35 ° 39: 19 north latitude, 139 ° 44: 55 seconds east longitude”. However, when compared with the shooting schedule table 140 in FIG. 10, the shooting date and time do not match the schedule 148. Also, the shooting position does not match the schedule 149 that is set to be shot at the place “National Museum” on the date and time “13:00 to 15:00 on February 16, 2003”. Assuming such a situation, for example, a setting may be made so as to extract a shooting schedule with priority given to matching of shooting positions. In this case, the schedule 148 having the same shooting position is preferentially extracted.
[0032]
The present invention has been described based on the embodiments. This embodiment is an exemplification, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and that such modifications are also within the scope of the present invention. . Hereinafter, some modified examples will be described.
[0033]
In the embodiment, the setting has been described in which when matching the shooting conditions with the shooting schedule, the matching shooting schedule is extracted with priority given to the matching of the shooting positions. As a modified example, the setting may be such that the shooting schedule is extracted by preferentially matching the shooting date and time, or the shooting schedule that matches both the shooting date and time and the shooting position may be extracted. When one or both of the photographing date and time and the photographing position do not match, a setting may be made in which the photographing device 12 displays a temporally or positionally close photographing schedule and prompts the photographer to make a selection.
[0034]
In the embodiment, after the disclosure condition and the shooting schedule are set in the image server 18, the image server 18 holds them. In a modified example, the disclosure condition and the shooting schedule set by the image server 18 may be transferred to the imaging device 12 before shooting, and may be stored in the imaging device 12. For example, when it is desired to transmit to a different image server for each photographed image, URLs of a plurality of image servers may be determined as disclosure conditions, and may be associated with a photographing date and time or a photographing position. This makes it possible to make individual settings, for example, transmitting an image taken in the office during the daytime to the server of the company, and transmitting an image taken outside the office after work to the server at home. Such a disclosure condition to be held in the imaging device 12 is not limited to a configuration in which the image server 18 transfers the image data to the imaging device 12, but may be a configuration in which the imaging device 12 reads the image via a predetermined recording medium such as a memory card.
[0035]
【The invention's effect】
According to the present invention, the convenience of a network storage camera can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration of an image management system.
FIG. 2 is a functional block diagram illustrating a configuration of an imaging device.
FIG. 3 is a functional block diagram illustrating a configuration of an image server.
FIG. 4 is a flowchart illustrating a process of processing in the image management system.
FIG. 5 is a diagram showing an example of a screen for designating a shooting date and time as a shooting schedule.
FIG. 6 is a diagram showing an example of a screen for designating a shooting date and time on a calendar as a shooting schedule.
FIG. 7 is a diagram illustrating an example of a screen for designating a shooting location by a place name as a shooting schedule;
FIG. 8 is a diagram showing an example of a screen for designating a shooting location on a map as a shooting schedule.
FIG. 9 is a diagram showing an example of a screen for designating a disclosure partner as a disclosure condition.
FIG. 10 is a diagram illustrating a configuration example of a shooting schedule table held by a pre-setting unit.
FIG. 11 is a diagram illustrating a table of imaging conditions detected by a condition detection unit.
[Explanation of symbols]
Reference Signs List 10 image management system, 12 imaging devices, 16 networks, 18 image servers, 30 imaging units, 42 condition detection units, 44 date and time acquisition units, 46 position acquisition units, 50 transmission units, 60 pre-setting units, 70 disclosure processing units, 76 Extraction unit, 80 transmission unit.

Claims (4)

画像の公開条件と前記画像の撮影予定との対応関係をその画像の撮影に先立って設定する過程と、
画像を撮影する過程と、
前記撮影した画像を撮像装置がその撮影を契機として撮影条件とともに無線ネットワーク経由で送信する過程と、
前記撮影した画像およびその撮影条件を画像サーバが無線ネットワーク経由で受信する過程と、
前記撮影条件に適合する撮影予定を抽出する過程と、
前記抽出した撮影予定に対応する公開条件の下で前記撮影した画像を公開する過程と、
を有することを特徴とする画像管理方法。
A process of setting a correspondence relationship between a release condition of an image and a shooting schedule of the image prior to shooting of the image,
The process of taking an image,
A step of transmitting the photographed image via a wireless network together with a photographing condition with the photographing device as a trigger of the photographing,
A step in which the image server receives the photographed image and the photographing conditions via a wireless network,
Extracting a shooting schedule that matches the shooting conditions;
Publishing the photographed image under publishing conditions corresponding to the extracted photographing schedule,
An image management method comprising:
被写体の画像を撮影する撮像装置と、前記撮影した画像を管理する画像サーバと、を備え、
前記撮像装置は、
撮影条件を検出する条件検出部と、
撮影した画像をその撮影を契機として前記撮影条件とともに無線ネットワーク経由で前記画像サーバへ送信する送信部と、を有し、
前記画像サーバは、
画像の公開条件と前記画像の撮影予定との対応関係をその画像の撮影に先立って設定する事前設定部と、
前記撮像装置から前記撮影した画像および撮影条件を無線ネットワーク経由で受信する受信部と、
前記撮影条件に適合する撮影予定を抽出する抽出部と、
前記抽出した撮影予定に対応する公開条件の下で前記撮影した画像を公開する公開処理部と、を有することを特徴とする画像管理システム。
An imaging device that captures an image of a subject, and an image server that manages the captured image,
The imaging device,
A condition detection unit that detects a shooting condition;
A transmitting unit that transmits the captured image to the image server via the wireless network together with the capturing condition in response to the capturing,
The image server,
A pre-setting unit for setting the correspondence between the release condition of the image and the shooting schedule of the image before shooting the image,
A receiving unit that receives the captured image and the capturing condition from the imaging device via a wireless network,
An extraction unit that extracts a shooting schedule that matches the shooting conditions,
A publishing processing unit for publishing the photographed image under a publishing condition corresponding to the extracted photographing schedule.
前記撮影予定は、撮影予定日時および撮影予定位置のうち少なくともいずれかであり、
前記撮影条件は、実際の撮影日時および撮影位置のうち少なくともいずれかであることを特徴とする請求項2に記載の画像管理システム。
The shooting schedule is at least one of a shooting schedule date and time and a shooting schedule position,
The image management system according to claim 2, wherein the shooting condition is at least one of an actual shooting date and time and a shooting position.
被写体の画像を撮影する撮像部と、
前記撮影した画像の公開条件を撮影条件に基づいて設定させるために、前記撮影における撮影条件として撮影日時および撮影位置のうち少なくともいずれかを検出する条件検出部と、
前記撮影した画像をその撮影を契機として前記撮影条件とともに無線ネットワーク経由で画像サーバへ送信する送信部と、
を有することを特徴とする撮像装置。
An imaging unit that captures an image of a subject;
A condition detection unit that detects at least one of a photographing date and time and a photographing position as a photographing condition in the photographing so as to set a disclosure condition of the photographed image based on the photographing condition;
A transmitting unit that transmits the photographed image to an image server via a wireless network together with the photographing conditions in response to the photographing;
An imaging device comprising:
JP2003015429A 2003-01-23 2003-01-23 Image server Expired - Fee Related JP4357178B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003015429A JP4357178B2 (en) 2003-01-23 2003-01-23 Image server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003015429A JP4357178B2 (en) 2003-01-23 2003-01-23 Image server

Publications (2)

Publication Number Publication Date
JP2004229024A true JP2004229024A (en) 2004-08-12
JP4357178B2 JP4357178B2 (en) 2009-11-04

Family

ID=32903182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015429A Expired - Fee Related JP4357178B2 (en) 2003-01-23 2003-01-23 Image server

Country Status (1)

Country Link
JP (1) JP4357178B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299171A (en) * 2006-04-28 2007-11-15 Fujifilm Corp Image management server
JP2008146230A (en) * 2006-12-07 2008-06-26 Canon Inc Data processing method and device
JP2010122733A (en) * 2008-11-17 2010-06-03 Nec Biglobe Ltd Image management device, its control method, and program
WO2012014473A1 (en) * 2010-07-29 2012-02-02 Iwai Yasuaki Image recording device
JP2012034357A (en) * 2010-07-07 2012-02-16 Canon Inc Image distribution apparatus excellent in security of user position information, control method thereof, image transmitter, control method thereof, and program
JP2014121065A (en) * 2012-12-19 2014-06-30 Konica Minolta Inc Data management device, data management program, data management system, and data management method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299171A (en) * 2006-04-28 2007-11-15 Fujifilm Corp Image management server
JP2008146230A (en) * 2006-12-07 2008-06-26 Canon Inc Data processing method and device
JP2010122733A (en) * 2008-11-17 2010-06-03 Nec Biglobe Ltd Image management device, its control method, and program
JP2012034357A (en) * 2010-07-07 2012-02-16 Canon Inc Image distribution apparatus excellent in security of user position information, control method thereof, image transmitter, control method thereof, and program
WO2012014473A1 (en) * 2010-07-29 2012-02-02 Iwai Yasuaki Image recording device
JP5327926B2 (en) * 2010-07-29 2013-10-30 泰章 岩井 Image recording device
JP2014121065A (en) * 2012-12-19 2014-06-30 Konica Minolta Inc Data management device, data management program, data management system, and data management method

Also Published As

Publication number Publication date
JP4357178B2 (en) 2009-11-04

Similar Documents

Publication Publication Date Title
US8392957B2 (en) Automatic content tagging, such as tagging digital images via a wireless cellular network using metadata and facial recognition
CN101753808B (en) Photograph authorization system, method and device
US8787580B2 (en) Distribution of keys for encryption/decryption
US7796776B2 (en) Digital image pickup device, display device, rights information server, digital image management system and method using the same
KR100649040B1 (en) Method of managing·browsing image data
US10165178B2 (en) Image file management system and imaging device with tag information in a communication network
US20040201702A1 (en) Automatic location identification and categorization of digital photographs
JP3908171B2 (en) Image storage method, apparatus, and program
JP2007334696A (en) Data sharing system, communication terminal and server
CN104137521A (en) Electronic device
JP2008027336A (en) Location information delivery apparatus, camera, location information delivery method and program
US20060092266A1 (en) High resolution image management for devices using low bandwidth communication
JP2011188171A (en) Digital photograph data processing apparatus, digital photograph data server, digital photograph data processing system and digital photograph data processing method
JP2004032264A (en) Image data managing apparatus
KR101729206B1 (en) System and method for image sharing
US20130308000A1 (en) Image processing apparatus, control method thereof, and recording medium
JP4357178B2 (en) Image server
JP2009134333A (en) Digital photograph sharing system device
JP2008028494A (en) Photograph upload system
CN106326328B (en) Picture transmitter device, image sending method and recording medium
JP4875955B2 (en) Image album creating apparatus and method, communication terminal, and image collecting apparatus
CN102055743A (en) Digital content transferring system and method
JP2004304409A (en) Picture service provision system
JP2012186732A (en) Imaging device, method of controlling imaging device, and program
JP2004120390A (en) Live video acquisition support service server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees