JP2003069806A - 画像ファイル生成装置および画像データ出力装置 - Google Patents

画像ファイル生成装置および画像データ出力装置

Info

Publication number
JP2003069806A
JP2003069806A JP2001255657A JP2001255657A JP2003069806A JP 2003069806 A JP2003069806 A JP 2003069806A JP 2001255657 A JP2001255657 A JP 2001255657A JP 2001255657 A JP2001255657 A JP 2001255657A JP 2003069806 A JP2003069806 A JP 2003069806A
Authority
JP
Japan
Prior art keywords
image data
image
information
color
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001255657A
Other languages
English (en)
Other versions
JP3900871B2 (ja
Inventor
Toshifumi Nakajima
利文 中嶋
Naoki Kuwata
直樹 鍬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001255657A priority Critical patent/JP3900871B2/ja
Publication of JP2003069806A publication Critical patent/JP2003069806A/ja
Application granted granted Critical
Publication of JP3900871B2 publication Critical patent/JP3900871B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 画像データに日付情報などの付属情報を合成
して出力するための画像ファイル生成時に、元の画像デ
ータの喪失を防ぎ、かつ元の画像データに応じた色を設
定することが可能な技術を提供する。 【解決手段】 画像データを入力する画像データ入力部
と、該画像データに合成して出力される第二の画像デー
タを生成するための合成画像情報を設定する合成画像情
報入力部と、前記画像データと前記合成画像情報とを一
体的に備える画像ファイルを生成する画像ファイル生成
部とを備え、前記合成画像情報は、前記第二の画像デー
タの色を設定する色設定情報を含む画像ファイル生成装
置を提供することにより、画像データの喪失なしに所望
の色で第二の画像データが生成可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データを出力
する際に第二の画像データを合成して出力する技術に関
する。
【0002】
【従来の技術】従来の写真フィルムを用いた一眼レフカ
メラやコンパクトカメラ等は、撮影時に日付情報をフィ
ルムに同時に写し込む機能が一般的に備えられていた。
このような機能は、その写真がいつ撮影されたかを即座
に認識することができるため、大変利便性の高い機能で
あった。しかし、日付情報が予め決められた位置や色で
画像に写し込まれていたため、被写体の一部が隠れて見
え辛くなったり、写真全体の色調と日付の色が同系色の
場合に認識しにくくなるといった問題が生じていた。
【0003】近年広く利用されているディジタルスチル
カメラにおいても、上述のような従来のカメラと同様の
機能を実現する技術が提案されている。ディジタルスチ
ルカメラは、画像を電子データとして扱うため、日付情
報をユーザ所望の位置や色で画像に合成するといった処
理により、比較的簡易な構成で上記問題を解消すること
はできる。
【0004】
【発明が解決しようとする課題】しかし、ディジタルス
チルカメラを用いた日付情報の合成処理には、次のよう
な新たな課題が生じている。すなわち、日付情報を画像
に合成することにより、元の画像データ内の日付情報を
合成した部分のデータが喪失してしまうという課題と、
ユーザが被写体を撮影する毎に、日付情報が背景に紛れ
てしまわないように色を設定しなくてはならないという
課題である。
【0005】本発明は、これらの課題に鑑みてなされた
ものであり、画像データに日付情報などの付属情報を合
成して出力するための画像ファイル生成時に、元の画像
データの喪失を防ぎ、かつ元の画像データに応じた色を
設定することが可能な技術を提供することを目的とす
る。
【0006】
【課題を解決するための手段およびその作用・効果】上
記課題の少なくとも一部を解決するため、本発明は以下
の構成を採用した。すなわち、本発明の画像ファイル生
成装置は、画像ファイルを生成する画像ファイル生成装
置であって、画像データを入力する画像データ入力部
と、該画像データに合成して出力される第二の画像デー
タを生成するための合成画像情報を設定する合成画像情
報設定部と、前記画像データと前記合成画像情報とを一
体的に備える画像ファイルを生成する画像ファイル生成
部とを備え、前記合成画像情報は、前記第二の画像デー
タの色を設定する色設定情報を含むことを要旨とする。
【0007】このような画像ファイル生成装置によれ
ば、画像データと合成画像情報とが区分けして保持され
ているため、画像データの喪失を防ぐことができる。
【0008】なお、上記画像ファイル生成装置は、画像
ファイルを新規に生成するための装置に限定されること
はない。既に合成画像情報と画像データとを備えた画像
ファイルを入力し、合成画像情報を再設定する装置とし
て構成してもよいし、合成画像情報を含まない画像ファ
イルを入力し、新たに合成画像情報を付加する装置とし
て構成してもよい。
【0009】さらに、上記画像ファイル生成装置におい
て、前記色設定情報は、前記画像データに対する前記第
二の画像データの識別容易性に関する情報を含むことと
してもよい。
【0010】このような構成によれば、第二の画像デー
タの色を、識別容易性というパラメータにより間接的に
指定することができる。識別容易性とは、画像データに
第二の画像データを合成した場合の目立ち度合いを意味
しており、例えば、画像データに基づいて設定された所
定の基準色と第二の画像データの色との色差を規定する
パラメータとして定義することができる。かかるパラメ
ータを用いることにより、特定の色を設定することな
く、画像データに対し、第二の画像データを目立たせた
り、目立たせなくすることが可能となる。
【0011】また、上記画像ファイル生成装置におい
て、前記合成画像情報は、前記画像データに対して前記
第二の画像データを合成する位置情報を含むこととして
もよい。
【0012】かかる画像ファイル生成装置によれば、画
像データの任意の位置に第二の画像データを合成させる
ことができる。従って、画像データの要部が、第二の画
像データによって隠れてしまうことを防ぐことができ
る。
【0013】さらに、上記画像ファイル生成装置におい
て、前記合成画像情報設定部は、前記位置情報により特
定される前記画像データ内の所定の領域内の色に基づい
て設定された基準色に対して、前記識別容易性に応じた
色差を有する色を前記第二の画像データの色とすること
としてもよい。
【0014】かかる画像ファイル生成装置によれば、位
置情報により特定される画像データの所定の領域に含ま
れる色を参照し、指定された識別容易性でより的確に第
二の画像データの色を設定することができる。なお、所
定の領域は、必ずしも一定の面積を有する必要はなく特
定の点であってもよい。また、位置情報に関わりなく画
像データ全体としてもよい。
【0015】さらに、上記画像ファイル生成装置におい
て、前記合成画像情報は、前記画像データを入力した日
付に関する情報を含み、前記第二の画像データは、該日
付を表す画像データとすることができる。前記第二の画
像データは日付を表す画像データに限られることはな
く、例えば画像データの名称あるいは画像データの生成
者名などを表す画像データであってもよい。
【0016】なお、上述の種々の画像ファイル生成装置
は、ディジタルスチルカメラとして構成することができ
る他、ディジタルビデオカメラやスキャナ等といった、
画像ファイルを生成可能な装置に適用可能であることは
無論である。また、ディジタルスチルカメラとして構成
する場合、MPEG等の動画データにも適応可能であ
る。動画ファイルに合成画像情報を付加することによ
り、動画の全部または一部のフレームに対してテロップ
等の第二の画像データを合成することができる。
【0017】また、本発明は、上述の画像ファイルに基
づいて画像データを出力することができる画像データ出
力装置として構成することもできる。すなわち、本発明
の画像データ出力装置は、所定の合成画像情報と画像デ
ータとを含む画像ファイルを用いて画像データを出力す
る画像データ出力装置であって、前記合成画像情報は、
前記画像データに合成して出力される第二の画像データ
を生成するための情報であって、該第二の画像データの
色を設定する色設定情報を含んでおり、前記画像データ
出力装置は、前記画像ファイルを入力する画像ファイル
入力部と、前記合成画像情報に基づいて、前記第二の画
像データを生成する第二画像データ生成部と、前記入力
した画像ファイルに含まれる画像データと前記生成した
第二の画像データとを合成して出力する画像データ出力
部と、を備えることを要旨とする。
【0018】かかる画像データ出力装置によれば、入力
した画像ファイルに含まれる合成画像情報により第二の
画像データを画像ファイル生成時に予め設定した色で生
成することができる。ここで画像データの出力とは、印
刷、表示など画像データを可視的に出力する態様と、合
成された画像データ自体をディジタルデータとして出力
する態様とを含む。
【0019】上記画像データ出力装置において、前記合
成画像情報は、前記画像データに対して前記第二の画像
データを合成する位置情報を含み、前記画像データ出力
部は、該位置情報により特定される前記画像データ内の
所定の領域に前記第二の画像データを合成可能としても
よい。
【0020】かかる画像データ出力装置によれば、画像
ファイル生成時にユーザが所望した位置に第二の画像デ
ータを合成することができる。
【0021】さらに、上記画像データ出力装置におい
て、前記色設定情報は、前記画像データに対する前記第
二の画像データの識別容易性に関する情報を含み、前記
第二画像データ生成部は、前記位置情報により特定され
る前記画像データ内の所定の領域内の色に基づいて設定
された基準色に対して、前記識別容易性に応じた色差を
有する色を前記第二の画像データの色とすることとして
もよい。
【0022】かかる画像データ出力装置によれば、ユー
ザが画像ファイル生成時に指定した識別容易性に関する
情報に基づき、第二の画像データの色の設定を行う。該
第二の画像データの色は、合成される画像データの色を
参照して設定するため、より的確に識別容易性に関する
情報を反映することができる。
【0023】さらに、上記画像データ出力装置におい
て、前記合成画像情報は所定の日付に関する情報を含
み、前記第二画像データ生成部は、該日付を表す画像デ
ータを生成することとしてもよい。
【0024】かかる画像データ出力装置によれば、画像
データに日付を表す画像データを合成することができ
る。この日付は、入力した画像ファイルに含まれる画像
データが生成された日付であると、即座にその画像デー
タがいつ生成されたかが認識できるため、特に有用性が
高い。
【0025】上述の種々の画像データ出力装置は、プリ
ンタとして構成することにより、日付が表示された画像
データを印刷することができるため効果的である。ま
た、テレビやCRT、液晶ディスプレイといった各種表
示装置に適用することも可能である。
【0026】以上、各種画像データ出力装置について説
明したが、本発明は、画像データを出力する方法や、上
述の様々の機能を実現するコンピュータプログラムとし
て構成することも可能である。このようなコンピュータ
プログラムは、フレキシブルディスク(FD)やCD−
ROM、光磁気ディスク、ICカード、ROMカートリ
ッジ、外部記憶装置等、コンピュータが読み取り可能な
種々の媒体に記録してもよい。
【0027】
【発明の実施の形態】以下、本発明の実施の形態につい
て、画像ファイル生成装置としてディジタルスチルカメ
ラ、画像データ出力装置としてプリンタを例にとり、次
の順序で説明する。 A.画像出力システム: (A1)システム概要: (A2)その他の態様: B.ディジタルスチルカメラ概略構成: C.画像ファイル構造: D.プリンタ概略構成: E.画像ファイル生成処理: F.印刷処理: G.日付画像データ生成・合成処理:
【0028】A.画像出力システム: (A1)システム概要:図1は、本実施例にかかる画像
出力システムの一例を示す説明図である。ディジタルス
チルカメラ10は、人物や風景などを撮像し画像データ
(以下、元画像データという)を生成する。ディジタル
スチルカメラ10は、元画像データを生成した日付等の
情報(以下、日付データという)を入力する。ディジタ
ルスチルカメラ10は、元画像データと、日付データと
を一体的に備える画像ファイル11を生成する。
【0029】ディジタルスチルカメラ10のユーザは、
撮影した画像を印刷するにあたり、ディジタルスチルカ
メラ10内に格納されたメモリカード12を取り出し、
プリンタ13の所定のメモリカードスロットに装着す
る。プリンタ13は、装着されたメモリカード12から
画像ファイル11を読み込む。プリンタ13は、画像フ
ァイル11に記録された日付データを用いて日付画像デ
ータを生成する。その後、プリンタ13は、生成した日
付画像データと元画像データとを合成した画像データ
(以下、最終画像データという)を出力する。
【0030】プリンタ13に、メモリカード12から画
像ファイル11を直接入力する機能がない場合は、パー
ソナルコンピュータ14を介し印刷することができる。
この場合、パーソナルコンピュータ14は、外付けのメ
モリカードリーダ等の装置を介し、メモリカード12か
ら画像ファイル11を入力する。パーソナルコンピュー
タ14は、入力した画像ファイル11に記録された日付
データに応じて最適な日付画像データを生成し、元画像
データに合成して最終画像データを得る。パーソナルコ
ンピュータ14は、最終画像データをプリンタ13に転
送し、プリンタ13は、該最終画像データに基づき印刷
を行う。
【0031】パーソナルコンピュータ14は、上記の機
能のほか、ディジタルスチルカメラ10で一旦設定した
日付データを再設定したり、日付データを含まない画像
ファイルが入力された場合に、新たに日付データを付加
するといった機能を備えることもできる。
【0032】(A2)その他の態様:図2は、本実施例
にかかる画像出力システムのその他の例を示す説明図で
ある。画像処理システムは、図1で説明したディジタル
スチルカメラ10やプリンタ13、パーソナルコンピュ
ータ14のほかに、ディスプレイ20やサーバ21を含
むことができる。
【0033】ディスプレイ20は、画像ファイル11を
入力し、最終画像データを生成する機能を備えている。
生成した最終画像データは自身で表示を行うことができ
る。従って、パーソナルコンピュータ14やプリンタ1
3によらない出力が可能となる。
【0034】サーバ21は、ネットワークNEを介して
画像ファイル11を入力し、最終画像データを生成する
機能を備えている。生成した最終画像データは、ネット
ワークNEを介して出力することができる。そのため、
サーバ21は、プリンタ13やディスプレイ20に日付
画像データを生成する機能が内蔵されていない場合に、
これらの装置に代わって日付画像データの生成処理を行
うことができる。
【0035】画像ファイル11の受け渡しは、メモリカ
ード12を介した受け渡しに限られることはない。ケー
ブルCVや、有線または無線によるネットワークNEを
介し、各装置間で直接受け渡しを行ってもよい。
【0036】B.ディジタルスチルカメラ概略構成:図
3は、ディジタルスチルカメラ10の概略構成を示す説
明図である。ディジタルスチルカメラ10は、ディジタ
ルスチルカメラ10の全ての機能の制御を行う制御部3
0と、光の情報を画像データに変換するCCD部31
と、シャッター操作や各種パラメータの入力を行う操作
部32とを備えており、その他に、撮影した画像や入力
した各種パラメータの表示を行う液晶ディスプレイ33
や、生成した画像ファイルを記録するメモリカードを装
着するためのメモリカードスロット34等も備えてい
る。操作部32は、画像データに添付される日付データ
の設定等にも使用される。
【0037】制御部30は、CPU35やROM36、
RAM37等から構成されており、CPU35は、RO
M36内に記録されたプログラム(ファームウェア)に
従い、各種処理を行う。RAM37は、CPU35が各
種処理を行うためのワークエリアとして用いられる。制
御部30には、CCD部31から画像データを入力した
日付を取得するためのリアルタイムクロック回路38が
接続されている。
【0038】また、ディジタルスチルカメラ10は、メ
モリカードに代わり、画像ファイルの出力を行うことが
可能なUSBポートや、ネットワークを介して出力を行
うためのLANポート等を備えてもよい。
【0039】C.画像ファイル構造:図4は、ディジタ
ルスチルカメラ10によって生成される画像ファイルの
構造を示す説明図である。画像ファイル11は、ディジ
タルスチルカメラ用画像ファイルの規格であるExif
に従ったファイル構造により構成されている。Exif
の仕様は、電子情報技術産業協会(JEITA)によっ
て定められている。
【0040】画像ファイル11は、元画像データを格納
する画像データ格納領域40と、格納されている元画像
データに関する各種付属情報を格納する付属情報格納領
域41とを備えている。画像データ格納領域40には、
元画像データがJPEG形式で格納される。付属情報格
納領域41には、付属情報がTIFF形式で格納され
る。付属情報格納領域41は、その内部に記録されてい
る各種データのアドレスを、タグと呼ばれる識別子を用
いて管理している。
【0041】図5は、付属情報格納領域41内の構造を
示す説明図である。図示するように、付属情報格納領域
41には、日付データとして、元画像データを生成した
日付や、画像サイズ、日付画像データを合成する位置、
元画像データに対する日付画像データの目立ち度合い、
日付画像データを生成するためのフォント、フォントサ
イズ、日付生成形式といった各種パラメータが記録され
る。
【0042】本実施例では、付属情報格納領域41に、
上記日付データのほか、ディジタルスチルカメラ10が
元画像データを生成する際に用いた色空間やガンマ値と
いった画質補正データも記録している。この画質補正デ
ータは、プリンタ13等による画像データ出力時に、デ
ィジタルスチルカメラ10とプリンタ13との色再現性
の相違を解消するための画像処理に利用される。
【0043】なお、本実施例では、Exif規格に従っ
たファイル構造を用いているが、これに限られることは
ない。画像データは、JPEG形式ではなく、BMP形
式やTIFF形式等とすることもできる。
【0044】D.プリンタ概略構成:図6は、上述した
画像ファイルを用いて画像データを出力するプリンタの
概略構成を示す説明図である。プリンタ13は、プリン
タ13の全ての機能を制御するプリンタ制御部60と、
画像ファイル11を記録したメモリカード12を装着す
るためのメモリカードスロット61と、画像データを印
刷するための印刷部62等を備え、また、ユーザが印刷
指示を行うための操作部63も具備している。
【0045】プリンタ制御部60は、CPU64、RO
M65、RAM66を備えており、CPU64は、RO
M65に記録されたプログラム(ファームウェア)に従
い各種処理を行う。RAM66は、CPU64が各種処
理を行うためのワークエリアとして用いられる。ROM
65には、日付画像データを生成するためのフォントデ
ータや、プリンタ13特有のガンマ値等も格納されてい
る。
【0046】また、プリンタ13は、メモリカードに代
わり、画像ファイルを入力するためのUSBポートや、
LANポートを備えてもよい。
【0047】E.画像ファイル生成処理:図7は、ディ
ジタルスチルカメラ10による画像ファイルの生成処理
の流れを示すフローチャートである。ディジタルスチル
カメラ10のCPU35は、操作部32によるユーザの
シャッター操作により、CCD部31を介し元画像デー
タを入力する(ステップS100)。ディジタルスチル
カメラ10はその個体に応じて、sRGB色空間や拡張
sRGB色空間、NTSC色空間等のRGB色空間を用
いてCCD部から画像データを入力する。
【0048】色空間は、カメラの機種によって、sRG
BまたはNTSCと呼ばれる色空間が使い分けられてい
る。いずれの空間もRGBの座標系で色を定義する点で
は共通しているが、NTSCの方がsRGBよりも色再
現範囲が広い座標系である。sRGBの色空間について
は、通常、8ビット(0〜255)の範囲で定義される
が、この範囲を負値または256以上の値に拡張した色
空間(ここでは「拡張sRGB空間」と称する)が用い
られる場合もある。
【0049】CPU35は、ステップS100におい
て、元画像データの入力と同時に、リアルタイムクロッ
ク回路38より元画像データを入力した日付を取得し、
日付パラメータとして一時的にRAM37に記憶する。
【0050】CPU35は、入力した元画像データを、
周知のマトリックス変換により、RGB色空間からYC
bCr色空間に変換する。これは、圧縮率の高いJPE
G形式のデータとして画像ファイルを生成するためであ
る。色空間変換した元画像データは、一時的にRAMに
記憶する(ステップS101)。
【0051】さらに、CPU35は、図5で示した日付
データに含まれる各種パラメータをユーザから操作部3
2を介し入力し、一時的にRAMに記憶する(ステップ
S102)。
【0052】CPU35は、ステップS100によって
一時的にRAM37に記憶した元画像データと日付パラ
メータ、およびステップS102で入力した各種パラメ
ータを一体的に備える画像ファイルを上述のファイル構
造に従い生成する(ステップS103)。この時、元画
像データ生成時に用いた色空間およびディジタルスチル
カメラ10固有のガンマ値も合わせて画像ファイルに記
録する。
【0053】最後に、CPUは、生成した画像ファイル
をメモリカードスロット34に装着したメモリカードに
記録して(ステップS104)処理を終了する。
【0054】本画像ファイル生成処理により生成された
画像ファイルは、元画像データと、日付画像データを生
成するための日付データとを別々の領域に備える構成と
なる。従って、元画像データの一部を喪失することな
く、プリンタ等の画像データ出力装置に画像ファイルを
提供することができる。
【0055】F.印刷処理:図8は、上述の画像ファイ
ルを用いた画像データの出力処理の流れを示す説明図で
ある。画像を出力するに当たり、まず、ユーザは、メモ
リカード12をプリンタ13のメモリカードスロット6
1に装着する。プリンタ13のCPU64は、装着され
たメモリカード12から画像ファイルを入力する(ステ
ップS200)。
【0056】本実施例の画像ファイルは、既述のよう
に、元画像データをJPEG形式で保持している。JP
EG形式のデータは、YCbCr色空間で定義されてい
るため、CPU64は、これを撮影時のRGB色空間す
なわち、sRGB、拡張sRGB、NTSC等の色空間
に変換する(ステップS201)。この変換は、ディジ
タルスチルカメラ10でRGB空間からYCbCr空間
への変換に使用されたマトリックスの逆マトリックスを
用いて行われる。拡張sRGB色空間に変換された場合
には、この時点では、負値および256以上の値が含ま
れることになる。
【0057】次に、CPU64は、元画像データにガン
マ補正を施す(ステップS202)。このガンマ補正に
用いられるガンマ値は、ディジタルスチルカメラ10の
特性を表す情報として、画像ファイル生成時に、画質補
正パラメータとして画像ファイルに記録されている。
【0058】ガンマ補正が完了すると、元画像データの
色空間をsRGBよりも広い色再現範囲で定義されたw
RGB色空間に変換する処理を行う。NTSC色空間や
拡張sRGB色空間で生成された元画像データを、色再
現範囲が狭いsRGB色空間で処理すると、被写体の色
を忠実に再現できない場合があるからである。かかる観
点から、sRGB空間で生成された元画像データについ
ては、以下で説明する処理をスキップするものとしても
よい。本実施例では、画質補正パラメータに含まれる色
空間パラメータは、sRGB空間と拡張sRGB空間と
を区別していないため、sRGB空間で撮影された画像
データについてもwRGB空間への変換処理を行うもの
とした。かかる場合でも、拡張sRGB空間では、元画
像データに負値または256以上の値が含まれるため、
これらの階調値の有無によって拡張sRGB空間とsR
GB空間とを識別することは可能である。
【0059】wRGBへの色空間の変換処理は、マトリ
ックス演算によって行われる。本実施例におけるプリン
タ13は、sRGB色空間や拡張sRGB色空間、NT
SC色空間で定義された画像データを扱うことが可能で
ある。それぞれの色空間からwRGB色空間に直接変換
するマトリックスを定義することも可能ではあるが、本
実施例では、標準的なXYZ色空間を介して変換を行う
ものとした。
【0060】即ち、CPU64は、まず、RGB色空間
からXYZ色空間への変換を行う(ステップS20
3)。この変換処理は、画像データを定義する色空間に
よって相違する。つまり、sRGB色空間または拡張s
RGB色空間用の変換マトリックスTM1と、NTSC
色空間用の変換マトリックスTM2の2種類を予め用意
し、これらを使い分けることで撮影時の色空間に応じた
変換処理を実現する。この変換により、個別の色空間で
撮影された元画像データが、標準的なXYZ色空間に統
一されることになる。
【0061】次に、CPU64は、XYZ色空間からw
RGB色空間への変換処理を行う(ステップS20
4)。この処理もマトリックス演算である。ここでは撮
影時の色空間に関わらず、単一のマトリックスを用いて
変換することができる。演算に使用されるマトリックス
は、wRGB色空間の定義に応じて任意に設定可能であ
る。
【0062】先に説明した通り、sRGB色空間により
生成された元画像データは、それよりも広い色空間に変
換する必要性がないため、ステップS203,S204
の処理をスキップしても構わない。また、sRGB色空
間よりも広い色空間であるNTSC色空間によって生成
された元画像データにおいても、同様に、ステップS2
03、S204の処理をスキップしても構わない。この
ように、ステップS203、S204の処理は、元画像
データ生成時に利用された色空間と、最終的に用いる色
空間の相対的な関係によって適宜省略することができ
る。
【0063】色空間の変換処理が完了すると、CPU6
4は、逆ガンマ補正を行う(ステップS205)。ここ
で用いられるガンマ値は、その画像データを印刷しよう
とするプリンタ特有のガンマ値であり、本実施例ではプ
リンタ13内のROM65にその値が保持されている。
【0064】続いてCPU64は、画像ファイル11に
含まれる日付データを用いて、日付画像データを生成
し、元画像データに合成する(ステップS206)。本
処理については後述する。
【0065】CPU64は、上記ステップS206によ
って得られた最終画像データを出力するに当たり、RG
Bの画像データをCMYKに変換する処理を行う(ステ
ップS207)。この変換は、両者の色を対応づける変
換用ルックアップテーブル(LUT)を参照することで
行われる。本実施例の場合、wRGB色空間からCMY
Kへの変換用のテーブルLUTwが通常使用されること
になる。但し、sRGB空間で定義された画像データも
取扱可能とするため、プリンタには、sRGB色空間の
変換用テーブルLUTsも備え、画像データが定義され
ている色空間に応じてこれらのテーブルを使い分けるも
のとしてもよい。LUTsは、例えば、sRGB空間で
撮影された画像データについてステップS203、S2
04の色空間変換処理をスキップした場合、入力した画
像ファイル11に対し、画質を調整するための処理を一
切施すことなく出力する場合などに適用することができ
る。
【0066】こうしてCMYKの階調値に変換された最
終画像データに対し、CPU64は、ハーフトーン処理
を行う(ステップS208)。ハーフトーン処理は、画
像データの階調値を、プリンタで形成されるドットの密
度によって表現するための処理であり、例えば、誤差拡
散法、組織的ディザ法などの周知の方法によって行うこ
とができる。
【0067】これらの処理に加えて、CPU64は、最
終画像データの解像度をプリンタ13の解像度に適合さ
せる解像度変換処理、プリンタ13でインタレース記録
を行うようデータ配列および副走査の送り量などを設定
するインタレースデータ生成処理などを行うものとして
もよい。
【0068】以上のステップS207、S208で説明
した変換処理により、最終画像データは、プリンタ13
で直ちに出力可能な印刷データの形式に変換され、プリ
ンタ13は、このデータに基づき印刷部62を介し印刷
を実行する(ステップS209)。
【0069】G.日付画像データ生成・合成処理:一般
的に色の目立ち度合いとは、低明度の色に対して高明度
の色、色相においては反対色関係にある色、低彩度の色
に対して高彩度の色というような組み合わせによって、
目立つ色を設定することができる。また、これらの差を
調整することによって、目立ち度合いを適宜調整するこ
とが可能となる。
【0070】本実施例において、ユーザは、画像ファイ
ル生成時に、この目立ち度合いuを0から10の11段
階で設定する。uが0の場合、明度、彩度、色相の変更
量は0であることを意味し、uが10の場合、それらの
変更量が最大となることを意味する。その間の変更量
は、uに応じて線形的に変化するものとする。
【0071】図9は、上述した印刷処理のステップS2
06における日付画像データの生成・合成処理の流れを
示すフローチャートである。本処理の流れについて、図
10を交え説明する。
【0072】プリンタ13のCPU64は、図10
(a)に図示するように、元画像データに対して日付画
像データを合成しようとする領域Aを算出する(ステッ
プS300)。領域Aは、入力した画像ファイルに含ま
れる日付合成位置パラメータ(x,y)、フォントパラ
メータおよびフォントサイズパラメータによって算出可
能である。次に、領域A内に含まれる画素のRGB各色
について平均値を求める(ステップS301)。
【0073】続いてCPU64は、元画像データがカラ
ー画像であるかグレースケール画像であるかを判別する
(ステップS302)。元画像データがグレースケール
であれば、RGB各々の成分がすべて同じ値の画素によ
り領域Aのすべての画素が構成されているため、これを
調べることによってよって、カラー画像か、グレースケ
ール画像かを判別可能である。
【0074】元画像データがグレースケール画像であっ
た場合、明度、彩度、色相のうち、明度のみの調整によ
り目立ち度合いは調整可能である。CPU64は、画像
ファイルに記録された目立ち度合いパラメータuを用
い、以下の演算により日付画像データのRGB値を設定
する。なお、以下の種々の演算で用いる各値の範囲は、
R、G、B、S、Iは0〜1の実数、Hは0〜2πの実
数とした。
【0075】領域A内のRGBの平均値はすべて同じ値
となるため、その明度をIとすると、 I=R=G=B となる。
【0076】明度の変更量ΔIは、目立ち度合いu(u
=0,1,…,10)によって次のように決まる(ステ
ップS303)。 ・Iが0.5以上の場合 ΔI=u(0−I)/10 ・Iが0.5未満の場合 ΔI=u(1−I)/10
【0077】上記演算は、次のことを意味している。I
が0.5以上の場合とは、即ち領域A内の平均値が比較
的明るい場合であるから、目立ち度合いuに応じて、日
付画像データが暗くなるよう設定される。Iが0.5未
満の場合とは、逆に比較的暗い場合であるから、日付画
像データは明るくなるよう設定される。
【0078】最終的に、日付画像データの明度IMは以
下の計算により求めることができる(ステップS30
4)。 IM=I+ΔI
【0079】以上の演算により、日付画像データのRG
B値は、それぞれ、R=IM、G=IM、B=IMとな
る(ステップS305)。
【0080】元画像データがカラー画像の場合、まず、
領域A内のRGBの平均値を6角錐カラーモデル(図1
1参照)に基づくHSI変換によって色相H、彩度S、
明度Iの各要素に変換を行う(ステップS306)。周
知の通り、調整によって彩度が小さくなると、色相を変
更する効果が小さくなるので、彩度と明度に任意の下限
値を設定する。本実施例では、下限値を0.25とし
た。
【0081】明度の変更量ΔIおよび彩度の変更量ΔS
は、目立ち度合いu(u=0,1,…,10)によって
次のように決まる(ステップS307)。 ・Iが0.5以上の場合 ΔI=u(0.25−I)/10 ΔS=u(0.25−S)/10 ・Iが0.5未満の場合 ΔI=u(1−I)/10 ΔS=u(1−S)/10 色相の変更量ΔHは、次のように決まる(ステップS3
07)。 ΔH=uπ/10
【0082】なお、上記ΔHの演算は、 ΔH=−uπ/10 としても構わない。なお、既述した理由により、上記演
算においても、Iが0.5以上と未満との場合で場合分
けを行っている。本実施例では、Iによって場合分けを
行ったが、Sによって場合分けを行ってもよいし、Hに
よって行ってもよい。
【0083】以上の演算により、日付画像データの明度
IM、彩度SM、色相HMは、 IM=I+ΔI SM=S+ΔS HM=H+ΔH となる(ステップS308)。
【0084】CPU64は、これらのHM、SM、IM
値からHSI逆変換(ステップS309)によって、日
付画像データのRGB値を得る(ステップS305)。
【0085】以上の処理によって日付画像データの色が
設定される。CPU64は、この色を用いて、日付デー
タによって指定されたフォント、フォントサイズ、年月
日の並びを指定するパラメータを参照し、図10(b)
に示すような日付画像データを生成する(ステップS3
10)。最後に、日付画像データを元画像データと周知
の重ね合わせ処理により合成し(ステップS311)、
図10(c)に示す最終画像データを得る。最後に上述
の印刷処理のステップS207に処理を戻す。
【0086】上記においては、日付画像データをプリン
タ13にて生成、合成する場合について説明した。しか
し、既述のとおり、ディスプレイ20やサーバ21にお
いても同様の処理を行うことができる。この場合、上記
ステップS200〜S206をこれらの装置で行う。デ
ィスプレイ20は、ステップS206によって得られた
画像データを直接画面に表示し、サーバ21は、ステッ
プS200をネットワーク経由で行い、ステップS20
6によって得られた画像データをネットワークを介して
他の装置に転送する。
【0087】また、本処理は、プリンタ13やディスプ
レイ20、サーバ21のほか、パーソナルコンピュータ
のプログラムとしても実現可能である。この場合、プリ
ンタドライバとして構成することができる。プログラム
は、各種記憶媒体に記録可能であり、記憶媒体として、
フレキシブルディスク(FD)やCD−ROM、光磁気
ディスク、ICカード、ROMカートリッジ、外部記憶
装置等を用いることができる。プログラムとして構成す
る場合、本処理のステップS200からステップS20
7までの処理を行い。ステップS207で得られた最終
画像データを、プリンタ等の出力装置に転送することで
出力を行うことができる。出力装置はプリンタに限られ
ることはなく、パーソナルコンピュータに接続されたC
RT等にも出力可能である。
【0088】また、既述のように、パーソナルコンピュ
ータを用いることにより、画像ファイルに含まれる日付
データの再設定や、日付データを含まない画像ファイル
に対し、新たに日付データを付加すること等が可能とな
る。
【0089】パーソナルコンピュータを用いれば、マウ
ス等を用いることにより日付画像データを合成する位置
を簡易な操作で設定することができる。この際、上記演
算によりリアルタイムに色を変化させる構成とすれば、
即座に日付画像データの色を確認することができ、より
利便性の高い構成とすることができる。本実施例におけ
る画像ファイルは、元画像データと日付データとを区分
けして保持しているため。日付画像データの合成位置
を、初期の位置から変更したとしても画像の一部が欠け
るという現象が生じることはない。
【0090】上述した日付画像データの色設定処理にお
いては、色相の変更量をユーザ所望の目立ち度合いに応
じて変化させる構成としたが、画像ファイルに含まれる
日付パラメータから、画像を撮影した季節を判別して、
季節が春の場合はピンク色系、夏の場合は青色系、秋の
場合は茶色系、冬の場合は赤色系といった色相を指定す
る構成としてもよい。
【0091】上記実施例において、目立ち度合いに代え
て、日付画像データの色を直接指定する情報を画像ファ
イル中に含めるものとしてもよい。この場合、色の指定
は、ユーザがディジタルスチルカメラ10で行うものと
してもよいし、ディジタルスチルカメラ10が演算して
設定するものとしてもよい。後者の態様としては、ユー
ザが設定して目立ち度合いに基づいて、ディジタルスチ
ルカメラ10が図9〜11で示した処理を行う場合があ
げられる。
【0092】以上、本発明の種々の実施例について説明
したが、本発明はこれらの実施例に限定されず、その趣
旨を逸脱しない範囲で種々の構成を採ることができる。
上述した各種処理をソフトウェアで実現することができ
る他、ハードウェア的に実現するものとしてもよい。
【図面の簡単な説明】
【図1】画像出力システムの一例を示す説明図である。
【図2】画像出力システムのその他の例を示す説明図で
ある。
【図3】ディジタルスチルカメラの概略構成を示す説明
図である。
【図4】ディジタルスチルカメラによって生成される画
像ファイルの構造を示す説明図である。
【図5】画像ファイルに含まれる付属情報格納領域の構
造を示す説明図である。
【図6】プリンタの概略構成を示す説明図である。
【図7】画像ファイルの生成処理の流れを示すフローチ
ャートである。
【図8】画像ファイルを用いた画像データの出力処理の
流れを示す説明図である。
【図9】日付画像データの生成・合成処理の流れを示す
フローチャートである。
【図10】日付画像データの生成・合成処理を簡易的に
示す説明図である。
【図11】6角錐カラーモデルを示す参考図である。
【符号の説明】
10…ディジタルスチルカメラ 11…画像ファイル 12…メモリカード 13…プリンタ 14…パーソナルコンピュータ 20…ディスプレイ 21…サーバ 30…制御部 32…操作部 33…液晶ディスプレイ 34…メモリカードスロット 38…リアルタイムクロック回路 40…画像データ格納領域 41…付属情報格納領域 60…プリンタ制御部 61…メモリカードスロット 62…印刷部 63…操作部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/64 H04N 101:00 5C079 H04N 101:00 1/46 Z Fターム(参考) 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE11 CE18 CG05 CH01 CH11 5C022 AA13 AB68 AC13 AC42 AC69 5C065 AA03 BB01 CC02 CC03 CC08 CC09 DD02 GG30 GG44 5C066 AA01 CA05 CA21 EB01 EB11 ED01 GA02 GA05 HA02 KA12 KE16 KM01 KM11 5C076 AA16 AA26 BA03 BA06 CA01 CA10 5C079 HB01 HB03 HB04 HB05 HB06 HB12 LA02 LA10 LA40 MA01 NA06 PA03

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 画像ファイルを生成する画像ファイル生
    成装置であって、 画像データを入力する画像データ入力部と、 該画像データに合成して出力される第二の画像データを
    生成するための合成画像情報を設定する合成画像情報設
    定部と、 前記画像データと前記合成画像情報とを一体的に備える
    画像ファイルを生成する画像ファイル生成部とを備え、 前記合成画像情報は、前記第二の画像データの色を設定
    する色設定情報を含む、 画像ファイル生成装置。
  2. 【請求項2】 請求項1に記載の画像ファイル生成装置
    であって、 前記色設定情報は、前記画像データに対する前記第二の
    画像データの識別容易性に関する情報を含む画像ファイ
    ル生成装置。
  3. 【請求項3】 請求項2に記載の画像ファイル生成装置
    であって、 前記合成画像情報は、前記画像データに対して前記第二
    の画像データを合成する位置情報を含むファイル生成装
    置。
  4. 【請求項4】 請求項3に記載の画像ファイル生成装置
    であって、 前記合成画像情報設定部は、前記位置情報により特定さ
    れる前記画像データ内の所定の領域内の色に基づいて設
    定された基準色に対して、前記識別容易性に応じた色差
    を有する色を前記第二の画像データの色とする画像ファ
    イル生成装置。
  5. 【請求項5】 請求項1〜4にいずれか記載の画像ファ
    イル生成装置であって、 前記合成画像情報は、前記画像データを入力した日付に
    関する情報を含み、 前記第二の画像データは、該日付を表す画像データであ
    る画像ファイル生成装置。
  6. 【請求項6】 ディジタルスチルカメラとして構成した
    請求項1〜5にいずれか記載の画像ファイル生成装置。
  7. 【請求項7】 所定の合成画像情報と画像データとを含
    む画像ファイルを用いて画像データを出力する画像デー
    タ出力装置であって、 前記合成画像情報は、前記画像データに合成して出力さ
    れる第二の画像データを生成するための情報であって、
    該第二の画像データの色を設定する色設定情報を含んで
    おり、 前記画像データ出力装置は、 前記画像ファイルを入力する画像ファイル入力部と、 前記合成画像情報に基づいて、前記第二の画像データを
    生成する第二画像データ生成部と、 前記入力した画像ファイルに含まれる画像データと前記
    生成した第二の画像データとを合成して出力する画像デ
    ータ出力部と、 を備える画像データ出力装置。
  8. 【請求項8】 請求項7に記載の画像データ出力装置で
    あって、 前記合成画像情報は、前記画像データに対して前記第二
    の画像データを合成する位置情報を含んでおり、 前記画像データ出力部は、該位置情報により特定される
    前記画像データ内の所定の領域に前記第二の画像データ
    を合成する画像データ出力装置。
  9. 【請求項9】 請求項8に記載の画像データ出力装置で
    あって、 前記色設定情報は、前記画像データに対する前記第二の
    画像データの識別容易性に関する情報を含んでおり、 前記第二画像データ生成部は、前記位置情報により特定
    される前記画像データ内の所定の領域内の色に基づいて
    設定された基準色に対して、前記識別容易性に応じた色
    差を有する色を前記第二の画像データの色とする画像デ
    ータ出力装置。
  10. 【請求項10】 請求項7〜9にいずれか記載の画像デ
    ータ出力装置であって、 前記合成画像情報は所定の日付に関する情報を含んでお
    り、 前記第二画像データ生成部は、該日付を表す画像データ
    を生成する画像データ出力装置。
  11. 【請求項11】 請求項10に記載の画像データ出力装
    置であって、 前記所定の日付は、前記画像ファイルに含まれる画像デ
    ータが生成された日付である画像データ出力装置。
  12. 【請求項12】 プリンタとして構成した請求項7〜1
    1にいずれか記載の画像データ出力装置。
  13. 【請求項13】 所定の合成画像情報と画像データとを
    含む画像ファイルを用いて画像データを出力する画像デ
    ータ出力方法であって、 前記合成画像情報は、前記画像データに合成して出力さ
    れる第二の画像データを生成するための情報であって、
    該第二の画像データの色を設定する色設定情報を含んで
    おり、 前記画像データ出力方法は、 前記画像ファイルを入力する画像ファイル入力工程と、 前記合成画像情報に基づいて前記第二の画像データを生
    成する第二画像データ生成工程と、 前記入力した画像ファイルに含まれる画像データと前記
    生成した第二の画像データとを合成して出力する画像デ
    ータ出力工程と、 を備える画像データ出力方法。
  14. 【請求項14】 所定の合成画像情報と画像データとを
    含む画像ファイルを用いて画像データをコンピュータに
    出力させるコンピュータプログラムであって、 前記合成画像情報は、前記画像データに合成して出力さ
    れる第二の画像データを生成するための情報であって、
    該第二の画像データの色を設定する色設定情報を含んで
    おり、 前記コンピュータプログラムは、 前記画像ファイルを入力する機能と、 前記合成画像情報に基づいて前記第二の画像データを生
    成する機能と、 前記入力した画像ファイルに含まれる画像データと前記
    生成した第二の画像データとを合成して出力する機能
    と、 をコンピュータに実現させるコンピュータプログラム。
  15. 【請求項15】 請求項14に記載のコンピュータプロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
JP2001255657A 2001-08-27 2001-08-27 画像ファイル生成装置および画像データ出力装置 Expired - Fee Related JP3900871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001255657A JP3900871B2 (ja) 2001-08-27 2001-08-27 画像ファイル生成装置および画像データ出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001255657A JP3900871B2 (ja) 2001-08-27 2001-08-27 画像ファイル生成装置および画像データ出力装置

Publications (2)

Publication Number Publication Date
JP2003069806A true JP2003069806A (ja) 2003-03-07
JP3900871B2 JP3900871B2 (ja) 2007-04-04

Family

ID=19083589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001255657A Expired - Fee Related JP3900871B2 (ja) 2001-08-27 2001-08-27 画像ファイル生成装置および画像データ出力装置

Country Status (1)

Country Link
JP (1) JP3900871B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279740A (ja) * 2006-04-07 2007-10-25 Gunko Kagi (Shenzhen) Yugenkoshi 表示装置及びその信号送信方法
JP2009260613A (ja) * 2008-04-16 2009-11-05 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146308A (ja) * 1997-11-13 1999-05-28 Fuji Photo Film Co Ltd 画像情報記録装置および画像プリントシステム
JP2001008064A (ja) * 1999-06-24 2001-01-12 Casio Comput Co Ltd 電子カメラ装置及び重畳表示情報配置方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146308A (ja) * 1997-11-13 1999-05-28 Fuji Photo Film Co Ltd 画像情報記録装置および画像プリントシステム
JP2001008064A (ja) * 1999-06-24 2001-01-12 Casio Comput Co Ltd 電子カメラ装置及び重畳表示情報配置方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279740A (ja) * 2006-04-07 2007-10-25 Gunko Kagi (Shenzhen) Yugenkoshi 表示装置及びその信号送信方法
JP2009260613A (ja) * 2008-04-16 2009-11-05 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP3900871B2 (ja) 2007-04-04

Similar Documents

Publication Publication Date Title
US7312824B2 (en) Image-capturing apparatus, image processing apparatus and image recording apparatus
US7327490B2 (en) Image processing system via network
US8279481B2 (en) Update control of image processing control data
US7825962B2 (en) Image generation with integrating control data
US20050185837A1 (en) Image-processing method, image-processing apparatus and image-recording apparatus
US20040095478A1 (en) Image-capturing apparatus, image-processing apparatus, image-recording apparatus, image-processing method, program of the same and recording medium of the program
US20100085445A1 (en) Adjustment for output image of image data
JP4533287B2 (ja) 色処理方法およびその装置
US20040041926A1 (en) Image-capturing apparatus, imager processing apparatus and image recording apparatus
US20040041920A1 (en) Image forming method, image processing apparatus, and image recording apparatus
US7324702B2 (en) Image processing method, image processing apparatus, image recording apparatus, program, and recording medium
JP2004336521A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP3900871B2 (ja) 画像ファイル生成装置および画像データ出力装置
JP2003052002A (ja) 画像ファイルの出力画像調整
JP2004096508A (ja) 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体
JP4292873B2 (ja) 画像処理方法、画像処理装置及び画像記録装置
JP2003134457A (ja) 電子カメラ
JP2004328530A (ja) 撮像装置、画像処理装置及び画像記録装置
JP3858859B2 (ja) 画像データの出力調整
JP2003032618A (ja) 処理制御データ付き画像ファイルの生成装置
JP4270204B2 (ja) 画像データの出力調整
JP2004295410A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005202749A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP5783225B2 (ja) 画像データの出力調整
JPH1132349A (ja) カラープリンタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140112

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees