JP3900871B2 - Image file generation device and image data output device - Google Patents

Image file generation device and image data output device Download PDF

Info

Publication number
JP3900871B2
JP3900871B2 JP2001255657A JP2001255657A JP3900871B2 JP 3900871 B2 JP3900871 B2 JP 3900871B2 JP 2001255657 A JP2001255657 A JP 2001255657A JP 2001255657 A JP2001255657 A JP 2001255657A JP 3900871 B2 JP3900871 B2 JP 3900871B2
Authority
JP
Japan
Prior art keywords
image data
image
color
information
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001255657A
Other languages
Japanese (ja)
Other versions
JP2003069806A (en
Inventor
利文 中嶋
直樹 鍬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001255657A priority Critical patent/JP3900871B2/en
Publication of JP2003069806A publication Critical patent/JP2003069806A/en
Application granted granted Critical
Publication of JP3900871B2 publication Critical patent/JP3900871B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データを出力する際に第二の画像データを合成して出力する技術に関する。
【0002】
【従来の技術】
従来の写真フィルムを用いた一眼レフカメラやコンパクトカメラ等は、撮影時に日付情報をフィルムに同時に写し込む機能が一般的に備えられていた。このような機能は、その写真がいつ撮影されたかを即座に認識することができるため、大変利便性の高い機能であった。しかし、日付情報が予め決められた位置や色で画像に写し込まれていたため、被写体の一部が隠れて見え辛くなったり、写真全体の色調と日付の色が同系色の場合に認識しにくくなるといった問題が生じていた。
【0003】
近年広く利用されているディジタルスチルカメラにおいても、上述のような従来のカメラと同様の機能を実現する技術が提案されている。ディジタルスチルカメラは、画像を電子データとして扱うため、日付情報をユーザ所望の位置や色で画像に合成するといった処理により、比較的簡易な構成で上記問題を解消することはできる。
【0004】
【発明が解決しようとする課題】
しかし、ディジタルスチルカメラを用いた日付情報の合成処理には、次のような新たな課題が生じている。すなわち、日付情報を画像に合成することにより、元の画像データ内の日付情報を合成した部分のデータが喪失してしまうという課題と、ユーザが被写体を撮影する毎に、日付情報が背景に紛れてしまわないように色を設定しなくてはならないという課題である。
【0005】
本発明は、これらの課題に鑑みてなされたものであり、画像データに日付情報などの付属情報を合成して出力するための画像ファイル生成時に、元の画像データの喪失を防ぎ、かつ元の画像データに応じた色を設定することが可能な技術を提供することを目的とする。
【0006】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決するため、本発明は以下の構成を採用した。すなわち、本発明の画像ファイル生成装置は、
画像ファイルを生成する画像ファイル生成装置であって、
画像データを入力する画像データ入力部と、
該画像データに合成して出力される第二の画像データを生成するための合成画像情報を設定する合成画像情報設定部と、
前記画像データと前記合成画像情報とを一体的に備える画像ファイルを生成する画像ファイル生成部とを備え、
前記合成画像情報は、前記第二の画像データの色を設定する色設定情報を含み、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含むことを要旨とする。
【0007】
このような画像ファイル生成装置によれば、画像データと合成画像情報とが区分けして保持されているため、画像データの喪失を防ぐことができる。更に、本発明の画像ファイル生成装置によれば、第二の画像データの色を、識別容易性というパラメータにより間接的に指定することができる。識別容易性とは、画像データに第二の画像データを合成した場合の目立ち度合いを意味しており、例えば、画像データに基づいて設定された所定の基準色と第二の画像データの色との色差を規定するパラメータとして定義することができる。かかるパラメータを用いることにより、特定の色を設定することなく、画像データに対し、第二の画像データを目立たせたり、目立たせなくすることが可能となる。
【0008】
なお、上記画像ファイル生成装置は、画像ファイルを新規に生成するための装置に限定されることはない。既に合成画像情報と画像データとを備えた画像ファイルを入力し、合成画像情報を再設定する装置として構成してもよいし、合成画像情報を含まない画像ファイルを入力し、新たに合成画像情報を付加する装置として構成してもよい。
【0011】
また、上記画像ファイル生成装置において、
前記合成画像情報は、前記画像データに対して前記第二の画像データを合成する位置情報を含むこととしてもよい。
【0012】
かかる画像ファイル生成装置によれば、画像データの任意の位置に第二の画像データを合成させることができる。従って、画像データの要部が、第二の画像データによって隠れてしまうことを防ぐことができる。
【0013】
さらに、上記画像ファイル生成装置において、
前記合成画像情報設定部は、前記位置情報により特定される前記画像データ内の所定の領域内の色に基づいて設定された基準色に対して、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とすることとしてもよい。
【0014】
かかる画像ファイル生成装置によれば、位置情報により特定される画像データの所定の領域に含まれる色を参照し、指定された識別容易性でより的確に第二の画像データの色を設定することができる。なお、所定の領域は、必ずしも一定の面積を有する必要はなく特定の点であってもよい。また、位置情報に関わりなく画像データ全体としてもよい。
【0015】
さらに、上記画像ファイル生成装置において、
前記合成画像情報は、前記画像データを入力した日付に関する情報を含み、
前記第二の画像データは、該日付を表す画像データとすることができる。
前記第二の画像データは日付を表す画像データに限られることはなく、例えば画像データの名称あるいは画像データの生成者名などを表す画像データであってもよい。
【0016】
なお、上述の種々の画像ファイル生成装置は、ディジタルスチルカメラとして構成することができる他、ディジタルビデオカメラやスキャナ等といった、画像ファイルを生成可能な装置に適用可能であることは無論である。また、ディジタルスチルカメラとして構成する場合、MPEG等の動画データにも適応可能である。動画ファイルに合成画像情報を付加することにより、動画の全部または一部のフレームに対してテロップ等の第二の画像データを合成することができる。
【0017】
また、本発明は、上述の画像ファイルに基づいて画像データを出力することができる画像データ出力装置として構成することもできる。すなわち、本発明の画像データ出力装置は、
所定の合成画像情報と画像データとを含む画像ファイルを用いて画像データを出力する画像データ出力装置であって、
前記合成画像情報は、前記画像データに合成して出力される第二の画像データを生成するための情報であって、該第二の画像データの色を設定する色設定情報を含んでおり、
前記画像ファイルを入力する画像ファイル入力部と、
前記合成画像情報に基づいて、前記第二の画像データを生成する第二画像データ生成部と、
前記入力した画像ファイルに含まれる画像データと前記生成した第二の画像データとを合成して出力する画像データ出力部とを備え、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含んでおり、
前記第二画像データ生成部は、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とすることを要旨とする。
【0018】
かかる画像データ出力装置によれば、入力した画像ファイルに含まれる合成画像情報により第二の画像データを画像ファイル生成時に予め設定した色で生成することができる。ここで画像データの出力とは、印刷、表示など画像データを可視的に出力する態様と、合成された画像データ自体をディジタルデータとして出力する態様とを含む。
【0019】
上記画像データ出力装置において、
前記合成画像情報は、前記画像データに対して前記第二の画像データを合成する位置情報を含み、
前記画像データ出力部は、該位置情報により特定される前記画像データ内の所定の領域に前記第二の画像データを合成可能としてもよい。
【0020】
かかる画像データ出力装置によれば、画像ファイル生成時にユーザが所望した位置に第二の画像データを合成することができる。
【0021】
さらに、上記画像データ出力装置において、
前記第二画像データ生成部は、前記位置情報により特定される前記画像データ内の所定の領域内の色に基づいて設定された基準色に対して、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とすることとしてもよい。
【0022】
かかる画像データ出力装置によれば、ユーザが画像ファイル生成時に指定した識別容易性に関する情報に基づき、第二の画像データの色の設定を行う。該第二の画像データの色は、合成される画像データの色を参照して設定するため、より的確に識別容易性に関する情報を反映することができる。
【0023】
さらに、上記画像データ出力装置において、
前記合成画像情報は所定の日付に関する情報を含み、
前記第二画像データ生成部は、該日付を表す画像データを生成することとしてもよい。
【0024】
かかる画像データ出力装置によれば、画像データに日付を表す画像データを合成することができる。この日付は、入力した画像ファイルに含まれる画像データが生成された日付であると、即座にその画像データがいつ生成されたかが認識できるため、特に有用性が高い。
【0025】
上述の種々の画像データ出力装置は、プリンタとして構成することにより、日付が表示された画像データを印刷することができるため効果的である。また、テレビやCRT、液晶ディスプレイといった各種表示装置に適用することも可能である。
【0026】
以上、各種画像データ出力装置について説明したが、本発明は、画像データを出力する方法や、上述の様々の機能を実現するコンピュータプログラムとして構成することも可能である。このようなコンピュータプログラムは、フレキシブルディスク(FD)やCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、外部記憶装置等、コンピュータが読み取り可能な種々の媒体に記録してもよい。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について、画像ファイル生成装置としてディジタルスチルカメラ、画像データ出力装置としてプリンタを例にとり、次の順序で説明する。
A.画像出力システム:
(A1)システム概要:
(A2)その他の態様:
B.ディジタルスチルカメラ概略構成:
C.画像ファイル構造:
D.プリンタ概略構成:
E.画像ファイル生成処理:
F.印刷処理:
G.日付画像データ生成・合成処理:
【0028】
A.画像出力システム:
(A1)システム概要:
図1は、本実施例にかかる画像出力システムの一例を示す説明図である。ディジタルスチルカメラ10は、人物や風景などを撮像し画像データ(以下、元画像データという)を生成する。ディジタルスチルカメラ10は、元画像データを生成した日付等の情報(以下、日付データという)を入力する。ディジタルスチルカメラ10は、元画像データと、日付データとを一体的に備える画像ファイル11を生成する。
【0029】
ディジタルスチルカメラ10のユーザは、撮影した画像を印刷するにあたり、ディジタルスチルカメラ10内に格納されたメモリカード12を取り出し、プリンタ13の所定のメモリカードスロットに装着する。プリンタ13は、装着されたメモリカード12から画像ファイル11を読み込む。プリンタ13は、画像ファイル11に記録された日付データを用いて日付画像データを生成する。その後、プリンタ13は、生成した日付画像データと元画像データとを合成した画像データ(以下、最終画像データという)を出力する。
【0030】
プリンタ13に、メモリカード12から画像ファイル11を直接入力する機能がない場合は、パーソナルコンピュータ14を介し印刷することができる。この場合、パーソナルコンピュータ14は、外付けのメモリカードリーダ等の装置を介し、メモリカード12から画像ファイル11を入力する。パーソナルコンピュータ14は、入力した画像ファイル11に記録された日付データに応じて最適な日付画像データを生成し、元画像データに合成して最終画像データを得る。パーソナルコンピュータ14は、最終画像データをプリンタ13に転送し、プリンタ13は、該最終画像データに基づき印刷を行う。
【0031】
パーソナルコンピュータ14は、上記の機能のほか、ディジタルスチルカメラ10で一旦設定した日付データを再設定したり、日付データを含まない画像ファイルが入力された場合に、新たに日付データを付加するといった機能を備えることもできる。
【0032】
(A2)その他の態様:
図2は、本実施例にかかる画像出力システムのその他の例を示す説明図である。画像処理システムは、図1で説明したディジタルスチルカメラ10やプリンタ13、パーソナルコンピュータ14のほかに、ディスプレイ20やサーバ21を含むことができる。
【0033】
ディスプレイ20は、画像ファイル11を入力し、最終画像データを生成する機能を備えている。生成した最終画像データは自身で表示を行うことができる。従って、パーソナルコンピュータ14やプリンタ13によらない出力が可能となる。
【0034】
サーバ21は、ネットワークNEを介して画像ファイル11を入力し、最終画像データを生成する機能を備えている。生成した最終画像データは、ネットワークNEを介して出力することができる。そのため、サーバ21は、プリンタ13やディスプレイ20に日付画像データを生成する機能が内蔵されていない場合に、これらの装置に代わって日付画像データの生成処理を行うことができる。
【0035】
画像ファイル11の受け渡しは、メモリカード12を介した受け渡しに限られることはない。ケーブルCVや、有線または無線によるネットワークNEを介し、各装置間で直接受け渡しを行ってもよい。
【0036】
B.ディジタルスチルカメラ概略構成:
図3は、ディジタルスチルカメラ10の概略構成を示す説明図である。ディジタルスチルカメラ10は、ディジタルスチルカメラ10の全ての機能の制御を行う制御部30と、光の情報を画像データに変換するCCD部31と、シャッター操作や各種パラメータの入力を行う操作部32とを備えており、その他に、撮影した画像や入力した各種パラメータの表示を行う液晶ディスプレイ33や、生成した画像ファイルを記録するメモリカードを装着するためのメモリカードスロット34等も備えている。操作部32は、画像データに添付される日付データの設定等にも使用される。
【0037】
制御部30は、CPU35やROM36、RAM37等から構成されており、CPU35は、ROM36内に記録されたプログラム(ファームウェア)に従い、各種処理を行う。RAM37は、CPU35が各種処理を行うためのワークエリアとして用いられる。制御部30には、CCD部31から画像データを入力した日付を取得するためのリアルタイムクロック回路38が接続されている。
【0038】
また、ディジタルスチルカメラ10は、メモリカードに代わり、画像ファイルの出力を行うことが可能なUSBポートや、ネットワークを介して出力を行うためのLANポート等を備えてもよい。
【0039】
C.画像ファイル構造:
図4は、ディジタルスチルカメラ10によって生成される画像ファイルの構造を示す説明図である。画像ファイル11は、ディジタルスチルカメラ用画像ファイルの規格であるExifに従ったファイル構造により構成されている。Exifの仕様は、電子情報技術産業協会(JEITA)によって定められている。
【0040】
画像ファイル11は、元画像データを格納する画像データ格納領域40と、格納されている元画像データに関する各種付属情報を格納する付属情報格納領域41とを備えている。画像データ格納領域40には、元画像データがJPEG形式で格納される。付属情報格納領域41には、付属情報がTIFF形式で格納される。付属情報格納領域41は、その内部に記録されている各種データのアドレスを、タグと呼ばれる識別子を用いて管理している。
【0041】
図5は、付属情報格納領域41内の構造を示す説明図である。図示するように、付属情報格納領域41には、日付データとして、元画像データを生成した日付や、画像サイズ、日付画像データを合成する位置、元画像データに対する日付画像データの目立ち度合い、日付画像データを生成するためのフォント、フォントサイズ、日付生成形式といった各種パラメータが記録される。
【0042】
本実施例では、付属情報格納領域41に、上記日付データのほか、ディジタルスチルカメラ10が元画像データを生成する際に用いた色空間やガンマ値といった画質補正データも記録している。この画質補正データは、プリンタ13等による画像データ出力時に、ディジタルスチルカメラ10とプリンタ13との色再現性の相違を解消するための画像処理に利用される。
【0043】
なお、本実施例では、Exif規格に従ったファイル構造を用いているが、これに限られることはない。画像データは、JPEG形式ではなく、BMP形式やTIFF形式等とすることもできる。
【0044】
D.プリンタ概略構成:
図6は、上述した画像ファイルを用いて画像データを出力するプリンタの概略構成を示す説明図である。プリンタ13は、プリンタ13の全ての機能を制御するプリンタ制御部60と、画像ファイル11を記録したメモリカード12を装着するためのメモリカードスロット61と、画像データを印刷するための印刷部62等を備え、また、ユーザが印刷指示を行うための操作部63も具備している。
【0045】
プリンタ制御部60は、CPU64、ROM65、RAM66を備えており、CPU64は、ROM65に記録されたプログラム(ファームウェア)に従い各種処理を行う。RAM66は、CPU64が各種処理を行うためのワークエリアとして用いられる。ROM65には、日付画像データを生成するためのフォントデータや、プリンタ13特有のガンマ値等も格納されている。
【0046】
また、プリンタ13は、メモリカードに代わり、画像ファイルを入力するためのUSBポートや、LANポートを備えてもよい。
【0047】
E.画像ファイル生成処理:
図7は、ディジタルスチルカメラ10による画像ファイルの生成処理の流れを示すフローチャートである。ディジタルスチルカメラ10のCPU35は、操作部32によるユーザのシャッター操作により、CCD部31を介し元画像データを入力する(ステップS100)。ディジタルスチルカメラ10はその個体に応じて、sRGB色空間や拡張sRGB色空間、NTSC色空間等のRGB色空間を用いてCCD部から画像データを入力する。
【0048】
色空間は、カメラの機種によって、sRGBまたはNTSCと呼ばれる色空間が使い分けられている。いずれの空間もRGBの座標系で色を定義する点では共通しているが、NTSCの方がsRGBよりも色再現範囲が広い座標系である。sRGBの色空間については、通常、8ビット(0〜255)の範囲で定義されるが、この範囲を負値または256以上の値に拡張した色空間(ここでは「拡張sRGB空間」と称する)が用いられる場合もある。
【0049】
CPU35は、ステップS100において、元画像データの入力と同時に、リアルタイムクロック回路38より元画像データを入力した日付を取得し、日付パラメータとして一時的にRAM37に記憶する。
【0050】
CPU35は、入力した元画像データを、周知のマトリックス変換により、RGB色空間からYCbCr色空間に変換する。これは、圧縮率の高いJPEG形式のデータとして画像ファイルを生成するためである。色空間変換した元画像データは、一時的にRAMに記憶する(ステップS101)。
【0051】
さらに、CPU35は、図5で示した日付データに含まれる各種パラメータをユーザから操作部32を介し入力し、一時的にRAMに記憶する(ステップS102)。
【0052】
CPU35は、ステップS100によって一時的にRAM37に記憶した元画像データと日付パラメータ、およびステップS102で入力した各種パラメータを一体的に備える画像ファイルを上述のファイル構造に従い生成する(ステップS103)。この時、元画像データ生成時に用いた色空間およびディジタルスチルカメラ10固有のガンマ値も合わせて画像ファイルに記録する。
【0053】
最後に、CPUは、生成した画像ファイルをメモリカードスロット34に装着したメモリカードに記録して(ステップS104)処理を終了する。
【0054】
本画像ファイル生成処理により生成された画像ファイルは、元画像データと、日付画像データを生成するための日付データとを別々の領域に備える構成となる。従って、元画像データの一部を喪失することなく、プリンタ等の画像データ出力装置に画像ファイルを提供することができる。
【0055】
F.印刷処理:
図8は、上述の画像ファイルを用いた画像データの出力処理の流れを示す説明図である。画像を出力するに当たり、まず、ユーザは、メモリカード12をプリンタ13のメモリカードスロット61に装着する。プリンタ13のCPU64は、装着されたメモリカード12から画像ファイルを入力する(ステップS200)。
【0056】
本実施例の画像ファイルは、既述のように、元画像データをJPEG形式で保持している。JPEG形式のデータは、YCbCr色空間で定義されているため、CPU64は、これを撮影時のRGB色空間すなわち、sRGB、拡張sRGB、NTSC等の色空間に変換する(ステップS201)。この変換は、ディジタルスチルカメラ10でRGB空間からYCbCr空間への変換に使用されたマトリックスの逆マトリックスを用いて行われる。拡張sRGB色空間に変換された場合には、この時点では、負値および256以上の値が含まれることになる。
【0057】
次に、CPU64は、元画像データにガンマ補正を施す(ステップS202)。このガンマ補正に用いられるガンマ値は、ディジタルスチルカメラ10の特性を表す情報として、画像ファイル生成時に、画質補正パラメータとして画像ファイルに記録されている。
【0058】
ガンマ補正が完了すると、元画像データの色空間をsRGBよりも広い色再現範囲で定義されたwRGB色空間に変換する処理を行う。NTSC色空間や拡張sRGB色空間で生成された元画像データを、色再現範囲が狭いsRGB色空間で処理すると、被写体の色を忠実に再現できない場合があるからである。かかる観点から、sRGB空間で生成された元画像データについては、以下で説明する処理をスキップするものとしてもよい。本実施例では、画質補正パラメータに含まれる色空間パラメータは、sRGB空間と拡張sRGB空間とを区別していないため、sRGB空間で撮影された画像データについてもwRGB空間への変換処理を行うものとした。かかる場合でも、拡張sRGB空間では、元画像データに負値または256以上の値が含まれるため、これらの階調値の有無によって拡張sRGB空間とsRGB空間とを識別することは可能である。
【0059】
wRGBへの色空間の変換処理は、マトリックス演算によって行われる。本実施例におけるプリンタ13は、sRGB色空間や拡張sRGB色空間、NTSC色空間で定義された画像データを扱うことが可能である。それぞれの色空間からwRGB色空間に直接変換するマトリックスを定義することも可能ではあるが、本実施例では、標準的なXYZ色空間を介して変換を行うものとした。
【0060】
即ち、CPU64は、まず、RGB色空間からXYZ色空間への変換を行う(ステップS203)。この変換処理は、画像データを定義する色空間によって相違する。つまり、sRGB色空間または拡張sRGB色空間用の変換マトリックスTM1と、NTSC色空間用の変換マトリックスTM2の2種類を予め用意し、これらを使い分けることで撮影時の色空間に応じた変換処理を実現する。この変換により、個別の色空間で撮影された元画像データが、標準的なXYZ色空間に統一されることになる。
【0061】
次に、CPU64は、XYZ色空間からwRGB色空間への変換処理を行う(ステップS204)。この処理もマトリックス演算である。ここでは撮影時の色空間に関わらず、単一のマトリックスを用いて変換することができる。演算に使用されるマトリックスは、wRGB色空間の定義に応じて任意に設定可能である。
【0062】
先に説明した通り、sRGB色空間により生成された元画像データは、それよりも広い色空間に変換する必要性がないため、ステップS203,S204の処理をスキップしても構わない。また、sRGB色空間よりも広い色空間であるNTSC色空間によって生成された元画像データにおいても、同様に、ステップS203、S204の処理をスキップしても構わない。このように、ステップS203、S204の処理は、元画像データ生成時に利用された色空間と、最終的に用いる色空間の相対的な関係によって適宜省略することができる。
【0063】
色空間の変換処理が完了すると、CPU64は、逆ガンマ補正を行う(ステップS205)。ここで用いられるガンマ値は、その画像データを印刷しようとするプリンタ特有のガンマ値であり、本実施例ではプリンタ13内のROM65にその値が保持されている。
【0064】
続いてCPU64は、画像ファイル11に含まれる日付データを用いて、日付画像データを生成し、元画像データに合成する(ステップS206)。本処理については後述する。
【0065】
CPU64は、上記ステップS206によって得られた最終画像データを出力するに当たり、RGBの画像データをCMYKに変換する処理を行う(ステップS207)。この変換は、両者の色を対応づける変換用ルックアップテーブル(LUT)を参照することで行われる。本実施例の場合、wRGB色空間からCMYKへの変換用のテーブルLUTwが通常使用されることになる。但し、sRGB空間で定義された画像データも取扱可能とするため、プリンタには、sRGB色空間の変換用テーブルLUTsも備え、画像データが定義されている色空間に応じてこれらのテーブルを使い分けるものとしてもよい。LUTsは、例えば、sRGB空間で撮影された画像データについてステップS203、S204の色空間変換処理をスキップした場合、入力した画像ファイル11に対し、画質を調整するための処理を一切施すことなく出力する場合などに適用することができる。
【0066】
こうしてCMYKの階調値に変換された最終画像データに対し、CPU64は、ハーフトーン処理を行う(ステップS208)。ハーフトーン処理は、画像データの階調値を、プリンタで形成されるドットの密度によって表現するための処理であり、例えば、誤差拡散法、組織的ディザ法などの周知の方法によって行うことができる。
【0067】
これらの処理に加えて、CPU64は、最終画像データの解像度をプリンタ13の解像度に適合させる解像度変換処理、プリンタ13でインタレース記録を行うようデータ配列および副走査の送り量などを設定するインタレースデータ生成処理などを行うものとしてもよい。
【0068】
以上のステップS207、S208で説明した変換処理により、最終画像データは、プリンタ13で直ちに出力可能な印刷データの形式に変換され、プリンタ13は、このデータに基づき印刷部62を介し印刷を実行する(ステップS209)。
【0069】
G.日付画像データ生成・合成処理:
一般的に色の目立ち度合いとは、低明度の色に対して高明度の色、色相においては反対色関係にある色、低彩度の色に対して高彩度の色というような組み合わせによって、目立つ色を設定することができる。また、これらの差を調整することによって、目立ち度合いを適宜調整することが可能となる。
【0070】
本実施例において、ユーザは、画像ファイル生成時に、この目立ち度合いuを0から10の11段階で設定する。uが0の場合、明度、彩度、色相の変更量は0であることを意味し、uが10の場合、それらの変更量が最大となることを意味する。その間の変更量は、uに応じて線形的に変化するものとする。
【0071】
図9は、上述した印刷処理のステップS206における日付画像データの生成・合成処理の流れを示すフローチャートである。本処理の流れについて、図10を交え説明する。
【0072】
プリンタ13のCPU64は、図10(a)に図示するように、元画像データに対して日付画像データを合成しようとする領域Aを算出する(ステップS300)。領域Aは、入力した画像ファイルに含まれる日付合成位置パラメータ(x,y)、フォントパラメータおよびフォントサイズパラメータによって算出可能である。次に、領域A内に含まれる画素のRGB各色について平均値を求める(ステップS301)。
【0073】
続いてCPU64は、元画像データがカラー画像であるかグレースケール画像であるかを判別する(ステップS302)。元画像データがグレースケールであれば、RGB各々の成分がすべて同じ値の画素により領域Aのすべての画素が構成されているため、これを調べることによってよって、カラー画像か、グレースケール画像かを判別可能である。
【0074】
元画像データがグレースケール画像であった場合、明度、彩度、色相のうち、明度のみの調整により目立ち度合いは調整可能である。CPU64は、画像ファイルに記録された目立ち度合いパラメータuを用い、以下の演算により日付画像データのRGB値を設定する。なお、以下の種々の演算で用いる各値の範囲は、R、G、B、S、Iは0〜1の実数、Hは0〜2πの実数とした。
【0075】
領域A内のRGBの平均値はすべて同じ値となるため、その明度をIとすると、
I=R=G=B
となる。
【0076】
明度の変更量ΔIは、目立ち度合いu(u=0,1,…,10)によって次のように決まる(ステップS303)。
・Iが0.5以上の場合
ΔI=u(0−I)/10
・Iが0.5未満の場合
ΔI=u(1−I)/10
【0077】
上記演算は、次のことを意味している。Iが0.5以上の場合とは、即ち領域A内の平均値が比較的明るい場合であるから、目立ち度合いuに応じて、日付画像データが暗くなるよう設定される。Iが0.5未満の場合とは、逆に比較的暗い場合であるから、日付画像データは明るくなるよう設定される。
【0078】
最終的に、日付画像データの明度IMは以下の計算により求めることができる(ステップS304)。
IM=I+ΔI
【0079】
以上の演算により、日付画像データのRGB値は、それぞれ、R=IM、G=IM、B=IMとなる(ステップS305)。
【0080】
元画像データがカラー画像の場合、まず、領域A内のRGBの平均値を6角錐カラーモデル(図11参照)に基づくHSI変換によって色相H、彩度S、明度Iの各要素に変換を行う(ステップS306)。周知の通り、調整によって彩度が小さくなると、色相を変更する効果が小さくなるので、彩度と明度に任意の下限値を設定する。本実施例では、下限値を0.25とした。
【0081】
明度の変更量ΔIおよび彩度の変更量ΔSは、目立ち度合いu(u=0,1,…,10)によって次のように決まる(ステップS307)。
・Iが0.5以上の場合
ΔI=u(0.25−I)/10
ΔS=u(0.25−S)/10
・Iが0.5未満の場合
ΔI=u(1−I)/10
ΔS=u(1−S)/10
色相の変更量ΔHは、次のように決まる(ステップS307)。
ΔH=uπ/10
【0082】
なお、上記ΔHの演算は、
ΔH=−uπ/10
としても構わない。
なお、既述した理由により、上記演算においても、Iが0.5以上と未満との場合で場合分けを行っている。本実施例では、Iによって場合分けを行ったが、Sによって場合分けを行ってもよいし、Hによって行ってもよい。
【0083】
以上の演算により、日付画像データの明度IM、彩度SM、色相HMは、
IM=I+ΔI
SM=S+ΔS
HM=H+ΔH
となる(ステップS308)。
【0084】
CPU64は、これらのHM、SM、IM値からHSI逆変換(ステップS309)によって、日付画像データのRGB値を得る(ステップS305)。
【0085】
以上の処理によって日付画像データの色が設定される。CPU64は、この色を用いて、日付データによって指定されたフォント、フォントサイズ、年月日の並びを指定するパラメータを参照し、図10(b)に示すような日付画像データを生成する(ステップS310)。最後に、日付画像データを元画像データと周知の重ね合わせ処理により合成し(ステップS311)、図10(c)に示す最終画像データを得る。最後に上述の印刷処理のステップS207に処理を戻す。
【0086】
上記においては、日付画像データをプリンタ13にて生成、合成する場合について説明した。しかし、既述のとおり、ディスプレイ20やサーバ21においても同様の処理を行うことができる。この場合、上記ステップS200〜S206をこれらの装置で行う。ディスプレイ20は、ステップS206によって得られた画像データを直接画面に表示し、サーバ21は、ステップS200をネットワーク経由で行い、ステップS206によって得られた画像データをネットワークを介して他の装置に転送する。
【0087】
また、本処理は、プリンタ13やディスプレイ20、サーバ21のほか、パーソナルコンピュータのプログラムとしても実現可能である。この場合、プリンタドライバとして構成することができる。プログラムは、各種記憶媒体に記録可能であり、記憶媒体として、フレキシブルディスク(FD)やCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、外部記憶装置等を用いることができる。プログラムとして構成する場合、本処理のステップS200からステップS207までの処理を行い。ステップS207で得られた最終画像データを、プリンタ等の出力装置に転送することで出力を行うことができる。出力装置はプリンタに限られることはなく、パーソナルコンピュータに接続されたCRT等にも出力可能である。
【0088】
また、既述のように、パーソナルコンピュータを用いることにより、画像ファイルに含まれる日付データの再設定や、日付データを含まない画像ファイルに対し、新たに日付データを付加すること等が可能となる。
【0089】
パーソナルコンピュータを用いれば、マウス等を用いることにより日付画像データを合成する位置を簡易な操作で設定することができる。この際、上記演算によりリアルタイムに色を変化させる構成とすれば、即座に日付画像データの色を確認することができ、より利便性の高い構成とすることができる。本実施例における画像ファイルは、元画像データと日付データとを区分けして保持しているため。日付画像データの合成位置を、初期の位置から変更したとしても画像の一部が欠けるという現象が生じることはない。
【0090】
上述した日付画像データの色設定処理においては、色相の変更量をユーザ所望の目立ち度合いに応じて変化させる構成としたが、画像ファイルに含まれる日付パラメータから、画像を撮影した季節を判別して、季節が春の場合はピンク色系、夏の場合は青色系、秋の場合は茶色系、冬の場合は赤色系といった色相を指定する構成としてもよい。
【0091】
上記実施例において、目立ち度合いに代えて、日付画像データの色を直接指定する情報を画像ファイル中に含めるものとしてもよい。この場合、色の指定は、ユーザがディジタルスチルカメラ10で行うものとしてもよいし、ディジタルスチルカメラ10が演算して設定するものとしてもよい。後者の態様としては、ユーザが設定して目立ち度合いに基づいて、ディジタルスチルカメラ10が図9〜11で示した処理を行う場合があげられる。
【0092】
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができる。上述した各種処理をソフトウェアで実現することができる他、ハードウェア的に実現するものとしてもよい。
【図面の簡単な説明】
【図1】画像出力システムの一例を示す説明図である。
【図2】画像出力システムのその他の例を示す説明図である。
【図3】ディジタルスチルカメラの概略構成を示す説明図である。
【図4】ディジタルスチルカメラによって生成される画像ファイルの構造を示す説明図である。
【図5】画像ファイルに含まれる付属情報格納領域の構造を示す説明図である。
【図6】プリンタの概略構成を示す説明図である。
【図7】画像ファイルの生成処理の流れを示すフローチャートである。
【図8】画像ファイルを用いた画像データの出力処理の流れを示す説明図である。
【図9】日付画像データの生成・合成処理の流れを示すフローチャートである。
【図10】日付画像データの生成・合成処理を簡易的に示す説明図である。
【図11】6角錐カラーモデルを示す参考図である。
【符号の説明】
10…ディジタルスチルカメラ
11…画像ファイル
12…メモリカード
13…プリンタ
14…パーソナルコンピュータ
20…ディスプレイ
21…サーバ
30…制御部
32…操作部
33…液晶ディスプレイ
34…メモリカードスロット
38…リアルタイムクロック回路
40…画像データ格納領域
41…付属情報格納領域
60…プリンタ制御部
61…メモリカードスロット
62…印刷部
63…操作部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for combining and outputting second image data when outputting image data.
[0002]
[Prior art]
Conventional single-lens reflex cameras, compact cameras, and the like that use photographic film generally have a function of simultaneously imprinting date information on the film during shooting. Such a function is very convenient because it can immediately recognize when the photograph was taken. However, the date information was imprinted on the image at a predetermined position and color, making it difficult to recognize when part of the subject is hidden and difficult to see, or when the color tone of the entire photo and the color of the date are similar. The problem of becoming.
[0003]
In digital still cameras that have been widely used in recent years, techniques for realizing functions similar to those of the conventional cameras as described above have been proposed. Since the digital still camera handles images as electronic data, the above problem can be solved with a relatively simple configuration by synthesizing date information with an image in a position and color desired by the user.
[0004]
[Problems to be solved by the invention]
However, the following new problem arises in the date information composition processing using a digital still camera. In other words, by combining date information with an image, the problem of losing data in the portion where date information is combined in the original image data is lost, and every time a user shoots a subject, the date information is mixed into the background. The problem is that the color must be set so that it does not go wrong.
[0005]
The present invention has been made in view of these problems, and prevents the loss of the original image data when generating an image file for synthesizing and outputting additional information such as date information to the image data. An object of the present invention is to provide a technique capable of setting a color according to image data.
[0006]
[Means for solving the problems and their functions and effects]
In order to solve at least a part of the above problems, the present invention adopts the following configuration. That is, the image file generation device of the present invention is
An image file generation device for generating an image file,
An image data input unit for inputting image data;
A composite image information setting unit for setting composite image information for generating second image data to be output after being combined with the image data;
An image file generation unit that generates an image file integrally including the image data and the composite image information;
The composite image information includes color setting information for setting a color of the second image data,
The gist of the color setting information includes information relating to the identifiability of the second image data with respect to the image data.
[0007]
According to such an image file generation device, since image data and composite image information are stored separately, it is possible to prevent loss of image data. Furthermore, according to the image file generation device of the present invention, the color of the second image data can be indirectly specified by a parameter of easy identification. The ease of identification means the degree of conspicuousness when the second image data is combined with the image data. For example, the predetermined reference color set based on the image data and the color of the second image data It can be defined as a parameter that defines the color difference. By using such parameters, it is possible to make the second image data stand out or not stand out from the image data without setting a specific color.
[0008]
The image file generation apparatus is not limited to an apparatus for newly generating an image file. An image file that already has composite image information and image data may be input and configured as a device that resets the composite image information. Alternatively, an image file that does not include composite image information may be input and new composite image information may be input. You may comprise as an apparatus which adds.
[0011]
In the above image file generation device,
The synthesized image information may include position information for synthesizing the second image data with the image data.
[0012]
According to such an image file generation device, the second image data can be synthesized at an arbitrary position of the image data. Therefore, it is possible to prevent the main part of the image data from being hidden by the second image data.
[0013]
Furthermore, in the image file generation device,
The composite image information setting unit selects a color having a color difference corresponding to the ease of identification with respect to a reference color set based on a color in a predetermined region in the image data specified by the position information. The color of the second image data may be used.
[0014]
According to such an image file generation device, the color of the second image data can be set more accurately with reference to the color included in the predetermined area of the image data specified by the position information with the specified ease of identification. Can do. The predetermined region does not necessarily have a certain area and may be a specific point. The entire image data may be used regardless of the position information.
[0015]
Furthermore, in the image file generation device,
The composite image information includes information related to a date on which the image data is input,
The second image data may be image data representing the date.
The second image data is not limited to image data representing a date, and may be image data representing, for example, the name of the image data or the name of the creator of the image data.
[0016]
Of course, the various image file generating devices described above can be configured as a digital still camera, and can be applied to devices capable of generating an image file, such as a digital video camera or a scanner. Further, when configured as a digital still camera, it can also be applied to moving image data such as MPEG. By adding the composite image information to the moving image file, the second image data such as a telop can be combined with all or a part of the frame of the moving image.
[0017]
The present invention can also be configured as an image data output device that can output image data based on the above-described image file. That is, the image data output device of the present invention is
An image data output device that outputs image data using an image file including predetermined composite image information and image data,
The composite image information is information for generating second image data that is output by being combined with the image data, and includes color setting information for setting a color of the second image data,
An image file input unit for inputting the image file;
A second image data generation unit that generates the second image data based on the composite image information;
An image data output unit that synthesizes and outputs the image data included in the input image file and the generated second image data;
The color setting information includes information on the ease of identification of the second image data with respect to the image data,
The gist of the second image data generation unit is to use a color having a color difference corresponding to the ease of identification as the color of the second image data.
[0018]
According to such an image data output device, the second image data can be generated in a color set in advance when the image file is generated based on the composite image information included in the input image file. Here, the output of image data includes a mode in which image data is visibly output such as printing and display, and a mode in which the synthesized image data itself is output as digital data.
[0019]
In the image data output device,
The combined image information includes position information for combining the second image data with the image data,
The image data output unit may be capable of combining the second image data with a predetermined area in the image data specified by the position information.
[0020]
According to such an image data output device, the second image data can be synthesized at a position desired by the user when the image file is generated.
[0021]
Furthermore, in the image data output device,
The second image data generation unit is a color having a color difference corresponding to the ease of identification with respect to a reference color set based on a color in a predetermined region in the image data specified by the position information. May be the color of the second image data.
[0022]
According to such an image data output device, the color of the second image data is set based on the information regarding the ease of identification specified by the user when generating the image file. Since the color of the second image data is set with reference to the color of the image data to be synthesized, it is possible to more accurately reflect the information regarding the ease of identification.
[0023]
Furthermore, in the image data output device,
The composite image information includes information regarding a predetermined date,
The second image data generation unit may generate image data representing the date.
[0024]
According to such an image data output device, image data representing a date can be combined with image data. If this date is the date when the image data included in the input image file is generated, it can be recognized immediately when the image data is generated, so that the date is particularly useful.
[0025]
The various image data output devices described above are effective because they can print image data on which dates are displayed by configuring them as printers. Further, the present invention can be applied to various display devices such as a television, a CRT, and a liquid crystal display.
[0026]
Although various image data output devices have been described above, the present invention can also be configured as a method for outputting image data and a computer program for realizing the various functions described above. Such a computer program may be recorded on various computer-readable media such as a flexible disk (FD), a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, and an external storage device.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in the following order, taking a digital still camera as an image file generation device and a printer as an image data output device.
A. Image output system:
(A1) System overview:
(A2) Other aspects:
B. Digital still camera schematic configuration:
C. Image file structure:
D. Printer schematic configuration:
E. Image file generation processing:
F. Printing process:
G. Date image data generation / synthesis processing:
[0028]
A. Image output system:
(A1) System overview:
FIG. 1 is an explanatory diagram illustrating an example of an image output system according to the present embodiment. The digital still camera 10 captures a person or landscape and generates image data (hereinafter referred to as original image data). The digital still camera 10 inputs information such as the date when the original image data was generated (hereinafter referred to as date data). The digital still camera 10 generates an image file 11 that integrally includes original image data and date data.
[0029]
A user of the digital still camera 10 takes out the memory card 12 stored in the digital still camera 10 and prints it in a predetermined memory card slot of the printer 13 when printing the captured image. The printer 13 reads the image file 11 from the attached memory card 12. The printer 13 generates date image data using the date data recorded in the image file 11. Thereafter, the printer 13 outputs image data (hereinafter referred to as final image data) obtained by combining the generated date image data and original image data.
[0030]
If the printer 13 does not have a function for directly inputting the image file 11 from the memory card 12, printing can be performed via the personal computer 14. In this case, the personal computer 14 inputs the image file 11 from the memory card 12 via a device such as an external memory card reader. The personal computer 14 generates optimal date image data according to the date data recorded in the input image file 11 and combines it with the original image data to obtain final image data. The personal computer 14 transfers the final image data to the printer 13, and the printer 13 performs printing based on the final image data.
[0031]
In addition to the above functions, the personal computer 14 resets the date data once set by the digital still camera 10 or adds new date data when an image file that does not include date data is input. Can also be provided.
[0032]
(A2) Other aspects:
FIG. 2 is an explanatory diagram illustrating another example of the image output system according to the present embodiment. The image processing system can include a display 20 and a server 21 in addition to the digital still camera 10, the printer 13, and the personal computer 14 described with reference to FIG.
[0033]
The display 20 has a function of inputting the image file 11 and generating final image data. The generated final image data can be displayed by itself. Therefore, output independent of the personal computer 14 or the printer 13 is possible.
[0034]
The server 21 has a function of inputting the image file 11 via the network NE and generating final image data. The generated final image data can be output via the network NE. Therefore, the server 21 can perform date image data generation processing instead of these devices when the printer 13 and the display 20 do not have a function for generating date image data.
[0035]
Delivery of the image file 11 is not limited to delivery via the memory card 12. Direct delivery may be performed between the devices via a cable CV or a wired or wireless network NE.
[0036]
B. Digital still camera schematic configuration:
FIG. 3 is an explanatory diagram showing a schematic configuration of the digital still camera 10. The digital still camera 10 includes a control unit 30 that controls all functions of the digital still camera 10, a CCD unit 31 that converts light information into image data, and an operation unit 32 that performs shutter operations and input of various parameters. In addition, a liquid crystal display 33 for displaying captured images and various input parameters, a memory card slot 34 for mounting a memory card for recording generated image files, and the like are also provided. The operation unit 32 is also used for setting date data attached to image data.
[0037]
The control unit 30 includes a CPU 35, a ROM 36, a RAM 37, and the like. The CPU 35 performs various processes according to a program (firmware) recorded in the ROM 36. The RAM 37 is used as a work area for the CPU 35 to perform various processes. The control unit 30 is connected to a real time clock circuit 38 for acquiring the date on which image data is input from the CCD unit 31.
[0038]
Further, the digital still camera 10 may include a USB port capable of outputting an image file, a LAN port for outputting via a network, or the like, instead of the memory card.
[0039]
C. Image file structure:
FIG. 4 is an explanatory diagram showing the structure of an image file generated by the digital still camera 10. The image file 11 has a file structure according to Exif, which is a standard for digital still camera image files. Exif specifications are defined by the Japan Electronics and Information Technology Industries Association (JEITA).
[0040]
The image file 11 includes an image data storage area 40 for storing original image data, and an attached information storage area 41 for storing various attached information related to the stored original image data. In the image data storage area 40, the original image data is stored in JPEG format. In the attached information storage area 41, attached information is stored in the TIFF format. The attached information storage area 41 manages addresses of various data recorded therein using an identifier called a tag.
[0041]
FIG. 5 is an explanatory diagram showing the structure in the attached information storage area 41. As shown in the figure, in the attached information storage area 41, as date data, the date when the original image data was generated, the image size, the position where the date image data is synthesized, the degree of conspicuousness of the date image data relative to the original image data, the date image Various parameters such as a font for generating data, a font size, and a date generation format are recorded.
[0042]
In this embodiment, in addition to the date data, image quality correction data such as a color space and a gamma value used when the digital still camera 10 generates original image data is recorded in the attached information storage area 41. The image quality correction data is used for image processing for eliminating the difference in color reproducibility between the digital still camera 10 and the printer 13 when the image data is output by the printer 13 or the like.
[0043]
In this embodiment, the file structure conforming to the Exif standard is used, but the present invention is not limited to this. The image data can be in the BMP format, TIFF format, or the like instead of the JPEG format.
[0044]
D. Printer schematic configuration:
FIG. 6 is an explanatory diagram illustrating a schematic configuration of a printer that outputs image data using the above-described image file. The printer 13 includes a printer control unit 60 that controls all the functions of the printer 13, a memory card slot 61 for mounting the memory card 12 in which the image file 11 is recorded, a printing unit 62 for printing image data, and the like. And an operation unit 63 for the user to issue a print instruction.
[0045]
The printer control unit 60 includes a CPU 64, a ROM 65, and a RAM 66, and the CPU 64 performs various processes according to a program (firmware) recorded in the ROM 65. The RAM 66 is used as a work area for the CPU 64 to perform various processes. The ROM 65 also stores font data for generating date image data, a gamma value unique to the printer 13, and the like.
[0046]
Further, the printer 13 may include a USB port for inputting an image file or a LAN port instead of the memory card.
[0047]
E. Image file generation processing:
FIG. 7 is a flowchart showing a flow of image file generation processing by the digital still camera 10. The CPU 35 of the digital still camera 10 inputs the original image data through the CCD unit 31 by the user's shutter operation by the operation unit 32 (step S100). The digital still camera 10 inputs image data from the CCD unit using an RGB color space such as an sRGB color space, an extended sRGB color space, or an NTSC color space according to the individual.
[0048]
As the color space, a color space called sRGB or NTSC is properly used depending on the camera model. Both spaces are common in that colors are defined in the RGB coordinate system, but NTSC is a coordinate system with a wider color reproduction range than sRGB. The sRGB color space is usually defined in a range of 8 bits (0 to 255), but this range is expanded to a negative value or a value of 256 or more (herein referred to as “extended sRGB space”). May be used.
[0049]
In step S100, the CPU 35 acquires the date when the original image data is input from the real-time clock circuit 38 simultaneously with the input of the original image data, and temporarily stores it in the RAM 37 as a date parameter.
[0050]
The CPU 35 converts the input original image data from the RGB color space to the YCbCr color space by a known matrix conversion. This is because an image file is generated as JPEG format data with a high compression rate. The original image data subjected to the color space conversion is temporarily stored in the RAM (step S101).
[0051]
Further, the CPU 35 inputs various parameters included in the date data shown in FIG. 5 from the user via the operation unit 32, and temporarily stores them in the RAM (step S102).
[0052]
The CPU 35 generates an image file integrally including the original image data and date parameters temporarily stored in the RAM 37 in step S100 and the various parameters input in step S102 according to the above-described file structure (step S103). At this time, the color space used when generating the original image data and the gamma value specific to the digital still camera 10 are also recorded in the image file.
[0053]
Finally, the CPU records the generated image file on the memory card inserted in the memory card slot 34 (step S104) and ends the process.
[0054]
The image file generated by the main image file generation process is configured to include original image data and date data for generating date image data in separate areas. Therefore, an image file can be provided to an image data output device such as a printer without losing a part of the original image data.
[0055]
F. Printing process:
FIG. 8 is an explanatory diagram showing the flow of image data output processing using the above-described image file. In outputting an image, first, the user inserts the memory card 12 into the memory card slot 61 of the printer 13. The CPU 64 of the printer 13 inputs an image file from the attached memory card 12 (step S200).
[0056]
As described above, the image file of this embodiment holds the original image data in the JPEG format. Since the data in JPEG format is defined in the YCbCr color space, the CPU 64 converts the data into an RGB color space at the time of shooting, that is, a color space such as sRGB, extended sRGB, NTSC (step S201). This conversion is performed using an inverse matrix of the matrix used for conversion from the RGB space to the YCbCr space by the digital still camera 10. When converted to the extended sRGB color space, a negative value and a value of 256 or more are included at this point.
[0057]
Next, the CPU 64 performs gamma correction on the original image data (step S202). The gamma value used for this gamma correction is recorded in the image file as image quality correction parameters when generating the image file as information representing the characteristics of the digital still camera 10.
[0058]
When the gamma correction is completed, a process for converting the color space of the original image data into a wRGB color space defined in a color reproduction range wider than sRGB is performed. This is because if the original image data generated in the NTSC color space or the extended sRGB color space is processed in the sRGB color space with a narrow color reproduction range, the subject color may not be faithfully reproduced. From this point of view, the processing described below may be skipped for the original image data generated in the sRGB space. In this embodiment, since the color space parameter included in the image quality correction parameter does not distinguish between the sRGB space and the extended sRGB space, the image data captured in the sRGB space is also converted into the wRGB space. did. Even in such a case, in the extended sRGB space, since the original image data includes a negative value or a value of 256 or more, it is possible to identify the extended sRGB space and the sRGB space based on the presence or absence of these gradation values.
[0059]
The color space conversion processing to wRGB is performed by matrix calculation. The printer 13 in this embodiment can handle image data defined in the sRGB color space, the extended sRGB color space, and the NTSC color space. Although it is possible to define a matrix that directly converts from each color space to the wRGB color space, in this embodiment, the conversion is performed via a standard XYZ color space.
[0060]
That is, the CPU 64 first performs conversion from the RGB color space to the XYZ color space (step S203). This conversion process differs depending on the color space that defines the image data. In other words, two types of conversion matrix TM1 for sRGB color space or extended sRGB color space and conversion matrix TM2 for NTSC color space are prepared in advance, and conversion processing according to the color space at the time of shooting is realized by using them properly. To do. By this conversion, the original image data photographed in the individual color space is unified into the standard XYZ color space.
[0061]
Next, the CPU 64 performs conversion processing from the XYZ color space to the wRGB color space (step S204). This process is also a matrix operation. Here, conversion can be performed using a single matrix regardless of the color space at the time of photographing. The matrix used for the calculation can be arbitrarily set according to the definition of the wRGB color space.
[0062]
As described above, since the original image data generated in the sRGB color space does not need to be converted into a wider color space, the processes in steps S203 and S204 may be skipped. Similarly, in the original image data generated in the NTSC color space, which is a color space wider than the sRGB color space, the processing in steps S203 and S204 may be skipped. As described above, the processes in steps S203 and S204 can be appropriately omitted depending on the relative relationship between the color space used when generating the original image data and the color space finally used.
[0063]
When the color space conversion process is completed, the CPU 64 performs inverse gamma correction (step S205). The gamma value used here is a gamma value peculiar to the printer to print the image data. In this embodiment, the gamma value is held in the ROM 65 in the printer 13.
[0064]
Subsequently, the CPU 64 generates date image data using the date data included in the image file 11 and synthesizes it with the original image data (step S206). This process will be described later.
[0065]
In outputting the final image data obtained in step S206, the CPU 64 performs processing for converting RGB image data into CMYK (step S207). This conversion is performed by referring to a conversion look-up table (LUT) that associates the two colors. In the case of this embodiment, the table LUTw for conversion from the wRGB color space to CMYK is normally used. However, in order to be able to handle image data defined in the sRGB space, the printer also includes a conversion table LUTs for the sRGB color space, and uses these tables depending on the color space in which the image data is defined. It is good. For example, when the color space conversion processing in steps S203 and S204 is skipped for the image data captured in the sRGB space, the LUTs are output without performing any processing for adjusting the image quality on the input image file 11. It can be applied to cases.
[0066]
The CPU 64 performs halftone processing on the final image data thus converted into CMYK gradation values (step S208). The halftone process is a process for expressing the gradation value of image data by the density of dots formed by a printer, and can be performed by a known method such as an error diffusion method or a systematic dither method. .
[0067]
In addition to these processes, the CPU 64 performs resolution conversion processing for adjusting the resolution of the final image data to the resolution of the printer 13, interlace for setting the data arrangement and the sub-scan feed amount so that the printer 13 performs the interlace recording. Data generation processing or the like may be performed.
[0068]
Through the conversion processing described in steps S207 and S208 above, the final image data is converted into a print data format that can be output immediately by the printer 13, and the printer 13 executes printing via the printing unit 62 based on this data. (Step S209).
[0069]
G. Date image data generation / synthesis processing:
In general, the degree of conspicuousness of a color is conspicuous by a combination of a high lightness color with respect to a low lightness color, a color having an opposite color relationship in hue, and a high saturation color with respect to a low saturation color. Color can be set. Further, by adjusting these differences, the degree of conspicuousness can be appropriately adjusted.
[0070]
In this embodiment, the user sets the conspicuity u in 11 levels from 0 to 10 when generating an image file. When u is 0, it means that the amount of change of lightness, saturation, and hue is 0, and when u is 10, it means that the amount of change is maximum. It is assumed that the amount of change during that time varies linearly according to u.
[0071]
FIG. 9 is a flowchart showing the flow of date image data generation / combination processing in step S206 of the printing process described above. The flow of this process will be described with reference to FIG.
[0072]
As shown in FIG. 10A, the CPU 64 of the printer 13 calculates an area A in which date image data is to be combined with the original image data (step S300). The area A can be calculated by the date composition position parameter (x, y), the font parameter, and the font size parameter included in the input image file. Next, an average value is obtained for each of RGB colors of the pixels included in the region A (step S301).
[0073]
Subsequently, the CPU 64 determines whether the original image data is a color image or a gray scale image (step S302). If the original image data is grayscale, all the pixels of the region A are composed of pixels having the same value for each of the RGB components, so by examining this, it is determined whether the image is a color image or a grayscale image. It can be determined.
[0074]
When the original image data is a grayscale image, the degree of conspicuity can be adjusted by adjusting only the lightness among lightness, saturation, and hue. The CPU 64 sets the RGB value of the date image data by the following calculation using the conspicuousness degree parameter u recorded in the image file. In addition, the range of each value used in the following various calculations was set to R, G, B, S, and I as real numbers of 0 to 1, and H as real numbers of 0 to 2π.
[0075]
Since the average values of RGB in the area A are all the same value, if the brightness is I,
I = R = G = B
It becomes.
[0076]
The lightness change amount ΔI is determined as follows depending on the degree of conspicuity u (u = 0, 1,..., 10) (step S303).
・ When I is 0.5 or more
ΔI = u (0−I) / 10
・ When I is less than 0.5
ΔI = u (1-I) / 10
[0077]
The above calculation means the following. When I is 0.5 or more, that is, when the average value in the area A is relatively bright, the date image data is set to be dark according to the degree of conspicuous u. Since the case where I is less than 0.5 is a relatively dark case, the date image data is set to be bright.
[0078]
Finally, the brightness IM of the date image data can be obtained by the following calculation (step S304).
IM = I + ΔI
[0079]
With the above calculation, the RGB values of the date image data are R = IM, G = IM, and B = IM, respectively (step S305).
[0080]
When the original image data is a color image, first, the average value of RGB in the region A is converted into each element of hue H, saturation S, and brightness I by HSI conversion based on a hexagonal pyramid color model (see FIG. 11). (Step S306). As is well known, when the saturation is reduced by adjustment, the effect of changing the hue is reduced, so arbitrary lower limit values are set for the saturation and brightness. In this example, the lower limit value was set to 0.25.
[0081]
The lightness change amount ΔI and the saturation change amount ΔS are determined as follows depending on the degree of conspicuity u (u = 0, 1,..., 10) (step S307).
・ When I is 0.5 or more
ΔI = u (0.25−I) / 10
ΔS = u (0.25−S) / 10
・ When I is less than 0.5
ΔI = u (1-I) / 10
ΔS = u (1-S) / 10
The hue change amount ΔH is determined as follows (step S307).
ΔH = uπ / 10
[0082]
The calculation of ΔH is as follows.
ΔH = −uπ / 10
It does not matter.
For the above-described reason, even in the above calculation, the case is divided when I is 0.5 or more and less. In this embodiment, the case classification is performed by I, but the case classification may be performed by S or H.
[0083]
With the above calculation, the brightness IM, saturation SM, and hue HM of the date image data are
IM = I + ΔI
SM = S + ΔS
HM = H + ΔH
(Step S308).
[0084]
The CPU 64 obtains RGB values of the date image data from these HM, SM, and IM values by inverse HSI conversion (step S309) (step S305).
[0085]
The color of date image data is set by the above processing. The CPU 64 uses this color to refer to parameters that specify the font, font size, and year / month / day arrangement specified by the date data, and generate date image data as shown in FIG. S310). Finally, the date image data is synthesized with the original image data by a well-known overlay process (step S311) to obtain final image data shown in FIG. Finally, the process returns to step S207 of the print process described above.
[0086]
In the above description, the case where date image data is generated and combined by the printer 13 has been described. However, as described above, the same processing can be performed on the display 20 and the server 21. In this case, the above steps S200 to S206 are performed by these apparatuses. The display 20 directly displays the image data obtained in step S206 on the screen, and the server 21 performs step S200 via the network and transfers the image data obtained in step S206 to another device via the network. .
[0087]
Further, this processing can be realized as a program of a personal computer in addition to the printer 13, the display 20, and the server 21. In this case, it can be configured as a printer driver. The program can be recorded in various storage media, and a flexible disk (FD), a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, an external storage device, or the like can be used as the storage medium. When configured as a program, the processing from step S200 to step S207 of this processing is performed. The final image data obtained in step S207 can be output by transferring it to an output device such as a printer. The output device is not limited to a printer, and can be output to a CRT or the like connected to a personal computer.
[0088]
Further, as described above, by using a personal computer, it is possible to reset date data included in an image file, add new date data to an image file that does not include date data, and the like. .
[0089]
If a personal computer is used, the position where date image data is synthesized can be set with a simple operation by using a mouse or the like. At this time, if the configuration is such that the color is changed in real time by the above calculation, the color of the date image data can be confirmed immediately, and the configuration can be made more convenient. This is because the image file in this embodiment stores the original image data and date data separately. Even if the composition position of the date image data is changed from the initial position, a phenomenon that a part of the image is lost does not occur.
[0090]
In the date image data color setting process described above, the hue change amount is changed in accordance with the degree of conspicuousness desired by the user. However, the season in which the image was captured is determined from the date parameter included in the image file. The hue may be designated as pink when the season is spring, blue when summer, brown when autumn, and red when winter.
[0091]
In the above embodiment, instead of the conspicuous degree, information for directly specifying the color of the date image data may be included in the image file. In this case, the designation of the color may be performed by the user with the digital still camera 10 or may be calculated and set by the digital still camera 10. As the latter mode, there is a case where the digital still camera 10 performs the processing shown in FIGS. 9 to 11 based on the degree of conspicuousness set by the user.
[0092]
Although various embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various configurations can be adopted without departing from the spirit of the present invention. The various processes described above can be realized by software, or may be realized by hardware.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram illustrating an example of an image output system.
FIG. 2 is an explanatory diagram illustrating another example of the image output system.
FIG. 3 is an explanatory diagram showing a schematic configuration of a digital still camera.
FIG. 4 is an explanatory diagram illustrating a structure of an image file generated by a digital still camera.
FIG. 5 is an explanatory diagram showing a structure of an auxiliary information storage area included in an image file.
FIG. 6 is an explanatory diagram illustrating a schematic configuration of a printer.
FIG. 7 is a flowchart illustrating a flow of image file generation processing.
FIG. 8 is an explanatory diagram showing a flow of output processing of image data using an image file.
FIG. 9 is a flowchart showing a flow of generation / combination processing of date image data.
FIG. 10 is an explanatory diagram simply showing date image data generation / synthesis processing;
FIG. 11 is a reference diagram showing a hexagonal pyramid color model.
[Explanation of symbols]
10. Digital still camera
11 ... Image file
12 ... Memory card
13 ... Printer
14 ... Personal computer
20 ... Display
21 ... Server
30 ... Control unit
32. Operation unit
33 ... Liquid crystal display
34 ... Memory card slot
38 ... Real-time clock circuit
40: Image data storage area
41 ... Attached information storage area
60. Printer control unit
61 ... Memory card slot
62: Printing section
63. Operation unit

Claims (14)

画像ファイルを生成する画像ファイル生成装置であって、
画像データを入力する画像データ入力部と、
該画像データに合成して出力される第二の画像データを生成するための合成画像情報を設定する合成画像情報設定部と、
前記画像データと前記合成画像情報とを一体的に備える画像ファイルを生成する画像ファイル生成部とを備え、
前記合成画像情報は、前記第二の画像データの色を設定する色設定情報を含み、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含む
画像ファイル生成装置。
An image file generation device for generating an image file,
An image data input unit for inputting image data;
A composite image information setting unit for setting composite image information for generating second image data to be output after being combined with the image data;
An image file generation unit that generates an image file integrally including the image data and the composite image information;
The composite image information includes color setting information for setting a color of the second image data,
The image file generation device, wherein the color setting information includes information relating to easy identification of the second image data with respect to the image data.
請求項1に記載の画像ファイル生成装置であって、
前記合成画像情報は、前記画像データに対して前記第二の画像データを合成する位置情報を含むファイル生成装置。
The image file generation device according to claim 1,
The synthetic image information is a file generation device including position information for synthesizing the second image data with the image data.
請求項2に記載の画像ファイル生成装置であって、
前記合成画像情報設定部は、前記位置情報により特定される前記画像データ内の所定の領域内の色に基づいて設定された基準色に対して、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とする画像ファイル生成装置。
The image file generation device according to claim 2,
The composite image information setting unit selects a color having a color difference corresponding to the ease of identification with respect to a reference color set based on a color in a predetermined region in the image data specified by the position information. An image file generation device for setting the color of the second image data.
請求項1〜3のいずれか記載の画像ファイル生成装置であって、
前記合成画像情報は、前記画像データを入力した日付に関する情報を含み、
前記第二の画像データは、該日付を表す画像データである画像ファイル生成装置。
The image file generation device according to any one of claims 1 to 3,
The composite image information includes information related to a date on which the image data is input,
The image file generation device, wherein the second image data is image data representing the date.
ディジタルスチルカメラとして構成した請求項1〜4のいずれか記載の画像ファイル生成装置。  5. The image file generation device according to claim 1, wherein the image file generation device is configured as a digital still camera. 所定の合成画像情報と画像データとを含む画像ファイルを用いて画像データを出力する画像データ出力装置であって、
前記合成画像情報は、前記画像データに合成して出力される第二の画像データを生成するための情報であって、該第二の画像データの色を設定する色設定情報を含んでおり、
前記画像ファイルを入力する画像ファイル入力部と、
前記合成画像情報に基づいて、前記第二の画像データを生成する第二画像データ生成部と、
前記入力した画像ファイルに含まれる画像データと前記生成した第二の画像データとを合成して出力する画像データ出力部とを備え、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含んでおり、
前記第二画像データ生成部は、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とする
画像データ出力装置。
An image data output device that outputs image data using an image file including predetermined composite image information and image data,
The composite image information is information for generating second image data that is output by being combined with the image data, and includes color setting information for setting a color of the second image data,
An image file input unit for inputting the image file;
A second image data generation unit that generates the second image data based on the composite image information;
An image data output unit that synthesizes and outputs the image data included in the input image file and the generated second image data;
The color setting information includes information on the ease of identification of the second image data with respect to the image data,
The image data output device, wherein the second image data generation unit uses a color having a color difference corresponding to the ease of identification as a color of the second image data.
請求項6に記載の画像データ出力装置であって、
前記合成画像情報は、前記画像データに対して前記第二の画像データを合成する位置情報を含んでおり、
前記画像データ出力部は、該位置情報により特定される前記画像データ内の所定の領域に前記第二の画像データを合成する画像データ出力装置。
The image data output device according to claim 6,
The combined image information includes position information for combining the second image data with the image data,
The image data output unit is configured to combine the second image data with a predetermined region in the image data specified by the position information.
請求項7に記載の画像データ出力装置であって、
前記第二画像データ生成部は、前記位置情報により特定される前記画像データ内の所定の領域内の色に基づいて設定された基準色に対して、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とする
画像データ出力装置。
The image data output device according to claim 7,
The second image data generation unit is a color having a color difference corresponding to the ease of identification with respect to a reference color set based on a color in a predetermined region in the image data specified by the position information. An image data output device using the color of the second image data.
請求項6〜8のいずれか記載の画像データ出力装置であって、
前記合成画像情報は所定の日付に関する情報を含んでおり、
前記第二画像データ生成部は、該日付を表す画像データを生成する画像データ出力装置。
The image data output device according to any one of claims 6 to 8,
The composite image information includes information regarding a predetermined date,
The second image data generation unit is an image data output device that generates image data representing the date.
請求項9に記載の画像データ出力装置であって、
前記所定の日付は、前記画像ファイルに含まれる画像データが生成された日付である画像データ出力装置。
The image data output device according to claim 9,
The image data output device, wherein the predetermined date is a date when the image data included in the image file is generated.
プリンタとして構成した請求項6〜10のいずれか記載の画像データ出力装置。  11. The image data output device according to claim 6, wherein the image data output device is configured as a printer. 所定の合成画像情報と画像データとを含む画像ファイルを用いて画像データを出力する画像データ出力方法であって、
前記合成画像情報は、前記画像データに合成して出力される第二の画像データを生成するための情報であって、該第二の画像データの色を設定する色設定情報を含んでおり、
前記画像ファイルを入力する画像ファイル入力工程と、
前記合成画像情報に基づいて前記第二の画像データを生成する第二画像データ生成工程と、
前記入力した画像ファイルに含まれる画像データと前記生成した第二の画像データとを合成して出力する画像データ出力工程とを備え、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含んでおり、
前記第二画像データ生成工程では、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とする
画像データ出力方法。
An image data output method for outputting image data using an image file including predetermined composite image information and image data,
The composite image information is information for generating second image data that is output by being combined with the image data, and includes color setting information for setting a color of the second image data,
An image file input step for inputting the image file;
A second image data generation step of generating the second image data based on the composite image information;
An image data output step of combining and outputting the image data included in the input image file and the generated second image data;
The color setting information includes information on the ease of identification of the second image data with respect to the image data,
An image data output method in which, in the second image data generation step, a color having a color difference corresponding to the ease of identification is used as the color of the second image data.
所定の合成画像情報と画像データとを含む画像ファイルを用いて画像データをコンピュータに出力させるコンピュータプログラムであって、
前記合成画像情報は、前記画像データに合成して出力される第二の画像データを生成するための情報であって、該第二の画像データの色を設定する色設定情報を含んでおり、
前記画像ファイルを入力する画像ファイル入力機能と、
前記合成画像情報に基づいて前記第二の画像データを生成する第二画像データ生成機能と、
前記入力した画像ファイルに含まれる画像データと前記生成した第二の画像データとを合成して出力する画像データ出力機能とをコンピュータに実現させ、
前記色設定情報は、前記画像データに対する前記第二の画像データの識別容易性に関する情報を含んでおり、
前記第二画像データ生成機能は、前記識別容易性に応じた色差を有する色を前記第二の画像データの色とする
コンピュータプログラム。
A computer program for causing a computer to output image data using an image file including predetermined composite image information and image data,
The composite image information is information for generating second image data that is output by being combined with the image data, and includes color setting information for setting a color of the second image data,
An image file input function for inputting the image file;
A second image data generation function for generating the second image data based on the composite image information;
An image data output function for synthesizing and outputting the image data included in the input image file and the generated second image data is realized in a computer,
The color setting information includes information on the ease of identification of the second image data with respect to the image data,
The computer program according to claim 2, wherein the second image data generation function sets a color having a color difference according to the ease of identification as a color of the second image data.
請求項13に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。  A computer-readable recording medium on which the computer program according to claim 13 is recorded.
JP2001255657A 2001-08-27 2001-08-27 Image file generation device and image data output device Expired - Fee Related JP3900871B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001255657A JP3900871B2 (en) 2001-08-27 2001-08-27 Image file generation device and image data output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001255657A JP3900871B2 (en) 2001-08-27 2001-08-27 Image file generation device and image data output device

Publications (2)

Publication Number Publication Date
JP2003069806A JP2003069806A (en) 2003-03-07
JP3900871B2 true JP3900871B2 (en) 2007-04-04

Family

ID=19083589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001255657A Expired - Fee Related JP3900871B2 (en) 2001-08-27 2001-08-27 Image file generation device and image data output device

Country Status (1)

Country Link
JP (1) JP3900871B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200740198A (en) * 2006-04-07 2007-10-16 Innolux Display Corp Display device and method of transmitting signals thereof
JP5111215B2 (en) * 2008-04-16 2013-01-09 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146308A (en) * 1997-11-13 1999-05-28 Fuji Photo Film Co Ltd Image information recorder and image print system
JP4330049B2 (en) * 1999-06-24 2009-09-09 カシオ計算機株式会社 Electronic camera apparatus, information arrangement method, and computer-readable recording medium

Also Published As

Publication number Publication date
JP2003069806A (en) 2003-03-07

Similar Documents

Publication Publication Date Title
JP3608533B2 (en) Image processing via network
US6975437B2 (en) Method, apparatus and recording medium for color correction
US7312824B2 (en) Image-capturing apparatus, image processing apparatus and image recording apparatus
US20050185837A1 (en) Image-processing method, image-processing apparatus and image-recording apparatus
KR100742675B1 (en) Method, apparatus and recording medium for image processing
JP4525075B2 (en) Image output control using image processing control data
JP4533287B2 (en) Color processing method and apparatus
US20040041920A1 (en) Image forming method, image processing apparatus, and image recording apparatus
US20040041926A1 (en) Image-capturing apparatus, imager processing apparatus and image recording apparatus
US7324702B2 (en) Image processing method, image processing apparatus, image recording apparatus, program, and recording medium
JP2004336521A (en) Image processing method, image processor, and image recording apparatus
WO2005027532A1 (en) Image processing device and image processing method
JP3900871B2 (en) Image file generation device and image data output device
US20040042025A1 (en) Image processing method, image processing apparatus, image recording apparatus, program and recording medium
JP4496817B2 (en) Image processing via network
JP4168610B2 (en) Device for generating image file with processing control data
JP2004328530A (en) Imaging apparatus, image processing apparatus, and image recording apparatus
JP3858859B2 (en) Image data output adjustment
JP2004295410A (en) Image processing apparatus, image processing method and image processing program
JP2004236201A (en) Image processor and image processing method
JP2024047232A (en) Image processing method and image processing device
JP2004178428A (en) Image processing method
JP2005202749A (en) Image processing method, image processing apparatus, and image recording apparatus
JP3972614B2 (en) Image processing device
JP2006173822A (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140112

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees