JP2005039323A - Selection of frame image to be synthesized - Google Patents

Selection of frame image to be synthesized Download PDF

Info

Publication number
JP2005039323A
JP2005039323A JP2003197040A JP2003197040A JP2005039323A JP 2005039323 A JP2005039323 A JP 2005039323A JP 2003197040 A JP2003197040 A JP 2003197040A JP 2003197040 A JP2003197040 A JP 2003197040A JP 2005039323 A JP2005039323 A JP 2005039323A
Authority
JP
Japan
Prior art keywords
image data
image
frame image
frame
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003197040A
Other languages
Japanese (ja)
Other versions
JP3800203B2 (en
Inventor
Toshie Imai
敏恵 今井
Takahiko Koizumi
孝彦 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003197040A priority Critical patent/JP3800203B2/en
Publication of JP2005039323A publication Critical patent/JP2005039323A/en
Application granted granted Critical
Publication of JP3800203B2 publication Critical patent/JP3800203B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for reducing the burden on a user in selecting a frame image. <P>SOLUTION: In this technique, image data are subjected to image processing, according to an image file including the image data and image processing control information used for processing of the image data. This image processing apparatus is provided with a frame image selector for selecting some frame data from among a plurality of items of frame data previously prepared to be synthesized with the image data according to the image processing control information, a user interface for displaying the frame image data selected by the frame image selector and permitting a user to select at least any one of the displayed frame image data, and a frame image synthesizer for synthesizing at least one item of the frame image data selected by the user with the image data. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像データにフレーム画像データを合成する画像合成技術に関する。
【0002】
【従来の技術】
デジタルスチルカメラ(DSC)やスキャナその他の画像入力装置によって生成された画像データはデジタルデータであるため、パーソナルコンピュータやデジタルスチルカメラ上で他の画像と重畳して合成させることも容易である。たとえば枠を表す画像や入学その他のイベントを表す画像といったフレーム画像と、撮影により取得した画像とを合成することも行われている。このような合成対象となるフレーム画像は、通常、様々なフレーム画像の中から合成相手の画像に応じてユーザが選択することができる。
【0003】
【特許文献1】
特開2002−149146
【0004】
【発明が解決しようとする課題】
しかし、複数のフレーム画像の中から合成対象を選択する際に、その選択肢の増加に応じてユーザによる選択の負担が増大する傾向にあった。一方、撮影の場所や時期に応じて、各フレーム画像が選択される確率は大きく変動する。たとえば特定の観光地において撮影された場合には、その観光地に関連するフレーム画像の選択が望まれる確率が高くなる。
【0005】
この発明は、従来技術における上述の課題を解決するためになされたものであり、フレーム画像の選択の際におけるユーザの負担を軽減する技術を提供することを目的とする。
【0006】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明の画像処理装置は、画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、前記画像データに対して画像処理を行う画像処理装置であって、
前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、
前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容するユーザインターフェース部と、
前記ユーザに選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成するフレーム画像合成部と、を備えることを特徴とする。
【0007】
本発明の画像処理装置によれば、画像ファイルに含まれる画像処理制御情報に応じて、複数のフレーム画像データのうちの一部のフレーム画像データが選択されたユーザインターフェースを利用してフレーム画像を選択することができるので、フレーム画像データの選択の際におけるユーザの負担を軽減することができる。
【0008】
上記画像処理装置において、さらに、前記複数のフレーム画像データを格納するフレーム画像格納部を備えるようにすることが好ましい。
【0009】
こうすれば、選択処理や合成処理を迅速にできるという利点がある。
【0010】
上記画像処理装置において、前記フレーム画像格納部は、前記複数のフレーム画像データの選択の優先順位を表す優先順位情報を、前記複数のフレーム画像データの少なくとも一部の画像について格納することが可能であり、前記フレーム画像選択部は、さらに前記優先順位情報に応じて前記選択を行うようにすることが好ましい。
【0011】
こうすれば、ユーザによって選択される可能性がより高いフレーム画像をきめ細かく選択することが可能となる。
【0012】
上記画像処理装置において、前記フレーム画像格納部は、前記複数のフレーム画像データの属性情報をデータベース化したデータベースファイルを有しており、前記フレーム画像選択部は、前記データベースファイルを検索することにより前記選択を行うようにすることが好ましい。
【0013】
こうすれば、フレーム画像データの選択処理に要する時間をさらに短くすることができる。
【0014】
上記画像処理装置において、前記画像処理制御情報は、撮影時の地理的位置を表す地理情報を含んでおり、前記フレーム画像選択部は、少なくとも前記地理情報に応じて前記選択を行うようにしても良いし、
前記画像処理制御情報は、撮影時の時間を表す時間情報を含んでおり、前記フレーム画像選択部は、少なくとも前記時間情報に応じて前記選択を行うようにしても良い。
【0015】
本発明の画像ファイル書き込み装置は、画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに情報を書き込む装置であって、上記画像処理装置のいずれかと、前記選択されたフレーム画像データを特定するための情報を、前記画像処理制御情報として前記画像ファイルに書き込む画像ファイル書き込み部とを備えることを特徴とする。
【0016】
本発明の画像ファイル書き込み装置によれば、合成前の画像データを残したままで、記録領域内における画像データの使用領域を過度に増やすことなく、合成された画像データを利用可能な状態とすることができる。
【0017】
本発明のフレーム画像提供装置は、画像データと合成するためのフレーム画像データを提供するフレーム画像提供装置であって、前記画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルから読み出された画像処理制御情報を受信する画像処理制御情報受信部と、前記受信された画像処理制御情報に応じて、予め準備された複数の前記フレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容するユーザインターフェース部と、前記ユーザに選択されたフレーム画像データのうちの少なくとも1つを送信するフレーム画像送信部とを備えることを特徴とする。
【0018】
本発明の画像出力装置は、画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、画像を出力する画像出力装置であって、前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、前記選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成するフレーム画像合成部と、前記合成された画像データに基づいて前記画像を視認可能に出力する画像出力部とを備えることを特徴とする。なお、画像出力の形態としては、たとえば印刷やCRTへの表示、プロジェクタによる投影といった出力形態がある。
【0019】
なお、本発明は、種々の態様で実現することが可能であり、たとえば、画像ファイル生成装置、画像出力装置および画像処理方法、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【0020】
【発明の実施の形態】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.画像処理システムの構成:
B.画像ファイルの構成:
C.第1実施例:
D.第2実施例:
E.変形例:
【0021】
A.画像処理システムの構成:
図1は、本発明の一実施例としての画像処理システム10を示す説明図である。画像処理システム10は、元画像データを生成する入力装置としてのデジタルスチルカメラ12と、デジタルスチルカメラ12で生成された元画像データに対して画像処理を行う画像処理装置としてのパーソナルコンピュータPCと、処理された画像を出力する出力装置としてのカラープリンタ20とを備えている。
【0022】
デジタルスチルカメラ12、パーソナルコンピュータPC、およびカラープリンタ20は、相互にケーブルCVで接続可能である。ケーブルCVにより接続されている場合には、デジタルスチルカメラ12等は、ケーブルCVを経由して画像ファイルを送受信することが可能である。ケーブルCVで接続されていない場合にも、デジタルスチルカメラ12等は、メモリカードMCを用いて画像ファイルのやりとりを行うことができる。
【0023】
図2は、画像データを生成する入力装置としてのデジタルスチルカメラ12の構成の概略を示すブロック図である。デジタルスチルカメラ12は、光学レンズを通して電荷結合素子(CCD)上にイメージを結像することにより、電気的に静止画を記録するカメラである。
【0024】
デジタルスチルカメラ12は、画像データを生成するための回路群と、測位のための回路群と、これらを制御する制御回路124とを備えている。画像データを生成するための回路群には、光学回路121や画像取得回路122、画像処理回路123といった各回路が含まれている。測位のための回路群には、GPS回路128やGPSアンテナ129、携帯電話インターフェース回路125とが含まれている。デジタルスチルカメラ12は、さらに、ユーザインターフェースとしての選択・決定ボタン126と、撮影画像のプレビューやユーザインターフェースとして用いられる液晶ディスプレイ127とを備えている。
【0025】
画像データを生成するための各回路は以下の機能を有している。光学回路121は、CCDを用いて光信号を電気信号に変換する。画像取得回路122は、光学回路121を制御することにより画像を取得して画像データを生成する。画像処理回路123は、このようにして生成された画像データの加工処理を行う。
【0026】
測位のための各回路等は以下の機能を有している。GPS(GLOBAL POSITIONING SYSTEM)アンテナ129は、GPS衛星からの電波を受信する。GPS回路128は、この電波を解析することによりデジタルスチルカメラ12の地理的位置を表す位置情報を取得する。近年では、GPS測位システムの能力が向上しているため、たとえばオフィスビルの窓から離れた中心部の部屋でも数メートルといった精度で位置情報を取得することができる。
【0027】
携帯電話インターフェース回路125は、携帯電話が取得した位置情報をGPS回路に入力する。携帯電話による位置情報の取得は、基地局の電波を利用することにより行われるので、たとえば地下街のようなGPS電波の受信が極めて困難な場所でも位置情報の取得が可能である。このような測位方式には、たとえば米クアルコム社のgpsOne(商標)という方式がある。
【0028】
デジタルスチルカメラ12による撮影処理(画像データの取得処理)は、(1)GPSデータの更新、(2)ユーザによる撮影モードの設定、(3)撮像(画像データの入力)、(4)画像処理、(5)画像ファイルの記録の順に行われる。
【0029】
GPSデータの更新は、液晶ディスプレイ127や選択・決定ボタン126といったユーザインターフェースを用いて行われる。ユーザにより更新の指示が行われると、GPS回路128が起動され、GPS衛星からの電波に応じて位置情報が生成される。位置情報が生成されると、画像取得回路122が有する図示しない不揮発性メモリにこの情報が格納されるとともに、液晶ディスプレイ127には「GPS_OK」の表示がなされる。
【0030】
このように、ユーザからの指示に応じて、位置情報を更新するようにしているのは、位置情報の取得に消費される電力を節約してデジタルスチルカメラ12が備えるバッテリーの電力消費を削減させるためである。ただし、位置情報を常時更新するようなモードを設けるようにすることがさらに好ましい。このような運用が望まれる場合も想定されるからである。
【0031】
携帯電話PPがデジタルスチルカメラ12に接続されている場合には、さらに携帯電話PPからの情報をも用いて位置情報が生成される。ただし、GPS衛星からの電波が受信されない場合には、携帯電話PPからの情報のみを用いて位置情報が生成される。
【0032】
撮像は、位置情報の取得と撮影モードの設定との後に、ユーザがシャッターを押すことにより行われる。シャッターが押されると、画像取得回路122は、光学回路121を制御して入力された光を電気信号に変換することにより元画像を生成する。元画像データが生成されると、この画像データに保存用の画像処理が施される。
【0033】
この画像処理は、メモリカードMCに保存するための前処理である。一般に、元画像データは写真画像の保存に適したJPEG形式に変換される。JPEG形式に変換された後、この変換された画像データに撮影情報PIが加えられて画像ファイルが生成される。
【0034】
撮影情報PIとは、撮影条件を表す情報であり、撮影された位置を表す位置情報を含んでいる。この位置情報は、前述のように画像取得回路122が有する不揮発性メモリに格納されている情報である。デジタルスチルカメラ12における撮影処理は、画像ファイルをメモリカードMCに記録することにより完了する。なお、画像ファイルの構成については後述する。
【0035】
図3は、画像データを出力する出力装置としてのコンピュータPCとカラープリンタ20の構成の概略を示すブロック図である。コンピュータPCは、メモリカードMCから画像ファイルを読み出すことが可能なスロット22と、カラープリンタ20に印刷を行わせるための印刷データを生成するための印刷データ生成回路23と、ディスプレイ14とを備えている。
【0036】
印刷データ生成回路23は、印刷データ生成のための演算処理を実行する演算処理装置(CPU)231と、CPU231において実行されるプログラムやCPU231における演算処理結果その他のデータを格納するハードディスク232と、これらのプログラムやデータを一時的に格納するランダムアクセスメモリ(RAM)233とを備えている。印刷データ生成回路23は、さらに印刷データの生成に先立って行われる画像処理を行う機能も有する。この画像処理には、画像データにフレーム画像データを合成する処理も含まれている。
【0037】
コンピュータPCのハードディスク232には、画像データに合成するための複数のフレーム画像データと、各フレーム画像データの属性を表すデータをデータベース化したデータベースファイルと、画像データと選択されたフレーム画像データとを合成可能な画像処理ソフトとが格納されている。
【0038】
カラープリンタ20は、カラー画像の出力が可能なプリンタである。カラープリンタ20は、たとえば、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色のインクを印刷媒体上に吐出してドットパターンを形成し、これにより印刷画像を形成するインクジェット方式のプリンタである。なお、本実施例では、ディスプレイ14やカラープリンタ20が特許請求の範囲における「画像出力部」として機能している。
【0039】
B.画像ファイルの構造:
図4は、本発明の実施例における画像ファイルGFの構造の概略を示す説明図である。画像ファイルGFは、デジタルスチルカメラ用画像ファイルフォーマット規格(Exif)に従ったファイル構造を有している。この規格は、日本電子情報技術産業協会(JEITA)によって定められている。この規格では、画像データとして圧縮タイプのJPEGデータを格納するJPEG−Exifファイルを、Exifファイル(Exif規格のファイル)に含めることが規定されている。
【0040】
画像ファイルGFは、圧縮データの先頭を示すSOIマーカセグメント101と、Exifの付属情報を格納するAPP1マーカセグメント102と、Exif拡張データを格納するAPP2マーカセグメント103と、量子化テーブルを定義するDQTマーカセグメント104と、ハフマンテーブルを定義するDHTマーカセグメント105と、リスタートマーカの挿入間隔を定義するDRIマーカセグメント106と、フレームに関する各種パラメータを示すSOFマーカセグメント107と、スキャンに関する各種パラメータを示すSOSマーカセグメント108と、圧縮データの終了を示すEOIマーカセグメント109と、画像データ格納領域110とを含んでいる。
【0041】
APP1マーカセグメント102は、APP1マーカ1021と、Exif識別コード1022と、TIFFヘッダその他の付属情報1023と、サムネイル画像1024とを格納している。この付属情報1023は、ファイルヘッダ(TIFFヘッダ)を含むTIFFの構造を取っており、Exif−JPEGでは、圧縮画像データに関する付属情報を格納する0th IFDと、撮影情報PIを始めとするExif固有の付属情報を格納するExif IFDと、GPSの測定情報を格納を格納するGPS Info IFDと、サムネイル画像に関する付属情報を格納する1st IFDとを含んでいる。GPS Info IFDは、0th IFDに格納されているTIFFヘッダからのオフセットでポイントされる。GPS Info IFDでは、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。
【0042】
図5は、画像ファイルGFのGPS Info IFDに格納される付属情報の構成を示す説明図である。この付属情報には、撮影時における緯度や経度といった地理的位置を表す位置情報(タグ番号:1〜4)に加えて、撮影時の速度や撮影方向、時間(Coordinated Universal Time:協定世界時)を表す情報をも含めることが可能である。これらの付属情報を含む撮影情報PIの記録は、前述のようにデジタルスチルカメラ12において撮影時に行われる。
【0043】
C.第1実施例:
図6は、コンピュータPCにおける画像処理の処理ルーチンを示すフローチャートである。ステップS110では、ユーザが画像処理ソフトを起動する。画像処理ソフトが起動されると、図7に示される画像処理ソフトの起動ウィンドウW1が表示される。このウィンドウW1には、スロット22に差しまれたメモリカードMCに格納されている各画像データのサムネイル画像が表示されている。サムネイル画像は、画像ファイルGFから読み出されたサムネイル画像データ1024(図4)に基づいて表示されたものである。
【0044】
ステップS120では、ユーザがウィンドウW1上で処理対象となる画像を選択する。この選択は、表示されたサムネイル画像のうちの1つをクリックすることにより行われる。サムネイル画像のうちの1つがクリックされると、この画像の画像ファイルGFから画像データGD(図4)と撮影情報PIとが読み込まれる(ステップS130)。この読み込みが完了すると、画像データGDに基づいた画像を表示するためのウィンドウW2(図8)が現れる。ウィンドウW2上で、ユーザが編集メニューから「フレーム画像合成」を選択すると、読み出された撮影情報PIに応じてフレーム画像データベースの検索が行われる(ステップS140)。
【0045】
図9は、フレーム画像データベースファイルの内容と撮影情報PIの内容を示す説明図である。図9(a)は、パーソナルコンピュータPCのハードディスク232に格納されているフレーム画像データベースファイルの内容を示している。図9(b)は、選択された画像ファイルから読み出された撮影情報PIに含まれているGPS属性情報の内容を示している。このデータベースファイルは、データベース項目として、画像の内容、画像の格納位置、緯度、および経度を有している。
【0046】
画像の内容の項目には、各画像の内容を簡単に表すテキスト情報が各画像毎に格納されており、また、格納位置の項目には各画像のディレクトリおよび画像ファイル名が、緯度の項目には緯度の最小値と最大値とが、経度の項目には経度の最小値と最大値とが、それぞれ各フレーム画像毎に格納されている。
【0047】
フレーム画像データベースの検索は、このデータベースファイルに基づきGPS属性情報に応じて以下のように行われる。GPS属性情報は、GPS Info IFD(図5)に格納されていた情報である。GPS属性情報は、GPS Info IFDにおいて、GPSLatitudeRef(タグ番号:1)と、GPSLatitude(タグ番号:2)と、GPSLongitudeRef(タグ番号:3)と、GPSLongitude(タグ番号:4)とに格納されている。
【0048】
図9(b)に示されるように、この例では読み出されたデータにおいてGPSLatitudeRefとGPSLatitudeとが、それぞれ「N」と「12度50分21秒」であるとともに、GPSLongitudeRefとGPSLongitudeが、それぞれ「E」と「144度30分48秒」である。CPU231は、これらのデータが緯度の最小値と最大値間に入っているとともに、経度の最小値と最大値との間に入っているレコードをデータベースファイルから検索する。この検索の結果、レコード番号が1から8までのレコードが抽出されて、各レコード毎に「格納位置の項目」の内容が出力される。
【0049】
CPU231は、出力された格納位置情報を用いて、レコード番号が最も小さい番号と二番目に小さな番号を有するフレーム画像データを読み込んでウィンドウW3(図10)上に表示する。ウィンドウW3上には、2つのフレーム画像FRM1、FRM2が表示されている。ウィンドウW3上では、たとえば「候補2」と示されたタブTABをクリックすることにより、レコード番号が最も三番目と四番目に小さな番号を有するフレーム画像を表示させることができる。「その他」と記載されたタブをクリックすると、図示しないユーザインターフェース画面が現れて検索されなかった他のフレーム画像が選択可能となる。
【0050】
ユーザが、ユーザインターフェース画面として機能するウィンドウW3上でたとえばフレーム画像FRM2を選択すると、撮影により取得された画像とフレーム画像FRM2とがCPU231により合成され、合成された画像がウィンドウW4(図11)上に表示される。この表示に応じて、ユーザがフレーム画像の選択を決定した場合には、ファイルメニューから「保存する」を選択する。これに応じて、合成された画像がハードディスク232内の所定の場所に格納される。
【0051】
このように、第1実施例では、コンピュータPCに格納された複数のフレーム画像の中から、各画像ファイルに含まれるGPS属性情報に応じてフレーム画像が選択されるので、フレーム画像の選択の際におけるユーザの負担を軽減することができる。
【0052】
なお、CPU231は特許請求の範囲における「フレーム画像選択部、フレーム画像合成部、およびユーザインターフェース部」として機能している。また、撮影情報PIは、特許請求の範囲における「画像処理制御情報」に含まれる情報である。GPS属性情報は、本実施例では特許請求の範囲における「位置情報」に相当する。
【0053】
D.第2実施例:
図12は、第2実施例におけるフレーム画像データベースファイルの内容と撮影情報PIの内容を示す説明図である。このデータベースファイルは、優先順位の項目が追加されている点で第2実施例におけるデータベースファイルと異なる。優先順位の項目に格納されている優先順位の値は、フレーム画像の選択における優先順位を表している。図9(b)は、撮影情報PIに含まれているGPS属性情報の内容を示している。
【0054】
図12(b)に示されるように、この例では読み出されたデータにおいてGPSLatitudeRefとGPSLatitudeとが、それぞれ「N」と「13度42分35秒」であるとともに、GPSLongitudeRefとGPSLongitudeが、それぞれ「E」と「144度26分12秒」である。CPU231は、このGPS属性情報に応じて、第1実施例と同様の方法でレコード番号が1から6までのレコードが検索するとともに、検索された各レコードの格納位置と優先順位とを表す情報を出力する。
【0055】
出力された優先順位は以下に示すように用いられる。第1実施例では、レコード番号が小さい順にフレーム画像が選択されていたため、レコード番号が最も小さい番号と二番目に小さな番号を有するフレーム画像が読み込みウィンドウW3(図10)上に表示されている。ところが、第2実施例では、CPU231は、さらに優先順位を表す情報を用いてフレーム画像が選択されるので、レコード番号が5番と6番のフレーム画像がウィンドウW3(図10)上に最初に表示されることになる。この結果、グアム内における観光ポイントである「恋人岬」の近辺で撮影された写真に対しては、恋人岬関連のフレーム画像がグアム一般のフレーム画像に優先されて選択されることになる。
【0056】
このように、第2実施例では、各フレーム画像が属性として有する優先順を表す情報をも用いてフレーム画像が選択されるので、ユーザによって選択される可能性がより高いフレーム画像をきめ細かく選択することが可能となるという利点がある。
【0057】
なお、フレーム画像の選択における優先順位は、優先順位の項目に記載された項目だけでなく他の項目を利用して決定するようにしても良い。たとえばユーザによる過去の利用回数をカウントする利用回数項目をデータベース項目に追加して、この利用回数項目に格納された利用回数が多いフレーム画像の優先順位を上げるように構成しても良い。この場合には、優先順位の項目と利用回数項目に格納された情報が、特許請求の範囲における「優先順位情報」に相当することになる。
【0058】
また、利用回数項目に格納された情報をユーザサポートを行うサーバにアップロードするとともに、このサーバから蓄積されている利用回数項目に格納された情報をダウンロード可能とするようにすることが好ましい。こうすれば、人気の高いフレーム画像を優先的に選択することができるようになるという利点がある。
【0059】
さらに、デジタルスチルカメラ12やパーソナルコンピュータPC、プリンタ20は、自宅位置を登録できるように構成されていることが好ましい。たとえば観光地の近くに住んでいる場合において、自宅の周辺で撮影された画像に対しては、その観光地に関連するフレーム画像よりも自宅周辺で撮影される可能性が高い子供に関連するフレーム画像が望まれる可能性が高い場合もあるからである。
【0060】
たとえばデジタルスチルカメラ12に自宅位置を登録可能とし、この登録された地理的位置から所定の範囲内において撮影された場合には、撮影地が「自宅」であることを表す情報を撮影情報PIとして画像ファイルに格納するように構成しても良い。また、たとえば所定の範囲内において撮影された場合には、地理情報を格納しないようにデジタルスチルカメラ12を構成しても良い。
【0061】
一方、パーソナルコンピュータPCやプリンタ20に自宅位置を登録可能とし、この登録された地理的位置から所定の範囲内において撮影された場合には、撮影地が「自宅」であると判断するように構成しても良い。
【0062】
E.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0063】
E−1.上記各実施例では、フレーム画像の選択に利用される地理的位置を表す地理情報(位置情報)は、米国が運用しているGPS衛星からの電波や携帯電話の基地局の電波を利用して生成されているが、たとえば欧州が開発予定のGPSシステム(ガリレオ)を利用して生成するようにしても良い。一般に、本発明でフレーム画像の選択に利用される地理情報は、撮影時における地球上の絶対的な位置を表すものであれば良い。
【0064】
E−2.上記各実施例では、撮影時のデジタルスチルカメラ自身の地理的位置に応じて、フレーム画像が選択されているが、たとえばデジタルスチルカメラが向けられた被写体の位置を基準にして選択されるようにしても良い。被写体の位置は、たとえばデジタルスチルカメラの位置を表す情報とデジタルスチルカメラの方向を表す情報とで算出することができる。
【0065】
デジタルスチルカメラの方向を表す情報は、GPS Info IFD(図5)内のGPSImgDirectionRef(タグ番号:16)と、GPSImgDirection(タグ番号:17)とに格納されている。なお、特許請求の範囲における「撮影時の地理的位置」は、デジタルスチルカメラの位置だけでなく被写体の位置をも含む広い概念である。
【0066】
E−3.上記各実施例では、地理情報に応じてフレーム画像が選択されているが、たとえば撮影時の時間を表す時間情報に応じてフレーム画像を選択するようにしても良い。具体的には、年末には地理情報に拘わらずクリスマスや新年に関連するフレーム画像が選択されるように構成しても良いし、撮影時における地理情報と時間情報とを組み合わせて選択するようにしても良い。一般に、本発明で行われるフレーム画像の選択は、地理情報と時間情報の少なくとも一方に応じて行われれば良い。
【0067】
ここで、「複数のフレーム画像のうちの一部のフレーム画像を選択する」とは、複数のフレーム画像のうちの一部のフレーム画像が選択されないようにすることをも含む概念である。たとえば、年末の一定の時期を除いて、クリスマスや新年に関連するフレーム画像が選択されないように構成しても良い。
【0068】
なお、時間情報は、GPS衛星その他のデジタルスチルカメラの外部から与えられる情報であっても、デジタルスチルカメラに内蔵された時計が計測する時間であっても良い。ただし、フレーム画像の選択に利用される時間は、時差を考慮した撮影時の現地時間を利用することが好ましい。この現地時間は、たとえばGPS衛星から取得された協定世界時(UTC)と時差とから求めることが可能である。また、デジタルスチルカメラに内蔵された時計は、この現地時間に応じて修正されるように構成することが好ましい。
【0069】
E−4.上記各実施例では、地理情報に応じてフレーム画像が選択されているが、速度情報や高度情報をも利用して選択するようにしても良い。たとえば米国北部やカナダへの飛行中において、アラスカ上空から撮影した画像に対して「アラスカ上空飛行中」といったフレーズが含まれるフレーム画像が選択されるようにしても良い。さらに、時間情報を組み合わせて「アラスカの夕暮れ」といったフレーズが含まれるフレーム画像が優先的に選択されるようにしても良い。
【0070】
なお、速度情報や高度情報は、画像ファイルGFのGPS Info IFD(図5)において、GPSSpeedRef(タグ番号:12)と、GPSSpeed(タグ番号:13)とから読み出すことにより取得することができる。
【0071】
さらに、GPS Info IFDに格納されているデータだけでなく、たとえばポートレートモードといった撮影モードを表す情報に応じてフレーム画像を選択するようにしても良い。一般に、本発明で使用されるフレーム画像選択部は、画像データの処理に使用される画像処理制御情報に応じて、複数のフレーム画像のうちの一部のフレーム画像を選択するように構成されているものであれば良い。
【0072】
E−5.上記各実施例では、各フレーム画像の属性を表すデータベースファイルを用いてフレーム画像の選択が行われているが、たとえば各フレーム画像のファイルに属性データを格納して、この属性データを直接用いて選択するようにしても良い。ただし、データベースファイルを用いる方法には、選択処理に要する時間を短くすることができるという利点がある。
【0073】
E−6.上記各実施例では、ユーザによるフレーム画像の選択の後に、画像データとフレーム画像データとが合成された画像データが保存されるように構成されているが、たとえば画像処理制御情報としてユーザによって選択されたフレーム画像を特定するための情報を画像ファイルに格納するようにしても良い。こうすれば、合成前の画像データを残したままで、記録領域内における画像データの使用領域を過度に増やすことなく、合成された画像データをすぐに利用可能な状態とすることができる。なお、特許請求の範囲の「フレーム画像合成部」は、合成された画像を確認するために画像データとフレーム画像データとをメモリ上で合成するものであれば良い。
【0074】
E−7.上記各実施例では、コンピュータPCは複数のフレーム画像データを格納するフレーム画像格納部を備えているが、たとえばコンピュータPCがフレーム画像格納部を備えずに、フレーム画像の合成毎に外部のコンピュータ(図示せず)からフレーム画像データを(たとえばインターネット経由)で取得するようにしても良い。ただし、コンピュータPCがフレーム画像格納部を備えるようにすれば、選択処理や合成処理を迅速にできるという利点がある。
【0075】
また、フレーム画像の選択を外部のコンピュータで行うようにしても良い。これは、以下のような処理で実現することができる。
(1)コンピュータPCが有する画像処理制御情報送信部(図示せず)が、画像ファイルから読み出した画像処理制御情報を外部のコンピュータに送信する。
(2)外部のコンピュータは、この情報に応じて予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択する。
(3)外部のコンピュータは、この選択されたフレーム画像データのうちの少なくとも1つをコンピュータPCに送信する。
【0076】
なお、この場合には、画像処理装置においては、画像処理制御情報送信部が特許請求の範囲の「フレーム画像選択部」として機能しており、フレーム画像提供装置においては、フレーム画像選択部が特許請求の範囲の「フレーム画像選択部」に相当する。
【0077】
E−8.上記各実施例では、各画像に対して1つのフレーム画像を合成しているが、たとえば2つ以上のフレーム画像を重畳的に合成するようにしても良い。本発明で使用されるフレーム画像合成部は、一般に、選択されたフレーム画像データのうちの少なくとも1つと、画像データとを合成するように構成されているものであれば良い。
【0078】
E−9.上記各実施例では、パーソナルコンピュータが画像処理装置として機能しているが、たとえばカラープリンタが画像処理装置の機能を有するようにしても良い。また、本発明は、カラー印刷だけでなくモノクロ印刷にも適用可能である。
【0079】
E−10.上記各実施例では、ディスプレイ14やカラープリンタ20が特許請求の範囲における「画像出力部」として機能しているが、たとえばプロジェクタによって投影するようにしてもよい。本発明で使用される画像出力部は、一般に、合成された画像データに基づいて画像を視認可能に出力するように構成されていれば良い。
【0080】
本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【図1】本発明の一実施例としての画像処理システムを示す説明図。
【図2】画像データを生成する入力装置としてのデジタルスチルカメラの構成の概略を示すブロック図。
【図3】画像データを出力する出力装置としてのコンピュータPCとカラープリンタの構成の概略を示すブロック図。
【図4】本発明の実施例における画像ファイルGFの構造の概略示す説明図。
【図5】画像ファイルGFのExif IFDに格納される付属情報の一例を示す説明図。
【図6】コンピュータPCにおける画像処理の処理ルーチンを示すフローチャート。
【図7】画像処理ソフトの起動時のウィンドウW1を示す説明図。
【図8】画像処理ソフトのウィンドウW2を示す説明図。
【図9】フレーム画像データベースファイルの内容と撮影情報PIの内容を示す説明図。
【図10】画像処理ソフトのウィンドウW3を示す説明図。
【図11】画像処理ソフトのウィンドウW4を示す説明図。
【図12】第2実施例におけるフレーム画像データベースファイルの内容を示す説明図。
【符号の説明】
10…画像処理システム
14…ディスプレイ
12…デジタルスチルカメラ
20…カラープリンタ
22…スロット
23…印刷データ生成回路
110…画像データ格納領域
121…光学回路
122…画像取得回路
123…画像処理回路
124…制御回路
125…携帯電話インターフェース回路
126…決定ボタン
127…液晶ディスプレイ
128…GPS回路
129…GPSアンテナ
231…CPU
232…ハードディスク
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image composition technique for combining frame image data with image data.
[0002]
[Prior art]
Since image data generated by a digital still camera (DSC), a scanner, or other image input device is digital data, it can be easily combined with another image on a personal computer or digital still camera. For example, a frame image such as an image representing a frame or an image representing an entrance or other event and an image acquired by photographing are synthesized. Such a frame image to be synthesized can usually be selected by the user from various frame images according to the image to be synthesized.
[0003]
[Patent Document 1]
JP 2002-149146 A
[0004]
[Problems to be solved by the invention]
However, when selecting a compositing target from a plurality of frame images, the burden of selection by the user tends to increase as the number of options increases. On the other hand, the probability that each frame image is selected varies greatly depending on the shooting location and time. For example, when a picture is taken at a specific sightseeing spot, there is a high probability that selection of a frame image related to the sightseeing spot is desired.
[0005]
The present invention has been made to solve the above-described problems in the prior art, and an object thereof is to provide a technique for reducing the burden on the user when selecting a frame image.
[0006]
[Means for solving the problems and their functions and effects]
In order to solve at least a part of the above-described problems, an image processing apparatus according to the present invention applies image data to image data according to an image file including image data and image processing control information used for processing the image data. An image processing apparatus that performs image processing on the image processing apparatus,
A frame image selection unit that selects a part of the frame image data among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
A user interface unit that displays the selected frame image data in the frame image selection unit and allows a user to select at least one of the displayed frame image data;
And a frame image synthesis unit that synthesizes the image data with at least one of the frame image data selected by the user.
[0007]
According to the image processing apparatus of the present invention, a frame image is obtained using a user interface in which a part of frame image data is selected from among a plurality of frame image data according to image processing control information included in the image file. Since it can be selected, the burden on the user when selecting the frame image data can be reduced.
[0008]
It is preferable that the image processing apparatus further includes a frame image storage unit that stores the plurality of frame image data.
[0009]
This has the advantage that the selection process and the synthesis process can be performed quickly.
[0010]
In the image processing apparatus, the frame image storage unit can store priority information indicating a priority of selection of the plurality of frame image data for at least some of the images of the plurality of frame image data. It is preferable that the frame image selection unit further performs the selection according to the priority order information.
[0011]
In this way, it is possible to finely select a frame image that is more likely to be selected by the user.
[0012]
In the image processing device, the frame image storage unit includes a database file in which attribute information of the plurality of frame image data is databased, and the frame image selection unit searches the database file to search for the database file. It is preferable to make a selection.
[0013]
In this way, the time required for the selection process of the frame image data can be further shortened.
[0014]
In the image processing apparatus, the image processing control information includes geographic information indicating a geographical position at the time of shooting, and the frame image selection unit may perform the selection according to at least the geographic information. Good and
The image processing control information may include time information indicating time at the time of shooting, and the frame image selection unit may perform the selection according to at least the time information.
[0015]
An image file writing apparatus according to the present invention is an apparatus for writing information to an image file including image data and image processing control information used for processing the image data. And an image file writing unit that writes information for specifying the frame image data to the image file as the image processing control information.
[0016]
According to the image file writing device of the present invention, the combined image data can be used without excessively increasing the use area of the image data in the recording area while leaving the pre-combination image data. Can do.
[0017]
A frame image providing apparatus of the present invention is a frame image providing apparatus that provides frame image data to be combined with image data, the image data and image processing control information used for processing the image data. An image processing control information receiving unit for receiving image processing control information read from the image file included, and a part of the plurality of frame image data prepared in advance according to the received image processing control information A frame image selection unit for selecting the frame image data, and the frame image data selected by the frame image selection unit are displayed, and the user is allowed to select at least one of the displayed frame image data. At least one of an allowed user interface unit and frame image data selected by the user; Characterized in that it comprises a frame image transmitting unit to Shin.
[0018]
An image output apparatus according to the present invention is an image output apparatus that outputs an image in accordance with an image file including image data and image processing control information used for processing the image data. And a frame image selection unit that selects a part of the plurality of frame image data prepared in advance for synthesis with the image data, and at least one of the selected frame image data. And a frame image synthesis unit that synthesizes the image data and an image output unit that outputs the image in a visually recognizable manner based on the synthesized image data. Examples of image output forms include output forms such as printing, display on a CRT, and projection by a projector.
[0019]
The present invention can be realized in various modes. For example, an image file generation device, an image output device, an image processing method, a computer program for realizing the functions of these methods or devices, and the computer The present invention can be realized in the form of a recording medium recording the program, a data signal including the computer program and embodied in a carrier wave, and the like.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in the following order based on examples.
A. Image processing system configuration:
B. Image file structure:
C. First embodiment:
D. Second embodiment:
E. Variation:
[0021]
A. Image processing system configuration:
FIG. 1 is an explanatory diagram showing an image processing system 10 as an embodiment of the present invention. The image processing system 10 includes a digital still camera 12 as an input device that generates original image data, a personal computer PC as an image processing device that performs image processing on the original image data generated by the digital still camera 12, and And a color printer 20 as an output device for outputting the processed image.
[0022]
The digital still camera 12, the personal computer PC, and the color printer 20 can be connected to each other with a cable CV. When connected by the cable CV, the digital still camera 12 or the like can transmit and receive an image file via the cable CV. Even when not connected by the cable CV, the digital still camera 12 and the like can exchange image files using the memory card MC.
[0023]
FIG. 2 is a block diagram showing an outline of the configuration of the digital still camera 12 as an input device for generating image data. The digital still camera 12 is a camera that electrically records a still image by forming an image on a charge coupled device (CCD) through an optical lens.
[0024]
The digital still camera 12 includes a circuit group for generating image data, a circuit group for positioning, and a control circuit 124 for controlling them. The circuit group for generating image data includes circuits such as the optical circuit 121, the image acquisition circuit 122, and the image processing circuit 123. The circuit group for positioning includes a GPS circuit 128, a GPS antenna 129, and a mobile phone interface circuit 125. The digital still camera 12 further includes a selection / determination button 126 as a user interface, and a liquid crystal display 127 used as a preview of a captured image and a user interface.
[0025]
Each circuit for generating image data has the following functions. The optical circuit 121 converts an optical signal into an electrical signal using a CCD. The image acquisition circuit 122 controls the optical circuit 121 to acquire an image and generate image data. The image processing circuit 123 performs processing on the image data generated in this way.
[0026]
Each circuit for positioning has the following functions. A GPS (GLOBAL POSITIONING SYSTEM) antenna 129 receives radio waves from GPS satellites. The GPS circuit 128 analyzes the radio wave to acquire position information representing the geographical position of the digital still camera 12. In recent years, since the capability of the GPS positioning system has improved, position information can be acquired with an accuracy of several meters even in a central room away from the window of an office building, for example.
[0027]
The cellular phone interface circuit 125 inputs position information acquired by the cellular phone to the GPS circuit. Since location information is acquired by using a mobile phone by using a mobile phone, the location information can be acquired even in places where it is extremely difficult to receive GPS radio waves, such as an underground shopping street. As such a positioning method, for example, there is a method called gpsone (trademark) manufactured by Qualcomm.
[0028]
The shooting process (image data acquisition process) by the digital still camera 12 includes (1) update of GPS data, (2) setting of a shooting mode by the user, (3) imaging (input of image data), and (4) image processing. (5) The image files are recorded in this order.
[0029]
The GPS data is updated using a user interface such as the liquid crystal display 127 or the selection / determination button 126. When an update instruction is given by the user, the GPS circuit 128 is activated, and position information is generated according to radio waves from GPS satellites. When the position information is generated, this information is stored in a nonvolatile memory (not shown) included in the image acquisition circuit 122 and “GPS_OK” is displayed on the liquid crystal display 127.
[0030]
As described above, the position information is updated in accordance with an instruction from the user, so that the power consumed to acquire the position information is saved and the power consumption of the battery included in the digital still camera 12 is reduced. Because. However, it is more preferable to provide a mode in which position information is constantly updated. This is because such operation is also expected.
[0031]
When the mobile phone PP is connected to the digital still camera 12, position information is also generated using information from the mobile phone PP. However, when radio waves from GPS satellites are not received, position information is generated using only information from the mobile phone PP.
[0032]
Imaging is performed by the user pressing the shutter after obtaining the position information and setting the shooting mode. When the shutter is pressed, the image acquisition circuit 122 generates an original image by controlling the optical circuit 121 and converting the input light into an electrical signal. When the original image data is generated, image processing for storage is performed on the image data.
[0033]
This image processing is preprocessing for saving in the memory card MC. Generally, original image data is converted into a JPEG format suitable for storing a photographic image. After conversion to the JPEG format, shooting information PI is added to the converted image data to generate an image file.
[0034]
The shooting information PI is information indicating shooting conditions, and includes position information indicating a shooting position. This position information is information stored in the nonvolatile memory included in the image acquisition circuit 122 as described above. The photographing process in the digital still camera 12 is completed by recording the image file on the memory card MC. The configuration of the image file will be described later.
[0035]
FIG. 3 is a block diagram showing an outline of the configuration of the computer PC and the color printer 20 as output devices for outputting image data. The computer PC includes a slot 22 from which an image file can be read from the memory card MC, a print data generation circuit 23 for generating print data for causing the color printer 20 to perform printing, and a display 14. Yes.
[0036]
The print data generation circuit 23 includes an arithmetic processing unit (CPU) 231 that executes arithmetic processing for generating print data, a hard disk 232 that stores programs executed in the CPU 231, arithmetic processing results in the CPU 231, and other data. And a random access memory (RAM) 233 for temporarily storing the programs and data. The print data generation circuit 23 also has a function of performing image processing that is performed prior to generation of print data. This image processing includes processing for combining frame image data with image data.
[0037]
On the hard disk 232 of the computer PC, a plurality of frame image data to be combined with image data, a database file in which data representing attributes of each frame image data are databased, image data and selected frame image data are stored. The image processing software that can be combined is stored.
[0038]
The color printer 20 is a printer that can output a color image. The color printer 20 forms, for example, a dot pattern by ejecting four colors of ink of cyan (C), magenta (M), yellow (Y), and black (K) onto a print medium. An ink jet printer to be formed. In this embodiment, the display 14 and the color printer 20 function as an “image output unit” in the claims.
[0039]
B. Image file structure:
FIG. 4 is an explanatory diagram showing an outline of the structure of the image file GF in the embodiment of the present invention. The image file GF has a file structure in accordance with the digital still camera image file format standard (Exif). This standard is established by the Japan Electronics and Information Technology Industries Association (JEITA). This standard stipulates that a JPEG-Exif file that stores compression-type JPEG data as image data is included in an Exif file (Exif standard file).
[0040]
The image file GF includes an SOI marker segment 101 indicating the head of the compressed data, an APP1 marker segment 102 that stores Exif attached information, an APP2 marker segment 103 that stores Exif extension data, and a DQT marker that defines a quantization table. A segment 104, a DHT marker segment 105 that defines a Huffman table, a DRI marker segment 106 that defines the insertion interval of restart markers, an SOF marker segment 107 that indicates various parameters related to a frame, and an SOS marker that indicates various parameters related to a scan A segment 108, an EOI marker segment 109 indicating the end of the compressed data, and an image data storage area 110 are included.
[0041]
The APP1 marker segment 102 stores an APP1 marker 1021, an Exif identification code 1022, a TIFF header and other attached information 1023, and a thumbnail image 1024. This attached information 1023 has a TIFF structure including a file header (TIFF header). In Exif-JPEG, it is unique to Exif including 0th IFD for storing attached information related to compressed image data and shooting information PI. It includes an Exif IFD that stores auxiliary information, a GPS Info IFD that stores GPS measurement information, and a 1st IFD that stores auxiliary information related to thumbnail images. The GPS Info IFD is pointed by an offset from the TIFF header stored in the 0th IFD. In GPS Info IFD, a tag is used to specify each piece of information, and each piece of information may be called by a tag name.
[0042]
FIG. 5 is an explanatory diagram showing a configuration of attached information stored in the GPS Info IFD of the image file GF. The attached information includes position information (tag numbers: 1 to 4) indicating a geographical position such as latitude and longitude at the time of shooting, as well as speed, shooting direction, and time (Coordinated Universal Time) at the time of shooting. Can also be included. The recording of the shooting information PI including the attached information is performed at the time of shooting in the digital still camera 12 as described above.
[0043]
C. First embodiment:
FIG. 6 is a flowchart showing a processing routine of image processing in the computer PC. In step S110, the user activates the image processing software. When the image processing software is activated, an image processing software activation window W1 shown in FIG. 7 is displayed. In this window W1, thumbnail images of each image data stored in the memory card MC inserted into the slot 22 are displayed. The thumbnail image is displayed based on the thumbnail image data 1024 (FIG. 4) read from the image file GF.
[0044]
In step S120, the user selects an image to be processed on the window W1. This selection is performed by clicking one of the displayed thumbnail images. When one of the thumbnail images is clicked, image data GD (FIG. 4) and shooting information PI are read from the image file GF of the image (step S130). When this reading is completed, a window W2 (FIG. 8) for displaying an image based on the image data GD appears. When the user selects “frame image composition” from the edit menu on the window W2, the frame image database is searched according to the read shooting information PI (step S140).
[0045]
FIG. 9 is an explanatory diagram showing the contents of the frame image database file and the contents of the shooting information PI. FIG. 9A shows the contents of the frame image database file stored in the hard disk 232 of the personal computer PC. FIG. 9B shows the content of the GPS attribute information included in the shooting information PI read from the selected image file. This database file has image contents, image storage position, latitude, and longitude as database items.
[0046]
In the image content item, text information that simply represents the content of each image is stored for each image. In the storage location item, the directory and image file name of each image are stored in the latitude item. Stores the minimum and maximum values of latitude, and the minimum and maximum values of longitude are stored for each frame image in the item of longitude.
[0047]
The search of the frame image database is performed as follows according to the GPS attribute information based on this database file. The GPS attribute information is information stored in the GPS Info IFD (FIG. 5). The GPS attribute information is stored in GPS Latitude Ref (tag number: 1), GPS Latitude (tag number: 2), GPS Longitude Ref (tag number: 3), and GPS Longitude (tag number: 4) in the GPS Info IFD. .
[0048]
As shown in FIG. 9 (b), in this example, in the read data, GPSLatitudeRef and GPSLatitude are “N” and “12 degrees 50 minutes 21 seconds”, respectively, and GPSLongitudeRef and GPSLongitude are “ E "and" 144 degrees 30 minutes 48 seconds ". The CPU 231 searches the database file for records in which these data are between the minimum and maximum latitude values and between the minimum and maximum longitude values. As a result of this search, records with record numbers 1 to 8 are extracted, and the content of “storage position item” is output for each record.
[0049]
The CPU 231 reads the frame image data having the smallest record number and the second smallest number using the output storage location information and displays it on the window W3 (FIG. 10). Two frame images FRM1 and FRM2 are displayed on the window W3. On the window W3, for example, by clicking the tab TAB indicated as “candidate 2”, a frame image having the third and fourth smallest record numbers can be displayed. When a tab labeled “Other” is clicked, a user interface screen (not shown) appears and other frame images that have not been searched can be selected.
[0050]
When the user selects, for example, the frame image FRM2 on the window W3 that functions as a user interface screen, the image acquired by shooting and the frame image FRM2 are combined by the CPU 231 and the combined image is displayed on the window W4 (FIG. 11). Is displayed. If the user decides to select a frame image in response to this display, “Save” is selected from the file menu. In response to this, the synthesized image is stored in a predetermined location in the hard disk 232.
[0051]
Thus, in the first embodiment, a frame image is selected from a plurality of frame images stored in the computer PC according to GPS attribute information included in each image file. The burden on the user can be reduced.
[0052]
The CPU 231 functions as a “frame image selection unit, frame image composition unit, and user interface unit” in the claims. The photographing information PI is information included in the “image processing control information” in the claims. The GPS attribute information corresponds to “position information” in the claims in this embodiment.
[0053]
D. Second embodiment:
FIG. 12 is an explanatory diagram showing the contents of the frame image database file and the contents of the shooting information PI in the second embodiment. This database file is different from the database file in the second embodiment in that a priority item is added. The priority value stored in the priority item represents the priority in selecting a frame image. FIG. 9B shows the contents of the GPS attribute information included in the shooting information PI.
[0054]
As shown in FIG. 12 (b), in this example, in the read data, GPSLatitudeRef and GPSLatitude are “N” and “13 degrees 42 minutes and 35 seconds”, respectively, and GPSLongitudeRef and GPSLongitude are “ E "and" 144 degrees 26 minutes 12 seconds ". In accordance with the GPS attribute information, the CPU 231 searches for records having record numbers 1 to 6 in the same manner as in the first embodiment, and displays information indicating the storage position and priority of each searched record. Output.
[0055]
The output priority order is used as shown below. In the first embodiment, since the frame images are selected in ascending order of the record numbers, the frame images having the smallest record number and the second smallest number are displayed on the reading window W3 (FIG. 10). However, in the second embodiment, since the CPU 231 further selects frame images using information indicating the priority order, the frame images with the record numbers 5 and 6 are first displayed on the window W3 (FIG. 10). Will be displayed. As a result, for a photograph taken in the vicinity of “Lover Point”, which is a sightseeing point in Guam, a frame image related to Lover Point is selected with priority over the frame image of general Guam.
[0056]
As described above, in the second embodiment, since the frame image is selected also using the information indicating the priority order that each frame image has as an attribute, the frame image that is more likely to be selected by the user is finely selected. There is an advantage that it becomes possible.
[0057]
It should be noted that the priority order in selecting frame images may be determined using not only the items described in the priority order item but also other items. For example, a usage frequency item for counting the past usage frequency by the user may be added to the database item, and the priority order of frame images having a high usage frequency stored in the usage frequency item may be increased. In this case, the information stored in the priority item and the use count item corresponds to “priority information” in the claims.
[0058]
In addition, it is preferable that the information stored in the usage count item is uploaded to a server that performs user support, and the information stored in the usage count item accumulated from this server is made downloadable. In this way, there is an advantage that a popular frame image can be preferentially selected.
[0059]
Furthermore, it is preferable that the digital still camera 12, the personal computer PC, and the printer 20 are configured so that the home position can be registered. For example, if you live near a sightseeing spot, for an image taken around your home, a frame related to a child that is more likely to be shot around your home than a frame image related to that sightseeing spot This is because there is a high possibility that an image is desired.
[0060]
For example, when the home position can be registered in the digital still camera 12 and the image is taken within a predetermined range from the registered geographical position, information indicating that the shooting location is “home” is used as the shooting information PI. You may comprise so that it may store in an image file. Further, for example, the digital still camera 12 may be configured not to store geographic information when the image is taken within a predetermined range.
[0061]
On the other hand, the home position can be registered in the personal computer PC or the printer 20, and when the photograph is taken within a predetermined range from the registered geographical position, it is determined that the photographing place is “home”. You may do it.
[0062]
E. Variation:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
[0063]
E-1. In each of the above embodiments, the geographic information (location information) representing the geographic location used for the selection of the frame image uses radio waves from GPS satellites operated by the United States and radio waves from mobile phone base stations. Although it is generated, for example, it may be generated using a GPS system (Galileo) planned to be developed by Europe. In general, the geographic information used for selecting a frame image in the present invention may be any information that represents an absolute position on the earth at the time of shooting.
[0064]
E-2. In each of the above embodiments, the frame image is selected according to the geographical position of the digital still camera itself at the time of shooting. For example, the frame image is selected based on the position of the subject to which the digital still camera is directed. May be. The position of the subject can be calculated from, for example, information indicating the position of the digital still camera and information indicating the direction of the digital still camera.
[0065]
Information indicating the direction of the digital still camera is stored in GPSImgDirectionRef (tag number: 16) and GPSImgDirection (tag number: 17) in the GPS Info IFD (FIG. 5). The “geographical position at the time of photographing” in the claims is a broad concept including not only the position of the digital still camera but also the position of the subject.
[0066]
E-3. In each of the above embodiments, the frame image is selected according to the geographic information. However, for example, the frame image may be selected according to the time information indicating the time at the time of shooting. Specifically, a frame image related to Christmas or New Year may be selected at the end of the year regardless of geographic information, or a combination of geographic information and time information at the time of shooting may be selected. May be. In general, the selection of a frame image performed in the present invention may be performed according to at least one of geographic information and time information.
[0067]
Here, “selecting a part of the plurality of frame images” is a concept including preventing a part of the plurality of frame images from being selected. For example, a frame image related to Christmas or New Year may not be selected except for a certain period at the end of the year.
[0068]
The time information may be GPS satellites or other information provided from the outside of the digital still camera, or may be a time measured by a clock built in the digital still camera. However, it is preferable to use the local time at the time of photographing considering the time difference as the time used for selecting the frame image. This local time can be obtained from a coordinated universal time (UTC) acquired from a GPS satellite and a time difference, for example. Moreover, it is preferable that the timepiece built in the digital still camera is configured to be corrected according to the local time.
[0069]
E-4. In each of the above embodiments, the frame image is selected according to the geographic information. However, the frame image may be selected using speed information and altitude information. For example, during a flight to the northern part of the United States or Canada, a frame image including the phrase “flying over Alaska” may be selected for an image taken from above Alaska. Further, a frame image including a phrase such as “Alaska dusk” may be preferentially selected by combining time information.
[0070]
The speed information and altitude information can be acquired by reading from GPSSpeedRef (tag number: 12) and GPSSpeed (tag number: 13) in the GPS Info IFD (FIG. 5) of the image file GF.
[0071]
Further, the frame image may be selected not only according to the data stored in the GPS Info IFD but also according to information representing the photographing mode such as the portrait mode. In general, the frame image selection unit used in the present invention is configured to select a part of a plurality of frame images according to image processing control information used for processing image data. It is good if it is.
[0072]
E-5. In each of the above embodiments, a frame image is selected using a database file that represents the attribute of each frame image. For example, attribute data is stored in each frame image file, and the attribute data is used directly. You may make it select. However, the method using the database file has an advantage that the time required for the selection process can be shortened.
[0073]
E-6. In each of the embodiments described above, the image data obtained by combining the image data and the frame image data is stored after the user selects the frame image. For example, the image data is selected by the user as the image processing control information. Information for specifying the frame image may be stored in the image file. In this way, it is possible to make the combined image data available immediately without excessively increasing the use area of the image data in the recording area while leaving the pre-combination image data. Note that the “frame image composition unit” in the claims may be anything that synthesizes image data and frame image data on a memory in order to confirm the synthesized image.
[0074]
E-7. In each of the above-described embodiments, the computer PC includes a frame image storage unit that stores a plurality of frame image data. For example, the computer PC does not include a frame image storage unit, and an external computer ( Frame image data may be acquired from (not shown) (for example, via the Internet). However, if the computer PC is provided with a frame image storage unit, there is an advantage that selection processing and composition processing can be performed quickly.
[0075]
The frame image may be selected by an external computer. This can be realized by the following processing.
(1) An image processing control information transmitting unit (not shown) included in the computer PC transmits image processing control information read from the image file to an external computer.
(2) The external computer selects some frame image data from among a plurality of frame image data prepared in advance according to this information.
(3) The external computer transmits at least one of the selected frame image data to the computer PC.
[0076]
In this case, in the image processing device, the image processing control information transmission unit functions as a “frame image selection unit” in the claims, and in the frame image providing device, the frame image selection unit is patented. This corresponds to the “frame image selection unit” in the claims.
[0077]
E-8. In each of the above embodiments, one frame image is synthesized with each image. However, for example, two or more frame images may be synthesized in a superimposed manner. In general, the frame image composition unit used in the present invention only needs to be configured to compose image data with at least one of selected frame image data.
[0078]
E-9. In each of the embodiments described above, the personal computer functions as the image processing apparatus. However, for example, a color printer may have the function of the image processing apparatus. The present invention can be applied not only to color printing but also to monochrome printing.
[0079]
E-10. In each of the above embodiments, the display 14 and the color printer 20 function as the “image output unit” in the claims, but may be projected by a projector, for example. In general, the image output unit used in the present invention may be configured to output an image so as to be visible based on the combined image data.
[0080]
When some or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, and the like. An external storage device fixed to the computer is also included.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an image processing system as an embodiment of the present invention.
FIG. 2 is a block diagram showing an outline of the configuration of a digital still camera as an input device that generates image data.
FIG. 3 is a block diagram showing an outline of a configuration of a computer PC and a color printer as output devices that output image data.
FIG. 4 is an explanatory diagram schematically showing the structure of an image file GF in an embodiment of the present invention.
FIG. 5 is an explanatory diagram illustrating an example of attached information stored in an Exif IFD of an image file GF.
FIG. 6 is a flowchart showing a processing routine of image processing in the computer PC.
FIG. 7 is an explanatory diagram showing a window W1 when image processing software is activated.
FIG. 8 is an explanatory diagram showing a window W2 of image processing software.
FIG. 9 is an explanatory diagram showing the contents of a frame image database file and the contents of shooting information PI.
FIG. 10 is an explanatory diagram showing a window W3 of image processing software.
FIG. 11 is an explanatory diagram showing a window W4 of image processing software.
FIG. 12 is an explanatory diagram showing the contents of a frame image database file in the second embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image processing system 14 ... Display 12 ... Digital still camera 20 ... Color printer 22 ... Slot 23 ... Print data generation circuit 110 ... Image data storage area 121 ... Optical circuit 122 ... Image acquisition circuit 123 ... Image processing circuit 124 ... Control circuit 125 ... Mobile phone interface circuit 126 ... Decision button 127 ... Liquid crystal display 128 ... GPS circuit 129 ... GPS antenna 231 ... CPU
232: Hard disk

Claims (12)

画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、前記画像データに対して画像処理を行う画像処理装置であって、
前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、
前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容するユーザインターフェース部と、
前記ユーザに選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成するフレーム画像合成部と、を備えることを特徴とする、画像処理装置。
An image processing apparatus that performs image processing on the image data according to an image file including image data and image processing control information used for processing the image data,
A frame image selection unit that selects a part of the frame image data among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
A user interface unit that displays the selected frame image data in the frame image selection unit and allows a user to select at least one of the displayed frame image data;
An image processing apparatus comprising: a frame image synthesis unit that synthesizes at least one of the frame image data selected by the user and the image data.
請求項1記載の画像処理装置であって、さらに、
前記複数のフレーム画像データを格納するフレーム画像格納部を備える、画像処理装置。
The image processing apparatus according to claim 1, further comprising:
An image processing apparatus comprising a frame image storage unit for storing the plurality of frame image data.
請求項2記載の画像処理装置であって、
前記フレーム画像格納部は、前記複数のフレーム画像データの属性情報をデータベース化したデータベースファイルを有しており、
前記フレーム画像選択部は、前記データベースファイルを検索することにより前記選択を行う、画像処理装置。
The image processing apparatus according to claim 2,
The frame image storage unit has a database file in which attribute information of the plurality of frame image data is databased,
The image processing apparatus, wherein the frame image selection unit performs the selection by searching the database file.
請求項2または3に記載の画像処理装置であって、
前記フレーム画像格納部は、前記複数のフレーム画像データの選択の優先順位を表す優先順位情報を、前記複数のフレーム画像データの少なくとも一部の画像について格納することが可能であり、
前記フレーム画像選択部は、さらに前記優先順位情報に応じて前記選択を行う、画像処理装置。
The image processing apparatus according to claim 2 or 3,
The frame image storage unit can store priority order information indicating a priority order of selection of the plurality of frame image data for at least some images of the plurality of frame image data;
The frame image selection unit further performs the selection according to the priority order information.
請求項1ないし4に記載の画像処理装置であって、
前記画像処理制御情報は、撮影時の地理的位置を表す地理情報を含んでおり、
前記フレーム画像選択部は、少なくとも前記地理情報に応じて前記選択を行う、画像処理装置。
The image processing apparatus according to claim 1, wherein:
The image processing control information includes geographical information representing a geographical position at the time of shooting,
The image processing apparatus, wherein the frame image selection unit performs the selection according to at least the geographic information.
請求項1ないし5のいずれかに記載の画像処理装置であって、
前記画像処理制御情報は、撮影時の時間を表す時間情報を含んでおり、
前記フレーム画像選択部は、少なくとも前記時間情報に応じて前記選択を行う、画像処理装置。
An image processing apparatus according to any one of claims 1 to 5,
The image processing control information includes time information indicating time at the time of shooting,
The image processing apparatus, wherein the frame image selection unit performs the selection according to at least the time information.
画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに情報を書き込む画像ファイル書き込み装置であって、
請求項1ないし6のいずれかに記載の画像処理装置と、
前記選択されたフレーム画像データを特定するための情報を、前記画像処理制御情報として前記画像ファイルに書き込む画像ファイル書き込み部と、を備えることを特徴とする画像ファイル書き込み装置。
An image file writing device for writing information to an image file including image data and image processing control information used for processing the image data,
An image processing apparatus according to any one of claims 1 to 6,
An image file writing apparatus, comprising: an image file writing unit that writes information for specifying the selected frame image data into the image file as the image processing control information.
画像データと合成するためのフレーム画像データを提供するフレーム画像提供装置であって、
前記画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルから読み出された画像処理制御情報を受信する画像処理制御情報受信部と、
前記受信された画像処理制御情報に応じて、予め準備された複数の前記フレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、
前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容するユーザインターフェース部と、
前記ユーザに選択されたフレーム画像データのうちの少なくとも1つを送信するフレーム画像送信部と、を備えることを特徴とする、フレーム画像提供装置。
A frame image providing device for providing frame image data to be combined with image data,
An image processing control information receiving unit for receiving image processing control information read from an image file including the image data and image processing control information used for processing the image data;
A frame image selection unit that selects some of the plurality of frame image data prepared in advance according to the received image processing control information;
A user interface unit that displays the selected frame image data in the frame image selection unit and allows a user to select at least one of the displayed frame image data;
A frame image providing apparatus comprising: a frame image transmission unit configured to transmit at least one of the frame image data selected by the user.
画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、画像を出力する画像出力装置であって、
前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択するフレーム画像選択部と、
前記選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成するフレーム画像合成部と、
前記合成された画像データに基づいて前記画像を視認可能に出力する画像出力部と、を備えることを特徴とする、画像出力装置。
An image output device that outputs an image according to an image file including image data and image processing control information used for processing the image data,
A frame image selection unit that selects a part of the frame image data among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
A frame image synthesizing unit that synthesizes at least one of the selected frame image data and the image data;
An image output device comprising: an image output unit that outputs the image in a visually recognizable manner based on the synthesized image data.
画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、前記画像データに対して画像処理を行う画像処理方法であって、
(a)前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択する工程と、
(b)前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容する工程と、
(c)前記ユーザに選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成する工程と、を備えることを特徴とする、画像処理方法。
An image processing method for performing image processing on the image data according to an image file including image data and image processing control information used for processing the image data,
(A) selecting a part of frame image data from among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
(B) displaying the selected frame image data in the frame image selection unit and allowing the user to select at least one of the displayed frame image data;
(C) An image processing method comprising: synthesizing at least one of the frame image data selected by the user and the image data.
画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、画像を出力する画像出力方法であって、
(a)前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択する工程と、
(b)前記選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成する工程と、
(c)前記合成された画像データに基づいて前記画像を視認可能に出力する工程と、を備える画像出力方法。
An image output method for outputting an image according to an image file including image data and image processing control information used for processing the image data,
(A) selecting a part of frame image data from among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
(B) combining at least one of the selected frame image data and the image data;
(C) An image output method comprising: outputting the image so as to be visible based on the synthesized image data.
画像データと、前記画像データの処理に使用される画像処理制御情報とを含む画像ファイルに応じて、前記画像データに対して画像処理をコンピュータに行わせるためのコンピュータプログラムであって、
前記画像処理制御情報に応じて、前記画像データと合成するために予め準備された複数のフレーム画像データのうちの一部のフレーム画像データを選択する機能と、
前記フレーム画像選択部に選択されたフレーム画像データを表示するとともに、前記表示されたフレーム画像データのうちの少なくとも1つを選択することをユーザに許容する機能と、
前記ユーザに選択されたフレーム画像データのうちの少なくとも1つと、前記画像データとを合成する機能と、を前記コンピュータに実現させるプログラムを備えるコンピュータプログラム。
A computer program for causing a computer to perform image processing on the image data according to an image file including image data and image processing control information used for processing the image data,
A function of selecting some frame image data from among a plurality of frame image data prepared in advance for combining with the image data in accordance with the image processing control information;
A function of displaying the selected frame image data in the frame image selection unit and allowing a user to select at least one of the displayed frame image data;
A computer program comprising a program for causing the computer to realize at least one of frame image data selected by the user and a function of combining the image data.
JP2003197040A 2003-07-15 2003-07-15 Select the frame image to be combined Expired - Fee Related JP3800203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003197040A JP3800203B2 (en) 2003-07-15 2003-07-15 Select the frame image to be combined

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003197040A JP3800203B2 (en) 2003-07-15 2003-07-15 Select the frame image to be combined

Publications (2)

Publication Number Publication Date
JP2005039323A true JP2005039323A (en) 2005-02-10
JP3800203B2 JP3800203B2 (en) 2006-07-26

Family

ID=34207314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003197040A Expired - Fee Related JP3800203B2 (en) 2003-07-15 2003-07-15 Select the frame image to be combined

Country Status (1)

Country Link
JP (1) JP3800203B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742099B2 (en) 2005-12-07 2010-06-22 Sony Corporation Incorporating imaging unit position data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742099B2 (en) 2005-12-07 2010-06-22 Sony Corporation Incorporating imaging unit position data
US8279320B2 (en) 2005-12-07 2012-10-02 Sony Corporation Imaging apparatus data recording method and data-display control method, and computer program

Also Published As

Publication number Publication date
JP3800203B2 (en) 2006-07-26

Similar Documents

Publication Publication Date Title
JP4048907B2 (en) Panorama composition of multiple image data
US9584676B2 (en) Information processing apparatus and control method therefor
KR100828357B1 (en) Method and apparatus for storing data obtained by image filming apparatus, and navigation apparatus using location information included in image data
JP2008042887A (en) Imaging device, imaging system, image data recording method, and program
JP2009133775A (en) Map display device, map display method, and imaging device
US20120203506A1 (en) Information processing apparatus, control method therefor, and non-transitory computer readable storage medium
JP4803155B2 (en) Panorama composition of multiple image data
JP3912213B2 (en) Selecting frame images to be combined
JP2005037992A (en) Classification for image files
JP2006262134A (en) Photographing data processor, and photographing device and program
JP3800203B2 (en) Select the frame image to be combined
JP4341219B2 (en) Display image files
JP4462278B2 (en) Image file classification
JP2013229056A (en) Display of image file
JP2005051278A (en) Video image recording apparatus
JP2001309217A (en) Camera system, image reproduction system and laboratory system
JP2004072383A (en) Classification of image file
JP5532035B2 (en) Image display control apparatus, image display control method, and computer program
JP2009009594A (en) Display of image file
JP2006011580A (en) Photographic information processor
KR100866793B1 (en) Image filming apparatus, method of storing data for the same
JP2011071736A (en) Information processor and information processing method
JP2014225269A (en) Display of image file
JP2008085490A (en) Portable equipment having camera and image display program for portable equipment having camera
JP5800535B2 (en) Information processing apparatus, imaging apparatus, control method thereof, and program thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060417

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees