JP2004032560A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2004032560A
JP2004032560A JP2002188774A JP2002188774A JP2004032560A JP 2004032560 A JP2004032560 A JP 2004032560A JP 2002188774 A JP2002188774 A JP 2002188774A JP 2002188774 A JP2002188774 A JP 2002188774A JP 2004032560 A JP2004032560 A JP 2004032560A
Authority
JP
Japan
Prior art keywords
image data
relevance
accompanying information
information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002188774A
Other languages
English (en)
Other versions
JP4050102B2 (ja
Inventor
Shuichi Otsuka
大塚 秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002188774A priority Critical patent/JP4050102B2/ja
Priority to US10/601,653 priority patent/US7474768B2/en
Priority to AT03014297T priority patent/ATE499796T1/de
Priority to DE60336099T priority patent/DE60336099D1/de
Priority to EP03014297A priority patent/EP1377024B1/en
Publication of JP2004032560A publication Critical patent/JP2004032560A/ja
Priority to HK04104691.0A priority patent/HK1061946A1/xx
Application granted granted Critical
Publication of JP4050102B2 publication Critical patent/JP4050102B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3216Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a job size, e.g. a number of images, pages or copies, size of file, length of message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Abstract

【課題】画像データを適切に処理する。
【解決手段】画像データ110Aを受け取り、画像データ110Aの内容に基づいて付随情報を生成する付随情報生成手段220と、画像データ110Aと、付随情報を既に有する他の画像データ110Bとの関連性を、付随情報に基づいて判断する関連性判断手段235と、関連性を示す関連性情報を、受け取った画像データ110A及び他の画像データ110Bに付与する関連性情報付与手段240とを備えることを特徴とする画像処理装置20A。
【選択図】 図2

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。特に本発明は、画像どうしの関連性に基づいて画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。
【0002】
【従来の技術】
画像データと、他の画像データの類似性や関連性を判断する指紋判別装置等が用いられている。この装置によると、画像データと所定の基準以上の関連性を有する他の画像データを選択し、ユーザー認証等を行うことができる。
【0003】
【発明が解決しようとする課題】
しかしながら、上記装置は、1つの画像データと、他の多数の画像データとの関連性を、当該1つの画像データのみに対応付けて格納している。したがって、他の多数の画像データのうちの一部を、別の用途に用いる場合において、既に判断された関連性の情報を生かすことができない。
【0004】
そこで本発明は、上記の課題を解決することのできる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
即ち、本発明の第1の形態によると、画像データを受け取り、画像データの内容に基づいて付随情報を生成する付随情報生成手段と、画像データと、付随情報を既に有する他の画像データとの関連性を、付随情報に基づいて判断する関連性判断手段と、関連性を示す関連性情報を、受け取った画像データ及び他の画像データに付与する関連性情報付与手段とを備えることを特徴とする画像処理装置を提供する。
また、関連性情報に基づいて、画像データを保持するか否かを判断する保持判断手段をさらに備えてもよい。
【0006】
また、他の画像処理装置と通信する通信部を更に備え、保持判断手段は、画像データを保持しないと判断した場合に、通信部を用いて、当該画像データを他の画像処理装置に移動させてもよい。
また、保持判断手段は、画像データを移動させる場合に、当該画像データの移動元の画像処理装置を識別する情報及び当該画像データの移動先の画像処理装置を識別する情報を、画像データの移動経歴として当該画像データに付加してもよい。
また、付随情報を画像データに付加する付随情報付加手段を更に備えてもよい。
【0007】
また、関連性情報に基づいて、画像データを他の画像データと合成する合成手段を更に備えてもよい。
また、付随情報生成手段は、画像を解析することにより、画像データの内容を示す情報を付随情報として生成してもよい。
また、付随情報生成手段は、画像を解析することにより、画像データを処理する処理条件を付随情報として生成してもよい。
また、付随情報の少なくとも一部を用いて、関連性の判断対象となる他の画像データを選択する選択手段を更に備えてもよい。
また、選択手段は、予め定められた数の他の画像データを選択するまで、複数の他の画像データを繰り返し選択してもよい。
【0008】
また、関連性判断手段は、更に、選択された他の画像データが、画像データと予め定められた基準より高い関連性を有するか否かを判断し、
選択手段は、画像データと予め定められた基準より高い関連性を有すると判断される他の画像データが選択されるまで、複数の他の画像データを繰り返し選択してもよい。
本発明の第2の形態によると、画像データを受け取った場合に、画像データの内容に基づいて付随情報を生成する付随情報生成手段と、付随情報が生成された他の画像データとの関連性を、付随情報に基づいて判断する関連性判断手段と、関連性に基づいて画像データを保持するか否かを判断する保持判断手段とを備える。
【0009】
本発明の第3の形態によると、画像データを受け取り、画像データの内容に基づいて付随情報を生成するステップと、画像データと、付随情報を既に有する他の画像データとの関連性を、付随情報に基づいて判断するステップと、関連性を示す関連性情報を、受け取った画像データ及び他の画像データに付与するステップとを備える画像処理方法を提供する。
本発明の第4の形態によると、画像データを受け取った場合に、画像データの内容に基づいて付随情報を生成するステップと、付随情報が生成された他の画像データとの関連性を、付随情報に基づいて判断するステップと、関連性に基づいて画像データを保持するか否かを判断するステップとを備える画像処理方法を提供する。
【0010】
本発明の第5の形態によると、画像データを受け取り、画像データの内容に基づいて付随情報を生成する付随情報生成手段と、画像データと、付随情報を既に有する他の画像データとの関連性を、付随情報に基づいて判断する関連性判断手段と、関連性を示す関連性情報を、受け取った画像データ及び他の画像データに付与する関連性情報付与手段とをコンピュータにより実現させるプログラムを提供する。
本発明の第6の形態によると、画像データを受け取った場合に、画像データの内容に基づいて付随情報を生成する付随情報生成手段と、付随情報が生成された他の画像データとの関連性を、付随情報に基づいて判断する関連性判断手段と、関連性に基づいて画像データを保持するか否かを判断する保持判断手段とをコンピュータにより実現させるプログラムを提供する。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0011】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
図1は、情報処理システム10の概略図である。情報処理システム10は、画像処理装置が有する複数の画像データ間の関連性を判断することを目的とする。これにより、情報処理システム10は、他の画像データとの関連性の低い画像データを移動し、結果として、関連性の高い画像データ間で画像合成等の処理を行わせることができる。
情報処理システム10は、互いにネットワークを介して通信する画像処理装置20A〜Cを備える。画像処理装置20A〜Cは、それぞれ複数の画像データを有しており、当該画像データの処理を行う。また、画像処理装置20A〜Cは、当該画像データを必要に応じて互いに移動させてもよい。
また、画像処理装置20A〜Cのそれぞれは、1つの筐体に設けられたサーバ用途向けコンピュータでもよいし、複数のコンピュータにより構成されるコンピュータシステムでもよい。また、本図において、情報処理システム10は、別体に設けられた3つの画像処理装置20から構成されるが、他の例としては、1つのコンピュータシステムにより構成されてもよい。この場合、情報処理システム10は、一つのコンピュータシステムをソフトウェアにより3つの仮想空間として使い分け、これらの仮想空間をそれぞれ画像処理装置20A〜Cとして用いてもよい。
【0013】
図2は、画像処理装置20Aの機能ブロック図である。画像処理装置20Aは、データ格納部100と、選択手段210と、付随情報生成手段220と、付随情報付加手段230と、関連性情報付与手段240と、合成手段250と、保持判断手段260と、通信部270とを備える。なお、画像処理装置20B及び画像処理装置20Cは、画像処理装置20Aと略同一であるので説明を省略する。
【0014】
データ格納部100は、複数の画像データ110を格納している。画像データ110Aは、例えば、利用者によりカメラ等で撮影された静止画像や、音声や文字等の情報と伴に再生可能な動画像である。例えば、デジタルカメラのメモリー中に記録した画像データ、携帯電話に付属のカメラモジュール上のメモリーに展開された画像データ、音声データ、及びデジタルテレビ等の電波をメモリー上に展開した映像データ等は、利用者により画像処理装置20Aに入力され、画像データ110となる。
データ格納部100は、選択手段210又は合成手段250からの要求に応じ、選択手段210又は合成手段250に画像データを送信する。また、データ格納部100は、通信部270からの指示に従い、画像データをデータ格納部100に保持した状態を維持し、また、データ格納部100内から削除する。画像データ110B及び画像データ110Cは、画像データ110Aと略同一であるので説明を省略する。
【0015】
選択手段210は、新たに画像データの選択を行う旨の指示である画像データ選択指示を通信部270から受け取った場合に、通信部270が新たに受信した画像データをデータ格納部100内から選択し、付随情報生成手段220に送る。また、選択手段210は、画像データ選択追加指示を受け取った場合に、画像データと、付随情報を既に有するデータ格納部100内の画像データとの関連性の高さを判断する。選択手段210は、付随情報付加手段230から受け取った付随情報と所定の基準以上の関連性がある画像データを、データ格納部100内から選択する。そして、選択手段210は、選択した画像データを関連性情報付与手段240に送る。
このように、選択手段210は、付随情報の少なくとも一部を用いて、関連性情報付与手段240による関連性の判断対象となる他の画像データを選択する。なお、選択手段210は、データ格納部100内の画像データの総数が所定量以内である場合等に、所定の基準以上の関連性がない画像データについても、データ格納部100から選択して関連性情報付与手段240に送ってもよい。
【0016】
付随情報生成手段220は、選択手段210から画像データを受け取り、画像データの内容を解析することにより付随情報を生成する。そして、付随情報生成手段220は、画像データと伴に、抽出した情報を付随情報として、付随情報付加手段230に送る。
【0017】
付随情報付加手段230は、付随情報生成手段220から画像データ及び付随情報を受け取ると、この付随情報を画像データに付加する。そして、付随情報付加手段230は、付随情報が付加された画像データを関連性情報付与手段240に送る。
例えば、画像データがオペレーティングシステムによりファイルとして管理されている場合に、付随情報付加手段230は、画像データのファイル内に、受け取った付随情報を書込むことにより付随情報を付加してもよい。また、付随情報付加手段230は、データ格納部100内の領域に付随情報を格納し、画像データに付随情報の格納場所の情報を書込むことにより、画像データの利用者に付随情報を瞬時に参照させるようにしてもよい。
これらの場合、付随情報付加手段230は、付随情報を、XML等の異なるプラットフォーム間でデータ交換可能な形式に整形して、画像データに付加する。この場合、付随情報付加手段230は、これらのデータの形式を示すプロトコル規格を示す情報を付加してもよい。また、付随情報付加手段230は、電子透かし技術により、画像データに付随情報を埋め込んでもよい。
【0018】
関連性判断手段235は、付随情報付加手段230から画像データを受け取り(以下、これを主画像データとする)、選択手段210から少なくとも1の画像データを受け取る(以下、これを副画像データとする)。そして、関連性判断手段235は、主画像データ及び副画像データの関連性を、これらの画像データに対応付けられた付随情報に基づいて判断する。そして、関連性判断手段235は、主画像データ、副画像データ、及び副画像データに対応付けた関連性の情報を、関連性情報付与手段240に送る。
また、関連性判断手段235は、関連性判断の結果に応じて、関連性判断の対象となる新たな画像データを選択する旨の指示である画像データ選択追加指示を選択手段210に送る。なお、関連性判断手段235は、主画像データ及び副画像データの関連性が、これらの画像データに既に付与されている場合には、関連性の判断を行わなくてもよい。
【0019】
関連性情報付与手段240は、受け取った関連性の情報を、主画像データ及び副画像データの双方に付与する。そして、関連性情報付与手段240は、主画像データ及び副画像データの双方を、合成手段250及び保持判断手段260のそれぞれに送る。
【0020】
合成手段250は、主画像データ及び副画像データを関連性情報付与手段240から受け取る。そして、合成手段250は、主画像データ及び副画像データのそれぞれに付与されている関連性情報に基づいて、副画像データのうち1の画像データを選択する。そして、合成手段250は、選択した副画像データを、主画像データと合成し、データ格納部100に格納する。
【0021】
保持判断手段260は、関連性情報付与手段240から主画像データ及び副画像データを受け取る。そして、保持判断手段260は、主画像データ及び副画像データに付与されている関連性情報に基づいて、主画像データを保持するか否かを判断する。保持判断手段260は、主画像データを移動する旨の指示を、主画像データと伴に通信部270に送と伴に、主画像データを削除する旨の指示を、データ格納部100に送り、画像処理装置20A内から主画像データを削除させる。
【0022】
通信部270は、画像データと伴に画像データを移動する旨の指示を受け取ると、画像処理装置20B及び画像処理装置20C等に、画像データを送信する。また、通信部270は、画像処理装置20B及び画像処理装置20Cから画像データを受信し、データ格納部100に格納する。そして、通信部270は、画像処理装置20B及び画像処理装置20Cから画像を受信する毎に、画像データの選択指示を選択手段210に送る。画像データの選択指示を送信するタイミングの他の例として、通信部270は、画像データを画像処理装置20B及び画像処理装置20Cから所定の枚数受信する毎に、画像データ選択指示を送ってもよい。すなわち、通信部270は、データ格納部100の内容が所定の基準以上変化した毎等に、選択手段210により処理を繰り返させてもよい。また、通信部270は、画像データに予め対応付けられた電子署名情報に従い、画像データを他の画像処理装置に送信してもよい。例えば、電子署名情報により、ある画像処理装置上での実行が許可されない場合に、通信部270は、この画像処理装置以外の装置へ画像データを送信する。
【0023】
このように、画像処理装置20Aは、選択した画像データと、他の画像データとの関連性に基づき、画像を合成することができる。また、画像処理装置20Aは、他の画像データとの関連性の低い画像データを他の画像処理装置に移動させることにより、結果として、関連性の高い画像データを画像合成等の画像処理に用いることができる。
【0024】
図3は、付随情報付加手段230が付加する情報の一例を示す。図3(a)は、付随情報付加手段230により付加される付随情報の一例を示す。本図において、付随情報付加手段230は、画像データ識別番号に、画像の内容及び処理条件を対応付けて付加する。例えば、付随情報生成手段220は、「画像番号1」の画像を解析することにより、当該画像が「集合写真」である旨の情報を抽出する。そして、付随情報付加手段230は、「画像番号1」の画像に、「集合写真」の内容を示す情報を付加する。同様に、付随情報生成手段220は、「画像番号1」の画像を解析することにより、当該画像をA4サイズ以上のサイズでプリントすることを推奨する旨の画像処理条件を生成する。そして、付随情報付加手段230は、この画像処理条件を「画像番号1」の画像に付加する。抽出する情報の他の例としては、付随情報生成手段220は、被写体の性質を示す情報を生成してもよい。例えば、付随情報生成部220は、「人物が撮影されている」旨の情報、「山の上に月の映っている」旨の情報を生成してもよい。
このように、付随情報付加手段230は、利用者に、画像データと伴に、画像データの内容や当該画像を処理する場合の処理条件を提供することができる。
【0025】
図3(b)は、付随情報付加手段230により付加される付随情報の他の例を示す。付随情報付加手段230は、画像データに、画像データの内容を示す明るさ、被写体の大きさ、及びフイルムメーカー等の複数の付随情報を付加してもよい。また、付随情報付加手段230が付加する付随情報の他の例として、付随情報付加手段230は、画像データ作成時に付与されたEXIF形式の情報に基づき、デジタルカメラの所有者データから推定した撮影者の情報や、撮影日時データや、撮影機材の情報を付加してもよい。
この場合、付随情報付加手段230は、利用者に、画像データと伴に、画像データを複数の観点から解析した結果を、多次元のベクトル形式で提供することができる。
【0026】
図4は、関連性情報付与手段240が付与する関連性情報の一例を示す。関連性判断手段235は、画像番号1の画像(例えば、主画像データ)と、他の画像データである画像番号2及び画像番号3の画像(例えば、副画像データ)との関連性の高さを判断して数値として算出する。例えば、図3(b)に示した画像について、画像番号1及び画像番号2の双方が、同一のフイルムメーカーが提供するフイルムにより撮影されているので、関連性判断手段235は、これら2つの画像の関連性を数値化して、65とする。そして、関連性情報付与手段240は、関連性情報を、関連性判断の対象となる副画像データの識別情報に対応付けて、主画像データに付与する。
【0027】
このように、関連性情報付与手段240は、関連性情報を、画像データと、関連性判断の対象となる他の画像データの双方に付与することができる。
【0028】
図5は、合成手段250及び保持判断手段260が付加する情報の一例を示す。合成手段250及び保持判断手段260は、画像識別情報が「画像番号1」の画像データに、本図に示す処理履歴を付加する。すなわち、保持判断手段260は、画像データを保持しないと判断し、当該画像データを他の画像処理装置に移動させる場合に、画像データの移動元の画像処理装置を識別する情報及び画像データの移動先の画像処理装置を識別する情報に、移動日時を対応付けて、画像データに付加する。本図において、例えば、保持判断手段260は、「画像番号1」の画像データを画像処理装置20Bから画像処理装置20Cに移動させる場合に、移動元である「画像処理装置20B」及び移動先である「画像処理装置20C」それぞれの識別情報を、移動日時である「2001/5/30」に対応付けて画像データ「画像番号1」に付加する。
【0029】
一方、合成手段250は、画像データを合成する場合や、画像データを処理する(例えば、プリント処理)場合に、合成や処理を行った場所(例えば、プリント場所)と日時(例えば、プリント日時)の情報に、当該合成や処理の詳細情報(例えば、プリント詳細情報)を対応付けて、画像データに付加する。例えば、合成手段250は、「画像番号1」の画像データを画像処理装置20Bにおいて2001年4月1日に、20枚標準サイズでプリントした場合に、プリント場所である「画像処理装置20B」及びプリント日時である「2001/4/1」に、プリント詳細である「20枚標準サイズ」を対応付けて画像データ「画像番号1」に付加する。プリント詳細の情報の他の例として、合成手段250は、プリントサービスを提供する販売者の情報、プリント完了に要する時間や納期、価格等の情報を画像データに付加してもよい。
【0030】
このように、合成手段250及び保持判断手段260は、画像データの移動履歴やプリント履歴等の処理履歴を付加情報として画像データに付加する。従って、合成手段250は、画像処理装置が新たに受信した画像データを処理する場合であっても、当該画像データの処理履歴を参照することにより、当該画像データに適した処理を行うことができる。
【0031】
図6は、画像処理装置20Aの動作フローを示す図である。選択手段210は、通信部270からの指示に応じて画像データ(例えば、主画像データ)を選択する(S100)。そして、付随情報生成手段220は、主画像データを解析することにより付随情報を生成し(S110)、付随情報付加手段230は、主画像データに付随情報を付加する。選択手段210は、主画像データとの関連性判断の候補となる判断対象の画像データ(例えば、副画像データ)を選択する(S120)。そして、選択手段210は、副画像データが、主画像データと所定基準より高い関連性を有すると判断した場合に(S130:YES)、関連性情報付与手段240は、主画像データ及び副画像データの双方に、主画像データ及び関連性判断の対象データである副画像データの関連性情報を付与する(S140)。続いて、関連性判断手段235は、関連性判断の対象である副画像データを所定数以上選択し、関連性を判断したか否かを判断する(S150)。関連性判断手段235は、所定数以上の副画像データとの関連性を判断していないと判断した場合に(S150:NO)、S120に戻る。
このように、選択手段210は、予め定められた基準より高い関連性を有する予め定められた数以上の画像データを選択するまで、画像データを繰り返し選択する。
【0032】
続いて、保持判断手段260は、主画像データ及び副画像データとの関連性情報に基づき、主画像データを保持するべきでないと判断した場合に(S160:NO)、主画像データをデータ格納部100内から削除し、通信部270により他の画像処理装置に送信させる(S170)。例えば、保持判断手段260は、主画像データとの関連性が予め定められた基準より低い副画像データのみを受け取った場合には、主画像データを保持しないと判断する。より詳しくは、予め定められた基準として、主画像データと副画像データとの関連性の高さの平均値が、画像処理装置20A内の画像データの関連性の高さの平均値を下回った場合に、保持判断手段260は、主画像データを保持しないと判断する。
また、必要に応じて、合成手段250は、関連性情報に基づき、主画像データ及び副画像データを合成して新たな画像データを生成し(S180)、データ格納部100に格納する。例えば、主画像データが風景画であり、副画像データが人物画である場合に、合成手段250は、この人物及び風景を重ね合わせる。また、副画像データが画像装飾用のテンプレートである場合に、合成手段250は、主画像データのテンプレートに適した副画像データを関連性情報に基づき選択し、合成してもよい。
【0033】
このように、画像処理装置20Aは、画像データに基づき、付随情報及び関連性情報を生成し、当該画像データに付加することができる。また、本図で示したように、画像処理装置20Aは、画像データとの関連性の判断において、データ格納部100内にある全ての他の画像データを対象にしなくてもよい。したがって、画像処理装置20Aは、画像処理装置20Aを実現するハードウェアの能力に応じて、関連性判断の対象となる画像データの一部を省略してもよい。
【0034】
図7は、画像処理装置20Aのハードウェア構成の一例を示す図である。本実施形態に係る画像処理装置20Aは、ホストコントローラ1082により相互に接続されるCPU1000、RAM1020、グラフィックコントローラ1075、及び表示装置1080を有するCPU周辺部と、入出力コントローラ1084によりホストコントローラ1082に接続される通信インターフェイス1030、ハードディスクドライブ1040、及びCD−ROMドライブ1060を有する入出力部と、入出力コントローラ1084に接続されるROM1010、フレキシブルディスクドライブ1050、及び入出力チップ1070を有するレガシー入出力部とを備える。
【0035】
ホストコントローラ1082は、RAM1020と、高い転送レートでRAM1020をアクセスするCPU1000及びグラフィックコントローラ1075とを接続する。CPU1000は、ROM1010及びRAM1020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ1075は、CPU1000等がRAM1020内に設けたフレームバッファ上に生成する画像データを取得し、表示装置1080上に表示させる。これに代えて、グラフィックコントローラ1075は、CPU1000等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【0036】
入出力コントローラ1084は、ホストコントローラ1082と、比較的高速な入出力装置である通信インターフェイス1030、ハードディスクドライブ1040、及びCD−ROMドライブ1060を接続する。通信インターフェイス1030は、ネットワークを介して画像処理装置20B又は画像処理装置20C等の他の装置と通信する。ハードディスクドライブ1040は、画像処理装置20Aが使用するプログラム及びデータを格納する。CD−ROMドライブ1060は、CD−ROM1095からプログラム又はデータを読み取り、RAM1020を介して入出力チップ1070に提供する。
【0037】
また、入出力コントローラ1084には、ROM1010と、フレキシブルディスクドライブ1050や入出力チップ1070等の比較的低速な入出力装置とが接続される。ROM1010は、画像処理装置20Aの起動時にCPU1000が実行するブートプログラムや、画像処理装置20Aのハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ1050は、フレキシブルディスク1090からプログラム又はデータを読み取り、RAM1020を介して入出力チップ1070に提供する。入出力チップ1070は、フレキシブルディスク1090や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。また、入出力チップ1070は、使用者の入力に対応するデータを、入力装置から受信し、画像処理装置20A上で実行されるプログラムに与える。
【0038】
画像処理装置20Aに提供されるプログラムは、フレキシブルディスク1090、CD−ROM1095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、入出力チップ1070を介して画像処理装置20Aにインストールされ、画像処理装置20Aにおいて実行される。
【0039】
画像処理装置20Aを実現するプログラムは、データ格納モジュールと、選択モジュールと、付随情報生成モジュールと、付随情報付加モジュールと、関連性判断モジュールと、関連性情報付与モジュールと、合成モジュールと、保持判断モジュールと、通信モジュールとを備える。これらのモジュールは、画像処理装置20Aを、データ格納部100、選択手段210、付随情報生成手段220、付随情報付加手段230、関連性判断手段235、関連性情報付与手段240、合成手段250、保持判断手段260、及び通信部270として動作させるプログラムである。
【0040】
以上に示したプログラム又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1090、CD−ROM1095の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを画像処理装置20Aに提供してもよい。
画像処理装置20B及び画像処理装置20Cのハードウェア構成は、画像処理装置20Aと略同一であるので説明を省略する。
【0041】
以上の説明から明らかなように、情報処理システム10は、画像データと、他の画像データとの関連性に基づき、画像処理装置に画像データを保持しておくべきか、他の画像処理装置に移動させるべきかを判断することができる。従って、情報処理システム10は、複数の画像処理装置の間で画像データを移動させ、結果として、それぞれの画像処理装置に関連性の高い画像データを集めることができる。したがって、情報処理システム10は、画像データを、当該画像データと関連性の高い他の画像データと合成する等により、適切に処理することができる。
【0042】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0043】
【発明の効果】
上記説明から明らかなように、本発明によれば画像を適切に処理する画像処理装置等を提供することができる。
【図面の簡単な説明】
【図1】図1は、情報処理システム10の概略図。
【図2】図2は、画像処理装置20Aの機能ブロック図。
【図3】図3は、付随情報付加手段230が付加する情報の一例を示す図。
【図4】図4は、関連性判断手段235が判断する関連性情報の一例を示す図。
【図5】図5は、合成手段250及び保持判断手段260が付加する情報の一例を示す図。
【図6】図6は、画像処理装置20Aの動作フローを示す図。
【図7】図7は、画像処理装置20Aのハードウェア構成の一例を示す図。
【符号の説明】
10 情報処理システム
20A〜C 画像処理装置
100 データ格納部
110A〜C 画像データ
210 選択手段
220 付随情報生成手段
230 付随情報付加手段
235 関連性判断手段
240 関連性情報付与手段
250 合成手段
260 保持判断手段
270 通信部

Claims (16)

  1. 画像データを受け取り、前記画像データの内容に基づいて付随情報を生成する付随情報生成手段と、
    前記画像データと、前記付随情報を既に有する他の画像データとの関連性を、前記付随情報に基づいて判断する関連性判断手段と、
    前記関連性を示す関連性情報を、受け取った前記画像データ及び前記他の画像データに付与する関連性情報付与手段と
    を備えることを特徴とする画像処理装置。
  2. 前記関連性情報に基づいて、前記画像データを保持するか否かを判断する保持判断手段をさらに備えることを特徴とする請求項1記載の画像処理装置。
  3. 他の画像処理装置と通信する通信部を更に備え、
    前記保持判断手段は、前記画像データを保持しないと判断した場合に、前記通信部を用いて、当該画像データを他の画像処理装置に移動させることを特徴とする請求項2記載の画像処理装置。
  4. 前記保持判断手段は、前記画像データを移動させる場合に、当該画像データの移動元の画像処理装置を識別する情報及び当該画像データの移動先の画像処理装置を識別する情報を、前記画像データの移動経歴として当該画像データに付加することを特徴とする請求項3記載の画像処理装置。
  5. 前記付随情報を前記画像データに付加する付随情報付加手段を更に備えることを特徴とする請求項1記載の画像処理装置。
  6. 前記関連性情報に基づいて、前記画像データを前記他の画像データと合成する合成手段を更に備えることを特徴とする請求項1記載の画像処理装置。
  7. 前記付随情報生成手段は、前記画像を解析することにより、前記画像データの内容を示す情報を前記付随情報として生成することを特徴とする請求項1記載の画像処理装置。
  8. 前記付随情報生成手段は、前記画像を解析することにより、前記画像データを処理する処理条件を前記付随情報として生成することを特徴とする請求項1記載の画像処理装置。
  9. 前記付随情報の少なくとも一部を用いて、前記関連性の判断対象となる前記他の画像データを選択する選択手段を更に備えることを特徴とする請求項1記載の画像処理装置。
  10. 前記選択手段は、予め定められた数の前記他の画像データを選択するまで、複数の前記他の画像データを繰り返し選択することを特徴とする請求項9記載の画像処理装置。
  11. 前記関連性判断手段は、更に、選択された前記他の画像データが、前記画像データと予め定められた基準より高い関連性を有するか否かを判断し、
    前記選択手段は、前記画像データと予め定められた基準より高い関連性を有すると判断される前記他の画像データが選択されるまで、複数の前記他の画像データを繰り返し選択することを特徴とする請求項9記載の画像処理装置。
  12. 画像データを受け取った場合に、前記画像データの内容に基づいて付随情報を生成する付随情報生成手段と、
    前記付随情報が生成された他の画像データとの関連性を、前記付随情報に基づいて判断する関連性判断手段と、
    前記関連性に基づいて前記画像データを保持するか否かを判断する保持判断手段と
    を備えることを特徴とする画像処理装置。
  13. 画像データを受け取り、前記画像データの内容に基づいて付随情報を生成するステップと、
    前記画像データと、前記付随情報を既に有する他の画像データとの関連性を、前記付随情報に基づいて判断するステップと、
    前記関連性を示す関連性情報を、受け取った前記画像データ及び前記他の画像データに付与するステップと
    を備えることを特徴とする画像処理方法。
  14. 画像データを受け取った場合に、前記画像データの内容に基づいて付随情報を生成するステップと、
    前記付随情報が生成された他の画像データとの関連性を、前記付随情報に基づいて判断するステップと、
    前記関連性に基づいて前記画像データを保持するか否かを判断するステップとを備えることを特徴とする画像処理方法。
  15. 画像データを受け取り、前記画像データの内容に基づいて付随情報を生成する付随情報生成手段と、
    前記画像データと、前記付随情報を既に有する他の画像データとの関連性を、前記付随情報に基づいて判断する関連性判断手段と、
    前記関連性を示す関連性情報を、受け取った前記画像データ及び前記他の画像データに付与する関連性情報付与手段と
    をコンピュータにより実現させるプログラム。
  16. 画像データを受け取った場合に、前記画像データの内容に基づいて付随情報を生成する付随情報生成手段と、
    前記付随情報が生成された他の画像データとの関連性を、前記付随情報に基づいて判断する関連性判断手段と、
    前記関連性に基づいて前記画像データを保持するか否かを判断する保持判断手段と
    をコンピュータにより実現させるプログラム。
JP2002188774A 2002-06-27 2002-06-27 画像処理装置、画像処理方法、及びプログラム Expired - Lifetime JP4050102B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002188774A JP4050102B2 (ja) 2002-06-27 2002-06-27 画像処理装置、画像処理方法、及びプログラム
US10/601,653 US7474768B2 (en) 2002-06-27 2003-06-24 Image processing apparatus, image processing method, and computer readable medium storing program
AT03014297T ATE499796T1 (de) 2002-06-27 2003-06-25 Bildverarbeitungsvorrichtung und -verfahren, und programmspeicherendes rechnerlesbares medium
DE60336099T DE60336099D1 (de) 2002-06-27 2003-06-25 Bildverarbeitungsvorrichtung und -verfahren, und programmspeicherendes rechnerlesbares Medium
EP03014297A EP1377024B1 (en) 2002-06-27 2003-06-25 Image processing apparatus, image processing method, and computer readable medium storing program
HK04104691.0A HK1061946A1 (en) 2002-06-27 2004-06-30 Image processing apparatus, image processing method, and computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002188774A JP4050102B2 (ja) 2002-06-27 2002-06-27 画像処理装置、画像処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007273171A Division JP4494450B2 (ja) 2007-10-19 2007-10-19 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2004032560A true JP2004032560A (ja) 2004-01-29
JP4050102B2 JP4050102B2 (ja) 2008-02-20

Family

ID=29717659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002188774A Expired - Lifetime JP4050102B2 (ja) 2002-06-27 2002-06-27 画像処理装置、画像処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US7474768B2 (ja)
EP (1) EP1377024B1 (ja)
JP (1) JP4050102B2 (ja)
AT (1) ATE499796T1 (ja)
DE (1) DE60336099D1 (ja)
HK (1) HK1061946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039490A (ja) * 2010-08-10 2012-02-23 Fujitsu Ltd 情報処理装置および情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4865282B2 (ja) * 2005-09-09 2012-02-01 キヤノン株式会社 画像処理装置の制御方法、画像処理装置、プログラムコード及び記憶媒体
JP5111773B2 (ja) * 2006-03-30 2013-01-09 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び、情報記憶媒体
JP5241374B2 (ja) * 2008-08-07 2013-07-17 キヤノン株式会社 配信装置、配信方法、及びコンピュータプログラム
US10070888B2 (en) 2008-10-03 2018-09-11 Femasys, Inc. Methods and devices for sonographic imaging
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5017014A (en) * 1988-09-29 1991-05-21 Fuji Photo Film Co., Ltd. Photographic printing exposure determining apparatus and film type data processing apparatus for photographic printer
US5805215A (en) * 1994-04-21 1998-09-08 Canon Kabushiki Kaisha Information processing method and apparatus for storing additional data about an image
US6028962A (en) * 1996-05-10 2000-02-22 Apple Computer, Inc. System and method for variable encoding based on image content
JPH10174685A (ja) * 1996-12-18 1998-06-30 Fuji Photo Film Co Ltd 医療画像再生システム
US6301010B1 (en) * 1997-09-30 2001-10-09 Canon Kabushiki Kaisha Image processing method and apparatus
US6424429B1 (en) * 1997-11-14 2002-07-23 Ricoh Company, Ltd. File system and a recording medium with a program used in the system stored therein
US6157435A (en) 1998-05-29 2000-12-05 Eastman Kodak Company Image processing
JPH11339082A (ja) 1998-05-29 1999-12-10 Ishikawajima Harima Heavy Ind Co Ltd 駐車場の入出場車管理方法及び装置
US6389181B2 (en) * 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
US6396963B2 (en) * 1998-12-29 2002-05-28 Eastman Kodak Company Photocollage generation and modification
AUPP904899A0 (en) 1999-03-04 1999-03-25 Tel.Net Media Pty Ltd Apparatus and system for classifying and control access to information
ATE358944T1 (de) * 1999-07-29 2007-04-15 Canon Kk Bildverarbeitungssystem, -vorrichtung sowie verfahren und aufzeichnungsmedium
JP2001045266A (ja) 1999-07-30 2001-02-16 Canon Inc 画像処理装置及び方法
JP2001325259A (ja) 2000-05-16 2001-11-22 Hitachi Ltd デジタルアルバム登録公開方法とそのシステム及び電子サービスサイトの運営システム
JP2002049907A (ja) 2000-08-03 2002-02-15 Canon Inc デジタルアルバム作成装置およびデジタルアルバム作成方法
JP4697913B2 (ja) * 2000-12-20 2011-06-08 キヤノン株式会社 データ検索装置及び方法
JP3877520B2 (ja) 2000-12-25 2007-02-07 株式会社クボタ 耐震機能を有する管
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
US6704432B2 (en) * 2001-10-18 2004-03-09 Microsoft Corporation Extensible file format
US7929808B2 (en) * 2001-10-30 2011-04-19 Hewlett-Packard Development Company, L.P. Systems and methods for generating digital images having image meta-data combined with the image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039490A (ja) * 2010-08-10 2012-02-23 Fujitsu Ltd 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP4050102B2 (ja) 2008-02-20
ATE499796T1 (de) 2011-03-15
EP1377024A2 (en) 2004-01-02
EP1377024A3 (en) 2004-12-08
US7474768B2 (en) 2009-01-06
DE60336099D1 (de) 2011-04-07
HK1061946A1 (en) 2004-10-08
US20040001613A1 (en) 2004-01-01
EP1377024B1 (en) 2011-02-23

Similar Documents

Publication Publication Date Title
JP4547214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及びプログラム
US8554690B2 (en) Techniques for using media keys
US9525547B2 (en) Transmission of media keys
US20070229678A1 (en) Camera for generating and sharing media keys
EP1840898B1 (en) Techniques for using media keys
JP2005108230A (ja) オーディオ/ビデオコンテンツ認識・処理機能内蔵印刷システム
JP2007523409A (ja) コンテンツの同期/追跡のための方法及び装置
US20070233612A1 (en) Techniques for generating a media key
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2006079458A (ja) 画像伝送システム、画像伝送方法、及び画像伝送プログラム
JP4050102B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016091079A (ja) 情報処理装置及び情報処理プログラム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP5336759B2 (ja) 画像出力装置及び画像出力方法
JP2004297171A (ja) 情報取得方法、情報処理方法、情報処理装置、画像記録装置及びプログラム
US8482763B2 (en) Method and apparatus for generating a file using address and information tags
JP2002236682A (ja) データベース・システム
US7818369B2 (en) System and method for displaying digital image files
JP4494450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2005258613A (ja) 記録システム、データ処理システム及びデータ処理方法
JP2022140997A (ja) 情報処理装置及び情報処理プログラム
CN110177332B (zh) 数据传输方法及装置
JP5089353B2 (ja) プログラム、ファイル管理装置及びファイル管理方法
US20070112725A1 (en) Methods and systems for accessing digital image files
JP2010167706A (ja) 印刷制御装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061030

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071128

R150 Certificate of patent or registration of utility model

Ref document number: 4050102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term