JP2003230018A - 色調改変検出方法、色調改変検出装置、及び画像処理システム - Google Patents

色調改変検出方法、色調改変検出装置、及び画像処理システム

Info

Publication number
JP2003230018A
JP2003230018A JP2002028189A JP2002028189A JP2003230018A JP 2003230018 A JP2003230018 A JP 2003230018A JP 2002028189 A JP2002028189 A JP 2002028189A JP 2002028189 A JP2002028189 A JP 2002028189A JP 2003230018 A JP2003230018 A JP 2003230018A
Authority
JP
Japan
Prior art keywords
image data
color tone
color
characteristic value
tone characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002028189A
Other languages
English (en)
Other versions
JP3938875B2 (ja
Inventor
Yasuhiko Muramoto
安彦 村本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002028189A priority Critical patent/JP3938875B2/ja
Publication of JP2003230018A publication Critical patent/JP2003230018A/ja
Application granted granted Critical
Publication of JP3938875B2 publication Critical patent/JP3938875B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 画像データの意図しない色調改変を検知す
る。 【解決手段】 画像処理システム10では、画像データ
が色変換装置12に入力され、色変換装置12では、色
変換処理部20により色変換(色補正)した後、電子透
かし埋め込み部22において、色変換処理部20による
色変換(色補正)直後の画像データ自体に電子透かしで
該画像データの色調特性値を示す情報を埋め込んでお
く。そして、画像出力装置16により画像データに基づ
く画像を出力する手前で、出力制御装置18の色調改変
検出部24において、実際の画像データの色調特性値と
電子透かしで埋め込まれている色調特性値とを比較して
色補正後の色調変換を検出し、その結果を検出結果表示
部26に表示してユーザに報知する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データの色調
改変を検出する色調改変検出方法、色調改変検出装置、
及び画像処理システムに関する。
【0002】
【従来の技術】近年のコンピュータ(PC)及びインタ
ーネットの普及に伴って、画像のデジタル化が進んでい
る。デジタル画像データ(以下、画像データ)は、コン
ピュータ上で画像処理用のソフトウェアを用いて、フォ
トレタッチ加工、解像度変換、切り抜きなどの画像処理
を施してから、ディスプレイやプリンタなどの出力デバ
イスから出力させたり、インターネット上で流通させた
りすることができる。また、コンピュータ上で編集処理
用のソフトウェアを用いて、1ページ内に画像データに
基づく画像を必要に応じてテキストデータや他の画像デ
ータの画像と共に配置してページ全体のイメージを示す
ページデータを生成する編集処理を行うこともできる。
【0003】ところで、画像データに基づく画像をディ
スプレイやプリンタなどの出力デバイスから出力させる
場合、スキャナやデジタルカメラなどの入力デバイスや
出力デバイスにより色の表現が異なるため、出力される
画像の色も入出力デバイスによって変わってしまう。こ
のため、コンピュータで画像データを扱う際には、ま
ず、画像データに対して、出力時に所望の色になるよう
に、デバイス特性に応じて色補正(色変換)を施すこと
が多い。その後、フォトレタッチ加工により画像データ
上のキズやゴミを除去したり、解像度変換や切り抜きな
どを行って、所望の画像になるように加工したり、ペー
ジ編集を行ったりしている。
【0004】
【発明が解決しようとする課題】しかしながら、従来
は、色補正後の画像データの色調改変を検出する技術が
無く、最終出力画像が期待していた色と異なることがあ
った。すなわち、予め色補正ソフトウェアを用いて出力
時の色が所定の色となるように画像データに対して色補
正を施しておいても、該色補正の後の工程で他のソフト
ウェアにより何らかの処理を行った際に、使用したソフ
トウェア固有の処理や操作ミスなどにより、意図しない
色変換が行われてしまい、最終出力画像の色が変わって
しまった。
【0005】色調改変を検出するために、色補正時に画
像データにチェックサムなどの確認用データをヘッダ情
報として付加することも考えられるが、この確認用デー
タでは、色補正の後の工程で、色補正後の画像データに
対して色変換以外の加工が施された場合に、意図しない
色変換の有無のみを選択的に確認することはできない。
また、付加された確認用データは、デジタル画像のフォ
ーマット変換によりヘッダ情報が削除されるなど、後工
程で消失してしまう恐れもある。
【0006】本発明は上記問題点を解消するためになさ
れたもので、画像データの意図しない色調改変を検出す
ることができる色調改変検出方法、色調改変検出装置、
及び画像処理システムを提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、請求項1に記載の発明は、画像データの色調改変を
検出する色調改変検出方法であって、予め画像データに
対して該画像データの色調特性値を示す色調特性値情報
を電子透かしによって埋め込んでおき、検出対象の画像
データに電子透かしにより埋め込まれている色調特性情
報が示す色調特性値と、該画像データの実際の色調特性
値とに基づいて、画像データの色調改変を検出する、こ
とを特徴としている。
【0008】請求項1に記載の発明によれば、画像デー
タには予め該画像データの色調特性値を示す色調特性値
情報が電子透かしにより埋め込まれるので、画像データ
に埋め込まれている色調特性値情報が示す色調特性値と
画像データの実際の色調特性値とに基づいて、電子透か
し埋め込み後に色変換が施された場合の画像データの色
調改変を検出することができる。
【0009】また、請求項2に記載の発明は、画像デー
タの色調改変の有無を検出する色調改変検出装置であっ
て、予め電子透かしにより画像データに埋め込まれてい
る該画像データの色調特性値を示す色調特性値情報を読
み取ると共に、該画像データの実際の色調特性値を求
め、読み取った前記色調特性値情報が示す色調特性値と
求めた前記実際の色調特性値とを比較し、該比較結果に
基づいて、画像データが色調改変されたか否かを判定す
る、ことを特徴としている。
【0010】請求項2に記載の発明によれば、画像デー
タには予め該画像データの色調特性値を示す色調特性値
情報が電子透かしにより埋め込まれており、この電子透
かしを画像データから読みとって電子透かしの色調特性
値情報が示す色調特性値と画像データの実際の色調特性
値を比較し、この比較結果に基づいて、例えば両者の差
が所定値以上であれば色調改変されたとするなど、色調
改変されたか否かが判定されるので、電子透かし埋め込
み後に色変換が施された場合には画像データの色調改変
を検出することができる。
【0011】また、請求項3に記載の発明は、画像デー
タに対して該画像データの色調特性値を示す色調特性値
情報を電子透かしによって埋め込む埋込手段と、色調改
変を検出する際に、画像データから前記埋込手段により
埋め込まれた前記色調特性値情報を読み取ると共に、該
画像データの実際の色調特性値を求め、読み取った前記
色調特性値情報が示す色調特性値と求めた前記実際の色
調特性値とを比較し、該比較結果に基づいて、画像デー
タが色調改変されたか否かを判定する判定手段と、を備
えたことを特徴としている。
【0012】請求項3に記載の発明によれば、埋込手段
により画像データに対して該画像データの色調特性値を
示す色調特性値情報が電子透かしによって埋め込んでお
くことで、色調改変を検出する際に、判定手段では、検
出対象の画像データから電子透かしで埋め込まれている
色調特性値情報を読み取ると共に、該検出対象の画像デ
ータの実際の色調特性値を求めて色調特性値情報が示す
色調特性値と比較して、この比較結果に基づいて、例え
ば両者の差が所定値以上であれば色調改変されたとする
など、色調改変されたか否かを判定でき、電子透かし埋
め込み後に色変換が施された場合には画像データの色調
改変を検出することができる。
【0013】これにより、例えば、画像処理や編集処理
を行う画像処理システムであれば、プリンタなどの画像
出力装置から画像データに基づく画像を出力した時の色
が所定の色となるように色補正を行った後の画像データ
に対して電子透かしにより該画像データの色調特性値情
報を埋め込んでおけば、該色補正後に画像処理や編集処
理などの工程を経て画像データに対して意図しない色変
換が施されてしまった場合に、色調が改変されたことを
検出することができる。
【0014】また、色調改変を検出結果は、報知手段に
よりユーザに報知したり、画像出力装置から画像を出力
するか否かなど、この後に行われる処理の可否判定する
ことに利用できる。
【0015】なお、上記請求項1〜3の発明において
は、画像データを複数に分割して、分割領域毎に色調改
変の有無を判定することが好ましい。このためには、画
像データに色調特性値情報を電子透かしにより埋め込む
際に、分割領域毎に、該分割領域内の画像データの色調
特性値を示す色調特性値情報を埋め込んでおけばよい。
なお、分割領域毎に色調改変の有無を判定する場合、こ
の複数の分割領域各々から得られた判定結果の扱いが問
題となるが、例えば、色調改変有りと判定された分割領
域の割合に応じて、画像データが色調改変されたか否か
の最終的な判定を決定するようにすればよい。
【0016】また、画像全体でみたときに許容できる色
調改変の度合い差がある場合などには、分割領域毎に重
み付けを行うようにしてもよい。一例としては、分割領
域毎に重要度を設定しておき、色調改変有りと判定され
た分割領域に対して設定された重要度の総和に応じて、
画像データが色調改変されたか否かの最終的な判定を決
定することが挙げられる。この場合の分割領域毎に設定
された重要度を示す情報も色調特性値情報と共に電子透
かしで画像データに埋め込むことが好ましい。
【0017】また、上記請求項1〜3の発明において
は、色調改変の有無の判定基準となる基準値情報も色調
特性値情報と共に電子透かしで画像データに埋め込むこ
とが好ましい。
【0018】また、上記請求項1〜3の発明において
は、色調特性値としては、例えば、画像データのヒスト
グラム、最大値、最小値、平均値、分散、共分散、最頻
値の少なくとも1つを用いることができる。
【0019】
【発明の実施の形態】次に、図面を参照して本発明に係
る実施形態の1例を詳細に説明する。
【0020】[構成]図1に本発明が適用された画像処理
システムを示す。図1に示されているように、画像処理
システム10は、入力されたラスター形式のデジタル画
像データ(以下、「画像データ」と略す)を色変換する
ための色変換装置12と、色変換後の画像データを画像
処理するための画像処理装置14と、画像処理後の画像
データに基づく画像が用紙にプリントされるように画像
出力装置16の動作を制御する出力制御装置18とを備
えて構成されている。
【0021】なお、色変換装置12、画像処理装置1
4、出力制御装置18はそれぞれ独立した装置として構
成してもよいし、1台の装置で色変換装置12、画像処
理装置14、出力制御装置18のうちの何れか2つ以上
の機能を担うようにしてもよい。例えば、1台のコンピ
ュータに色変換装置12、画像処理装置14、及び出力
制御装置18の各機能を実現するためのソフトウェアを
インストールしておき、該コンピュータにおいてインス
トールされているソフトウェアを適宜選択して起動する
ようにすれば、1台のコンピュータで色変換装置12、
画像処理装置14、及び出力制御装置18の3つの機能
を担うことができる。また、画像出力装置16内に出力
制御装置18の機能を備えるようにしてもよい。
【0022】色変換装置12は、画像データを色変換処
理する色変換処理部20、及び埋込手段として、画像デ
ータに電子透かしを埋め込む電子透かし埋め込み部22
を備えている。色変換装置12には、例えばスキャナや
デジタルカメラにより取得した画像データ、或いはネッ
トワークを介して他の装置から受信した画像データが入
力されるようになっており、色変換処理部20では、こ
の入力された画像データに対して、画像出力装置16か
ら出力したときに所定の色の出力が得られるように色変
換(色補正)処理を施す。
【0023】詳しくは、色変換処理部20は、スキャナ
やデジタルカメラなどの入力デバイスやプリンタなどの
出力デバイスといった各デバイス毎の色表現特性を示す
プロファイル情報が予め記憶されたメモリ(図示省略)
を備えており、入力された画像データを対応する入出力
デバイスのプロファイル情報を用いて、出力デバイスで
ある画像出力装置16に応じた表色系に変換する。具体
的には、本実施の形態では、入力データとしてはRGB
表色系の画像データが入力され、一般にプリンタで処理
可能な表色系であるYMCK表色系に色変換するように
なっている。なお、色変換処理部20では、デバイスに
依存しない表色系(例えばL***表色系)に色変換
し、色変換装置12よりも後段で且つ画像出力装置16
の手前に出力デバイスに応じた表色系に変換する部を更
に設けるようにしてもよい。
【0024】また、このプロファイル情報を用いた色変
換では、入力デバイスの特徴を考慮して、本来の色(ス
キャナで取得したものであれば読取原稿上の色、デジタ
ルカメラで取得したものであれば被写体の色)に近づけ
るような修正も同時に行われるようになっている。
【0025】また、デジタルカメラの場合はシャッタ使
用の有無など撮影条件を示す情報が付加されていること
があり、色変換処理部20では、この情報を用いて画像
データに対して輝度を調整する処理を行うようにしても
よい。
【0026】電子透かし埋め込み部22は、色変換処理
部20による色変換後の画像データを予め定められた所
定サイズの領域(空間)に分割し、分割した領域毎に、
色の特徴を示す色調特性値として、該分割領域内の画像
データのヒストグラムを求めると共に、求めた各色調特
性値に対して後述の色調改変検出部24での色改変の有
無判定の基準に用いるために誤差許容値を求める。
【0027】また、電子透かし埋め込み部22は、各分
割領域の画像データ内に、該分割領域について求めた色
調特性値を示す情報(色調特性値情報)及び基準値情報
として誤差許容値を示す情報(誤差許容値情報)を電子
透かしで埋め込む。この電子透かし埋め込み部22によ
り電子透かしが埋め込まれた画像データが色変換装置1
2から後段の画像処理装置14へと出力される。
【0028】色調特性値としては、ヒストグラムの他に
も、分割領域内の画像データの最大値、最小値、平均
値、分散、共分散、最頻値を用いることができる。ま
た、ヒストグラム、最大値、最小値、平均値、分散、共
分散、最頻値の少なくとも2つ以上を組合せて色調特性
値として用いてもよい。ただし、処理能力の低いシステ
ムで高速処理を行う場合には、上記の中では特に平均値
を採用することが好ましい。
【0029】また、誤差許容値については、該電子透か
し埋め込み部22の内部メモリ(図示省略)などに予め
設定した値を記憶させておいて、電子透かしで埋め込む
際にこの設定値を用いるようにしてもよい。また、誤差
許容値は電子透かしで埋め込まずとも、後述の色調改変
検出部24で誤差許容値を設定したり、色調改変検出部
24の内部メモリに予め設定した値を記憶させておいて
もよい。ただし、画像データ毎・分割領域毎に適切な色
調改変の許容度合いを設定するためには、電子透かしで
誤差許容値を埋め込むことが好ましい。
【0030】また、電子透かしの埋め込み手法について
は、本発明は特に限定するものではなく、例えば画素空
間利用型、量子化誤差利用型、周波数領域利用型などの
従来公知の技術を用いることができる。ただし、画像処
理装置14において画像データを加工した場合に埋め込
んだ情報が消失されないように、画像処理装置14で行
われる具体的な加工処理や画像処理装置14が有する加
工処理機能の種類に応じて、適切な埋め込む手法を選択
する必要がある。
【0031】画素空間利用型とは、対象画素の近傍の例
えば3×3画素の平面を取り出し、この周囲ビットに透
かし情報を埋めこむ方法である。量子化誤差利用型と
は、画像データを圧縮する過程において発生する量子化
誤差に着目し、埋め込みたい透かし情報(本実施の形態
においては色調特性値情報及び誤差許容値情報)のビッ
ト系列の0,1で量子化出力を偶数と奇数に制御して見
かけ上量子化誤差として画像データに透かし情報を埋め
込む方法である。周波数領域利用型とは、フーリエ変換
やスペクトル拡散、離散コサイン変換(DCT)などに
代表されるように画像データを周波数成分に変換し、画
質に与える影響が少ない特定の周波数成分、例えば視覚
的に鈍感な高周波数成分に透かし情報を埋め込む方法で
ある。また、人間の視覚特性としては、色差や彩度情報
は一般に輝度情報よりも階調識別能力が低く、輝度と色
差あるいは彩度情報との差の部分に人間が視認できない
ように記録可能な領域が存在する。したがって、この領
域に透かし情報を埋め込むこともできる。
【0032】他にも、画像としてS/Nの悪いビットプ
レーンにノイズの冗長に紛れさせて透かし情報を埋め込
む方法や、一定の画素ブロックにおける情報変化の冗長
性に埋め込む方法、データ圧縮を行う債に符号化により
データ情報量が縮退する場合の量子化誤差に埋め込む方
法などが挙げられる。
【0033】画像処理装置14は、色変換装置12から
出力された画像データに対して所望の画像・画質になる
ように必要に応じて画像処理を施すものであり、具体的
に、本実施の形態では、一例として、スキャナやデジタ
ルカメラで画像データを取得した際のゴミやキズの影響
を除去するフォトレタッチ加工処理を行うようになって
いる。なお、画像処理装置14で行われる画像処理とし
ては、フォトレタッチ加工処理以外にも、解像度変換、
切り抜きなどが挙げられる。このような画像処理装置1
4は、例えば、コンピュータで一般的な画像処理用のソ
フトウェアを起動させることで実現することができる。
この画像処理装置14による加工後の画像データは後段
の出力制御装置18に入力される。
【0034】出力制御装置18は、本発明の色調改変検
出装置に対応し、画像処理装置14での画像データの色
変更を検出する色調改変検出部24、ユーザインタフェ
ースとして検出結果を表示するための検出結果表示部2
6、及び画像データに基づいて画像出力装置16の動作
させるためのドライバ部28を備えている。
【0035】色調改変検出部24は、入力された画像処
理装置14による加工後の画像データから電子透かし埋
め込み部22により電子透かしで埋め込んだ情報を読出
して、該読み出した情報に基づいて画像処理装置14で
色変更が行われたか否かを判定する。すなわち、色調改
変検出部24が本発明の判定手段として機能する。な
お、図示は省略するが、色調改変検出部24は、この判
定の際に各種の情報を記憶するための内部メモリを備え
ている。この色調改変検出部24による判定結果は検出
結果表示部26へ送出され、検出結果表示部26では、
この判定結果に基づいたメッセージを表示する。
【0036】また、色調改変検出部24は、判定結果に
応じて、入力された画像データをドライバ部28へ送出
し、ドライバ部28では、この画像データに基づいて制
御信号を画像出力装置16へ送出する。これにより、画
像出力装置16から画像データに基づく画像が出力され
る。
【0037】[作用]次に、本実施の形態の作用を説明す
る。
【0038】画像処理システム10では、処理対象の画
像データが色変換装置12に入力される。以下、図2を
参照して、色変換装置12で実行される処理を詳細に説
明する。なお、図2には、画像データが入力された場合
に色検出部で開始される処理ルーチンが示されている。
【0039】図2に示されているように、色変換装置1
2では、画像データが入力されると、まずステップ10
0において、色変換処理部20においてデバイスのプロ
ファイル情報を用いて、RGB表色系からYMCK表色
系へと色変換される。この際、本来の色に近付けるよう
に入力デバイスに応じた補正も加えられて色変換され
る。
【0040】次いでステップ102で、電子透かし埋め
込み部22により、色変換後の画像データを所定サイズ
の領域に分割し、分割領域毎に、該分割領域の色調特性
値として該分割領域内の画像データのヒストグラムを求
めると共に、該ヒストグラムに応じて誤差許容値を求め
る。そして、次のステップ104で、各分割領域の画像
データ内に、該分割領域の色調特性値情報としてのヒス
トグラムの情報が誤差許容値情報と共に電子透かしで埋
め込まれる。
【0041】ここで画像データを分割するサイズは、埋
め込みたい情報、すなわち色調特性値情報及び誤差許容
値情報を電子透かしで埋め込むのに充分であれば特に限
定されるものではなく、本実施の形態では、一例とし
て、図3に示すように、100×100画素の合計10
000画素からなる領域を1単位として画像データを分
割する。なお、図3では、画像データ全体のサイズが1
120×820画素である場合を示しており、100×
100画素単位で領域分割を行うと図中に斜線で示すよ
うに余る部分が出る。このような余り部分については、
予め定めた規則に則って扱う必要があり、例えば、この
余り部分が色調特性値情報及び誤差許容値情報を電子透
かしとして埋め込むのに充分なサイズであれば、他の分
割領域と同様に電子透かしを埋め込み、該充分なサイズ
に満たない場合は、電子透かしの埋め込みを行わないよ
うにすることが挙げられる。また、この余り部分は、図
3からも分かるように、画像の周辺部分にあたり、周辺
部分の重要性が低ければ、余り部分には電子透かしを埋
め込まなくてもよい。
【0042】また、本実施の形態では、一例として、図
4に示すように、各分割領域内における色調特性値とし
てCMYKの各色成分の画素値を0〜70、71〜18
0、181〜255の3区間に区切って各区間内の画素
値を有する画素数をカウントしたヒストグラムを採用し
ている。なお、ヒストグラムの区間数を3区間としたの
は説明の簡便化のためであり、実際には、色調の特徴を
精度良く表現するためには、ヒストグラムの区間数は少
なくとも10区間以上とすることが好ましい。
【0043】また、誤差許容値については、画像処理装
置14でのキズやゴミを除去する通常加工処理で起こり
得る色調特性値の変化量に相当するものであればよく、
本実施の形態では、一例として、求めたヒストグラムに
おける各区間の画素数の増減許容範囲を採用している。
具体的に±5%を増減許容範囲とした場合には、図4の
領域番号1については、0〜70の区間では、C色は5
0画素、M、Y、K色についてはそれぞれ500画素が
誤差許容値とされる。この場合の誤差許容範囲は、例え
ば視覚的に鈍感な区間は±7%、視覚的に敏感な区間は
±3%というように、区間によって割合を変えてもよ
い。
【0044】このようにして色変換した画像データに電
子透かしを埋め込んだら図2の色変換装置12の処理は
終了し、色変換装置12による処理後の画像データは画
像処理装置14に入力される。色変換装置12により色
変換され電子透かしが埋め込まれた画像データは、画像
処理装置14により必要に応じて画像処理(フォトレタ
ッチ加工)が施され、該画像データからキズやゴミの影
響が除去された高画質の画像データが出力される。な
お、この画像処理時には、偶発的に意図しない色変換を
画像データに対して掛けてしまう可能性がある。
【0045】画像処理装置14から出力された画像デー
タは、出力制御装置18に入力される。出力制御装置1
8では、この入力された画像データは、まず、色調改変
検出部24によって、色変換処理部20による色変換後
に他の色変換(色調改変)が行われたか否かが判定され
る。以下、図5を参照して、この色調改変検出部24で
実行される処理を詳細に説明する。図5には、画像デー
タが入力された場合に色調改変検出部で開始される処理
ルーチンが示されている。
【0046】図5に示されているように、色調改変検出
部24では、画像データが入力されると、まずステップ
200において、画像データの全分割領域数を計数する
ための全領域カウンタ(Count1)、及び色調が変わった
分割領域数を計数するための改変領域カウンタ(Count
2)の値を共に初期化する(0にする)。次のステップ
202では、画像データから電子透かし埋め込み部22
で埋め込んだ1つ目の電子透かしを検索するが、画像処
理装置14での加工により解像度変換が行われるなどし
て画像サイズが変更された場合を考慮して、該画像デー
タにおける電子透かしを検索する領域のオフセット位置
と領域サイズを変えながら1つ目の電子透かしを検索す
る。そして、次のステップ204で、1つ目の電子透か
しが検索されたときのオフセット位置と領域サイズを内
部メモリ(図示省略)に記憶した後、ステップ206に
進む。
【0047】ステップ206では、検索した電子透かし
の情報、すなわち色調特性値情報及び誤差許容値情報を
読み取る。次のステップ208では、対応する領域内の
実際の画像データから色調特性値、すなわちヒストグラ
ムを求める。このとき、画像サイズが変更された場合が
あるので、本来の分割領域のサイズに応じて求めたヒス
トグラムを正規化する。例えば、本来の分割領域サイズ
は100×100画素であるのに、1つ目の電子透かし
が検索された領域サイズ(ステップ204で記憶した領
域サイズ)が50×50画素であった場合は、求めたヒ
ストグラムの各区間の画素数(度数)を4倍にする。
【0048】次のステップ210では、ステップ206
で読み取った誤差許容値情報に基づいて、ステップ20
8で実際の画像データから求めた色調特性値がステップ
206で読み取った電子透かしの色調特性値情報と一致
しているか否かを判断する。詳しくは、実際の画像デー
タから求めた色調特性値と読み取った色調特性値情報が
示す値との差が、誤差許容値情報が示す値の範囲内であ
れば一致、誤差許容値情報が示す値の範囲外であれば不
一致と判断する。具体的には、本実施の形態では、YM
CK各色のヒストグラムの3区間のうち1つでも範囲外
である場合は不一致と判断するようになっている。
【0049】そして実際の画像データから求めた色調特
性値が電子透かしの色調特性値情報と一致していない
(不一致)と判断された場合は、該分割領域は色調改変
されたとしてステップ210からステップ212に進
み、改変領域カウンタをインクリメント(Count2= Coun
t2+1)した後、ステップ214に進み、全領域カウン
タをインクリメント(Count1= Count1+1)する。一致
していると判断された場合は、ステップ210からその
ままステップ214に進み、全領域カウンタのみをイン
クリメント(Count1= Count1+1)する。
【0050】そして、次のステップ216では、全分割
領域について、実際の画像データから求めた色調特性値
と電子透かしの色調特性値情報との一致/不一致の判断
に係わる処理(ステップ206からステップ214ま
で)が完了したかが判断される。残りの領域がある場合
は、ステップ216からステップ218に移行して、前
述のステップ204で記憶しておいたオフセット位置及
び領域サイズに基づいて、次の分割領域に移動して、該
次の分割領域の電子透かしを検索してからステップ20
6に戻り、同様に処理を繰り返す。
【0051】実際の画像データから求めた色調特性値と
電子透かしの色調特性値情報との一致/不一致の判断に
係わる処理を全分割領域について完了したら、ステップ
216からステップ220に進み、該画像データに対す
る色調改変の有無の最終判定を行う。この判定は、全分
割領域数に対する改変領域数の割合(Count2/Count1)
に基づいて行なわれ、全分割領域数に対する改変領域数
の割合が予め定められた所定値(α)内であれば(Coun
t2/Count1<α)、たとえ色調改変された分割領域があ
ったとしても画像データ全体では部分的なものであり、
キズやゴミ除去によるものとして、該画像データは色調
改変されていないと最終判定して、ステップ222へ進
む。
【0052】ステップ222では、検出結果表示部26
へ「改変無し」を示す結果情報を送信し、これを受けて
検出結果表示部26では正常メッセージを表示して、ユ
ーザに期待通りの色(色変換装置12で色変換したとき
に補償された色)で最終出力画像を出力できることを報
知する。続いて次のステップ224では、ドライバ部2
8へ画像データを送出して処理を終了する。これによ
り、ドライバ部28からこの画像データに基づく制御信
号が画像出力装置16へ送出されて、最終出力画像とし
て、画像出力装置16から画像データに基づく画像が出
力される。このとき、画像データに電子透かしで埋め込
まれている情報の画質への影響はほとんどないことは言
うまでもない。
【0053】一方、全分割領域数に対する改変領域数の
割合が予め定められた所定値(α)以上の場合は(Coun
t2/Count1≧α)、該画像データは色調改変されたと最
終判定して、ステップ226へ進む。
【0054】ステップ226では、検出結果表示部26
へ「改変有り」を示す結果情報を送信し、これを受けて
検出結果表示部26ではエラーメッセージを表示して、
ユーザに画像データの色調が改変されたことを報知す
る。続いて次のステップ228では、色調が改変された
ため画像を期待通りの色で出力することはできないので
ドライバ部28への画像データの送出を中止して、画像
出力装置16による該画像データに基づく画像の出力を
中止させて処理を終了する。なお、本発明は、色調改変
有りと判定された場合に、その旨をユーザに報知すれば
よく、画像出力については必ずしも中止する必要はな
く、画像出力装置16から画像を出力させるようにして
もよい。また、操作されることにより画像の出力指示又
は中止指示を入力するための操作入力部を設けて、ユー
ザが画像を出力するか中止するかを選択可能とし、ユー
ザにより中止すると選択され、操作入力部から中止指示
が入力された場合に画像出力を中止するようにしてもよ
い。
【0055】このように、本実施の形態によれば、色変
換装置12の電子透かし埋め込み部22において、色変
換処理部20による色変換(色補正)直後の画像データ
自体に電子透かしで該画像データの色調特性値を示す情
報を埋め込んでおき、画像出力装置16で該画像データ
に基づく画像を出力する手前で、出力制御装置18の色
調改変検出部24において、実際の画像データの色調特
性値と電子透かしで埋め込まれている色調特性値とを比
較して色補正後の色調改変を検出するようになってい
る。
【0056】したがって画像処理装置14での画像処理
(フォトレタッチ加工)の際に意図しない色変換が行わ
れた場合は、該色変換により画像データの色調特性値が
変化して、電子透かしで埋め込まれている色調特性値と
異なるので、色調改変検出部24において色調改変があ
ったことを検出することができる。また、色調改変検出
部24では、画像処理装置14で施された色変換以外の
画像処理(フォトレタッチ加工)による画像データの改
変ついては正常扱いし、色調のみについての改変を検出
することができる。
【0057】また、色調特性値を示す情報は電子透かし
で画像データに埋め込まれるので、ヘッダ情報に書込む
場合と比べて、画像処理装置14でのフォトレタッチ加
工によって色調特性値を示す情報の消失可能性が低い。
また、画像処理装置14でフォトレタッチ加工以外にも
解像度変換、切り抜きなどの画像処理が行われたとして
も、電子透かしを採用することにより、埋め込んだ色調
特性値を示す情報が消失する可能性を低くできる。この
場合、電子透かしで埋め込んだ色調特性値を示す情報の
消失を防止するために、画像処理装置14で行われる具
体的な加工処理や画像処理装置14が有する加工処理機
能の種類に応じて、電子透かしの埋め込む手法を選択す
ることが好ましい。
【0058】なお、上記では、何れの分割領域について
も同一に扱ったが、本発明はこれに限定されるものでは
なく、画像全体でみたときに許容できる色調改変の度合
い差がある場合などには、分割領域毎に重み付けをして
もよい。これは、色変換装置12及び色調改変検出部2
4において、例えば図6、7に示すように処理すること
で可能である。なお、図6、7では、前述の図2、5と
同一の処理については同一のステップ番号を付与してお
り、以下では詳細な説明を省略する。
【0059】すなわち、図6に示されているように、色
変換装置12では、ステップ100で色変換処理部20
により画像データを色変換(色補正)し、ステップ10
2で電子透かし埋め込み部22により色変換後の画像デ
ータを分割し、分割領域毎に色調特性値や誤差許容値を
求めるまでは同様であるが、電子透かし埋め込み部22
では、同時に、ステップ110で分割領域毎に重要度
(K)を設定するようになっている。重要度の付け方と
しては、例えば、画像中央に近づくほど分割領域の重要
度を増したり、求めた色調特性値から空など特に重要と
指定されたものが写っていると判断された分割領域の重
要度が増すようにすることなどが挙げられる。そして、
図2のステップ104の代わりにステップ112で、各
分割領域の画像データ内に、該分割領域に設定した重要
度(K)を示す情報(重要度情報)を色調特性値情報や
誤差許容値情報と共に電子透かしで埋め込むようになっ
ており、このような電子透かしが埋め込まれた画像デー
タが画像処理装置14へ入力される。
【0060】図7に示すように、色調改変検出部24で
は、全領域カウンタ(Count1)や改変領域カウンタ(Co
unt2)の代わりに、重要度合計値(S)を用い、図5の
ステップ200の代りに、まずステップ230でこの重
要度合計値(S)を初期化する(S=0)ようになってい
る。その後は、図5と同様に処理していき、分割領域毎
に、電子透かしを読みとって、実際の画像データから求
めた色調特性値が電子透かしの色調特性値情報と一致し
ているか否かを判断する。なお、ステップ206の電子
透かしの読み取りでは、色調特性値情報、誤差許容値情
報と共に重要度情報も読み取られる点が図5の場合と異
なる。
【0061】そして、実際の画像データから求めた色調
特性値が電子透かしの色調特性値情報と一致していると
判断された場合はステップ210からステップ216に
そのまま進み、一致していないと判断された場合にステ
ップ210からステップ232に進んで、該分割領域の
重要度情報を重要度合計値に加算(S=S+K)してからス
テップ216に進む。
【0062】実際の画像データから求めた色調特性値と
電子透かしの色調特性値情報との一致/不一致の判断に
係わる処理が全分割領域について完了するまで、ステッ
プ216からステップ218を経てステップ206に戻
り、全分割領域について完了したら、ステップ216か
らステップ220に進んで、該画像データに対する色調
改変の有無の最終判定を行う。なお、ステップ220の
判定では、重要度合計値(S)に基づいて該画像データ
に対する色調改変の有無の最終判定を行う点が図5の場
合と異なる。
【0063】すなわち、重要度合計値(S)が予め定め
られた所定値(β)内であれば(S<β)、たとえ色調
改変された分割領域があったとしても画像データ全体で
は部分的なものであり、キズやゴミ除去によるものとし
て、該画像データは色調改変されていないと最終判定す
る。そして、図5と同様に、ステップ220からステッ
プ222へ進んで検出結果表示部26へ「改変無し」を
示す結果情報を送信し、続いて次のステップ224で、
ドライバ部28へ画像データを送出する。
【0064】一方、重要度合計値(S)が予め定められ
た所定値(β)以上の場合は(S≧β)、該画像データ
は色調改変されたと最終判定して、図5と同様に、ステ
ップ220からステップ226へ進んで検出結果表示部
26へ「改変有り」を示す結果情報を送信し、続いて次
のステップ228で、ドライバ部28への画像データの
送出を中止する。
【0065】このように処理することにより、画像デー
タのうち特に重要な部分の色調改変に対して感度を高く
し、且つ重要度の低い部分の色調改変に対しては感度を
下げて最終的な画像改変の有無を判定することができ
る。
【0066】なお、上記では、画像データを複数の領域
に分割し、分割領域毎に該分割領域内の色調特性値を電
子透かしを埋め込む場合を例に説明したが、本発明はこ
れに限定されるものではなく、画像データ全体の色調特
性値を求めて電子透かしにより埋め込むようにしてもよ
い。ただし、画像処理装置14での電子透かしの消失の
可能性を低減し、且つ色変換以外の画像処理(フォトレ
タッチ加工)による画像データの改変を正常扱いして色
調の改変のみを精度良く検出するためには、上記のよう
に分割領域毎に色調特性値を電子透かしで埋め込むこと
が好ましい。
【0067】また、画像データ全体のうち色調改変され
たくない部分が一部である場合には、該色調改変された
くない部分だけを対象領域に設定して、上記の如く処理
するようにしてもよい。
【0068】なお、上記では、説明の簡便化のために、
色変換装置12の処理後の画像データには、画像処理装
置14においてフォトレタッチ加工などの画像処理だけ
が施される場合を例に説明したが、本発明は、これに限
定されるものではない。例えば、図8に示すように、画
像処理装置14の後段に編集処理装置50を設け、編集
処理装置50において、画像処理装置14による画像処
理後の画像データを用いてぺージ編集を行い、その結果
を出力制御装置18へ入力するようにすることもでき
る。このような編集処理装置50は、例えば、コンピュ
ータで一般的な編集処理用のソフトウェアを起動させる
ことで実現することができる。
【0069】この場合、編集処理装置50では、色変換
装置12から出力された電子透かしが埋め込まれた画像
データ(ラスター形式のデータ)を、必要に応じてテキ
ストデータや他の画像データ(ラスター形式でもベクト
ル形式でもよい)と共に1ページ内に配置して1ページ
のイメージを示すページデータが生成される。したがっ
て、出力制御装置18に入力されるデータには、テキス
トデータや他のシステムで生成された画像データ(ラス
ター形式/ベクトル形式)など、色変換装置12から出
力された画像データ以外の各種の部品データも混在して
いる可能性があり、色調改変検出部24では、ページ内
に配置された色変換装置12から出力された画像データ
についてのみ色調改変が行われたか否かを判定すること
が求められる。
【0070】これは、例えば、画像処理装置14におい
て、ページ編集したときに色変換装置12から出力され
た画像データを貼り付けた部分を色調改変の検出対象領
域に設定するようにし、色調改変検出部24では、ペー
ジデータのうち検出対象領域に設定されている部分につ
いてのみ、図5や図7で示したような処理を行えばよ
い。或いは、ページデータでは、ページ内に配置した画
像データがそのまま挿入されたり、或いは画像データの
リンク情報のみ挿入されて画像データについてはそのま
ま該ページデータとは別に存在する場合には、画像デー
タの抽出が容易であるので、色調改変検出部24におい
て、自動的にページ内に配置された画像データだけを抽
出し、その中から、電子透かしの検索により電子透かし
が埋め込まれている画像データのみを識別して、図5や
図7で示したような処理を行うようにしてもよい。
【0071】また、上記では色変換処理部20による色
変換(色補正)後に電子透かしにより色調特性値情報を
埋め込み、該色変換(色補正)後の色調改変を検出する
場合を例に説明したが、本発明はこれに限定されるもの
ではない。例えば、画像処理システム10に入力された
時点で画像データに電子透かしにより色調特性値情報を
埋め込み、入力前後での色調改変を検出するようにして
もよい。また、例えば、画像処理装置14において、セ
ピア調などユーザが好みの色調になるように画像データ
の色変換を行った後に、電子透かしにより色調特性値情
報を埋め込み、その後、キズやゴミを除去するためのフ
ォトレタッチ加工を行うようにし、ユーザ好みの色調に
なるように色変換した後の色調変換を検出するなど、所
定の処理後に電子透かしにより色調特性値情報を埋め込
んで、該所定の処理後の色調改変を検出するようにして
もよい。
【0072】
【発明の効果】上記に示したように、本発明は、画像デ
ータの意図しない色調改変を検出することができるとい
う優れた効果を有する。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係わる画像処理装置の
構成を示すブロック図である。
【図2】 色変換装置で実行される処理を示すフローチ
ャートである。
【図3】 色変換装置の電子透かし埋め込み部による画
像データの分割を説明するための概念図である。
【図4】 色変換装置の電子透かし埋め込み部により求
められる分割領域毎の画像データの色調特性値(ヒスト
グラム)の一例である。
【図5】 出力制御装置の色調改変検出部で実行される
処理を示すフローチャートである。
【図6】 色変換装置で実行される処理の別の例(分割
領域毎に重み付けする場合)を示すフローチャートであ
る。
【図7】 出力制御装置の色調改変検出部で実行される
処理の別の例(分割領域毎に重み付けする場合)を示す
フローチャートである。
【図8】 本発明の別の実施の形態に係わる画像処理装
置の構成を示すブロック図である。
【符号の説明】
10 画像処理システム 12 色変換装置 14 画像処理装置 16 画像出力装置 18 出力制御装置 20 色変換処理部 22 電子透かし埋め込み部 24 色調改変検出部 26 検出結果表示部 28 ドライバ部 50 編集処理装置
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/64 H04N 1/46 Z Fターム(参考) 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE08 CE18 DA02 DA15 DB02 DB06 DB09 DC19 DC25 DC36 5C066 AA11 CA08 CA15 DC06 EF02 GA01 GA33 HA02 KD01 KD06 5C076 AA14 BA06 5C077 LL01 LL11 LL13 MP08 PP19 PP32 PP33 PP37 PP43 PQ17 PQ19 TT02 TT10 5C079 HA18 HB01 HB03 HB12 LA02 LA36 LB02 MA17 NA03 NA19 PA03 PA05

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 画像データの色調改変を検出する色調改
    変検出方法であって、 予め、画像データに対して該画像データの色調特性値を
    示す色調特性値情報を電子透かしによって埋め込んでお
    き、 検出対象の画像データに電子透かしにより埋め込まれて
    いる色調特性情報が示す色調特性値と、該画像データの
    実際の色調特性値とに基づいて、画像データの色調改変
    を検出する、 ことを特徴とする色調改変検出方法。
  2. 【請求項2】 画像データの色調改変の有無を検出する
    色調改変検出装置であって、 予め電子透かしにより画像データに埋め込まれている該
    画像データの色調特性値を示す色調特性値情報を読み取
    ると共に、該画像データの実際の色調特性値を求め、読
    み取った前記色調特性値情報が示す色調特性値と求めた
    前記実際の色調特性値とを比較し、該比較結果に基づい
    て、画像データが色調改変されたか否かを判定する、 ことを特徴とする色調改変検出装置。
  3. 【請求項3】 画像データに対して該画像データの色調
    特性値を示す色調特性値情報を電子透かしによって埋め
    込む埋込手段と、 画像データから前記埋込手段により埋め込まれた前記色
    調特性値情報を読み取ると共に、該画像データの実際の
    色調特性値を求め、読み取った前記色調特性値情報が示
    す色調特性値と求めた前記実際の色調特性値とを比較
    し、該比較結果に基づいて、画像データが色調改変され
    たか否かを判定する判定手段と、 を備えたことを特徴とする画像処理システム。
JP2002028189A 2002-02-05 2002-02-05 色調改変検出方法、色調改変検出装置、及び画像処理システム Expired - Lifetime JP3938875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002028189A JP3938875B2 (ja) 2002-02-05 2002-02-05 色調改変検出方法、色調改変検出装置、及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002028189A JP3938875B2 (ja) 2002-02-05 2002-02-05 色調改変検出方法、色調改変検出装置、及び画像処理システム

Publications (2)

Publication Number Publication Date
JP2003230018A true JP2003230018A (ja) 2003-08-15
JP3938875B2 JP3938875B2 (ja) 2007-06-27

Family

ID=27749489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002028189A Expired - Lifetime JP3938875B2 (ja) 2002-02-05 2002-02-05 色調改変検出方法、色調改変検出装置、及び画像処理システム

Country Status (1)

Country Link
JP (1) JP3938875B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114822A (ja) * 2013-12-11 2015-06-22 富士フイルム株式会社 画像利用商材作成装置、画像利用商材作成方法、画像利用商材作成プログラムおよびその記録媒体、ならびに加工画像判定装置、加工画像判定方法、加工画像判定プログラムおよびその記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114822A (ja) * 2013-12-11 2015-06-22 富士フイルム株式会社 画像利用商材作成装置、画像利用商材作成方法、画像利用商材作成プログラムおよびその記録媒体、ならびに加工画像判定装置、加工画像判定方法、加工画像判定プログラムおよびその記録媒体
US9324013B2 (en) 2013-12-11 2016-04-26 Fujifilm Corporation Image used commercial goods creating apparatus, image used commercial goods creating method, and non-transitory computer readable recording medium

Also Published As

Publication number Publication date
JP3938875B2 (ja) 2007-06-27

Similar Documents

Publication Publication Date Title
JP5132517B2 (ja) 画像処理装置および画像処理方法
JP4095265B2 (ja) 画像処理装置、画像処理方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
JP4115460B2 (ja) 画像処理装置およびその方法、並びに、コンピュータプログラムおよび記録媒体
US20030076979A1 (en) Method of embedding digital watermark, method of extracting embedded digital watermark and apparatuses for the same
WO2000025510A1 (fr) Procede pour incorporer un filigrane electronique et procede pour decoder ce dernier
JP2003087563A (ja) 画像処理装置およびその制御方法
US6992686B2 (en) System and method for dynamic control of file size
JP2008527852A (ja) ディジタル・カメラの画像のホワイト・バランス補正
US8401287B2 (en) Image processing apparatus and processing method thereof
US7974487B2 (en) System and method for image white balance adjustment
US11790477B2 (en) Digital watermark analysis apparatus and digital watermark analysis method
JP2004193964A (ja) 画像処理装置および画像処理方法およびプログラムおよび記録媒体
US7369163B2 (en) Image processing apparatus, image processing method, and program using condition information for image processing
JP2007141152A (ja) デジタルカメラ、印刷装置、画像供給装置
US20090324063A1 (en) Image processing method and apparatus for correcting specific part
JP2003230019A (ja) 表示方法、及び表示システム
JP2001016452A (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法
JP2003230018A (ja) 色調改変検出方法、色調改変検出装置、及び画像処理システム
US7986443B2 (en) Image processing apparatus, image processing method and memory medium
JP3233986B2 (ja) 画像処理装置およびその方法
JP4235592B2 (ja) 画像処理方法および画像処理装置
KR102579261B1 (ko) 워터마크 데이터의 임베딩 및 추출 방법
EP4344184A1 (en) Image processing method and image processing apparatus
JP2004112303A (ja) 画像処理方法、画像処理装置及び画像処理システム
JP2006109424A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070326

R150 Certificate of patent or registration of utility model

Ref document number: 3938875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250