JP2006148755A - 写真画像処理方法及びその装置 - Google Patents

写真画像処理方法及びその装置 Download PDF

Info

Publication number
JP2006148755A
JP2006148755A JP2004338728A JP2004338728A JP2006148755A JP 2006148755 A JP2006148755 A JP 2006148755A JP 2004338728 A JP2004338728 A JP 2004338728A JP 2004338728 A JP2004338728 A JP 2004338728A JP 2006148755 A JP2006148755 A JP 2006148755A
Authority
JP
Japan
Prior art keywords
density
color
expansion
histogram
density histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004338728A
Other languages
English (en)
Other versions
JP4345649B2 (ja
Inventor
Shunsaku Riko
俊策 利弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2004338728A priority Critical patent/JP4345649B2/ja
Priority to CNB2005101204100A priority patent/CN100373914C/zh
Priority to US11/285,359 priority patent/US20060109527A1/en
Priority to DE602005011558T priority patent/DE602005011558D1/de
Priority to EP05111122A priority patent/EP1662315B1/en
Publication of JP2006148755A publication Critical patent/JP2006148755A/ja
Application granted granted Critical
Publication of JP4345649B2 publication Critical patent/JP4345649B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00Photographic printing apparatus
    • G03B27/72Controlling or varying light intensity, spectral composition, or exposure time in photographic printing apparatus
    • G03B27/73Controlling exposure by variation of spectral composition, e.g. multicolor printers
    • G03B27/735Controlling exposure by variation of spectral composition, e.g. multicolor printers in dependence upon automatic analysis of the original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Control Of Exposure In Printing And Copying (AREA)

Abstract

【課題】 経験則による高彩度画素除去の閾値や、重付条件を考慮しなければならないLATD露光方式によらずに、カラーフェリアの影響を低減させて適切なカラー補正が行なえる写真画像処理方法を提供する。
【解決手段】 撮像素子で読み取られたカラー画像データからRGBの色成分毎に濃度ヒストグラムを生成し、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせた後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させ、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出し、得られた夫々の重畳面積の合計値が最大値となるシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理する。
【選択図】 図3

Description

本発明は、例えばネガフィルム等の写真フィルムを読み取り得られたカラー画像データに対して、自然なカラーを再現できるようにR(赤)、G(緑)、B(青)(以下、「RGB」と記す。)のカラーバランスを調整する写真画像処理方法及びその装置に関する。
従来の写真プリンタでは、ネガフィルムに記録された画像を色合いよく感光材料である印画紙に焼き付けるための写真画像処理方法として、エバンスの定理に基づくLATD(Large Area Transmittance Density)露光方式が知られている。この露光方式は、平均的な戸外の被写体は、ネガ全体の色を混ぜ合わせると灰色に近くなるというエバンスの説に基づいて、色に偏りが見られる場合は、ネガフィルムを透過したRGBの積算光が印画紙上でグレーに再現されるようにRGBの各露光量を調節して露光を行う方式であり、具体的には、ネガフィルムに光を照射して透過光を撮像素子で読取ってRGBのカラー画像データを生成し、カラー画像データの平均値を各画素のRGB毎に演算導出し、RGB各平均値がそれぞれグレーに対応する所定の値となるように、アナログ方式の写真プリンタでは調光フィルタを調節して印画紙を露光し、デジタル方式の写真プリンタではRGB夫々の光源からの露光量を調節していた。
上述した従来の写真画像処理方法によれば、被写体(人物、背景)の色の偏りにより過補正され、却って見辛い写真プリントが出力されてしまうという問題があった。例えば、芝生を背景に人物を撮影したシーンの場合には、芝生の領域がグレーに仕上がる一方、人物の領域に芝生の補色であるマゼンダが強く現われる。このような状況をカラーフェリアといい、その対策としてLATD露光方式において高彩度画素を除去する方法や、彩度によって重み付けをした条件付平均値を求める方法などが提案されている。
特開2000−330221号公報
しかし、上述した方法によれば、色の偏りが大きいシーンの場合には、演算に使用される画素数が極端に少なくなることで安定性に欠ける傾向があり、小さい重み付けであってもそれに該当する画素数が多いと少なからず影響を受ける場合があった。さらに、高彩度画素を除去するその閾値や、彩度による重み付けの条件は経験に基づいて決定されるものであったので、必ずしも万全なものではなく、更なる改良の余地があった。
本発明は、上述の従来欠点に鑑み、経験則による高彩度画素除去の閾値や、重付条件を考慮しなければならないLATD露光方式によらずに、カラーフェリアの影響を低減させて適切なカラー補正が行なえる写真画像処理方法及びその装置を提供する点にある。
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力工程と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理工程と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理工程と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算工程と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別工程と、前記判別工程で求められたシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するカラーデータ変換処理工程とからなる点にある。
フィルムはメーカーや感度によって特性に差異があるが、一般的にカラー画像データのRGB色成分にはある程度相関関係があり、特に撮影された物体に無彩色のものが多いほどRGBの相関関係が高くなる。従って、RGB色成分毎の濃度ヒストグラムの一致度を見ることで、無彩色物体の色、つまり、フィルム特性によって現われた色を検出できる。
そこで、フィルム画像入力工程で入力されたカラー画像データから生成されたRGB色成分毎の濃度ヒストグラムに対して、RGBの各ヒストグラムの重畳面積が最大となるように、濃度軸方向に各濃度ヒストグラムを伸縮させて相対伸縮率を得ることにより、フィルムに撮影された無彩色物体のカラーバランスを求めることが考えられるが、画像中の被写体に色の偏りがあると、特定の色のヒストグラムの山に偏りが生じて他のヒストグラムの本来合わせるべきでない山を合わせる結果、重畳面積が最大となる相対伸縮率でカラー補正しても適切なカラーバランスが得られない虞がある。
このような点に鑑み、本発明では、特定色の濃度ヒストグラムを基準として他の色の濃度ヒストグラムを濃度軸方向に伸縮処理し、何れかの二色の濃度ヒストグラムの重畳面積を夫々演算導出して、それらの重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となる伸縮率を求めた結果、前記カラー画像データの各画素の対応する色成分を前記伸縮率に基づいて変換処理することにより、偏りの無いヒストグラム同士の重畳面積を加味することができ、カラーフェリアの影響を抑制しながら適切なカラーバランスが得られるようにカラー補正することができるようになる。このようにして得られた新たなカラー画像データに基づいて印画紙をデジタル露光することにより常に適正なデジタル写真プリントが得られるのである。
同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記カラーデータ変換処理工程は、前記判別工程で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度値の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムの色成分毎のベース濃度値として演算導出し、得られたベース濃度値と前記伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するものである点にある。
シフト工程を設けることにより、濃度軸方向にヒストグラムをシフトさせた後に伸縮処理することで、適切な伸縮率が得られる機会が増し、RGB色成分毎の濃度ヒストグラムの一致度を上げることができるので、より適切なカラーバランスを得られるようにカラー補正することができるようになるのである。
同第三の特徴構成は、同請求項3に記載した通り、フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力工程と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理工程と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理工程と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算工程と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別工程と、前記判別工程で求められたシフト量及び伸縮率に基づいて調光フィルタを調節して印画紙に露光する露光工程とからなる点にある。
上述と同様、偏りの無いヒストグラム同士の重畳面積を加味して得られた伸縮率に基づいて調光フィルタを調節して印画紙に露光することにより常に適正なアナログ写真プリントが得られるのである。
同第四の特徴構成は、同請求項4に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記濃度ヒストグラムは、1本分のフィルム画像に対する全画像データに基づいて生成されるものである点にある。
コマ画像単位で濃度ヒストグラムを生成する場合には、被写体の色の偏りが強く影響する場合もあるので、十分なデータ量を確保すべく1本分のフィルム画像に対する全画像データに基づいて生成されることが好ましいのである。
上述の写真画像処理方法を具現化した本発明による写真画像処理装置の第一の特徴構成は、同請求項5に記載した通り、フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力部と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成部と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理部と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理部と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算部と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別部と、前記判別部で求められたシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するカラーデータ変換処理部とからなる点にある。
同第二の特徴構成は、同請求項6に記載した通り、上述の第一特徴構成に加えて、前記カラーデータ変換処理部は、前記判別部で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度値の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムの色成分毎のベース濃度値として演算導出し、得られたベース濃度値と前記伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するものである点にある。
同第三の特徴構成は、同請求項7に記載した通り、フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力部と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成部と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理部と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理部と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算部と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別部と、前記判別部で求められたシフト量及び伸縮率に基づいて調光フィルタを調節して印画紙に露光する露光部とからなる点にある。
同第四の特徴構成は、同請求項8に記載した通り、上述の第一から第三の何れかの特徴構成において、前記濃度ヒストグラム生成部は、1本分のフィルム画像に対する全画像データに基づいて濃度ヒストグラムを生成するものである点にある。
以上説明した通り、本発明によれば、経験則による高彩度画素除去の閾値や、重付条件を考慮しなければならないLATD露光方式によらずに、カラーフェリアの影響を低減させて適切なカラー補正が行なえる写真画像処理方法及びその装置を提供することができるようになった。
以下、本発明の実施の形態を説明する。図1に示すように、写真画像処理装置は、フィルムから画像を読み取りメモリに記憶するフィルム画像入力部1と、フィルム画像入力部1から入力されたカラー画像データに対して所定のデータ処理等を施す画像データ処理部2と、処理後の画像データに基づいて印画紙を露光する露光ヘッドを備えた画像露光部3と、露光された印画紙を現像処理する現像処理部4と、現像処理後の印画紙をコマ単位で切断して排紙する排紙部5と、上述した各機能ブロック全体を統合して作動制御するシステム制御部6とを備えて構成される。
前記フィルム画像入力部1は、例えば現像済みの135カラーネガフィルム10の各コマを読取位置に間歇的に搬送するフィルム搬送部11と、フィルム10の各コマの画像を読み取る画像読取部12とからなり、前記フィルム搬送部11は、巻取ローラ111と、巻取ローラ111を回転駆動するフィルム搬送モータ112と、フィルム搬送モータ112を制御するフィルム搬送制御部113とを備えて構成され、前記画像読取部12は、フィルム10の下部に配置された光源114と、光源114の発光強度を制御する光源制御部115と、二次元CCDを備えた撮像素子116と、撮像素子116による画像の読取制御を行なう読取制御部110と、フィルム10の各コマ画像を撮像素子116の受光面に結像させるレンズ117と、フィルム10とレンズ117間に設けられ、フィルム10の画像をGRBの3色に分離する光学フィルタ118と、光学フィルタ118を切替駆動するフィルタ駆動モータ119と、フィルタ駆動モータ119を駆動制御するフィルタ切替制御部120と、撮像素子116で読み取った画像信号をデジタルデータとして記憶する画像データ記憶部121とを備えて構成される。前記画像データ記憶部121は、撮像素子116で読み取られたRGB夫々のアナログ画像信号を16ビットの階調レベルでRGBのデジタル画像データに変換するA/D変換器122と、A/D変換器122により変換されたRGB三色のデジタル画像データをコマ単位で格納するRAM等でなる画像バッファメモリ123とを備えて構成される。
前記画像データ処理部2は、画像バッファメモリ123に格納された画像データに対して後述のカラー補正や階調補正等の各種の補正処理やレイアウト処理等の所定の処理を実行する際に使用するテーブルデータ等を格納するテーブルメモリ20と、前記画像バッファメモリ123に格納された画像データを読み出してカラー補正処理、階調補正処理、変倍処理等のデータ変換処理を実行する画像処理用CPUを備えた画像データ変換処理部21と、画像データ変換処理部21による画像データの変換処理に用いられ、変換された画像データがコマ単位の最終画像データとしてRGBの色毎に区画された領域に格納される画像処理メモリ22と、最終画像データの1ライン分の画像データを一時記憶するラインバッファメモリ23等を備えて構成される。
前記画像露光部3は、ロールカセット30に巻回されている長尺状の印画紙31を搬送モータ37により露光ステーション33に向けて所定の搬送速度で搬送する印画紙搬送制御部38を備えた印画紙搬送部32と、露光ステーション33に搬送された印画紙31に対して露光走査するPLZT方式の露光ヘッド34と、露光ヘッド34を駆動制御する露光ヘッド制御部35と、ラインバッファメモリ23からの画像データを印画紙31の搬送速度に同期した所定のタイミングで露光ヘッド制御部35に出力する露光制御部36とを備えて構成される。
前記現像処理部4は、現像液等の現像処理液が充填された処理槽40と、露光済みのロール印画紙31を処理槽40内に搬送して、現像、定着、漂白の各処理がなされたロール印画紙31を前記排紙部5に搬送する搬送制御部を備えて構成され、前記排紙部5は、現像処理部4で現像処理されたロール印画紙31を幅方向に切断して1コマ単位に分割するカッター50と、カッター50を駆動するカッターモータ51に対する駆動制御や、切断された印画紙31を装置外部に排出制御する排紙制御部52とを備えて構成される。
前記システム制御部6は、制御用CPU、制御プログラムが格納されたROM、データ処理用のRAMと、各機能ブロックに対する制御用信号入出力回路を備えて構成され、前記制御プログラムに基づいて各機能ブロックが統合制御される。
前記システム制御部6は、前記フィルム画像入力部1を作動させてフィルム一本分の画像を素抜け部をも含めて低解像度で高速に読み取るプレスキャンモードと、同じく前記フィルム画像入力部1を作動させて前記プレスキャンモードで認識されたフィルムのコマ画像のみを高解像度で読み取る本スキャンモードとの2モードに切替えて読取り制御するとともに、前記画像データ処理部2を作動させて、前記プレスキャンモードで読み取られた低解像度の画像についてカラー補正や階調補正等のための補正データを演算導出するプレジャッジ処理を行ない、当該補正データに基づいて本スキャンモードで読み取られた高解像度の画像に対してカラー補正や階調補正を実行させる。
その後、前記印画紙搬送制御部38を作動させて前記露光ステーション33に印画紙31を搬送し、前記露光制御部36を作動させて画像データ処理部2により処理された補正後のプリントデータに基づいて前記露光ヘッド34を駆動制御するのである。
以下に、前記画像データ変換処理部21の主要な機能ブロックの構成を図2に基づいて説明するとともに、その処理内容を図3に示すフローチャートに基づいて説明する。図2に示すように、前記画像データ変換処理部21は、カラー補正部220と、階調性補正を行なうスキャナ補正部230と、フィルム画像を出力サイズに調整する倍率変換部240等を備えて構成される。
前記カラー補正部220は、プレスキャンモードで読込まれた低解像度のカラー画像データからフィルムのベース濃度を求めるベース濃度検出部210と、前記ベース濃度検出部210から検出されたフィルムベース濃度を基準としてカラーバランス調整用の補正データを求めるとともに、前記補正データに基づいて前記本スキャンモードで読み取られた高解像度カラー画像データを補正するカラーデータ変換処理部217とからなる
前記ベース濃度検出部210は、前記画像データ記憶部121(図1)に記憶された対象フィルムのカラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成部211と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理部212と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理部213と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算部214と、演算導出された夫々の重畳面積の合計値が最大値となるシフト量及び伸縮率を求める判別部215と、前記判別部215で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムのベース濃度値として演算導出するベース濃度演算部216とを備えて構成される。
図3に示すように、前記プレスキャンモードで前記フィルム画像入力部1によって135カラーネガフィルム1本分のフィルム画像が読み取られたカラー画像データが画像バッファメモリ123に格納されると(S1)、前記濃度ヒストグラム生成部211により前記カラー画像データに対するRGB色成分毎の濃度ヒストグラムがテーブルメモリ20領域に生成される(S2)。前記濃度ヒストグラムは、図4(a)に示すように、横軸を0(濃)から255(淡)の256段階(8ビット)のスケールで示される階調値とし、縦軸をその階調値に対する度数(画素数)とする二次元座標系に表され、素抜け部を含めた135カラーネガフィルム1本分のフィルム画像のRGB各色成分の濃度分布が把握されるものである。尚、ここで濃度ヒストグラムの横軸の分解能は特に限定するものではなく適宜設定可能である。
生成された濃度ヒストグラムの各階調値に対応する度数のうち、読み込まれた全画素数の0.1%より下の度数をノイズ成分として除去すべく0に設定する(S3)。このようにしてノイズ成分が除去されたRGB夫々の濃度ヒストグラムに対して、前記シフト処理部212により各色成分の濃度ヒストグラムの一致度が最も高くなるように、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせ、その後に前記伸縮処理部213により他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる。
具体的には、前記シフト処理部212は、図5(a)に示すG成分とR成分の濃度ヒストグラムに対して、図5(b)に示すように、G成分の濃度ヒストグラムを基準として初期に生成されたR成分の濃度ヒストグラム(破線で示す)を濃度軸方向、ここでは階調度軸方向に所定量だけシフトさせる(実線で示す)とともに、図6(a)に示すG成分とB成分の濃度ヒストグラムに対して、図6(b)に示すように、G成分の濃度ヒストグラムを基準として初期に生成されたB成分の濃度ヒストグラム(破線で示す)を濃度軸方向、ここでは階調度軸方向に所定量だけシフトさせる(実線で示す)(S4)。
シフト処理に際しては、色成分毎の濃度ヒストグラムの最小濃度値の中の最小値に対する各ヒストグラムの最小濃度値との偏差を最大シフト量として前記最小値に向けてシフトする。つまり、図4(a)に示す場合では、RGB各濃度ヒストグラムの最小濃度値(最大階調値Rmax,Gmax,Bmaxとなる)の中での最小値(階調度の最大値Rmaxとなる)に対する他の濃度ヒストグラムとの偏差|Rmax−Gmax|,|Rmax−Bmax|を最大移動量として前記最小値(階調度の最大値Rmaxとなる)までシフトする。
例えば、G成分の濃度ヒストグラムを基準としてR成分の濃度ヒストグラムをシフト処理する場合には、Rの階調度の最大値Rmaxを基準として予め設定された初期値(−10スケール(この値は特に制限されるものではなく適宜設定される値である))だけシフトさせ、その後最大シフト量(|Rmin−Gmin|)に対応するスケールまで1スケールずつ階調度が大きくなる方向にシフトさせる。同様に、B成分の濃度ヒストグラムをシフト処理する場合には、B成分の階調度の最大値Bmaxを基準として予め設定された初期値(−10スケール)だけシフトさせ、その後最大シフト量(|Rmin−Bmin|)に対応するスケールまで1スケールずつ階調度が大きくなる方向にシフトさせるのである。
シフト処理の後に、前記伸縮処理部213は、R成分の濃度ヒストグラム及びB成分の濃度ヒストグラムの最小階調値を示す位置、つまり図5(b)のR成分の濃度ヒストグラムの左端、図6(b)のB成分の濃度ヒストグラムの左端が夫々の位置から±15スケール(この値も特に制限されるものではなく適宜設定される値である)の範囲の各スケールに位置するように段階的に伸縮処理する(S5)。このときの各成分の濃度ヒストグラムの一例が図5(c)、図6(c)、及び、図7(b)に示されている。尚、図7(a)は初期に生成されたR成分とB成分の濃度ヒストグラムである。
前記重畳面積演算部214は、上述のステップS4,S5の処理後の各濃度ヒストグラムの二つの色成分の組合せによる濃度ヒストグラムの重畳面積、つまり、GとR,GとB,BとRの夫々の濃度ヒストグラムの重なり部分の面積を演算導出する(S6)。
前記ステップS4からステップS6が繰り返され、前記判別部215は、前記ステップS4からステップS6の処理の度に濃度ヒストグラムのGとR,GとB,BとRの重畳面積の加算値を求める処理を繰り返し(S7)、当該加算値が最大となるシフト量及び伸縮率を求める(S8)。図4(b)は加算値が最大値をとるときのシフト処理及び伸縮処理後の各色成分のヒストグラムが示されている。前記ベース濃度演算部216は、そのときの各ヒストグラムの最大階調値(最小濃度)の中の最大値(最小値)をベース濃度位置として認識し、当該シフト量及び伸縮率に基づいて図4(a)に示す元の濃度ヒストグラムにおける色成分毎のベース濃度位置を逆算して求め、その位置の濃度をフィルムのベース濃度値として演算導出する(S9)。
前記カラーデータ変換処理部217は、求められた当該フィルムのベース濃度を基準に前記判別部215で求められたシフト量及び伸縮率をカラーバランス調整用の補正データとして前記テーブルメモリ20に記憶し、前記本スキャンモードで読み取られた高解像度カラー画像データを補正処理する(S10)。つまり、前記本スキャン時に前記画像バッファメモリ123に格納された高解像度のコマ画像データの夫々の各画素のRGB成分を変換処理するのである。例えば、補正データとしてR成分のシフト量がSr、伸縮率がMrと求まった場合には高解像度のコマ画像データのR成分をSrだけシフトさせた後にMr倍して新たなR成分画素データを演算導出するのである。
図4(a)に示したヒストグラムは、RGB夫々の濃度ヒストグラムが近似したパターンである場合を説明したが、芝生で撮影された写真や海辺で撮影された写真のように、RGB夫々の濃度ヒストグラムが異なるパターンとなるような場合についても同様である。
例えば、図8(a)に示すように、B成分がR成分及びG成分の濃度ヒストグラムと異なるパターンを示すようなときであっても、図9(a)に示すGB各成分のヒストグラムに対して同図(b),(c)に示すように、シフト処理及び伸縮処理を行ない、図8(b)に示すGとR,GとB,BとRの夫々の濃度ヒストグラムの重なり部分の面積の和が最大となるときのヒストグラムを求めることにより、適切なカラーバランスが得られるように補正することができる。
つまり、本発明によれば、何れかの二色の濃度ヒストグラムの重畳面積を夫々演算導出して、それらの重畳面積の合計値が最大値となる伸縮率を求めた結果、前記カラー画像データの各画素の対応する色成分を前記伸縮率に基づいて変換処理することにより、RGBの各ヒストグラムの重畳面積が最大となるように濃度軸方向に各濃度ヒストグラムを伸縮させて得られた伸縮率に基づいてカラー補正する場合に比較して、偏りの無いヒストグラム同士の重畳面積を加味することができるので、カラーフェリアの影響を抑制しながら適切なカラーバランスが得られるようにカラー補正することができるようになるのである。
以上でカラー補正処理が終了され、引き続きスキャナ補正処理(S11)、倍率変換処理(S12)、その他必要な処理(S13)が実行され、最終の出力画像データが画像処理メモリ22に格納される(S14)。
即ち、図3のフローチャートに示したように、フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力工程と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理工程と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理工程と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算工程と、演算導出された夫々の重畳面積の合計値が最大値となるシフト量及び伸縮率を求める判別工程と、前記判別工程で求められたシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するカラーデータ変換処理工程とから本発明による写真画像処理方法が構成されている。
さらに、前記カラーデータ変換処理工程は、前記判別工程で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度値の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムの色成分毎のベース濃度値として演算導出し、得られたベース濃度値と前記伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するものである。
ここでフィルムのベース濃度値の導出方法は上述した方法に限るものではなく、プレスキャンモードで読み込まれたフィルムの全画像データから未露光部、例えば画像コマ間の巣抜け部の濃度をベース濃度として演算導出して求めるものであってもよく、この場合には、上述のステップS4の前にフィルムのベース濃度を求めるとともに、ステップS4におけるシフト処理をRGB夫々のベース濃度位置が重なるようにシフトさせ、その後Gの濃度ヒストグラムを基準としてR及びBの濃度ヒストグラムをベース濃度位置を基準に伸縮処理すればよい。
上述の実施形態では、G成分を基準としてR,B成分のシフト量及び伸縮率を求める例を説明したが、R成分やB成分を基準としてシフト量及び伸縮率を求めるように構成してもよい。
上述した実施形態では、判別上程において、演算導出された夫々の重畳面積の合計値が最大値となるシフト量及び伸縮率を求めるものを説明したが、夫々の重畳面積の何れかが最大値を取る伸縮率を求めるように構成することも可能である。
上述の実施形態では、濃度ヒストグラムがプレスキャン時の1本分のフィルム画像に対する全画像データに基づいて生成されるものを説明したが、焼増し処理等の場合、ピースネガ1枚またはスプライスで接続された複数のピースネガに基づいて濃度ヒストグラムを生成するものであってもよい。しかし、本発明は1本分のフィルム画像に対する全画像データに基づいて生成されるものが好ましい。
上述の実施形態では、前記ベース濃度検出部210が、プレスキャンモードで前記フィルム画像入力部1により読み取られた素抜け部を含む低解像度のカラー画像データに対してベース濃度を検出するものを説明したが、本スキャンモードで前記フィルム画像入力部1により読み取られたコマ画像のみの高解像度のカラー画像データに対しても同様にベース濃度を検出することが可能であることはいうまでもない。
本発明による写真画像処理方法及びその装置は、特にデジタル露光方式の写真処理装置に好適なものであり、上述の実施形態では、PLZT方式の露光ヘッドを採用したものを説明したが、露光ヘッドはレーザー方式FOCRT方式等各種のデジタル露光ヘッドに適用可能である。また、上述した実施形態に限定されるものではなく、課題を解決するための構成の欄に記載された特徴構成及びそれらの組合せの範囲で適宜構成することができるものである。
さらに、本発明による写真画像処理方法及びその装置は、アナログ露光方式の写真処理装置にも適用可能であり、この場合にはデジタル露光部に代えて、光源と光源からの光線束を均一に調整するミラートンネルとRGBの調光フィルタとを備え、ネガマスクに固定されたフィルムを印画紙に投影露光するアナログ露光部を備え、前記相対伸縮率に基づいて調光フィルタを調節して印画紙に露光する
ように構成すればよい。
本発明は、上述した実施形態に限定されるものではなく、課題を解決するための構成の欄に記載された特徴構成及びそれらの組合せの範囲で同様の作用効果を奏する限りにおいて適宜変更して構成することができるものである。
本発明による写真処理装置の機能ブロック構成図 画像データ処理部の機能ブロック構成図 本発明による写真処理方法を説明するフローチャート 濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたRGB各濃度ヒストグラム、(b)はシフト処理及び伸縮処理の後のRGB各濃度ヒストグラム 濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたRG各濃度ヒストグラム、(b)はシフト処理を説明するRG各濃度ヒストグラム、(c)は伸縮処理を説明するRG各濃度ヒストグラム 濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたGB各濃度ヒストグラム、(b)はシフト処理を説明するGB各濃度ヒストグラム、(c)は伸縮処理を説明するGB各濃度ヒストグラム 濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたRB各濃度ヒストグラム、(b)は図5(b)、(c)及び図6(b)、(c)の各シフト処理及び伸縮処理の後のRB各濃度ヒストグラム 何れか一色に偏りがある場合の濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたRGB各濃度ヒストグラム、(b)はシフト処理及び伸縮処理の後のRGB各濃度ヒストグラム 何れか一色に偏りがある場合の濃度ヒストグラムを示し、(a)はフィルムから読み込まれた画像データに基づき生成されたGB各濃度ヒストグラム、(b)はシフト処理を説明するGB各濃度ヒストグラム、(c)は伸縮処理を説明するGB各濃度ヒストグラム
符号の説明
1:フィルム画像入力部
20:テーブルメモリ
21:データ変換処理部
210:ベース濃度検出部(ベース濃度検出装置)
211:濃度ヒストグラム生成部
212:シフト処理部
213:伸縮処理部
214:重畳面積演算部
215:判別部
216:ベース濃度演算部
217:カラーデータ変換処理部
210:カラー補正部

Claims (8)

  1. フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力工程と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理工程と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理工程と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算工程と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別工程と、前記判別工程で求められたシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するカラーデータ変換処理工程とからなる写真画像処理方法。
  2. 前記カラーデータ変換処理工程は、前記判別工程で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度値の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムの色成分毎のベース濃度値として演算導出し、得られたベース濃度値と前記伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するものである請求項1記載の写真画像処理方法。
  3. フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力工程と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理工程と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理工程と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算工程と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別工程と、前記判別工程で求められたシフト量及び伸縮率に基づいて調光フィルタを調節して印画紙に露光する露光工程とからなる写真画像処理方法。
  4. 前記濃度ヒストグラムは、1本分のフィルム画像に対する全画像データに基づいて生成されるものである請求項1から3の何れかに記載の写真画像処理方法。
  5. フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力部と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成部と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理部と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理部と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算部と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別部と、前記判別部で求められたシフト量及び伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するカラーデータ変換処理部とからなる写真画像処理装置。
  6. 前記カラーデータ変換処理部は、前記判別部で求められたシフト量及び伸縮率における各濃度ヒストグラムの最小濃度値の中の最小値を示す位置をベース濃度位置として、前記シフト量及び伸縮率に基づいて元の濃度ヒストグラムにおける色成分毎のベース濃度位置を求め、その位置の濃度をフィルムの色成分毎のベース濃度値として演算導出し、得られたベース濃度値と前記伸縮率に基づいて前記カラー画像データの各画素の色成分を変換処理するものである請求項5記載の写真画像処理装置。
  7. フィルム画像を撮像素子で読取りカラー画像データを生成するフィルム画像入力部と、前記カラー画像データからRGBの色成分毎に濃度ヒストグラムを生成する濃度ヒストグラム生成部と、特定色の濃度ヒストグラムを基準として他色の濃度ヒストグラムを夫々濃度軸方向にシフトさせるシフト処理部と、シフト処理後に他色の濃度ヒストグラムをその最小濃度値を基準として濃度軸方向に伸縮させる伸縮処理部と、伸縮処理後の二つの色成分の組合せによる濃度ヒストグラムの重畳面積を夫々演算導出する重畳面積演算部と、演算導出された夫々の重畳面積の合計値、または、夫々の重畳面積の何れかが最大値となるシフト量及び伸縮率を求める判別部と、前記判別部で求められたシフト量及び伸縮率に基づいて調光フィルタを調節して印画紙に露光する露光部とからなる写真画像処理装置。
  8. 前記濃度ヒストグラム生成部は、1本分のフィルム画像に対する全画像データに基づいて濃度ヒストグラムを生成するものである請求項5から7の何れかに記載の写真画像処理装置。
JP2004338728A 2004-11-24 2004-11-24 写真画像処理方法及びその装置 Expired - Fee Related JP4345649B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004338728A JP4345649B2 (ja) 2004-11-24 2004-11-24 写真画像処理方法及びその装置
CNB2005101204100A CN100373914C (zh) 2004-11-24 2005-11-10 照片图像处理方法及其装置
US11/285,359 US20060109527A1 (en) 2004-11-24 2005-11-23 Photograph image-processing method and device thereof
DE602005011558T DE602005011558D1 (de) 2004-11-24 2005-11-23 Verfahren und Vorrichtung zur Lichtbildverarbeitung
EP05111122A EP1662315B1 (en) 2004-11-24 2005-11-23 Photograph image-processing method and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004338728A JP4345649B2 (ja) 2004-11-24 2004-11-24 写真画像処理方法及びその装置

Publications (2)

Publication Number Publication Date
JP2006148755A true JP2006148755A (ja) 2006-06-08
JP4345649B2 JP4345649B2 (ja) 2009-10-14

Family

ID=36001165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004338728A Expired - Fee Related JP4345649B2 (ja) 2004-11-24 2004-11-24 写真画像処理方法及びその装置

Country Status (5)

Country Link
US (1) US20060109527A1 (ja)
EP (1) EP1662315B1 (ja)
JP (1) JP4345649B2 (ja)
CN (1) CN100373914C (ja)
DE (1) DE602005011558D1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2432472B (en) * 2005-09-05 2011-01-12 Greenparrotpictures Ltd Method for matching colour in images
CN100507944C (zh) * 2006-11-27 2009-07-01 北京中星微电子有限公司 一种图像格式转换方法、图像处理方法与系统
JP4784525B2 (ja) * 2007-02-06 2011-10-05 富士ゼロックス株式会社 画像生成装置及びプログラム
CN101345885B (zh) * 2007-07-13 2011-04-20 盛群半导体股份有限公司 影像自动校正方法与系统
CN101540821B (zh) * 2008-03-18 2010-11-10 扬智科技股份有限公司 具数码相片显示功能的电子装置及其数码相片显示方法
US20090322795A1 (en) * 2008-06-30 2009-12-31 Maximino Vasquez Method and apparatus for reducing power consumption for displays
CN113114930B (zh) * 2021-03-26 2022-10-04 维沃移动通信(杭州)有限公司 信息显示方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805016A (en) * 1986-08-25 1989-02-14 Kabushiki Kaisha Toshiba Endoscopic system for converting primary color images into hue, saturation and intensity images
US6151410A (en) * 1996-11-19 2000-11-21 Seiko Epson Corporation Image processing apparatus, image processing method and medium for storing image-processing control program
US6621923B1 (en) * 1999-03-29 2003-09-16 Hewlett-Packard Development Company, L.P. Color and tone correction of a negative film scan using existing silver-halide print
DE60005686D1 (de) * 1999-07-08 2003-11-06 Kromotek Ltd Trockenverfahren zur herstellung photographischer abzüge
US7057768B2 (en) * 2001-07-02 2006-06-06 Corel Corporation Automatic color balance
US7092628B2 (en) * 2002-10-11 2006-08-15 Eastman Kodak Company Photography systems and methods utilizing filter-encoded images
JP4167097B2 (ja) * 2003-03-17 2008-10-15 株式会社沖データ 画像処理方法および画像処理装置
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
US7684096B2 (en) * 2003-04-01 2010-03-23 Avid Technology, Inc. Automatic color correction for sequences of images

Also Published As

Publication number Publication date
CN100373914C (zh) 2008-03-05
DE602005011558D1 (de) 2009-01-22
JP4345649B2 (ja) 2009-10-14
EP1662315B1 (en) 2008-12-10
EP1662315A2 (en) 2006-05-31
US20060109527A1 (en) 2006-05-25
CN1780358A (zh) 2006-05-31
EP1662315A3 (en) 2006-06-07

Similar Documents

Publication Publication Date Title
EP1662315B1 (en) Photograph image-processing method and device thereof
JP2006229811A (ja) 写真画像処理方法及び写真画像処理装置
JP4345648B2 (ja) 写真画像処理方法及びその装置
JP4359844B2 (ja) フィルムのベース濃度検出方法及びその装置
JP4894142B2 (ja) フィルムのベース濃度検出方法
JP2001211315A (ja) 出力画像領域調整方法
JP3335908B2 (ja) 画像読取方法
EP1471382B1 (en) Method for determining whether a photographic image contains dominant colors and photographic image processing apparatus
JP2004350171A (ja) 写真画像処理方法及びその装置
JPH11331543A (ja) 画像処理方法および画像処理装置
JP2001174922A (ja) 証明写真撮影装置と画像処理装置及び証明写真作成システム
JPH11308470A (ja) プリントシステム
EP1471383B1 (en) Method for determining whether a photographic image was captured under unusual lighting conditions and photographic image processing apparatus
JP4065996B2 (ja) 写真画像の処理方法及び処理装置
JP4506498B2 (ja) 写真画像処理方法及び写真画像処理装置
JP3907896B2 (ja) 画像処理方法
JPH11231465A (ja) 情報記録写真フィルム、写真フィルムの記録情報取得方法および記録情報を用いる画像処理方法ならびにこれを用いるプリントシステム
JP2005142947A (ja) 写真画像処理装置
JP2000092309A (ja) 画像処理方法および画像処理装置
JPH06326840A (ja) 画像印刷システム
JPH11313214A (ja) 画像処理方法および画像処理装置
JP2000115509A (ja) 画像処理方法および画像処理装置
JP2001156996A (ja) フレーム位置調整方法
JP2000175036A (ja) 画像処理方法
JPH11305344A (ja) 主要部抽出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees