JP2002542678A - 真のカラー光のバーチャルな増幅法 - Google Patents

真のカラー光のバーチャルな増幅法

Info

Publication number
JP2002542678A
JP2002542678A JP2000611483A JP2000611483A JP2002542678A JP 2002542678 A JP2002542678 A JP 2002542678A JP 2000611483 A JP2000611483 A JP 2000611483A JP 2000611483 A JP2000611483 A JP 2000611483A JP 2002542678 A JP2002542678 A JP 2002542678A
Authority
JP
Japan
Prior art keywords
dot
image
maximum
value
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000611483A
Other languages
English (en)
Other versions
JP4841039B2 (ja
JP2002542678A5 (ja
Inventor
ジェームズ,ブライアン,ジイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATHENTECH TECHNOLOGIES INCORPORATED
Original Assignee
ATHENTECH TECHNOLOGIES INCORPORATED
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATHENTECH TECHNOLOGIES INCORPORATED filed Critical ATHENTECH TECHNOLOGIES INCORPORATED
Publication of JP2002542678A publication Critical patent/JP2002542678A/ja
Publication of JP2002542678A5 publication Critical patent/JP2002542678A5/ja
Application granted granted Critical
Publication of JP4841039B2 publication Critical patent/JP4841039B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Toys (AREA)
  • Luminescent Compositions (AREA)
  • Holo Graphy (AREA)

Abstract

(57)【要約】 デジタル画像の輝度をカラーの歪みを生ぜしめずに増加する方法。得られる調整済み画像は、実効集光能力はバーチャルフラッシュのように変化するが、入力デジタル画像の各ドットの本質的なカラーは維持している。画像の輝度増加は、RGBカラー空間において、ドットの3つのカラーRGBの最大強度を求め、全てのドットにつき同様に最大強度を求めることよって行う。ドット最大値は領域及び範囲がシステムの動的範囲に制限されたスケーリング関数によりスケーリングされる。ドット最大値に適用される同じスケーリング係数が3つのカラーR、G及びBにそれぞれ適用される。好ましくは、連続スケーリング関数によりシステムの動的範囲の最小及び最大値を滑らかに近似して真のカラーを維持しながら審美性を増加させる。フォレンシックの実施例では、RGBカラー空間において画像の一部を選択し、実質的に動的範囲全体に規準化して興味ある領域を強調し、それをR、G及びBの比率に影響を与えずに行うことにより真のカラーを維持する。

Description

【発明の詳細な説明】
【0001】
【発明の分野】
本発明は、デジタルカラー画像の改善方法に関し、さらに詳細には、スケーリ
ング関数を適用して画像内のRGBドットの強度をその画像の固有の動的範囲を
超えないように変化させる方法に関する。
【0002】
【発明の背景】
寺院のステンドグラスの入った窓を写真撮影する場合、出来あがった画像は、
現代の感覚では暗すぎるのが普通であり、実際のステンドグラスの美しさが失わ
れている。さらに、写真機の開口を減少させて画像の被写界深度を増加すること
ができるが、集光率が損なわれ、暗い画像になることがある。さらに、スチルカ
メラは所定の開口と露出時間により画像を記録できるに過ぎないため、明るい部
分と暗い部分の間の隔たりが大きい画像が妥協の産物として得られるだけである
。細部が適当に明瞭になるようにするため、暗い領域または明るい領域の何れか
に基づいて、フィルムの露出または記録が調整される。上記の任意のものによる
画像は、画像改善の利益を得ることができる。
【0003】 見る人の通常の反応は、暗い領域を明るくして、裸眼では明瞭でない細部をは
っきりさせて欲しいという要望である。現在の技術では、輝度を上げる場合幾つ
かの望ましくない効果が発生する。即ち、カラーがぼけてグレーに近い色になる
か(事実上白黒で、濃度差が少ないステンドグラスの窓を想像されたい)、また
は高輝度領域の色が大きく歪み、一部が完全にぼけることがある。歪んだ領域は
、顔の細部のように最も興味のある領域である傾向がある。
【0004】 従来のデジタル画像処理には、輝度レベルを実質的に増加させなければならな
い場合、上記のような同じ問題がある。標準的な改善方法によると、画像の輝度
を増加させた(フェードアウト)後、カラーを増幅する。この方法はアバウトな
解決法にすぎず、元がそれほど悪くない画像にのみ有効である。輝度増加をかな
りの程度行う場合、画像のカラーがひどく歪むことになる。
【0005】 米国特許第5,982,926号(発明者:Kuo et al.)では、カラー画像、
特にビデオから得られる画像を、最初にRGBカラー空間からHSVカラー空間
へ変換することにより、非常に効果的に改善できることが示唆されている。その
後の操作は、変換済のHSV変換カラー空間で行われる。一旦HSVカラー空間
に変換されると、カラー情報(色相)が残りの画像成分(彩度及び強度)から隔
離され除去される。Kuoは、彩度及び強度成分をカラーまたは色相成分を歪ませ
ることなく増加できることを示唆している。Kuoのカラー画像は、HSVカラー
空間における複数のピクセルで表される。Kuoは、一旦変換された後、HSVカ
ラー空間からRGBカラー空間へ逆変換を行うが、これば常に効率的であると主
張している。好ましい実施例において、Kuoは、強度(V)と彩度(S)とを調
整する。要約すると、Kuoは、先ず、RGBからHSVカラー空間への変換を行
い、2つの逐次変換関数をVとSにそれぞれ適用し、最後に、変化したHSVを
RGBへ逆変換して表示する。
【0006】 発明者は、彩度成分を加減するとカラーが影響を受けるため、Kuoの方式では
真のカラーの改善が行えないと主張する。カラー写真はR、G及びBの3つの自
由度を有するが、白黒写真は1つの自由度があるにすぎない。3つの値を変換す
ると、各々がカラー成分だけでなく単一のカラー値(即ち、色相)と他の2つの
独立構造成分(即ち、彩度及び強度)を含むさらに3つの値が得られる。色相は
彩度に比べると極端な色の属性であるが、彩度は依然としてカラー成分である。
ドットの彩度を調整すると、ドットのRGB比率、従ってそのカラーに変化が生
じる。例えば、画像の輝度増加の一環として彩度を変化させる場合、その結果は
、記録装置またはカメラが、より輝度の高い条件またはより長い露出時間のもと
で真の世界の被写体から直接受けるであろう画像と同一ではない。
【0007】 さらに、Kuoは、計算のオーバーヘッドまたは費用を最小限に抑えることを強
調し、またしようとしていることに注意されたい。しかしながら、KuoはHSV
ピクセルに対して行う調整(好ましくは2つ)に加えて、2つのRGB−HSV
とHSV−RGB変換を導入している。RGBからHSVカラー空間への、また
はその逆方向の変換には、計算を集約的に行わなければならない数学的関数が使
用される。
【0008】 従って、画像改善時、各ドットにつき真のカラーを維持できる、効率的な計算
により実行可能なプロセスが要望されている。
【0009】 本発明は、必要とされる画像の輝度増加の大きさ、あるいはその輝度増加の性
質とは無関係に、画像の全ドットのカラーが如何なる状況においても維持される
方法を提供することにより、これらの問題を解決するものである。
【0010】
【発明の概要】
本発明の作用効果は、デジタル画像記録装置により捕捉した光をバーチャルで
増幅されることである。これは、捕捉した画像を本発明により処理すると、処理
した画像内の各ドットが、デジタル画像記録装置が、そのドットについて、例え
ば、開口を増加させるかまたは集光時間を長くするように、集光能力または方式
を変化させたと同じように、変化することを意味する。この集光方式の改善は、
処理した画像全体に亘って一様に適用するか、または、ドット毎に変えるように
してもよい。デジタル記録装置の動的範囲を決して超えないようにし、RGB光
三原色の空間で動作させ、またカラードットの各R、G、Bに同一処理を施すと
、バーチャルな光増幅が行われて、元の画像の真のカラーが維持される。
【0011】 好ましい実施例では、RGB空間内において、R、G、Bの3つの値が、デジ
タル画像の各ドットについて抽出される。R、G、Bの3つの値の最大値が各ド
ットにつき求められる。全てのドット最大値のうちの最大値、または画像最大値
を求め、各ドット最大値についてスケーリング係数を与えるスケーリング関数を
決定する。スケーリング係数、またはそれら係数を決定する関数を求め、ドット
最大値、さらに詳細には画像最大値に適用して、その結果得られる値がシステム
の既知の動的範囲を超えないようにする。ドット最大値に適用されると全く同じ
スケーリング係数をそのドットの残りのR、GまたはBの各々に適用して、R、
G及びBの間の元の比率が維持され、それにより真のカラーが維持されるように
する。
【0012】 この改善方式は非常に効率的であり、各カラードットを改善するために同じス
ケーリング係数を掛ける3つの簡単な乗算を必要とするにすぎない。さらに、そ
して好ましくは、求めたドット最大値についてスケーリング係数の探索表を形成
することにより、スケーリング係数の計算をただ1度だけ行う。通常、動的範囲
は0−255(最大256個の異なる光強度)であり、従って、25万ドットの
オーダーの通常の画像では、それらのうち少なくとも1000個が同じ強度を有
するため、平均1000個のドットに同じスケーリング係数を適用することが可
能であり、従って計算量がさらに節減される。一般的となりつつある大きな画像
では、さらに多くの計算を節減できる。
【0013】 従って、本発明は、広い局面では、カラーを歪ませることなく、デジタル画像
を調整する方法を提供する。画像は複数のカラードットより成り、各ドットは3
つの主要なカラーであるR、G、Bの強度を表す少なくとも3つの独立した値を
有する。R、G、B値の各々は、システムの動的範囲の最小値と最大値の間にあ
る。
【0014】 この方法は、 複数のドット最大値を得るために各ドットのRGBカラー空間における3つの
RGB値の最大値を求め、 各ドット最大値に所定のスケーリング係数を適用して、スケーリング係数が、
スケーリングされたドット最大値がシステムの動的レンジの最大値より小さいか
またはそれに等しくなるようにし、 ドットの2つの残りのR、GまたはB値の各々に所定のスケーリング係数を適
用するステップより成る。
【0015】 上記方法で調整すると、その調整済み画像は、各ドットについてスケーリング
された複数の新しいR、G、B値より成り、ドットのR、G、B間の比率は、ス
ケーリング後では、スケーリング前と同一であり、このため真のカラーが維持さ
れる。
【0016】 好ましくは、スケーリング係数は、連続スケーリング関数から得られる。スケ
ーリング関数は、画像範囲の少なくとも一部を、動的範囲の最大値を決して超え
ることなく、動的範囲の一部に基準化する。その動的範囲の大きさは画像の多数
のドットより小さいため、最初にスケーリング係数の探索表を形成すると、計算
効率が改善される。
【0017】 好ましいスケーリング関数は、デジタル画像の大部分の審美性を向上させるレ
イジー「S」(lazy "S")曲線である。
【0018】 別の好ましい実施例では、画像の一部だけ、通常は露出過小領域を選択して、
部分集合である画像範囲をシステムの実質的に動的範囲全体となるように規準化
することによりその細部を改善するが、これら全てを、任意のドットについてシ
ステムの動的範囲を決して超えることなく、また各ドットのR、G、Bの比率に
注意して真のカラーを維持するようにする。
【0019】
【好ましい実施例の詳細な説明】
最初に、或るタイプのデジタル画像記録装置を用いて、画像を捕捉する。デジ
タル画像記録装置には、物理的なものと、バーチャルなものとの2つのカテゴリ
ーがある。物理的なデジタル画像記録装置は、デジタルカメラのように、光エネ
ルギーを測定してデジタル画像を記録する装置である。従来型フィルムを用いる
カメラのように、デジタルカメラは集光レンズ複合体を有し、デジタルセンサー
・アレイが画像を記録し、各ドットの値は光の実測値を表す。デジタル画像はま
た、従来式の写真をデジタル的に走査して得ることができる。写真では、集光が
従来型カメラで行われ、画像がフィルム上に記録されている。従って、物理的な
デジタル画像記録装置は、フィルム/プリント画像を形成するカメラと、それを
デジタル化するスキャナーとの組み合わせであってよい。他の例には、デジタル
映画、デジタル化された映画、デジタルX線等が含まれる。
【0020】 バーチャルなデジタル画像記録装置は、現実を模写するコンピュータにより実
現されるものである。プログラムは、コンピュータの内部で写真のプロセスを論
理的に模写することによりバーチャルな画像(仮想現実におけるような)を形成
する。これらのデジタル画像は、「コンピュータモデル」が実際に存在したと仮
定した場合、写真が何に見えるかを示すものである。一例として、肝をつぶすよ
うな恐竜のシミュレーションを含む映画がある。
【0021】 レンズ複合体は、種々のタイプの写真装置において光を集める装置である。少
なくとも1つのレンズがあり、通常はかかるレンズの集合体が存在する。レンズ
複合体は、開口絞りと、シャッターとを有し、これらは共に集光量を制限する。
【0022】 レンズの集光能力は、対物レンズの表面領域で測定されることが多い。この面
積が2倍のレンズは、2倍の光を集めることができる。実際、レンズ複合体は、
実際に集光する光の量を2つの制御手段により制御できる。第1の制御手段は、
単位時間当たり集光される光の量を変化させる可変開口である。この面積が2倍
になるということは、単位時間に2倍の光が集光されることを意味する。第2の
制御手段はシャッターと呼ばれ、カメラ本体内に光が入射する時間を変化させる
。シャッターを開位置に維持する時間を2倍にすると、カメラに入射する光エネ
ルギーは2倍になる。
【0023】 真のカラーのデジタル画像は、各ドットが光の赤、緑及び青(RGB)の成分
の強さを表す3つの別個の測定値を有するドットの格子状配列体より成る。これ
は、RGBカラー空間として知られている。これらの画像には、コンピュータデ
ィスクの記憶空間を節約するために、種々の「圧縮方式」を用いる種々のコンピ
ュータファイルフォーマットが存在する。圧縮方式とは無関係に、かかるデジタ
ルファイルフォーマットは全て、RGB値を有する格子状配列体のドットを記憶
する。
【0024】 かかるファイルまたはシステムにより記憶される各R、GまたはB値の共通の
標準最大値は、現在、255である。従って、各RGB成分の強度は0から25
5の範囲内にある。ファイルフォーマットの中には0から1023の範囲の値を
記憶するものもあり、それよりも大きい範囲のフォーマットも考えられる。
【0025】 動的範囲 出願人のデジタル画像記録装置を含む全ての装置は、エネルギーの相対的変動
を記録する能力の目安となる動的範囲を有する。上述したように、この動的範囲
は通常、記憶手段、ファイルまたはシステムにより設定され、通常は0−255
である。写真技術における成功の秘訣は、動的範囲全体をそれを超えることなく
利用することである。写真では、その秘訣は、明るい領域の細部と暗い領域の細
部の両方を欠落なしに捕捉することである。
【0026】 フィルム写真技術において、ネガの有意な領域が完全に不透明になっている場
合、それは、その領域で光が強すぎるため全てのフィルム結晶が変化しているこ
とを意味する。写真のぼけた領域内では変差がなく、これはシステムの動的範囲
を超えたということができる。
【0027】 デジタル写真技術において、光エネルギーの強度は光電センサーにより測定さ
れる。これらの値は、真のカラーフォーマットのコンピュータファイルとして記
憶される。システムの動的範囲は、格子状配列体内のある領域が最大値(例えば
、255)にセットされた場合に超過する。従って、明るい領域(仮説的に、2
56−300)内の変差は255として記録できるだけであり、従って、かかる
領域内では細部が失われている。
【0028】 デジタル画像の場合のように、動的範囲を制限すると、捕捉される光の量によ
り画像が有意な影響を受けることがある。記録装置の動的範囲内にある光の1つ
の特定のドットを含む1つの画像を想定されたい。例えば、光は茶色の表面から
来るとする。光のドットは、3つのカラーの光、即ち、赤(R)、緑(G)及び
青(B)につき測定される。露出時間を倍にして第2の画像を得る場合、上述の
ドットを含む各ドットにつき2倍の光が記録装置内に入る。光の範囲がシステム
の動的範囲にとどまる場合、3つの値(R、G及びB)全ては2倍になり、元の
茶色のドットの色は茶色のままである。入来する光を2倍にすることは、その強
度測定値が2倍になること、即ち、Rも、Gも、Bも2倍になることを意味する
【0029】 例えば、デジタル情報の場合、光を(開口を大きくするか露出時間を長くして
)2倍にすると、相対的RGB値も2倍となる。50、30、20のRGB値は
それぞれ2倍の、100、60、40になる。
【0030】 各センサーに2倍の光エネルギーが当たると、センサーは2倍の刺激を受ける
。2倍の赤のエネルギーが赤のセンサーに当たるが、それ以外のエネルギーにつ
いては無関係である。2倍の緑のエネルギーが緑のセンサーに当たり、また2倍
の青のエネルギーが青のセンサーに当たる。
【0031】 集光能力が増加するにつれて、同一ドットの原色の3つの測定値は、以下の表
1に示すように、比例的に増加するため、カラーは変化せず輝度だけが増加する
【0032】 表1 RGB測定値に対する集光能力の増加の影響 集光能力 説明 赤 緑 青 緑/赤 青/赤 1 "基準" 50 30 20 0.600 0.400 1.1 10%増 55 33 22 0.600 0.400 1.2 20%増 60 36 24 0.600 0.400 1.3 30%増 65 39 26 0.600 0.400 1.4 40%増 70 42 28 0.600 0.400 1.5 50%増 75 45 30 0.600 0.400 2 2倍 100 60 40 0.600 0.400 2.5 2.5倍 125 75 50 0.600 0.400 3 3倍 150 90 60 0.600 0.400 4 4倍 200 120 80 0.600 0.400 5 5倍 250 150 100 0.600 0.400 表1において、緑と赤の比率及び青と赤の比率は、集光能力とは無関係に一定
であることに注意されたい。
【0033】 集光能力の基準レベルは便宜的に定めた人為的なものである。表1のドットの
カラーの「正しい」測定値とは何であろうか。雲で覆われた屋外で集光した画像
のカラードットの測定値は50、30、20であり、明るい室内の設定で測定し
たカラードットは、集光能力が4倍となって、200、120、80かもしてな
い。
【0034】 集めたエネルギーで集光能力を較正することができるが、実際にはめったに行
われない。我々自身の眼の集光能力は自然に変化する。夜間に非常に明るく見え
る街の光は昼間の光でははっきりしないが、その理由は、眼の虹彩が、自然によ
る光レベルの極端な変動に対処すべく、自動的に、夜間は開くが昼間は閉じるか
らである。発明者は、自然の昼光から人工的な夜の照明に亘る範囲に対して同じ
集光設定で対処できるに十分な動的範囲を有する記憶装置を知悉しない。良好な
画像を形成させる1つの方法は、記録が動的範囲外で行われないように集光能力
を光と共に変化させることである。同一のカラーまたはドットについて、50、
30、20及び200、120、80の測定値は共に有効である。
【0035】 赤、緑及び青の強度値のような3つの数のセットには、合計で6つの可能な比
率が存在し、それらはG/R、B/R、G/B、R/G、R/B、及びB/Gで
ある。これらの比率のうち2つだけが一義的であり、他の4つの比率は最初の2
つの異なるバージョンであるため冗長的である。例えば、G/R及びB/Rに基
づき、それ以外のものは、 緑/青=(緑/赤)/(青/赤) 赤/緑=1/(緑/赤) 赤/青=1/(青/赤) 青/緑=(青/赤)/(緑/赤)である。
【0036】 原理的には、6つのうち任意のうち2つを選択できる。説明の目的のため、緑
/赤と青/赤の比率を選択する。
【0037】 RGBの3つの値の強度値を効果的に選択するには、3つのRGB値の中から
最大値を選択するだけでよい。RGBがそれぞれ50、30、20である場合、
赤が最大値であり、強度と2つの比率の計算は以下のようになる。
【0038】 強度=赤=50 比率1=緑/赤=30/50=0.600 比率2=青/赤=20/50=0.400 逆に、以下のように、赤、緑及び青の値を逆算することができる。
【0039】 赤=強度=50 緑=強度*比率1=赤*緑/赤=50*0.600=30 青=強度*比率2=赤*青/赤=50*0.400=20 このRGBの3つの値の人為的表示は有用であるが、それは任意のドットにつ
いて2つの比率が集光能力とは無関係であるためである。集光量だけが、強度成
分に影響を与える。
【0040】 集光量が多すぎると、3つの原色RGBのうち少なくとも1つが動的範囲を超
え、正確に表示されなくなるため、カラーの測定値が歪む。集光能力の或る任意
の基準レベルにおいて50、30、20である前の例のドットを考慮する。画像
を再び、しかしながら格段に大きい集光能力で記録する場合、少なくとも1つの
カラーが動的範囲からはずれてしまう。
【0041】 表2 システムの動的範囲を超える集光能力の増加 集光能力 説明 赤 緑 青 緑/赤 青/赤 1 基準 50 30 20 0.600 0.400 3 3倍 150 90 60 0.600 0.400 5 5倍 250 150 100 0.600 0.400 5.1 5.1倍 255 153 102 0.600 0.400 5.2 5.2倍 255 156 104 0.612 0.408 6 6倍 255 180 120 0.706 0.471 7 7倍 255 210 140 0.824 0.549 8 8倍 255 240 160 0.941 0.627 9 9倍 255 255 180 1.000 0.706 10 10倍 255 255 200 1.000 0.784 11 11倍 255 255 220 1.000 0,863 12 12倍 255 255 240 1.000 0.941 13 13倍 255 255 255 1.000 1.000 1 “基準” 50 30 20 0.600 0.400 集光能力が5.1倍を超えると、緑/赤の比率も青/赤の比率も、(飽和状態
であるため)一定でないことに注意されたい。(デジタルセンサーであれ、フィ
ルムであれ)記録装置により測定可能なエネルギー量には最大値があるため、任
意の被写体には集光能力に実際上の限界がある。表2において、集光能力が基準
値の5倍を超えると、動的範囲はほぼいっぱいとなる。ドットの強度は250で
あり、記憶可能な最大値は255である。その最大値には、集光能力が正確に5
.1倍になると到達する。5.1倍ではドットの強度は255であり、しかも2
つの比率はそれぞれ依然として0.600及び0.400である。集光能力が5
.2倍になると、さらに多くの光が記録装置に入力される。赤のセンサーは数2
60を記憶するであろうが、動的範囲を超えているため記憶することができず、
その値は255にクリッピングされる。緑と青のセンサーについては共に正確な
数が記憶されるが、全体のカラーとして不正確な数が記録される。これは、2つ
の比率が0.600と0.400の正しい比率から逸脱していることから分かる
であろう。集光能力が6倍になると、さらに多くの光が流入し、それに応じて歪
みも大きくなる。これらの比率も0.706及び0.471と、有意に異なって
不正確となり、これらは有意に異なるカラーに相当する。集光能力が8.5倍に
なると、青のセンサーもクリッピングされた値となる。光は、赤と青の原色の両
方で同じ強度を有するとして記憶される。青と赤の比率は1.000であり、前
の歪んだカラー(赤みがかった茶色)がさらに歪んでオレンジ色となる。最後に
、集光能力が12.25倍では、3つのセンサー全てがクリッピングされ、カラ
ーが3つの全幅の強度の原色として記録されるが、これは白である。
【0042】 記録装置の能力(動的範囲)を超えた集光を回避することが重要であるが、こ
れはカラーの歪みを生ぜしめるからである。
【0043】 RGBの3つのカラーのうち任意の1つを基準カラーとして選択することがで
きる。緑が最も強いカラーである場合、そのカラーを30、50、20(前の赤
の例と同じ基準集光能力を有する)と仮定すると、表3には同じ挙動が示されて
いる。
【0044】 表3 緑を最も強いカラーとする集光能力増加の影響 集光能力 説明 赤 緑 青 緑/赤 青/赤 1 基準 30 50 20 1.667 0.667 3 3倍 90 150 60 1.667 0.667 5 5倍 150 250 100 1.667 0.667 5.1 5.1倍 153 255 102 1.667 0.667 5.2 5.2倍 156 255 104 1.635 0.667 6 6倍 180 255 120 1.417 0.667 7 7倍 210 255 140 1.214 0.667 8 8倍 240 255 160 1.063 0.667 9 9倍 255 255 180 1.000 0.706 10 10倍 255 255 200 1.000 0.784 11 11倍 255 255 220 1.000 0.863 12 12倍 255 255 240 1.000 0.941 13 13倍 255 255 255 1.000 1.000 図示のように、緑/赤及び青/赤の比率が非常によく似た態様で歪んだ同じ状
況が存在する。この場合、赤/緑及び青/緑の比率は、赤の場合の前の50、3
0、20の例と同じような数(0.600及び0.400)を発生させる。
【0045】 従って、RGBの3つのカラーのうち何れが最大値であるかには無関係に、対
称性が存在し、強度は(赤、緑、青)の値の最大強度として定義され、そしてカ
ラーの比率(赤/強度、緑/強度、青/強度)が得られる。これら3つの比率の
うちの1つは、強度は常に分子の1つに等しいため、正確に1に等しい。表1の
赤の場合、RGB=50、30、20であり、そのため、強度は(50、30、
20)の最大値であって、50であり、カラーの比率は(50/50、30/5
0、20/50)であって(1、0.600、0.400)である。
【0046】 従って、赤、緑、青のそれぞれにつき、 カラー 強度 R/S G/S B/S 50,30,20 赤 1 0.6 0.4 30,50,20 緑 0.6 1 0.4 30,20,50 青 0.6 0.4 1 上述したように、カメラが同一の画像の別の設定と比較してより多くの光を集
めると、所与のドットは、記録装置の動的範囲内である場合、3原色の測定値の
比率は同じという性質を有する。ドットをRGBの3つのカラーとして考えない
で、ドットを強度及び比率の組合わせとして考えることもできる。再び、基準強
度が50として50、30、20のドットでは、カラー比率は1、0.600、
0.400である。
【0047】 画像の改善 カラー比率が変化しない限り、カラーに悪影響を与えることなく画像を調節す
ることができる。例えば、記憶装置が集める光が不充分である場合、光のパワー
または強度をカラーを維持しながらバーチャルに増幅することができる。
【0048】 光を補正係数2でバーチャルに増幅またはスケーリングするためには、カラー
比率を変えないでその強度を2倍にする。例えば、(50、30、20)のドッ
トの強度を倍増して100にすると、50*2*(1、0.6、0.4)=(10
0、60、40)のカラードットが得られる。同じ結果を、ただR、G、Bを2
倍にするだけで得ることが可能である。
【0049】 この真のカラー光のバーチャルな増幅は、3つの原色全てに同じ数を乗算また
はスケーリングすることにより行う。出力値が動的範囲内にある限り、カラーは
歪まない。動的範囲は、R、GまたはBの計算値が(255のように)画像のフ
ァイルフォーマットより使用される範囲より大きい場合、超えることになる。
【0050】 代数的スケーリング関数から補正係数を取り出すことにより、3つのスケーリ
ングによっていずれの値も動的範囲を決して超えないようにすることが可能であ
る。
【0051】 図1を参照して、X軸は、画像ドットの強度(赤、緑及び青の最大値)を表わ
す。0−1のスケールは、動的範囲の限界(0−255のような)を表わす。図
示の直線状対角線では、ドットの強度である50(50/256=0.2)は、
0.2の出力値において1でスケーリングされている。従って、1の対角線は、
出力が入力と同一である「動作なし」の状況に対応する。しかしながら、スケー
リング関数が1をはずれると、出力値は入力値と異なるようになり、画像が変化
する。
【0052】 動的範囲を0から1.0にスケーリングするには、現在の強度値(RGBの3
つのカラーの最大値)をこの動的範囲内に記録可能な最大数で割算するだけでよ
い。その数を255とする。任意のドットは、そのドット最大強度が0と255
の間の数であろう。ドットの最大値を0及び1.0にスケーリングするには、強
度を255で割算する。
【0053】 入力軸と出力軸は共に、RGBの3つのカラーのうちの最大値(即ち、ドット
最大値)を表わす。入力は、考慮中のドット最大値である。出力は、この方法に
より算定されるRGBの3つのカラーの調整済みドット最大値に対応する。
【0054】 ドット最大値 入力RGBの3つのカラーの最大値を見付ける1つの方法は、最大値として1
つを選択し、それ以外をぞれぞれテストして、それ以外のものが大きければ最大
値をそれに再設定することである。以下の3つの行の擬似コードは、ドット最大
値の選択を示す。
【0055】 強度=赤 強度は赤の値にセットされる。
【0056】 強度が緑よりも小さければ、強度は緑に等しい。
【0057】 強度が緑より小さければ、それを緑の値に再設定する。
【0058】 強度が青より小さければ、強度は青に等しい。
【0059】 強度が青より小さければ、それを青の値に再設定する。
【0060】 図1を参照して、任意のスケーリングまたは補正は、図示の1×1グラフに制
限される。入力軸は0から1の領域に制限され、出力軸は0から1の範囲に制限
される。これは、調整済みまたは補正済みドットの強度が動的範囲を超えないこ
とを意味する。
【0061】 制限されたグラフ内にプロットできる任意のスケーリング関数は、真のカラー
光のバーチャルな増幅に用いることができる。特定のグラフの性質は、最終的な
審美性と用途に影響を与える。特定の関数がその用途にとって適当なものとして
選択されるが、それが画像全体または画像の一部の輝度の調整か、もしくは他の
調整であるかには無関係である。
【0062】 スケーリング関数による補正の2つの実施例として、補正値の探索表(動的範
囲により決定される有限な数)を形成するものと、それより効率の低い、各ドッ
トを順番に別個に計算する方法がある。1つの画像において、ある特定のドット
の強度の値は、他の多くのドットについて何回も繰り返されることがわかるであ
ろう。従って、計算を効率的に行うには、探索表の場合、補正値を1回だけ計算
して、何回も適用することができる。
【0063】 探索表によるアプローチでは、特定のスケーリング関数の特定に必要なパラメ
ータが一旦分かると、全ての補正値(通常は、256で、これは動的範囲の限界
による)をサブルーチンにより計算し、結果を探索表に記憶させて、各々が1回
だけ計算されるようにする。補正値は、その後、このようにして探索する(擬似
コード例は) corr=corra(強度) 上式において、corrは、現在のドットの特定の補正値であり、 corra()は、補正値を記憶させる探索表またはアレイで
あり、 強度は、現在のドットのRGBのドット最大値である。
【0064】 もう1つの(効率の低い)方法は、関数により特定のドットの補正値を計算し
て、各ドットについて順番に計算することである。その例は、 corr=correc(強度) 上式において、corrは、現在のドットの特定の補正値であり、 corra()は、その名前をこのようにただ呼ぶことにより
実行される補正関数アレイであり、 強度は、現在のドットのRGBのドット最大値である。
【0065】 入力及び出力値を与える、グラフのスケーリング関数に沿う所与の点は、補正
倍数または係数を取り出すために使用する。補正係数は、出力値/入力値に等し
い。
【0066】 それぞれのカラー比率を維持するように、RGBの3つのカラー値全ては、ド
ット最大値に対してまたはそれにより特定されたと同じ補正係数corrにより
乗算される。
【0067】 従って、赤=赤*corr;緑=緑*corr;青=青*corrであり、赤、
緑、青は最終的に、補正前後の現在のドットの値を持つようになる。これら4つ
の考え方を組み合わせたものが、真のカラー光のバーチャルな増幅である。動的
範囲を超えることは決してなく、カラーは常に維持される。
【0068】 実施例 画像は、種々の方法で読み取ることができる。発明者は、表示された画像情報
についてのその方法により、種々のグラフィックス・コンピュータファイルフォ
ーマットを検討する必要性を回避している。現在、Visual Basic(ウィンドウズ
(登録商標)のOS上で動作可能なプログラミング言語)及び他の多くの最新プ ログラミング言語は、画像の読み取りを可能にする簡単な命令を有することを発 明者は知悉している。Visual Basicでは、1つの命令として、pbox.Picture=Loa dPicture(file_in)があり、pboxは画像の表示に使用されるpicture box object であり、Pictureは被写体に画像を割当てる方法であり、LoadPicture()は画像フ ァイルを読取る関数であり、file_inは読取るファイル名である。この命令をVis ual Basicが発生すると、画像ファイルはpicture box objectと呼ばれるプログ ラミングツールにおいてスクリーン上に読取られ表示される。画像をセーブする 同様な方法がある。
【0069】 図2を参照して、単純化されたコードは、画像に適用される真のカラーのバー
チャルな増幅法のVisual Basicによる方式を示す。この単純化された方式は、最
小限、16ビットのビデオカードを必要とするが、24ビットのビデオカードが
好ましい。図2のコードは、ビデオカードそれ自体からカラー値を引き出すこと
に向けられている。これは最も効率の良い方法ではなく、画像を主RAMメモリ
に記憶させることにより有意な改善を行うことが可能である。これにより、ビデ
オカードへのアクセスが全く不要となり、Visual Basic機能であるpbox.Point(i
cccol,irow)から戻されたような組合わせのカラー変数からR、G及びB値を除
去する抽出ステップがなくなる。メモリにアクセスすることにより、効率が約7
倍増加する。
【0070】 簡単に言うと、このプロセスは、ドットの矩形表示画像の調整を可能にする。
例えば、画像が暗く、ドット最大値の任意のものの最大強度がたった約128、
あるいはシステム動的範囲の半分にすぎない場合がある。最も簡単なケースとし
て、画像範囲を線形関数としてダイナミックレンジにスケーリングする。従って
、128である最大値を255に規準化すると、全てのドット最大値の強度は2
倍となる。従って、スケーリング関数は定数2に過ぎず、探索表による結果は任
意のドット最大値につき2である。画像の各欄には、カラーの値が青、緑及び赤
について抽出される。ドット最大値は赤としてセットされ、緑と青はその強度を
3つの中の最大値にリセットするためにテストされる。補正値を表で探索するが
、この場合は定数2である。RGBの各値は2によりスケーリングされ、スケー
リングされた最大値は128*2または256で、動的範囲の最大値である。変
更されたドットはディスプレイに書きこまれ、全てのカラーが動的範囲を超える
ことなく維持される。
【0071】 用途−スケーリング関数の効果 画像に適用されるスケーリング関数には事実上無限の選択があるため、種々の
異なる対象に合うような種々の効果がある。時として、画像の品質により、何れ
の関数を用いるか、即ち、暗い画像の輝度をただ増加するように設計された関数
かまたは画像の他の部分に対する影響をほとんど考慮せずに狭い部分から細部を
抽出するように、画像内の特定強度を増加させるさらに特殊な関数を用いるかが
決まる。
【0072】 用途−バーチャルなレンズ 開口とシャッターは共に、それ自体に問題がある。写真の被写体が動く場合、
シャッターが開いている時間を短くすることができるだけであり、そうしないと
画像はその動きによりぼける。
【0073】 開口が開くと、被写界深度(焦点にある距離の範囲)が減少する。正しく焦点
を合わせても、開口が大きいと、小さな範囲の距離だけが焦点内に入る。この「
歪み」は、レンズ自体の球形の形状による。開口が小さいと、被写界深度がよく
なるが、それはレンズのほぼ平らな中心部分だけを用いるからである。開口を最
も小さい値にすると、最大の被写界深度が得られる。
【0074】 実際、写真(そして集光一般)は、これら2つの効果のトレードオフである。
動きのない光景は、開口を小さく、シャッター速度を遅くして、大きな被写界深
度にすることができる。レーシングカーは被写界深度を犠牲にする場合に限り撮
影することができ、シャッターは長い間開くことができないため、開口はより多
くの光を集めるために開かなければならない。
【0075】 「通常」品質のレンズを用いて速い速度で運動するものの撮影するのであるが
、被写界深度を失いたくない場合を想定する。本発明のプロセスを使用しないと
、これを行うことができない。従って、制御装置を、通常の写真家の感覚で、集
光量が少なすぎるように設定すると、補正前の画像は暗すぎるが、被写界深度は
維持される。動的範囲の全部を占める光の量の4分の1(25%)を集めると仮
定する。画像はほぼ黒であり、最も高い記録値は63であるが、動的範囲の限界
は255である。この画像は暗い領域の細部をはっきりさせるために補正するこ
とができる。
【0076】 従って、第1の実施例では、図3を参照すると分かるように、グラフは直線で
あり、(x、1.0)(xは測定画像全体の最大値)の点で終端する。この最大
値は改良型ヒストグラムにより見付けることができる。この例において、xは0
.25であるが、1と0の間の任意の値でよい。本発明の好ましい実施例では、
高品質レンズの被写界深度を持つ場合は別として開口をさらに開くと同じ方法で
光が事実上増加される。このプロセスは、不適当なレンズの設定により写真が暗
くなりすぎたと言うような「大失敗」をとり返すために使用することが可能であ
る。
【0077】 バーチャルな虹彩 第2の実施例では、図8を参照すると分かるように、画像の最も暗い部分は暗
いままであり、はっきりしない部分の輝度が増加しているが、画像の明るい部分
はほとんど影響を受けないように、グラフを選択することができる。図8及び同
様な形状の滑らかな非線形グラフは、本発明の真のカラー光のバーチャルな増幅
に用いる場合、虹彩を真似る効果がある。出力画像は、たまたま、人の視覚の経
験を記憶する視覚メモリによく似ている。発明者は、この改善をバーチャルな虹
彩と呼ぶ。
【0078】 非線形グラフの穏やかな性質は、質の良い入力画像を魅力的な処理画像に確実
に変える。この審美性を維持する重要な特徴は、グラフが依然として滑らかであ
り、グラフの勾配が決して0ではなく、滑らかに変化して、全体的に正味の輝度
増強効果がある点にある。
【0079】 図8において、スケーリング関数は、システムの動的範囲の最小値と最大値の
漸近線を近似する。関数が動的範囲の最小値及び最大値の正接に近付けば近付く
ほど、補正がより厳しくなる。
【0080】 細部のバーチャルな改善 簡言すると、写真の任意のフレームは、開口及びシャッターのただ1つの設定
の結果である。研究を進めるにおいて、これには、写真のある特定の領域では細
部が鋭敏になるという困った問題がある。第3の実施例では、そのある特定の鋭
敏な領域において細部をはっきりさせるプロセスが提供される。
【0081】 図4を参照して、興味のある領域を選択し、ヒストグラムにより、その領域の
最小強度を持つドットが0.30であり、最大強度を持つドットが0.50であ
ることを見つける。この領域は、動的範囲の20%を使用するにすぎず、これは
コントラストが微妙である、眼には事実上識別不能であることを意味する。
【0082】 図4に示すような3部分線形スケーリング関数を適用すると、これらの小さな
コントラストが、その特定の領域からの出力が動的範囲の80%に亘って変化す
るにつれて大きなコントラストとなる。
【0083】 入力が0.30以下及び0.50以上の小勾配のラインは、画像のより暗い及
びより明るい部分の細部をぼかす効果がある。各ドットにおいて得られるカラー
は決してぼけたものではなく、画像の明るい部分が良好な基準を与える。
【0084】 写真の任意の領域を選択することができる。図5を参照して、影部分のぼけた
文字のような、非常に暗い領域における細部が明らかになる。図6は、雪の中の
軌跡のような、明るい領域内の細部を如何にしてはっきりさせるかを説明するも
のである。任意数の領域における細部は、ただ興味のある領域を選択して補正を
加えることにより改善することができる。
【0085】 さらに詳説すると、画像の任意の領域または部分を最適化できる。最初に、領
域を同定する必要がある。GUIでは、これは、マウスのクリック及びドラッグ
操作により容易に行える。これは、ウィンドウズのOSにより、マウスボタンを
クリックした時に指示させることにより、オブジェクト志向プログラミングで実
施可能である。Visual Basicでは、マウスボタンを押すか、解放すると同時に実
行されるサブルーチン(各プログラムにつき)が組み込まれている。
【0086】 ユーザーは、画像内の任意の矩形領域を選択できる。座標は、xdwn, ydwn, xu
p, yupとして共通メモリに蓄積される。写真の例#1及び#2の画像上に重ねた
矩形部分を参照されたい。
【0087】 バーチャルレンズ及び細部のバーチャルな改善の両方において、「改善ヒスト
グラム方式」につき言及した。ヒストグラムは、発生回数を発生した値に対して
測定するものにすぎない。
【0088】 例えば、表4に示すように、RGBの3つのカラーのセットについては、 表4−標準的なヒストグラム方法 “赤、 緑及び青の値は別個に取る” ドット# 赤 緑 青 値 発生回数 1 1 1 1 2 0 0 1 0 2 3 2 2 1 1 11 4 4 3 1 2 3 5 4 4 4 3 7 6 3 2 1 4 5 7 5 1 1 5 2 8 3 3 1 9 4 3 1 合計 30 10 3 3 5 この例では、各々が3つの値(赤、緑、青)を有する10個のドットがあり、
これら30個の値はそれぞれ0から5の範囲内にある。通常のヒストグラムは、
各値(0、1、2、3、4、5)が発生する回数の合計を加算することにより計
算する。
【0089】 改善ヒストグラム方式(強度は最大値(赤、緑、青)に等しい)は、以下の表
5に記載されている。
【0090】 表5−改善ヒストグラム方法 “赤、緑、青の値は、最大値のヒストグラムでは、1つのユニットとして取
る” ドット# 赤 緑 青 強度 値 発生回数 1 1 1 1 1 2 0 0 1 1 0 0 3 2 2 1 2 1 2 4 4 3 1 4 2 1 5 4 4 4 4 3 2 6 3 2 1 3 4 3 7 5 1 1 5 5 2 8 3 3 1 3 9 4 3 1 4 合計 10 10 3 3 5 5 ヒストグラムの形成に利用するのは、最大強度の発生回数であって、赤、緑及
び青のそれぞれの値ではない。
【0091】 これは本願の性質に合致するものであり、それは、赤、緑及び青の値を、強度
と比率を有する1つのユニットとして(3つの独立の値としてでなく)扱うもの
である。
【0092】 ヒストグラムは、xdwn からxupの行範囲と、ydwn からyupの列範囲のドットだ
けを考慮して形成する。
【0093】 図7aを参照して、改善ヒストグラム方式を適用するコード例を提供する。 この時点において、ヒストグラムを形成すると、マークした領域のRGBの3つ
のカラーの強度についてそのランニング合計値が分かる。ヒストグラムのデータ
に反映されるように、始め及び終わりの有意な強度を求める。
【0094】 その領域を表さないデットなまたは飽和状態の記録要素及びそれ以外の「漂遊
値」のようなエラーを回避するために、関連のドットを発生回数の2%及び98
%に制限して、最小及び最大の関連RGB強度を表わすことができる。
【0095】 ヒストグラムによりカウントされる強度の数は、合計で、最後のランニング合
計値に等しく、従って、2%と98%の値は容易に見付けることができる。図7
bは、ユーザーが選択するボックス内の強度範囲に相当する強度インデックス(h
min及び hmax)の範囲を決定するコードを示す。
【0096】 図4を参照して、改善ヒストグラム方式によると、動的範囲の最大値である0
.30と動的範囲の最大値である0.50は、ユーザーが選択する画像部分の最
小強度及び最大強度値であることが分かっている。(ボックスについては、写真
の例#1、#2を参照されたい。) また、改善ヒストグラム方式により計算される範囲は、動的範囲の大部分に亘っ
て可変であるように変更すべきであると仮定された。
【0097】 そのため、hmin及び hmaxの入力範囲を何に変化させる必要があるであろう。
それが動的範囲の大部分を占めることが望ましい。うまく推量すると、その値は
動的範囲の80%であり、暗い領域及び明るい領域が基準として使用できるよう
にそれらに亘ってわずかに残っている部分がある。
【0098】 アプリケーションのコードでは、選択した領域の出力強度範囲は、動的範囲の
最大値の0.1乃至0.9に最初に設定された。その後、0.2乃至0.9にア
ップでリセットされたが、その理由は、多くの画像を観察した後これらの数がよ
く見えるからである。
【0099】 コードは、探索表を、改善ヒストグラム方式に基づいて計算することにより、
入力強度の範囲を求めるために使用され、ほぼ任意の出力範囲0.2乃至0.9
が得られた。
【0100】 図4のグラフは、一般的に意味において、各々が2つの終点を有する3つのラ
インセグメントより成ると考えることができる。
【0101】 表6−ラインセグメント ラインセグメント 開始 終了 #1 (0, 0) (xmin, O.20) #2 (xmin, 0.20) (xmax, O.90) #3 (xmax, 0.90) (1.0, 1.0) 上式において、xmin及び xmaxは改善ヒストグラム方式により計算されている
。即ち、 xmin = hmin/drmx xmax = hmax/drmx 両方の入力軸は、動的範囲で測定される。入力値は、ドット強度(RGBの最
大値)に関するものである。グラフは0乃至1のボックスを離れることは決して
ない。これらの制限は、任意特定のプロセスにおいて任意のスケーリング関数に
より常に満足される必要がある。
【0102】 その結果、出力値は、図2について説明したものに等価のプログラムにより計
算され、探索表はグラフには正確に一致しないが、出力と入力の比率を保持する
【0103】 ラインの各セグメントは、「勾配切片」を有する代数式で表わすことが可能で
あり、その一般式はy=m*x+bである。これらのラインセグメントの各々に
つき、線形方程式及びスケーリング係数が求められる。3つの式から補正または
スケーリング係数のアレイを形成することができる。出力値をシステムの動的範
囲で割算すると、出力と入力の比率が得られる。
【0104】 このバーチャル細部改善方式、または、通常はっきりしない領域を解明できる
フォレンシックフラッシュ(forensic flash)は、任意の目標の動的範囲を細部が
改善されるように最大にする。これは目標領域に制限されず、ユーザーの選択部
分と同じ強度を有する写真の任意の部分もそのように改善される。任意の目標領
域を選択することが可能であるため、同じ写真について多数の有益な補正を行な
うことができる。ユーザーが選択した強度範囲よりも大きい領域の補正は、真の
カラーの性質により有益な基準値として維持される。
【0105】 実施例 バーチャルフラッシュ−バーチャルな虹彩 図9及び10に示す例は、物理的集光装置または画像記憶装置の制約に対する
補正を説明するものである。フレーム毎に1つの開口及びシャッターの設定は、
写真が実在経験についての人の記憶から変化しやすいことを意味する。眼の虹彩
は、コントラストに遭遇すると、自動的な調整を行う。日当たりのいい日の公園
では、日向から日陰へ移動すると虹彩が開くため、全ての芝生は緑であるように
記憶されるが、写真では日陰の芝生は黒になることが多い。
【0106】 写真#1(図9a―9f)僧院の旅行者の写真 この例は、種々の従来技術の方法と本発明による画像改善方法を示す。従来技
術の方法のアプローチでは、興味のある部分につき輝度がちょうどよくなるまで
、画像を「操作」する。これは主観的方法であり、熟練したユーザーとは必要な
妥協点を見つけるのに習熟した者である。図9aでは、写真を走査して得た元の
画像は非常に暗いが、256のシステムの(5及び254の外側にドット最大値
がある)動的範囲の全てまたは大部分を依然として利用している。
【0107】 図9b−9dは、従来技術の画像輝度増加方法を示す。図9bは、画像の輝度
を80%だけ増加することにより行う。図9bの画像は明るいが、カラーはひど
くあせたものであり、空の色も変化している。図9cは、コントラストが50%
にセットされた、図9bの従来技術により輝度を増加した画像を示す。コントラ
ストは、輝度増加の際に失われたカラーを復元しようとして増加してある。画像
の細部のどの位の部分が失われたかに注意されたい。この方法では、ドットの多
くがエッジを過ぎて(動的範囲の外側に)押し出されている。図9dは、彩度が
50%にセットされた、図9bの輝度増加画像を示す。彩度の増加は、カラーを
復元させるための別のテクニックである。その結果、空はほとんど元の状態に戻
っているが、画像の残りの部分にはかなりの、そして見苦しいカラーの歪みがあ
る。
【0108】 本発明の方法を実施すると、写真は、図9fに示すように、著しく改善される
。図9eでは、5乃至254の画像範囲が、0乃至255に線形的にマッピング
されている。元の画像は、既にほとんど全範囲であったため、その効果は小さい
。しかしながら、出力画像を動的範囲全体を使用するようにすることができる。
図9fにおいて、図8のスケーリング関数は、優れた画像を得るために使用され
た。全てのカラーは、走査時では、その画像にとって真であり、細部のロスがな
いと、眼にとってに鮮やかである。
【0109】 写真#2(図10a−10f)巨石柱の旅行者の写真 図10aの元のフレームでは、非常に明るい状態のため石は影の中にある。図
10fにおいて、本発明のバーチャル虹彩方式は、虹彩が自動的に品質の悪い写
真を良質な写真に変えると同じように補償を行う。
【0110】 さらに詳細には、図10aにおいて、被写体は非常に暗く、再び動的範囲の全
て/大部分を使用する(ヒットの1%だけが6及び253の強度の外側にある)
。この画像は細部をはっきりさせるために誰かにより「予め処理」されていた。
空はほとんど白であるが、雲は依然として写っている(本願の図は、雲の実際の
存在感を必ずしも保持していない)。従来技術は可能な限りの処理を行っていた
が、被写体は依然として暗すぎる。図10bは、従来技術の方法により画像の輝
度を60%増加したものを示す。画面が明るくなったが、色はひどくぼけており
、石のカラーは全く失われている。細部の中にはこのプロセスだけで失われるも
のがある。グレースケールによる場合でも、「赤」の岩が石の左で白くなってお
り、図10bの画像の左にある。図10cは、コントラストが40%にセットさ
れた、図10bの輝度増加画像である。石は領域によってはいくらかのカラーを
取り戻したところがあるが、他の領域はそうでないことに注意されたい。画像の
細部が如何にたくさん失われているかについても注意されたい。図10dは、彩
度が15%にセットされた、図10bの輝度増加画像である。「見方によっては
正しい」と言える、カラーの改善が見られるが、幾分赤及び黄色のような人工的
カラーを加えられている。多量の補正は不要である写真でも、各ドットの彩度を
走査すると、記録されたものとは異なるRGB比率が得られる。せいぜい妥協的
な解決が図られるだけである。
【0111】 本発明の方法を用いると、図10eでは、6乃至253の画像範囲が0乃至2
55の範囲に線形にマッピングされ、このため出力画像が動的範囲の全体に亘る
ものとなる。図10fでは、図8のスケーリング関数が、細部のロスのない卓越
した真のカラー画像を得るために再び使用された。
【0112】 フォレンシックフラッシュ−細部のバーチャルな改善 写真#3(図11a、11b)衛星 図11aにおいて、衛星は影の中にあり、表面が非常に暗い。これは、宇宙空
間では、光のコントラストが極端なため、しばしば起こる。重要なドッキング用
開口が視認できない。第3の実施例のフォレンシックフラッシュ補正方式により
、暗い領域内において窓またはボックスを選択し、ヒストグラム方式を用いて、
その領域に適した補正グラフを形成した。
【0113】 図11bの処理済み画像は、暗い部分の中の細部を示す。白い円でマークされ
たドッキング用開口がはっきりと見える。
【0114】 写真#4(図12a、12b)気球 図12aの元の画像では、気球の下側は影の中である。これは、レンズが空を
向いている時の写真によく起こる現象である。特に、テイル部分が暗すぎるため
、識別マークが見えない。
【0115】 第3の実施例の方式に従って、このテイル領域を選択し、ヒストグラム方式を
用いてその領域に適した補正グラフを形成する。その結果、図12bに示すよう
に、処理済み画像では、以前ぼけていた暗い領域の文字が見える。気球は、コロ
ンビアN3Aと識別できる。
【0116】 写真#5(図13a、13b)自動車のプレート 図13aの元のフレームでは、自動車のライセンスプレートはほとんど影の中
でぼけた状態である。プレートを読むことができないために、自動車を識別でき
ない。第3の実施例を用いると、プレートを選択し、ヒストグラム方式によりそ
の領域に適した補正グラフを形成する。
【0117】 その結果、図13bに示すように、処理済の画像から、その自動車が通常のプ
レートでなくてクラシック・ムスタングの文字を有することが分かる。
【0118】 写真#6(図14a、14b、14c)雪の中の軌跡 図14aにおいて、2人のスキーヤーがいる。彼らの軌跡は識別できるが、は
っきりしない。第3の実施例のフォレンシックフラッシュ補正方式に従って、窓
またはボックスを雪の中の軌跡の過露出領域内に選択し、ヒストグラム方式によ
りその領域に適した補正グラフを形成した。
【0119】 図14bの処理済画像からは、過露出領域内の細部が分かる。雪の中の軌跡を
はっきりと識別できる。
【0120】 同様に、写真の中のスキーヤーの顔の暗い部分にウィンドウまたはボックスを
設定した。図14cは、写真のこの領域に特に適した補正グラフを形成するため
のヒストグラム方式の結果を示す。スキーヤーの特徴は、図14aの元の写真に
はっきりと見ることができる。
【0121】 概要 本願で説明した重要な思想は、以下の6つのファクターを組合わせたものであ
る。それらは、RGBカラースペースにおける(補正グラフによる)補正;補正
軸の精度;システムの動的範囲に対する領域及び範囲の制約;グラフの特性;及
び3つのカラーR、G及びBに対する同じ補正係数の適用である。
【0122】 補正は、真のカラーを維持するためにRGBカラー空間で適用する必要がある
。上記の特性を実現する任意の補正グラフを用いることができる。入力及び出力
軸は、RGBの3つのカラーの最大値を表わす。入力は考慮するRGBの3つの
カラーの最大値であり、出力は真のカラー光のバーチャルな増幅の結果として計
算されるRGBの3つのカラーの最大値に相当する。補正は動的範囲に制限され
る。これは、計算したドットの強度が動的範囲に制限されることを意味する。制
限範囲内にプロット可能な任意のグラフを、そのプロセスに使用できる。特定の
グラフの性質は、補正の強調部分に影響を与える。再び、全て3つのRGB値を
グラフから得たスケーリング係数で乗算する必要がある。グラフ上の所与の点は
入力と出力値を有する。補正値はこれら2つ比率(割算)に等しく、全ての3つ
のRGBの3つのカラー値は出力と入力の比率で乗算する。
【0123】 これらの思想を実現すると、全てが入力デジタル画像の各点の本質的なカラー
を保持するが、ドット毎に容易に実効集光能力を変化させるプロセスが得られる
【0124】 上記実施例の間の相違点は、与えられた制限の中でグラフを変更したものであ
る。真のカラー光のバーチャルな増幅によると、新規で有用な結果は、画像の改
善が必要な場所を同定し、その必要性を充足する合理的なグラフを選択すること
にかかっている。
【図面の簡単な説明】
【図1】 図1は、入力される各R、GまたはBドットの最大値を調整済み出力ドット最
大値に補正する線形関数を表わすグラフであり、これらの最大値はシステムの動
的範囲に制限されている。この特定の関数は単位関数であり、ドット最大値の中
の最大値を予め1.0にスケーリングすることにより入力を動的範囲に規準化し
ない限り、補正を行なわない。
【図2】 図2は、デジタルスクリーン画像を読み取り、カラードットを抽出し、ドット
最大値を見付け、ドット最大値の補正係数を適用し、その補正係数をドットの全
RGB値に適用し、補正済みカラードットをスクリーンに書き込むVisual Basic
の簡単なコード例である。
【図3】 図3は、例えば、被写界深度を改善するように小さい開口を用いることにより
、意図的に露出不足になった画像を改善するように設計されたスケーリング関数
を示すグラフである。
【図4】 図4は、ドット最大値の特定領域内のコントラストを、その範囲の20%を動
的範囲のほぼ100%またはほぼ全体にスケーリングすることにより、画像の範
囲の0.3乃至0.5に改善するスケーリング関数を示すグラフであり、暗い領
域と明るい領域のコントラストが減少している。
【図5】 図5は、暗い領域のドット最大値を画像範囲の0.1乃至0.2になるように
改善する、図4によるグラフである。
【図6】 図6は、明るい領域のドット最大値を画像範囲の0.9乃至0.1の間になる
ように改善する、図4によるグラフである。
【図7a】 図7aは、GUIを用いてx1、y1及びx2、y2のウィンドウ領域を選択し、
ウィンドウ内のデジタルスクリーン画像を読み取り、カラードットを抽出し、ド
ット最大値を見つけ、ドット最大値の補正係数を適用し、ドット最大値の発生個
数のヒストグラムを形成するためのVisual Basicの簡単なコード例である。
【図7b】 図7bは、第3の実施例に従ってヒストグラムを発生させるVisual Basicの簡
単なコード例である。
【図8】 図8は、単位対角線に亘って重畳した可変スケーリング関数を示すグラフであ
る。この可変関数は、画像の輝度増加により審美性を増加するものである。スケ
ーリング関数は、暗い領域を暗くし、明るい領域を明るくする、三次曲線のよう
な、滑らかな曲線である。
【図9a】 図9aは、元の画像である僧院の写真である。
【図9b】 図9bは、従来技術により輝度を増加した僧院の写真である。
【図9c】 図9cは、従来技術により輝度を増加し、コントラストを調整した僧院の写真
である。
【図9d】 図9dは、従来技術により輝度を増加し、彩度を調整した僧院の写真である。
【図9e】 図9eは、本発明の第1の実施例により輝度を増加した僧院の写真である。
【図9f】 図9fは、本発明の第2の実施例により輝度を増加した僧院の写真である。
【図10a】 図10aは、元の写真である巨石柱の写真である。
【図10b】 図10bは、従来技術により輝度を増加した巨石柱の写真である。
【図10cb】 図10cは、従来技術により輝度を増加し、コントラストを調整した巨石柱の
写真である。
【図10d】 図10dは、従来技術により輝度を増加し、彩度を調整した巨石柱の写真であ
る。
【図10e】 図10eは、本発明の第1の実施例に従って輝度を動的範囲全体に増加した巨
石柱の写真である。
【図10f】 図10fは、本発明の第2の実施例に従って輝度を増加した巨石柱の写真であ
る。
【図11a】 図11aは、衛星の元の写真である。
【図11b】 図11bは、本発明の第3の実施例に従って輝度を増加した衛星の写真である
【図12a】 図12aは、気球の元の写真である。
【図12b】 図12bは、本発明の第3の実施例に従って輝度を増加した気球の写真である
【図13a】 図13aは、自動車のライセンスプレートの元の写真である。
【図13b】 図13bは、本発明の第3の実施例に従って輝度を増加した自動車のライセン
スプレートの写真である。
【図14a】 図14aは、雪の上のスキーヤーとスキーの軌跡を示す元の写真である。
【図14b】 図14bは、本発明の第3の実施例に従って写真の一部の輝度を増加したスキ
ーヤー及び雪の上のスキー軌跡の写真である。
【図14c】 図14cは、本発明の第3の実施例に従って写真の一部の輝度を増加したスキ
ーヤー及び雪の上のスキー軌跡の写真である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,TZ,UG,ZW ),EA(AM,AZ,BY,KG,KZ,MD,RU, TJ,TM),AE,AG,AL,AM,AT,AU, AZ,BA,BB,BG,BR,BY,CA,CH,C N,CR,CU,CZ,DE,DK,DM,DZ,EE ,ES,FI,GB,GD,GE,GH,GM,HR, HU,ID,IL,IN,IS,JP,KE,KG,K P,KR,KZ,LC,LK,LR,LS,LT,LU ,LV,MA,MD,MG,MK,MN,MW,MX, NO,NZ,PL,PT,RO,RU,SD,SE,S G,SI,SK,SL,TJ,TM,TR,TT,TZ ,UA,UG,UZ,VN,YU,ZA,ZW Fターム(参考) 5B050 AA09 BA15 DA04 EA08 EA09 FA03 FA05 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE16 CH08 5C077 LL19 MP08 PP10 PP32 PP43 PQ12 SS01 TT09 5C079 HB01 LA11 LA23 MA11 NA03 NA05

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 各々が光の三原色R、G、Bの強さを表わす少なくとも3つ
    の独立値を有し、各々の値がシステムの動的範囲の最小値と最大値の間にある複
    数のカラードットにより形成されるデジタル画像をカラーひずみを導入すること
    のなく調整する方法であって、 a)複数のドット最大値を得るために各ドットのRGBカラー空間における3
    つのRGB値の最大値を求め、 b)各ドット最大値に所定のスケーリング係数を適用してスケーリングされた
    ドット最大値を求め、スケーリング係数が、スケーリングされたドット最大値が
    システムの動的レンジの最大値より小さいかまたはそれに等しくなるようにする
    ステップと、 c)ドットの2つの残りのR、GまたはB値の各々に所定のスケーリング係数
    を適用して各ドットの3つの新しいスケーリングされたRGB値を調整しかつ求
    めることにより、ドットのR、G及びB間の比率がスケーリングされた後でもを
    する前と同じであるようにするステップより成る方法。
  2. 【請求項2】 a)画像の範囲を得るために画像のドット最大値と最小値を
    求め、 b)各ドットのスケーリング係数を予め求め、画像範囲の少なくとも一部を画
    像範囲の一部に基準化するための連続スケーリング関数を形成して、ドット最大
    値の各々の値に適用すると、ドット最大値の最大値が動的レンジの最大値より小
    さいかそれに等しい出力値にスケーリングされ、何れの値も動的レンジより大き
    いい出力値にスケーリングされないようにし、 c)複数の対応するドットスケーリング係数を求めるために各ドット最大値の
    値の連続スケーリング関数を適用して、ドットスケーリング係数がその対応する
    ドット最大値とそのドットの残りの2つのR、GまたはB値の各々に適用され、
    各ドットの3つの新しいRGB値及びそれに続く全てのドットの3つの新しいR
    GB値を調整するステップより成る請求項1の方法。
  3. 【請求項3】 動的範囲の少なくとも一部のスケーリング係数は探索表に蓄
    積され、 b)探索表から、ドット最大値に対応するスケーリング係数を探索し、それを
    ドット最大値とそのドットの2つの残りのR、GまたはB値の各々に適用して各
    ドット及びそれに続く全てのドットの3つの新しいRGB値を調整して得るステ
    ップを含む請求項2の方法。
  4. 【請求項4】 画像範囲は動的範囲に基準化される請求項2の方法。
  5. 【請求項5】 画像範囲の一部は動的範囲の実質的部分に基準化される請求
    項2の方法。
  6. 【請求項6】 スケーリング関数は線形である請求項2の方法。
  7. 【請求項7】 スケーリング関数は非線形である請求項2の方法。
  8. 【請求項8】 各々が3つの三原色R、G及びBの各々の値を有し、各値が
    画像の動的範囲の最小値と最大値の間にある複数のカラードットより成るデジタ
    ル画像の一部を改善する方法であって、 a)画像ドットの副集合を有する改善すべき画像部分を特定し、 b)画像の副集合内の各ドットの2つのRGB値の最大値を求めて複数のドッ
    ト最大値を形成し、 c)副集合の全てのドット最大値の最大値と最小値を求めて画像部分の範囲を
    画定し、 d)副集合のドット最大値の範囲を画像の実質的に画像範囲に基準化すること
    により画像の副集合の連続スケーリング関数を求め、 e)各ドット最大値の値に連続スケーリング関数を適用して複数の対応するド
    ットスケーリング係数を形成するステップより成り、ドットスケーリング係数は
    その対応するドット最大値とそのドットの2つの残りのR、GまたはB値の各々
    に適用されて各ドット及びそれに続く全てのドットの3つの新しいRGB値を調
    整し、ドットのR、G及びB間の比率がスケーリングの後でスケーリング前と同
    じであるようにする方法。
JP2000611483A 1999-04-13 2000-04-10 デジタルフォーマットのカラー画像増強方法及び装置 Expired - Lifetime JP4841039B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12904199P 1999-04-13 1999-04-13
US60/129,041 1999-04-13
PCT/CA2000/000400 WO2000062528A1 (en) 1999-04-13 2000-04-10 Virtual true color light amplification

Publications (3)

Publication Number Publication Date
JP2002542678A true JP2002542678A (ja) 2002-12-10
JP2002542678A5 JP2002542678A5 (ja) 2010-01-14
JP4841039B2 JP4841039B2 (ja) 2011-12-21

Family

ID=22438204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000611483A Expired - Lifetime JP4841039B2 (ja) 1999-04-13 2000-04-10 デジタルフォーマットのカラー画像増強方法及び装置

Country Status (13)

Country Link
EP (1) EP1177678B1 (ja)
JP (1) JP4841039B2 (ja)
KR (1) KR20010113791A (ja)
CN (1) CN1179546C (ja)
AT (1) ATE250309T1 (ja)
AU (1) AU771979B2 (ja)
CA (1) CA2368544C (ja)
DE (1) DE60005332T2 (ja)
GB (1) GB2363933B (ja)
HK (1) HK1048213B (ja)
MX (1) MXPA01010248A (ja)
NZ (1) NZ514714A (ja)
WO (1) WO2000062528A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893793B1 (ko) 2011-05-17 2018-10-04 삼성전자주식회사 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
ES2641371T3 (es) * 2012-10-08 2017-11-08 Koninklijke Philips N.V. Procesamiento de imágenes con cambio de luminancia con restricciones de color
CN108711142B (zh) * 2018-05-22 2020-09-29 深圳市华星光电技术有限公司 图像处理方法及图像处理装置
CN109272459B (zh) 2018-08-20 2020-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108900819B (zh) 2018-08-20 2020-09-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3684825A (en) * 1971-02-19 1972-08-15 Rca Corp Contrast compression circuits
JPS59163953A (ja) * 1983-03-08 1984-09-17 Canon Inc 画像処理装置
US4736244A (en) * 1984-12-12 1988-04-05 Fuji Photo Film Co., Ltd. Color film inspection system and data output method therefor
US4729016A (en) * 1985-05-06 1988-03-01 Eastman Kodak Company Digital color image processing method and apparatus employing three color reproduction functions for adjusting both tone scale and color balance
US5398123A (en) * 1988-08-31 1995-03-14 Canon Kabushiki Kaisha Image processing method and apparatus capable of automatic color masking
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
EP0603908A3 (en) * 1992-12-25 1996-02-07 Dainippon Screen Mfg Method and apparatus for converting image signals.
JP3335507B2 (ja) * 1995-09-19 2002-10-21 京セラミタ株式会社 カラー画像調整装置およびカラー画像調整方法
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment

Also Published As

Publication number Publication date
KR20010113791A (ko) 2001-12-28
NZ514714A (en) 2003-11-28
DE60005332D1 (de) 2003-10-23
ATE250309T1 (de) 2003-10-15
JP4841039B2 (ja) 2011-12-21
AU3800100A (en) 2000-11-14
CN1179546C (zh) 2004-12-08
CA2368544A1 (en) 2000-10-19
WO2000062528A1 (en) 2000-10-19
MXPA01010248A (es) 2003-07-21
GB2363933A (en) 2002-01-09
CA2368544C (en) 2006-10-03
DE60005332T2 (de) 2004-06-17
EP1177678B1 (en) 2003-09-17
HK1048213B (zh) 2005-09-16
HK1048213A1 (en) 2003-03-21
CN1354950A (zh) 2002-06-19
AU771979B2 (en) 2004-04-08
EP1177678A1 (en) 2002-02-06
GB0124644D0 (en) 2001-12-05
GB2363933B (en) 2003-08-27

Similar Documents

Publication Publication Date Title
US6677959B1 (en) Virtual true color light amplification
CN110062160A (zh) 图像处理方法和装置
CN105122302B (zh) 无重影高动态范围图像的产生
CN103888644B (zh) 摄像设备及其控制方法
JP5150353B2 (ja) コントラスト強調方法、装置、撮像装置および記憶媒体
US7317843B2 (en) Luminance correction
US7463296B2 (en) Digital cameras with luminance correction
CN106791471A (zh) 图像优化方法、图像优化装置和终端
EP1675384A2 (en) Image processing apparatus, method and image pickup apparatus
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US6961066B2 (en) Automatic color adjustment for digital images
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN107948538A (zh) 成像方法、装置、移动终端和存储介质
CN110248107A (zh) 图像处理方法和装置
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
Feng et al. Low-light image enhancement based on multi-illumination estimation
Yu et al. Adaptive inverse hyperbolic tangent algorithm for dynamic contrast adjustment in displaying scenes
CN115883755A (zh) 一种多类型场景下多曝光图像融合方法
CN114331937A (zh) 基于反馈迭代调节的低光照条件下多源图像融合方法
JP4841039B2 (ja) デジタルフォーマットのカラー画像増強方法及び装置
CN110246086A (zh) 彩色图像增强的图像处理方法及其图像处理系统
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
Kumar et al. Image Enhancement Using Laplacian Gaussian Pyramid Based Fusion and Band Rationing Algorithm
CN113096033A (zh) 基于Retinex模型自适应结构的低光照图像增强方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090817

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090915

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091014

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091021

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20091116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111004

R150 Certificate of patent or registration of utility model

Ref document number: 4841039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term