JP2003196653A - イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム - Google Patents
イメージコンテンツに基づいて画像の特性を改善するための方法及びシステムInfo
- Publication number
- JP2003196653A JP2003196653A JP2002339710A JP2002339710A JP2003196653A JP 2003196653 A JP2003196653 A JP 2003196653A JP 2002339710 A JP2002339710 A JP 2002339710A JP 2002339710 A JP2002339710 A JP 2002339710A JP 2003196653 A JP2003196653 A JP 2003196653A
- Authority
- JP
- Japan
- Prior art keywords
- image
- confidence
- sharpening
- skin
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000000463 material Substances 0.000 claims abstract description 34
- 230000006872 improvement Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 12
- 239000013077 target material Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 230000000873 masking effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- AAOVKJBEBIDNHE-UHFFFAOYSA-N diazepam Chemical compound N=1CC(=O)N(C)C2=CC=C(Cl)C=C2C=1C1=CC=CC=C1 AAOVKJBEBIDNHE-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G06T5/75—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
Abstract
(57)【要約】
【課題】 画像のマテリアルコンテンツに基づいて、画
像全体の改善を調節可能な、画像を迅速に改善する方法
の提供。 【解決手段】 そのマテリアルコンテンツに従う画像の
特性を改善するための方法では、画像が画素からなって
おり、画素に空間的に対応する信頼マップが生成され
る。信頼マップは、それぞれの画素が肌のような特定の
マテリアルを表す尤度を示す信頼値を含んでいる。改善
パラメータは、信頼マップから生成される。改善パラメ
ータは、画像の鮮鋭度のような特性を改善するために画
素に一様に適用される。
像全体の改善を調節可能な、画像を迅速に改善する方法
の提供。 【解決手段】 そのマテリアルコンテンツに従う画像の
特性を改善するための方法では、画像が画素からなって
おり、画素に空間的に対応する信頼マップが生成され
る。信頼マップは、それぞれの画素が肌のような特定の
マテリアルを表す尤度を示す信頼値を含んでいる。改善
パラメータは、信頼マップから生成される。改善パラメ
ータは、画像の鮮鋭度のような特性を改善するために画
素に一様に適用される。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル画像処理
の分野に関し、より詳細には、処理パラメータをイメー
ジコンテンツに関連付けする方法に関する。
の分野に関し、より詳細には、処理パラメータをイメー
ジコンテンツに関連付けする方法に関する。
【０００２】
【従来の技術】デジタル画像の処理では、鮮鋭化アルゴ
リズムにより画像を鮮鋭化して、細部の詳細を強調する
ことが一般的に行われている。典型的に、この鮮鋭化処
理は、畳み込み処理により実行される（たとえば、A.K.
Jainによる“Fundamentals ofDigital Image Processin
g” Prentice-Hall: 1989, pp.249-pp251を参照）。ア
ンシャープマスクによる処理は、畳み込みに基づいた鮮
鋭化処理の１つの例である。
リズムにより画像を鮮鋭化して、細部の詳細を強調する
ことが一般的に行われている。典型的に、この鮮鋭化処
理は、畳み込み処理により実行される（たとえば、A.K.
Jainによる“Fundamentals ofDigital Image Processin
g” Prentice-Hall: 1989, pp.249-pp251を参照）。ア
ンシャープマスクによる処理は、畳み込みに基づいた鮮
鋭化処理の１つの例である。
【０００３】たとえば、アンシャープマスクによる画像
の鮮鋭化は、以下の式により説明することができる。 ｓ(ｘ,ｙ)＝ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)＋βｆ(ｉ(ｘ,ｙ)−ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)) （１） ここで、ｓ(ｘ,ｙ)は強調された鮮鋭化による出力画
像、ｉ(ｘ,ｙ)は入力される原画像、ｂ(ｘ,ｙ)は低域通
過フィルタ、βはアンシャープマスクのスケールファク
タ、ｆ( )はフリンジ関数、(ｘ,ｙ)は画像のｘ番目の行
及びｙ番目の列を示している。
の鮮鋭化は、以下の式により説明することができる。 ｓ(ｘ,ｙ)＝ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)＋βｆ(ｉ(ｘ,ｙ)−ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)) （１） ここで、ｓ(ｘ,ｙ)は強調された鮮鋭化による出力画
像、ｉ(ｘ,ｙ)は入力される原画像、ｂ(ｘ,ｙ)は低域通
過フィルタ、βはアンシャープマスクのスケールファク
タ、ｆ( )はフリンジ関数、(ｘ,ｙ)は画像のｘ番目の行
及びｙ番目の列を示している。
【０００４】典型的に、アンシャープ画像は、画像と低
域通過フィルタとの畳み込みにより生成される（すなわ
ち、アンシャープ画像はｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)により与
えられる）。つぎに、高域通過、すなわちフリンジのデ
ータは、アンシャープ画像を原画像から減算することに
より生成される（すなわち、高域通過データはｉ(ｘ,
ｙ)‐ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)により発見される）。
域通過フィルタとの畳み込みにより生成される（すなわ
ち、アンシャープ画像はｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)により与
えられる）。つぎに、高域通過、すなわちフリンジのデ
ータは、アンシャープ画像を原画像から減算することに
より生成される（すなわち、高域通過データはｉ(ｘ,
ｙ)‐ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)により発見される）。
【０００５】次いで、この高域通過データは、スケール
ファクタβ又はフリンジ関数ｆ( )のいずれか又は両者
により修正される。最後に、修正された高域通過データ
は、原画像又はアンシャープ画像のいずれかと加算さ
れ、鮮鋭化された画像が生成される。
ファクタβ又はフリンジ関数ｆ( )のいずれか又は両者
により修正される。最後に、修正された高域通過データ
は、原画像又はアンシャープ画像のいずれかと加算さ
れ、鮮鋭化された画像が生成される。
【０００６】類似した鮮鋭化作用は、デジタル信号処理
の分野では公知であるように、周波数領域（たとえば、
ＦＦＴ領域）における画像の修正により達成することが
できる。空間領域の手法（たとえば、畳み込み手法）と
画像の鮮鋭度を強調する周波数領域の手法の両者は、シ
フト不変の手法である。言い換えれば、鮮鋭度プロセス
は、画像における位置に対して不変である。
の分野では公知であるように、周波数領域（たとえば、
ＦＦＴ領域）における画像の修正により達成することが
できる。空間領域の手法（たとえば、畳み込み手法）と
画像の鮮鋭度を強調する周波数領域の手法の両者は、シ
フト不変の手法である。言い換えれば、鮮鋭度プロセス
は、画像における位置に対して不変である。
【０００７】これらの手法が鮮鋭された画像を確かに生
成する一方で、結果的に得られる画像の品質は、イメー
ジコンテンツに依存して変動することがある。たとえ
ば、アンシャープマスクアルゴリズムを使用すること
は、建物の画像について満足する結果を生じる場合があ
る。
成する一方で、結果的に得られる画像の品質は、イメー
ジコンテンツに依存して変動することがある。たとえ
ば、アンシャープマスクアルゴリズムを使用すること
は、建物の画像について満足する結果を生じる場合があ
る。
【０００８】しかし、同じアルゴリズムを使用すること
は、人間の顔の画像について過度に鮮鋭化処理された望
まれない概観を生じることがある（たとえば、傷が強調
される場合がある）。スケールファクタのパラメータ
は、人間のオペレータによりそれぞれのシーンについて
個々に修正される場合があるが、これは高価なプロセス
である。
は、人間の顔の画像について過度に鮮鋭化処理された望
まれない概観を生じることがある（たとえば、傷が強調
される場合がある）。スケールファクタのパラメータ
は、人間のオペレータによりそれぞれのシーンについて
個々に修正される場合があるが、これは高価なプロセス
である。
【０００９】米国特許第5,682,443号では、Gouch及びMa
cDonald等は、画素毎に基づいて、アンシャープマスク
に関連するパラメータを修正する方法を説明している。
本質的には、式（１）における定数であるスケールファ
クタβは、位置β(ｘ,ｙ)に基づいて変化するスケール
ファクタと置き換えられる。これらのパラメータは、局
所的な近傍において、画素の色に基づいて変動される。
cDonald等は、画素毎に基づいて、アンシャープマスク
に関連するパラメータを修正する方法を説明している。
本質的には、式（１）における定数であるスケールファ
クタβは、位置β(ｘ,ｙ)に基づいて変化するスケール
ファクタと置き換えられる。これらのパラメータは、局
所的な近傍において、画素の色に基づいて変動される。
【００１０】
【発明が解決しようとする課題】この手法により、近似
的に肌色に着色された画素の詳細に関してこれまで程強
調しないことが可能となる。しかし、この方法はシフト
不変ではない。それは、フリンジデータがそれぞれの画
素の色成分のそれぞれについてシャープデータ又はアン
シャープデータの値に従い決定される重み付け関数で修
正されるためである。
的に肌色に着色された画素の詳細に関してこれまで程強
調しないことが可能となる。しかし、この方法はシフト
不変ではない。それは、フリンジデータがそれぞれの画
素の色成分のそれぞれについてシャープデータ又はアン
シャープデータの値に従い決定される重み付け関数で修
正されるためである。
【００１１】結果的に、この手法は、フィルタパラメー
タがそれぞれの画素について変動されるために計算的に
集中する。さらに、この手法は、画像の１つの領域が近
くの領域と同様に鮮鋭化されるとき、スイッチングアー
チファクトを生成する。
タがそれぞれの画素について変動されるために計算的に
集中する。さらに、この手法は、画像の１つの領域が近
くの領域と同様に鮮鋭化されるとき、スイッチングアー
チファクトを生成する。
【００１２】このように、スイッチングアーチファクト
を生成することなしに、画像のマテリアルコンテンツに
基づいて、画像の全体の改善を調節することができる、
画像を迅速に鮮鋭化、さもなければ改善するための必要
性が存在する。
を生成することなしに、画像のマテリアルコンテンツに
基づいて、画像の全体の改善を調節することができる、
画像を迅速に鮮鋭化、さもなければ改善するための必要
性が存在する。
【００１３】
【課題を解決するための手段】本発明は、上述された１
つ以上の問題を解決することに向けられる。簡単に説明
すると、本発明の１態様によれば、そのマテリアルコン
テンツに従い画像の特性を改善するための方法は、画素
からなる画像を提供するステップと、該画素に空間的に
対応する信頼マップを生成するステップと、該信頼マッ
プから改善パラメータを生成するステップと、該改善パ
ラメータを使用して、画像の特性を改善するステップと
を備えている。ここで、該信頼マップは、それぞれの画
素が特定のマテリアルを表現する尤度を示す信頼値を含
む。該改善パラメータは、該画素に一様に適用される。
つ以上の問題を解決することに向けられる。簡単に説明
すると、本発明の１態様によれば、そのマテリアルコン
テンツに従い画像の特性を改善するための方法は、画素
からなる画像を提供するステップと、該画素に空間的に
対応する信頼マップを生成するステップと、該信頼マッ
プから改善パラメータを生成するステップと、該改善パ
ラメータを使用して、画像の特性を改善するステップと
を備えている。ここで、該信頼マップは、それぞれの画
素が特定のマテリアルを表現する尤度を示す信頼値を含
む。該改善パラメータは、該画素に一様に適用される。
【００１４】本発明は、全体的なレベルの画像の特性
は、画像において検出されたマテリアルに依存して変動
されるという利点を有している。この特性が鮮鋭度であ
るとき、ある画像において鮮鋭度のアーチファクトをつ
くることがないように控えめなレベルで画像全体を鮮鋭
化するためにシステムを調整するよりはむしろ、本発明
によるシステムは、高感度の画像を控えめに鮮鋭化し、
低感度の画像を積極的に鮮鋭化して、それぞれの画像に
ついて鮮鋭化することを自動的に決定する。
は、画像において検出されたマテリアルに依存して変動
されるという利点を有している。この特性が鮮鋭度であ
るとき、ある画像において鮮鋭度のアーチファクトをつ
くることがないように控えめなレベルで画像全体を鮮鋭
化するためにシステムを調整するよりはむしろ、本発明
によるシステムは、高感度の画像を控えめに鮮鋭化し、
低感度の画像を積極的に鮮鋭化して、それぞれの画像に
ついて鮮鋭化することを自動的に決定する。
【００１５】特に、本発明のシステムは、人間の素肌が
検出される画像を控えめに鮮鋭化し、人間の素肌が検出
されない画像を積極的に鮮鋭化する。別の態様では、本
発明によるシステムは、植物の画像におけるような、雑
音の低減が不都合なアーチファクトをもたらす可能性の
ある画像の領域では、雑音を控えめに低減し、かかる高
感度のマテリアルコンテンツが検出されない画像では、
雑音を積極的に低減する。本発明のこれら及び他の態
様、目的、機能並びに効果は、好適な実施の形態の以下
の詳細な説明を検討し、添付図面を参照することから明
らかに理解されるであろう。
検出される画像を控えめに鮮鋭化し、人間の素肌が検出
されない画像を積極的に鮮鋭化する。別の態様では、本
発明によるシステムは、植物の画像におけるような、雑
音の低減が不都合なアーチファクトをもたらす可能性の
ある画像の領域では、雑音を控えめに低減し、かかる高
感度のマテリアルコンテンツが検出されない画像では、
雑音を積極的に低減する。本発明のこれら及び他の態
様、目的、機能並びに効果は、好適な実施の形態の以下
の詳細な説明を検討し、添付図面を参照することから明
らかに理解されるであろう。
【００１６】
【発明の実施の形態】以下の記載では、本発明の実施の
形態は、ソフトウェアプログラムとして実現される方法
として記載される。当業者であれば、かかるソフトウェ
アの等価な概念はハードウェアで構築されることが容易
に認識されるであろう。イメージエンハンスメントアル
ゴリズム及び方法は公知であるため、ここでの説明は、
本発明による方法及びシステムの一部を構成する要素、
該方法及びシステムと更に直接連動する要素に対して特
に向けられる。
形態は、ソフトウェアプログラムとして実現される方法
として記載される。当業者であれば、かかるソフトウェ
アの等価な概念はハードウェアで構築されることが容易
に認識されるであろう。イメージエンハンスメントアル
ゴリズム及び方法は公知であるため、ここでの説明は、
本発明による方法及びシステムの一部を構成する要素、
該方法及びシステムと更に直接連動する要素に対して特
に向けられる。
【００１７】画像信号を生成、さもなければ処理する他
の要素、ハードウェア及び／又はソフトウェアは、特に
図示又は説明されないが、かかるマテリアルから選択さ
れる場合がある。以下のマテリアルにおいて本発明に従
い図示及び説明されるシステム及び方法が与えられたと
すると、本発明の実現のために有効な本実施の形態で特
に図示、説明又は提案されていないソフトウェアは、慣
習的なものであり、当該技術分野における通常の知識に
該当する。
の要素、ハードウェア及び／又はソフトウェアは、特に
図示又は説明されないが、かかるマテリアルから選択さ
れる場合がある。以下のマテリアルにおいて本発明に従
い図示及び説明されるシステム及び方法が与えられたと
すると、本発明の実現のために有効な本実施の形態で特
に図示、説明又は提案されていないソフトウェアは、慣
習的なものであり、当該技術分野における通常の知識に
該当する。
【００１８】なお、さらに、本実施の形態で使用される
ように、コンピュータプログラムは、コンピュータ読取
り可能な記憶媒体に記憶される場合があり、この記憶媒
体は、たとえば、磁気ディスク（ハードディスクドライ
ブ又はフロプティカルディスク等）のような磁気記憶媒
体、光記憶媒体（光ディスク、光テープ又はマシン読取
りバーコード）、ランダムアクセスメモリ（ＲＡＭ）、
リードオンリメモリ（ＲＯＭ）のような固体電子記憶装
置、或いはコンピュータプログラムを記憶するために使
用される他の任意の物理的な装置又は媒体である。
ように、コンピュータプログラムは、コンピュータ読取
り可能な記憶媒体に記憶される場合があり、この記憶媒
体は、たとえば、磁気ディスク（ハードディスクドライ
ブ又はフロプティカルディスク等）のような磁気記憶媒
体、光記憶媒体（光ディスク、光テープ又はマシン読取
りバーコード）、ランダムアクセスメモリ（ＲＡＭ）、
リードオンリメモリ（ＲＯＭ）のような固体電子記憶装
置、或いはコンピュータプログラムを記憶するために使
用される他の任意の物理的な装置又は媒体である。
【００１９】デジタル画像は、典型的に赤、緑及び青の
画素値又は光強度に対応する単色の画素値の数からなる
２次元アレイである。専門用語に関して、ｘ番目の行及
びｙ番目の列のデジタル画像が参照される座標(ｘ,ｙ)
に位置されるデジタル画像の画素の値は、位置(ｘ,ｙ)
での赤、緑及び青のデジタル画像チャネルの値がそれぞ
れ参照される３つ組の値［ｒ(ｘ,ｙ)，ｇ(ｘ,ｙ)，ｂ
(ｘ,ｙ)］を備えている。
画素値又は光強度に対応する単色の画素値の数からなる
２次元アレイである。専門用語に関して、ｘ番目の行及
びｙ番目の列のデジタル画像が参照される座標(ｘ,ｙ)
に位置されるデジタル画像の画素の値は、位置(ｘ,ｙ)
での赤、緑及び青のデジタル画像チャネルの値がそれぞ
れ参照される３つ組の値［ｒ(ｘ,ｙ)，ｇ(ｘ,ｙ)，ｂ
(ｘ,ｙ)］を備えている。
【００２０】このことに関して、デジタル画像は、所定
の数のデジタル画像チャネルを備えているものとして考
慮される。デジタル画像が赤、緑及び青の２次元アレイ
を備えている場合、画像は、３つのチャネル、いわば
赤、緑及び青のスペクトルチャネルを備えている。
の数のデジタル画像チャネルを備えているものとして考
慮される。デジタル画像が赤、緑及び青の２次元アレイ
を備えている場合、画像は、３つのチャネル、いわば
赤、緑及び青のスペクトルチャネルを備えている。
【００２１】図１を参照して、強調された出力画像を取
得するために特定の画像処理経路により画像を処理する
ための本発明の第１実施の形態が示されている。一般
に、本発明は、画像に対してシフト不変の改善を実行す
る。改善の規模は、画像における物体のマテリアルコン
テンツにより決定される。したがって、連続する画像に
提供される改善は、イメージコンテンツに強く依存す
る。特定の画像に提供される改善の規模は、イメージコ
ンテンツに適したものとなるために選択される。
得するために特定の画像処理経路により画像を処理する
ための本発明の第１実施の形態が示されている。一般
に、本発明は、画像に対してシフト不変の改善を実行す
る。改善の規模は、画像における物体のマテリアルコン
テンツにより決定される。したがって、連続する画像に
提供される改善は、イメージコンテンツに強く依存す
る。特定の画像に提供される改善の規模は、イメージコ
ンテンツに適したものとなるために選択される。
【００２２】図１に示される第１実施の形態では、本発
明は、シフト不変の鮮鋭化処理を実行する。鮮鋭化の規
模は、画像における物体により決定される。したがっ
て、連続する画像に提供される鮮鋭度は、イメージコン
テンツに強く依存する。任意の特定の画像に提供される
鮮鋭化の規模は、イメージコンテンツに適するように選
択される。
明は、シフト不変の鮮鋭化処理を実行する。鮮鋭化の規
模は、画像における物体により決定される。したがっ
て、連続する画像に提供される鮮鋭度は、イメージコン
テンツに強く依存する。任意の特定の画像に提供される
鮮鋭化の規模は、イメージコンテンツに適するように選
択される。
【００２３】図１は、画像ｉ(ｘ,ｙ)を例示している。
該画像は、ｘ0行及びｙ0列を有しており、画像に含まれ
る画素数を減少し、したがって、鮮鋭化パラメータを決
定するために、本発明により要求される処理時間を減少
するための画像サブサンプラ２に入力される。
該画像は、ｘ0行及びｙ0列を有しており、画像に含まれ
る画素数を減少し、したがって、鮮鋭化パラメータを決
定するために、本発明により要求される処理時間を減少
するための画像サブサンプラ２に入力される。
【００２４】好ましくは、画像ｉ(ｘ,ｙ)は、高解像度
であり、たとえば、例示的な高解像度の画像は、ｘ0＝
１０２４行の画素に、ｙ0＝１５３６列の画素を掛けた
ものである。画像サブサンプラ２から出力される画像
は、ｍ0行とｎ0列を有する低解像度の画像であり、たと
えば、例示的な低解像度の画像は、ｍ0＝１２８にｎ0＝
１９２を掛けたものである。
であり、たとえば、例示的な高解像度の画像は、ｘ0＝
１０２４行の画素に、ｙ0＝１５３６列の画素を掛けた
ものである。画像サブサンプラ２から出力される画像
は、ｍ0行とｎ0列を有する低解像度の画像であり、たと
えば、例示的な低解像度の画像は、ｍ0＝１２８にｎ0＝
１９２を掛けたものである。
【００２５】画像サブサンプラ２は、好ましくは、ｗ×
ｗ画素ブロック（たとえば、ｗ＝８（先の例示的な画像
に対応する））を通してブロック平均処理を実行して、
画像サブサンプラ２から出力される低解像度の画像を生
成する。大きな画像から小さな画像をつくる多くの他の
方法は、画像処理の分野で公知であり、画像サブサンプ
ラ２として使用することができる（先の例は本発明を限
定するものではない。実際、画像サブサンプラは、追加
の処理を許容することができる場合に省略することがで
きる）。
ｗ画素ブロック（たとえば、ｗ＝８（先の例示的な画像
に対応する））を通してブロック平均処理を実行して、
画像サブサンプラ２から出力される低解像度の画像を生
成する。大きな画像から小さな画像をつくる多くの他の
方法は、画像処理の分野で公知であり、画像サブサンプ
ラ２として使用することができる（先の例は本発明を限
定するものではない。実際、画像サブサンプラは、追加
の処理を許容することができる場合に省略することがで
きる）。
【００２６】画像サブサンプラ２から出力される画像
は、特定の画素又は画素からなる領域が所与のターゲッ
トマテリアルを表現する信頼度を示す信頼マップの作成
のためにマテリアル検出器４に入力される。ターゲット
マテリアルは、画像の鮮鋭度が高感度であるマテリアル
として選択される。
は、特定の画素又は画素からなる領域が所与のターゲッ
トマテリアルを表現する信頼度を示す信頼マップの作成
のためにマテリアル検出器４に入力される。ターゲット
マテリアルは、画像の鮮鋭度が高感度であるマテリアル
として選択される。
【００２７】マテリアル検出器４は、好ましくは、画像
検出器４に入力される画像の行及び列に関して同じ画素
寸法を有している信頼マップＭ(ｍ,ｎ)を出力する。信
頼マップは、特定の画素がターゲットマテリアルを表現
する信頼性を示す。この信頼性は、確率として表現され
ることが好ましい。たとえば、それぞれの画素値Ｍ(ｍ,
ｎ)は、（低解像度の画素(ｍ,ｎ)がターゲットマテリア
ルを表す）１００*Ｐに等しい。Ｐ(Ａ)は事象Ａの確率
を表している。
検出器４に入力される画像の行及び列に関して同じ画素
寸法を有している信頼マップＭ(ｍ,ｎ)を出力する。信
頼マップは、特定の画素がターゲットマテリアルを表現
する信頼性を示す。この信頼性は、確率として表現され
ることが好ましい。たとえば、それぞれの画素値Ｍ(ｍ,
ｎ)は、（低解像度の画素(ｍ,ｎ)がターゲットマテリア
ルを表す）１００*Ｐに等しい。Ｐ(Ａ)は事象Ａの確率
を表している。
【００２８】代替的に、それぞれの画素値Ｍ(ｍ,ｎ)
は、信頼性を示す２進区分を表している。たとえば、信
頼マップにおける画素値１は、画素がターゲットマテリ
アルを表す信頼性を表し、画素値０は、画素がターゲッ
トマテリアルを表していない信頼性を表している。
は、信頼性を示す２進区分を表している。たとえば、信
頼マップにおける画素値１は、画素がターゲットマテリ
アルを表す信頼性を表し、画素値０は、画素がターゲッ
トマテリアルを表していない信頼性を表している。
【００２９】好適な実施の形態では、ターゲットマテリ
アルは、人間の素肌である。M.W.Dupin及びJ.Luo等によ
り“Method for Processing a Digital Image to Adjus
t Brightness”と題され、2001年7月12日に提出された
係属している米国特許出願シリアル番号09/904,366号で
は、素肌のターゲットマテリアルについて信頼性を示す
信頼マップを作成する方法が記載されている。
アルは、人間の素肌である。M.W.Dupin及びJ.Luo等によ
り“Method for Processing a Digital Image to Adjus
t Brightness”と題され、2001年7月12日に提出された
係属している米国特許出願シリアル番号09/904,366号で
は、素肌のターゲットマテリアルについて信頼性を示す
信頼マップを作成する方法が記載されている。
【００３０】さらに、人間の素肌のターゲットマテリア
ルについて信頼マップを作成する方法は、以下の論文に
記載されている。K.Cho, J.Jang, K.Hongによる“Adapt
iveSkin-Color Filter” Pattern Recognition, 34(200
1) 1067-1073; 及びM.Fleck, D.Forsyth, C.Breglerに
よる“Finding Naked People” Proceedings of theEur
opean Conference on Computer Vision, Vol.2, Vol.2,
1996, pp592-602。
ルについて信頼マップを作成する方法は、以下の論文に
記載されている。K.Cho, J.Jang, K.Hongによる“Adapt
iveSkin-Color Filter” Pattern Recognition, 34(200
1) 1067-1073; 及びM.Fleck, D.Forsyth, C.Breglerに
よる“Finding Naked People” Proceedings of theEur
opean Conference on Computer Vision, Vol.2, Vol.2,
1996, pp592-602。
【００３１】係属中の米国特許出願シリアル番号第09/9
04,366号に記載される方法は、皮膚の階調の領域につい
て使用することができ、以下のように要約することがで
きる。画像の画素ＲＧＢの値は、以下の式により“Ls
t”座標に変換される、 Ｌ＝(Ｒ＋Ｇ＋Ｂ)／sqrt(３) ｓ＝(Ｒ−Ｂ)／sqrt(２) ｔ＝(２Ｇ−Ｒ−Ｂ)／sqrt(６) 入力されるカラーデジタル画像におけるそれぞれ画素に
ついて、皮膚の階調である確率が計算される。確率は、
所定の皮膚の階調の確率関数に基づいて、Lst空間にお
けるその座標から導出される。これらの確率関数は、シ
ーンバランスされた画像の大きな集合のおける皮膚及び
非皮膚の領域の色空間分布のデータの集合に基づいて構
築される。
04,366号に記載される方法は、皮膚の階調の領域につい
て使用することができ、以下のように要約することがで
きる。画像の画素ＲＧＢの値は、以下の式により“Ls
t”座標に変換される、 Ｌ＝(Ｒ＋Ｇ＋Ｂ)／sqrt(３) ｓ＝(Ｒ−Ｂ)／sqrt(２) ｔ＝(２Ｇ−Ｒ−Ｂ)／sqrt(６) 入力されるカラーデジタル画像におけるそれぞれ画素に
ついて、皮膚の階調である確率が計算される。確率は、
所定の皮膚の階調の確率関数に基づいて、Lst空間にお
けるその座標から導出される。これらの確率関数は、シ
ーンバランスされた画像の大きな集合のおける皮膚及び
非皮膚の領域の色空間分布のデータの集合に基づいて構
築される。
【００３２】ある画素がそのLst座標での皮膚の階調の
画素である条件付き確率は、以下の式で表される。 Pr(Skin|L,s,t)＝Pr(Skin|L)*Pr(Skin|s)*Pr(Skin|t) ここで、それぞれの条件付き確率Pr(Skin|L)、Pr(Skin|
s)及びPr(Skin|t)は、皮膚及び非皮膚の画素について、
ベイズ理論をオリジナルのトレイニング分布に適用する
ことにより構築される。この方法論の更なる詳細は、上
述した係属中の米国特許出願シリアル番号09/904,306号
に見ることができ、参照により本実施の形態に組込まれ
る。
画素である条件付き確率は、以下の式で表される。 Pr(Skin|L,s,t)＝Pr(Skin|L)*Pr(Skin|s)*Pr(Skin|t) ここで、それぞれの条件付き確率Pr(Skin|L)、Pr(Skin|
s)及びPr(Skin|t)は、皮膚及び非皮膚の画素について、
ベイズ理論をオリジナルのトレイニング分布に適用する
ことにより構築される。この方法論の更なる詳細は、上
述した係属中の米国特許出願シリアル番号09/904,306号
に見ることができ、参照により本実施の形態に組込まれ
る。
【００３３】比較において、皮膚の階調に色付けされた
画素の検出のための他の慣習的な方法が存在する。たと
えば、米国特許第4,203,671号（Takahashi）及び米国特
許第5,781,276号（Zahn）では、尤度確率Ｐ(色/皮膚)を
使用している。しかし、この慣習的な確率を使用する１
つの問題点は、非皮膚階調の画素の確率分散が説明され
ないことである。結果的に、誤った検出について高い尤
度が存在する。
画素の検出のための他の慣習的な方法が存在する。たと
えば、米国特許第4,203,671号（Takahashi）及び米国特
許第5,781,276号（Zahn）では、尤度確率Ｐ(色/皮膚)を
使用している。しかし、この慣習的な確率を使用する１
つの問題点は、非皮膚階調の画素の確率分散が説明され
ないことである。結果的に、誤った検出について高い尤
度が存在する。
【００３４】全ての画素についての確率の集合は、入力
画像について皮膚の階調の確率分散を形成する。皮膚の
階調の確率分散は、境界設定され、それぞれの画素が皮
膚の階調又は非皮膚の階調として指定されるように２進
マップが作成される。
画像について皮膚の階調の確率分散を形成する。皮膚の
階調の確率分散は、境界設定され、それぞれの画素が皮
膚の階調又は非皮膚の階調として指定されるように２進
マップが作成される。
【００３５】代替的に、顔の検出アルゴリズムを始めに
使用して、入力されるカラーデジタル画像における人間
の顔の領域を発見することができる。顔を検出する方法
の説明については、Moghaddam及びPentlandによる（“D
etection, recognition andCoding of Complex Objects
Using Probabilistic Eigenspace Analysis”と題され
た）米国特許第5,710,833号を参照されたい。
使用して、入力されるカラーデジタル画像における人間
の顔の領域を発見することができる。顔を検出する方法
の説明については、Moghaddam及びPentlandによる（“D
etection, recognition andCoding of Complex Objects
Using Probabilistic Eigenspace Analysis”と題され
た）米国特許第5,710,833号を参照されたい。
【００３６】図２及び図３には、方法論の例が示されて
いる。ここでは、図２が数人の画像を示し、図３が関連
する信頼マップを示しており、ターゲットマテリアルが
人間の皮膚である。画像の背景１２は、低解像度画像に
おける対応する画素がターゲットマテリアル（人間の皮
膚）である信頼値０を有する画素から構成される。
いる。ここでは、図２が数人の画像を示し、図３が関連
する信頼マップを示しており、ターゲットマテリアルが
人間の皮膚である。画像の背景１２は、低解像度画像に
おける対応する画素がターゲットマテリアル（人間の皮
膚）である信頼値０を有する画素から構成される。
【００３７】マテリアル検出器４が、低解像度画像の全
ての画素がターゲットマテリアルを表す低い確率を有す
る場合、全体の信頼マップは、バックグランド１２とな
る（好適な符号化では全て０）。図３は、非ゼロの信頼
性を有する画素から構成される幾つかの領域を示してい
る。
ての画素がターゲットマテリアルを表す低い確率を有す
る場合、全体の信頼マップは、バックグランド１２とな
る（好適な符号化では全て０）。図３は、非ゼロの信頼
性を有する画素から構成される幾つかの領域を示してい
る。
【００３８】たとえば、領域１６は、低解像度画像にお
ける顔に対応し、たとえば、高い信頼値９５を有する。
領域１４は腕に対応し、信頼値６０を有する。領域１８
は、誤って信頼値４０を有しており、木の枝が人間の素
肌である信頼性を示している。かかる誤った信頼値は、
誤った肯定である。一般に、マテリアル検出器４のよう
な自動的な検出アルゴリズムは、誤った否定と同様に、
領域１８のような誤った肯定を生じる（たとえば、真の
素肌を背景１２として誤って分類する）。
ける顔に対応し、たとえば、高い信頼値９５を有する。
領域１４は腕に対応し、信頼値６０を有する。領域１８
は、誤って信頼値４０を有しており、木の枝が人間の素
肌である信頼性を示している。かかる誤った信頼値は、
誤った肯定である。一般に、マテリアル検出器４のよう
な自動的な検出アルゴリズムは、誤った否定と同様に、
領域１８のような誤った肯定を生じる（たとえば、真の
素肌を背景１２として誤って分類する）。
【００３９】代替的に、ターゲットマテリアルは、自動
化された方法が画像からマテリアルの信頼度を決定する
ために存在する人間の顔、空又は任意の他のマテリアル
のような画像における他のタイプの物体のマテリアルコ
ンテンツとすることができる。人間の顔の検出は、多く
の論文において説明されている。たとえば、B.Heisele,
T.Poggio, M.Pontil等による“Face Detection in Sti
ll Gray Images”MITArtificial Intelligence Lab, Me
mo1687, May2000を参照されたい。
化された方法が画像からマテリアルの信頼度を決定する
ために存在する人間の顔、空又は任意の他のマテリアル
のような画像における他のタイプの物体のマテリアルコ
ンテンツとすることができる。人間の顔の検出は、多く
の論文において説明されている。たとえば、B.Heisele,
T.Poggio, M.Pontil等による“Face Detection in Sti
ll Gray Images”MITArtificial Intelligence Lab, Me
mo1687, May2000を参照されたい。
【００４０】さらに、（“Method for Detecting Sky i
n Images”と題され、J.Luo及びS.Etz等により1999年11
月29日に提出された）係属中の米国特許出願シリアル番
号09/450,190号には、ターゲットマテリアルが青い空で
ある場合の信頼マップの作成が記載されている。
n Images”と題され、J.Luo及びS.Etz等により1999年11
月29日に提出された）係属中の米国特許出願シリアル番
号09/450,190号には、ターゲットマテリアルが青い空で
ある場合の信頼マップの作成が記載されている。
【００４１】信頼マップは、マップアナライザ８に入力
される。マップアナライザ８は、信頼マップを分析し
て、１つ以上の鮮鋭化パラメータとして、画像の鮮鋭化
についての推薦を出力する。鮮鋭化パラメータは、画像
に適用される鮮鋭化のレベル又は強さに直接関連する任
意のパラメータである。
される。マップアナライザ８は、信頼マップを分析し
て、１つ以上の鮮鋭化パラメータとして、画像の鮮鋭化
についての推薦を出力する。鮮鋭化パラメータは、画像
に適用される鮮鋭化のレベル又は強さに直接関連する任
意のパラメータである。
【００４２】好適な実施の形態では、マップアナライザ
８は、信頼マップの分析から導出されるスケールファク
タβを出力する。一般に、鮮鋭化パラメータは、信頼マ
ップの関数である。
８は、信頼マップの分析から導出されるスケールファク
タβを出力する。一般に、鮮鋭化パラメータは、信頼マ
ップの関数である。
【００４３】好適な実施の形態では、スケールファクタ
βは、信頼マップＭ(ｍ,ｎ)の関数であり、以下のよう
に導出されることが好ましい。
βは、信頼マップＭ(ｍ,ｎ)の関数であり、以下のよう
に導出されることが好ましい。
【数１】
ここで、βmaterialは、ターゲットマテリアルの画像に
ついての理想的な鮮鋭化スケールファクタである。β
non-materialは、ターゲットマテリアルを含まない画像
についての理想的な鮮鋭化スケールファクタである。
ついての理想的な鮮鋭化スケールファクタである。β
non-materialは、ターゲットマテリアルを含まない画像
についての理想的な鮮鋭化スケールファクタである。
【００４４】先に説明したように、ターゲットマテリア
ルは、人間の素肌であることが好ましい。したがって、
βmaterialは、素肌を含む画像についての理想的な鮮鋭
化レベルである。一般的な非肌の画像は、肌を含む画像
よりも多くの量により満足される程度に鮮鋭化されるた
めに、好ましくは、βmaterial＝１．５であり、βno
n-material＝５である。
ルは、人間の素肌であることが好ましい。したがって、
βmaterialは、素肌を含む画像についての理想的な鮮鋭
化レベルである。一般的な非肌の画像は、肌を含む画像
よりも多くの量により満足される程度に鮮鋭化されるた
めに、好ましくは、βmaterial＝１．５であり、βno
n-material＝５である。
【００４５】この例では、スケールファクタβは、信頼
マップに含まれる素肌の最大の信頼値に基づいて決定さ
れる。なお、βmaterial，βnon-materialそれ自身は、
画像又は画像システムの特性に関する関数である場合が
ある。たとえば、βmaterial，βnon-materialは、粒子
のために高速フィルムについて減少される。
マップに含まれる素肌の最大の信頼値に基づいて決定さ
れる。なお、βmaterial，βnon-materialそれ自身は、
画像又は画像システムの特性に関する関数である場合が
ある。たとえば、βmaterial，βnon-materialは、粒子
のために高速フィルムについて減少される。
【００４６】代替的に、スケールファクタは、信頼マッ
プの他の特性に基づいて決定される。たとえば、スケー
ルファクタβは、特別な信頼度を有する信頼マップの一
部に基づいて計算される場合がある。たとえばβ＝ｇ
(ｚ)であり、ここで、
プの他の特性に基づいて決定される。たとえば、スケー
ルファクタβは、特別な信頼度を有する信頼マップの一
部に基づいて計算される場合がある。たとえばβ＝ｇ
(ｚ)であり、ここで、
【数２】
であり、ｇ(ｚ)は信頼マップの平均値をスケールファク
タβに変換するために使用される関数である。図４に
は、関数g(ｚ)の例が示される。
タβに変換するために使用される関数である。図４に
は、関数g(ｚ)の例が示される。
【００４７】代替的に、スケールファクタは、信頼マッ
プの他の特性に基づいて決定される場合がある。大きな
素肌の領域は、過度の鮮鋭化処理に対して最も感度が高
いことが観察される。これは、傷等の部分が迅速に明ら
かになるためである。しかし、素肌の領域が小さいと
き、一般に画像は、問題となるアーチファクトの外観な
しに、更に鮮鋭化される。
プの他の特性に基づいて決定される場合がある。大きな
素肌の領域は、過度の鮮鋭化処理に対して最も感度が高
いことが観察される。これは、傷等の部分が迅速に明ら
かになるためである。しかし、素肌の領域が小さいと
き、一般に画像は、問題となるアーチファクトの外観な
しに、更に鮮鋭化される。
【００４８】図３に示されるように、好適なマテリアル
検出器４は、上述した係属中の米国特許出願シリアル番
号09/904,366号に記載されている。ここでは、Dupin及
びLuoは、背景領域１２から一般に構成される信頼マッ
プを回復しており、全ての画素は、画素がターゲットマ
テリアル（人間の素肌）を表す確率が０であると推定さ
れることを示す値０を有している。
検出器４は、上述した係属中の米国特許出願シリアル番
号09/904,366号に記載されている。ここでは、Dupin及
びLuoは、背景領域１２から一般に構成される信頼マッ
プを回復しており、全ての画素は、画素がターゲットマ
テリアル（人間の素肌）を表す確率が０であると推定さ
れることを示す値０を有している。
【００４９】また、幾つかの前景領域１４，１６及び１
８が示されており、信頼マップは定数、それらの領域に
属する全ての画素について画素がターゲットマテリアル
を表す非ゼロの信頼値を示している。画像処理の技術分
野において公知の連結されたコンポーネントアルゴリズ
ムを使用することにより、非ゼロの信頼度を有するそれ
ぞれの信頼領域は、信頼マップから抽出される。
８が示されており、信頼マップは定数、それらの領域に
属する全ての画素について画素がターゲットマテリアル
を表す非ゼロの信頼値を示している。画像処理の技術分
野において公知の連結されたコンポーネントアルゴリズ
ムを使用することにより、非ゼロの信頼度を有するそれ
ぞれの信頼領域は、信頼マップから抽出される。
【００５０】図３に示される例では、領域１６のサイズ
は、領域１８のサイズよりも大きな領域１４のサイズよ
りも大きい。それぞれの信頼領域のサイズは、本明細書
で説明された幾つかの手法のうちの１つを含めて、任意
の数の手法により決定される。
は、領域１８のサイズよりも大きな領域１４のサイズよ
りも大きい。それぞれの信頼領域のサイズは、本明細書
で説明された幾つかの手法のうちの１つを含めて、任意
の数の手法により決定される。
【００５１】たとえば、サイズは、それぞれの信頼領域
に属する画素数をカウントすることにより決定される。
代替的に、（及び好ましくは）サイズは、それぞれの信
頼領域に属する画素数とそれぞれの信頼領域の信頼マッ
プにおける関連する値との積をとることにより決定され
る場合がある。
に属する画素数をカウントすることにより決定される。
代替的に、（及び好ましくは）サイズは、それぞれの信
頼領域に属する画素数とそれぞれの信頼領域の信頼マッ
プにおける関連する値との積をとることにより決定され
る場合がある。
【００５２】鮮鋭化パラメータの値は、信頼領域のサイ
ズの関数である。たとえば、β＝ｈ(ｚ)であり、この場
合、
ズの関数である。たとえば、β＝ｈ(ｚ)であり、この場
合、
【数３】
である。ここで、Ｒiは信頼領域ｉのサイズであり、ｈ
(ｚ)は信頼マップの平均値をスケールファクタβに変換
するために使用される関数である。図５には、関数ｈ
(ｚ)の例が示されている。
(ｚ)は信頼マップの平均値をスケールファクタβに変換
するために使用される関数である。図５には、関数ｈ
(ｚ)の例が示されている。
【００５３】マップアナライザ８により決定される鮮鋭
化パラメータβは、シャープナー１０に入力される。本
発明の実施の形態では、鮮鋭化パラメータはスケーリン
グファクタβであるが、マップアナライザ８の機能は、
かかる制限がなく、他の鮮鋭化に関連した決定は、当業
者には明らかである。たとえば、シャープナー１０によ
り実行される鮮鋭化の畳み込みにおいて使用されるフィ
ルタは、信頼マップの分析に基づいてマップアナライザ
８により決定することができる。
化パラメータβは、シャープナー１０に入力される。本
発明の実施の形態では、鮮鋭化パラメータはスケーリン
グファクタβであるが、マップアナライザ８の機能は、
かかる制限がなく、他の鮮鋭化に関連した決定は、当業
者には明らかである。たとえば、シャープナー１０によ
り実行される鮮鋭化の畳み込みにおいて使用されるフィ
ルタは、信頼マップの分析に基づいてマップアナライザ
８により決定することができる。
【００５４】シャープナー１０は、鮮鋭化パラメータを
入力し、鮮鋭化パラメータを利用して、画像に鮮鋭化ア
ルゴリズムを適用する。これにより、問題となる鮮鋭度
のアーチファクトなしに、改善された鮮鋭度を有する強
調された出力画像が生成される。好適な実施の形態で
は、シャープナー１０は、強調された画像を生成するた
めに決定された値βを使用して、アンシャープマスキン
グアルゴリズムを画像に適用する。
入力し、鮮鋭化パラメータを利用して、画像に鮮鋭化ア
ルゴリズムを適用する。これにより、問題となる鮮鋭度
のアーチファクトなしに、改善された鮮鋭度を有する強
調された出力画像が生成される。好適な実施の形態で
は、シャープナー１０は、強調された画像を生成するた
めに決定された値βを使用して、アンシャープマスキン
グアルゴリズムを画像に適用する。
【００５５】たとえば、本発明に従う画像の鮮鋭化は、
先に説明したアンシャープマスク処理による式におい
て、目下説明されている鮮鋭化パラメータβの使用によ
り実行することができる。 ｓ(ｘ,ｙ)＝ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)＋βｆ(ｉ(ｘ,ｙ)−
ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)) ここで、ｓ(ｘ,ｙ)は強調された鮮鋭度により出力画像
である。ｉ(ｘ,ｙ)は入力された原画像である。ｂ(ｘ,
ｙ)は低域通過フィルタである。ｆ( )はフリンジ関数で
ある。**は２次元の畳み込みである。(ｘ,ｙ)は画像の
ｘ番目の行及びｙ番目の列である。βはマップアナライ
ザ８により決定されるスケールファクタである。
先に説明したアンシャープマスク処理による式におい
て、目下説明されている鮮鋭化パラメータβの使用によ
り実行することができる。 ｓ(ｘ,ｙ)＝ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)＋βｆ(ｉ(ｘ,ｙ)−
ｉ(ｘ,ｙ)**ｂ(ｘ,ｙ)) ここで、ｓ(ｘ,ｙ)は強調された鮮鋭度により出力画像
である。ｉ(ｘ,ｙ)は入力された原画像である。ｂ(ｘ,
ｙ)は低域通過フィルタである。ｆ( )はフリンジ関数で
ある。**は２次元の畳み込みである。(ｘ,ｙ)は画像の
ｘ番目の行及びｙ番目の列である。βはマップアナライ
ザ８により決定されるスケールファクタである。
【００５６】当業者であれば、（式（１）により与えら
れるような）アンシャープマスク処理を複数のチャネル
を有するカラー画像に適用することができる幾つかの方
法が存在することを認識されるであろう。たとえば、ア
ンシャープマスク処理は、カラー画像のそれぞれのチャ
ネルに適用することができる。好ましくは、アンシャー
プマスク処理は、一般に当該技術分野に知られているよ
うな、以下のやり方で適用される。
れるような）アンシャープマスク処理を複数のチャネル
を有するカラー画像に適用することができる幾つかの方
法が存在することを認識されるであろう。たとえば、ア
ンシャープマスク処理は、カラー画像のそれぞれのチャ
ネルに適用することができる。好ましくは、アンシャー
プマスク処理は、一般に当該技術分野に知られているよ
うな、以下のやり方で適用される。
【００５７】入力画像は、赤、緑及び青色のチャネルか
ら構成されるカラー画像であると仮定すると、はじめ
に、行列が画像に適用され、輝度チャネル及び２つ以上
の色差チャネルが生成される。つぎに、アンシャープマ
スク処理が輝度チャネルに適用される。最後に、逆行列
が幾つかのチャネルに適用され、強調されたカラー画像
が生成される。
ら構成されるカラー画像であると仮定すると、はじめ
に、行列が画像に適用され、輝度チャネル及び２つ以上
の色差チャネルが生成される。つぎに、アンシャープマ
スク処理が輝度チャネルに適用される。最後に、逆行列
が幾つかのチャネルに適用され、強調されたカラー画像
が生成される。
【００５８】さらに、アンシャープマスク処理は、１つ
のみの画像チャネル（たとえば、緑チャネル）に適用さ
れる場合があり、修正されたフリンジデータは、それぞ
れの色チャネルと加算され、強調されたカラー画像が生
成される。アンシャープマスク処理へのこれら及び他の
類似の修正及び強調は、当業者により良好に理解され
る。その使用の特殊性は、シフト不変の鮮鋭化のための
鮮鋭化パラメータの方法に基本的に関連しないので、そ
の特定の用途は、本発明を限定するものではない。
のみの画像チャネル（たとえば、緑チャネル）に適用さ
れる場合があり、修正されたフリンジデータは、それぞ
れの色チャネルと加算され、強調されたカラー画像が生
成される。アンシャープマスク処理へのこれら及び他の
類似の修正及び強調は、当業者により良好に理解され
る。その使用の特殊性は、シフト不変の鮮鋭化のための
鮮鋭化パラメータの方法に基本的に関連しないので、そ
の特定の用途は、本発明を限定するものではない。
【００５９】また、当業者であれば、式（１）及び本発
明は、アンシャープマスクにより実行されるものとして
画像に適用される鮮鋭化を一般的に説明しているが、必
ずしもこれに限らない。式（１）のフリンジ関数ｆ( )
が同じであると仮定すると、アンシャープマスク処理
は、畳み込みで画像に適用することができる１つのフィ
ルタとして常に再構成することができ、アンシャープマ
スクと同じ結果を得ることができる。たとえば、フィル
タ係数ｂ(ｘ,ｙ)が以下に与えられるものとする。
明は、アンシャープマスクにより実行されるものとして
画像に適用される鮮鋭化を一般的に説明しているが、必
ずしもこれに限らない。式（１）のフリンジ関数ｆ( )
が同じであると仮定すると、アンシャープマスク処理
は、畳み込みで画像に適用することができる１つのフィ
ルタとして常に再構成することができ、アンシャープマ
スクと同じ結果を得ることができる。たとえば、フィル
タ係数ｂ(ｘ,ｙ)が以下に与えられるものとする。
【数４】
以下で与えられる係数を有する畳み込みによるフィルタ
ｃ(ｘ,ｙ)の適用は、式（１）のアンシャープマスクに
おけるフィルタｂ(ｘ,ｙ)と比較して同じ結果を得るこ
とができる。
ｃ(ｘ,ｙ)の適用は、式（１）のアンシャープマスクに
おけるフィルタｂ(ｘ,ｙ)と比較して同じ結果を得るこ
とができる。
【数５】
このようにシャープナー１０における演算のグループ化
による好適な実施の形態に対するかかる修正は、代数で
知られている手法により決定することができ、デジタル
信号処理は当業者にとって明らかであり、本発明の範囲
に含まれる。
による好適な実施の形態に対するかかる修正は、代数で
知られている手法により決定することができ、デジタル
信号処理は当業者にとって明らかであり、本発明の範囲
に含まれる。
【００６０】図６には、本発明の代替的な実施の形態が
示されている。この実施の形態では、フィルタ２０は、
マップアナライザ８により決定されるパラメータに従い
適用される。フィルタは、マップアナライザ８から出力
されるフィルタパラメータに従い、画素にわたって一様
に適用される。
示されている。この実施の形態では、フィルタ２０は、
マップアナライザ８により決定されるパラメータに従い
適用される。フィルタは、マップアナライザ８から出力
されるフィルタパラメータに従い、画素にわたって一様
に適用される。
【００６１】この実施の形態では、画像の特性は、鮮鋭
ではなく、フィルタは、鮮鋭化フィルタではない、むし
ろ、画像の特性は、別のタイプの改善に関連されてお
り、フィルタは、別のタイプのフィルタである。たとえ
ば、画像特性は雑音であり、フィルタは、雑音低減フィ
ルタである。たとえば、Jong-Sen Leeは、論文“Digita
l Image Smoothing and the Sigma Filter” Computer
Vision, Graphics, andImage Processing, 24, 255-26
9, 1983でシグマフィルタを説明している。
ではなく、フィルタは、鮮鋭化フィルタではない、むし
ろ、画像の特性は、別のタイプの改善に関連されてお
り、フィルタは、別のタイプのフィルタである。たとえ
ば、画像特性は雑音であり、フィルタは、雑音低減フィ
ルタである。たとえば、Jong-Sen Leeは、論文“Digita
l Image Smoothing and the Sigma Filter” Computer
Vision, Graphics, andImage Processing, 24, 255-26
9, 1983でシグマフィルタを説明している。
【００６２】このシグマフィルタは、近傍の中央の画素
を中央の画素からの強度であるΔコード内の全ての画素
で置き換える。パラメータΔは、パラメータβが決定さ
れるやり方と類似のやり方でマップアナライザ８により
選択される。分析されるマテリアルコンテンツは、鮮鋭
度について分析されるのと同じであるか、又は雑音に対
して特に感度が高い幾つかの他のマテリアルコンテンツ
である場合がある。
を中央の画素からの強度であるΔコード内の全ての画素
で置き換える。パラメータΔは、パラメータβが決定さ
れるやり方と類似のやり方でマップアナライザ８により
選択される。分析されるマテリアルコンテンツは、鮮鋭
度について分析されるのと同じであるか、又は雑音に対
して特に感度が高い幾つかの他のマテリアルコンテンツ
である場合がある。
【００６３】たとえば、ターゲットとなるマテリアルコ
ンテンツが植物である場合、マップアナライザ８は、高
い信頼値を有する領域を含む画像について小さな値のΔ
を出力し、高い信頼性による領域を有さない画像につい
て大きな値のΔを出力する。
ンテンツが植物である場合、マップアナライザ８は、高
い信頼値を有する領域を含む画像について小さな値のΔ
を出力し、高い信頼性による領域を有さない画像につい
て大きな値のΔを出力する。
【図面の簡単な説明】
【図１】本発明の第１実施の形態による画像を改善する
ための技法を説明するブロック図である。
ための技法を説明するブロック図である。
【図２】図１に示される画像を改善する技法に従い処理
されるタイプの画像の例を示す図である。
されるタイプの画像の例を示す図である。
【図３】ターゲットマテリアルが人間の素肌であるとき
の、図２に示される画像について、図１に示される画像
を改善する技法により生成される信頼マップの例を示す
図である。
の、図２に示される画像について、図１に示される画像
を改善する技法により生成される信頼マップの例を示す
図である。
【図４】図１に示される画像を改善する技法のためのス
ケールファクタβを決定するために使用される関数ｇ
(ｚ)を表す図である。
ケールファクタβを決定するために使用される関数ｇ
(ｚ)を表す図である。
【図５】図１に示される画像を改善する技法のためのス
ケールファクタβを決定するために使用される別の関数
ｈ(ｚ)を表す図である。
ケールファクタβを決定するために使用される別の関数
ｈ(ｚ)を表す図である。
【図６】本発明の第２実施の形態による画像を改善する
ための技法を説明するブロック図である。
ための技法を説明するブロック図である。
２：画像サブサンプラ
４：マテリアル検出器
８：マップアナライザ
１０：シャープナー
１２：背景領域
１４，１６：信頼領域
１８：誤って肯定となった信頼領域
２０：フィルタ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 ウォルター イー ブルース
アメリカ合衆国 ニューヨーク 14605
ロチェスター ウィンザー・ストリート
28
Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01
CB08 CB12 CB16 CC01 CE03
CE06 CE16 CH08
5C077 LL02 LL08 LL09 MP08 PP02
PP03 PP47 PP48 PQ12
Claims (4)
- 【請求項１】 マテリアルコンテンツに従い画像の特性
を改善する方法であって、 画素からなる画像を提供するステップと、 それぞれの画素が特定のマテリアルを表現する尤度を示
す信頼値を含む信頼マップを、前記画素に空間的に対応
して生成するステップと、 前記信頼値に比例し、前記画素に一様に適用される改善
パラメータを、前記信頼マップの前記信頼値から生成す
るステップと、 前記画像の特性を改善するために、前記改善パラメータ
を使用するステップと、を備えることを特徴とする方
法。 - 【請求項２】 前記特性は鮮鋭度であり、前記改善パラ
メータは鮮鋭化パラメータである、ことを特徴とする請
求項１記載の方法。 - 【請求項３】 前記改善パラメータを使用するステップ
は、アンシャープマスク処理で鮮鋭化を実行するステッ
プを備える、ことを特徴とする請求項２記載の方法。 - 【請求項４】 前記特性は雑音であり、前記改善パラメ
ータは雑音パラメータである、ことを特徴とする請求項
１記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/020,031 US7050636B2 (en) | 2001-12-07 | 2001-12-07 | Method and system for improving an image characteristic based on image content |
| US020031 | 2001-12-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003196653A true JP2003196653A (ja) | 2003-07-11 |
| JP4498671B2 JP4498671B2 (ja) | 2010-07-07 |
Family
ID=21796353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002339710A Expired - Fee Related JP4498671B2 (ja) | 2001-12-07 | 2002-11-22 | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7050636B2 (ja) |
| EP (1) | EP1324265B1 (ja) |
| JP (1) | JP4498671B2 (ja) |
| DE (1) | DE60235292D1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165684A (ja) * | 2003-12-02 | 2005-06-23 | Canon Inc | 画像処理方法および装置 |
| JP2006215785A (ja) * | 2005-02-03 | 2006-08-17 | Ricoh Co Ltd | 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体 |
| US7853094B2 (en) | 2006-01-24 | 2010-12-14 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
| US8395577B2 (en) | 2004-05-04 | 2013-03-12 | Sharp Laboratories Of America, Inc. | Liquid crystal display with illumination control |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7064740B2 (en) * | 2001-11-09 | 2006-06-20 | Sharp Laboratories Of America, Inc. | Backlit display with improved dynamic range |
| US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
| EP1482724B1 (fr) * | 2003-05-19 | 2007-07-11 | STMicroelectronics S.A. | Méthode de traitement d'images numériques avec correction d'exposition par reconnaissance de zones appartenant à la peau du sujet photographié |
| US7035439B2 (en) * | 2003-07-30 | 2006-04-25 | Xerox Corporation | System and method for measuring and quantizing document quality |
| JP2005141477A (ja) * | 2003-11-06 | 2005-06-02 | Noritsu Koki Co Ltd | 画像鮮鋭化処理方法とこの方法を実施する画像処理装置 |
| WO2005052673A2 (en) * | 2003-11-21 | 2005-06-09 | Sharp Laboratories Of America, Inc. | Liquid crystal display with adaptive color |
| US7872631B2 (en) | 2004-05-04 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Liquid crystal display with temporal black point |
| US7777714B2 (en) | 2004-05-04 | 2010-08-17 | Sharp Laboratories Of America, Inc. | Liquid crystal display with adaptive width |
| US7602369B2 (en) | 2004-05-04 | 2009-10-13 | Sharp Laboratories Of America, Inc. | Liquid crystal display with colored backlight |
| CN101685536B (zh) * | 2004-06-09 | 2011-11-30 | 松下电器产业株式会社 | 图象处理方法 |
| KR100618849B1 (ko) * | 2004-07-22 | 2006-09-01 | 삼성전자주식회사 | 영상에서의 블록킹 현상 필터링 장치 및 방법 |
| KR100565209B1 (ko) * | 2004-08-11 | 2006-03-30 | 엘지전자 주식회사 | 인간 시각 시스템에 기초한 영상 선명도 개선 장치 및 방법 |
| US7898519B2 (en) | 2005-02-17 | 2011-03-01 | Sharp Laboratories Of America, Inc. | Method for overdriving a backlit display |
| US8050512B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
| US8050511B2 (en) | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
| US7473745B2 (en) * | 2005-09-02 | 2009-01-06 | Equistar Chemicals, Lp | Preparation of multimodal polyethylene |
| US8121401B2 (en) * | 2006-01-24 | 2012-02-21 | Sharp Labortories of America, Inc. | Method for reducing enhancement of artifacts and noise in image color enhancement |
| US8941580B2 (en) | 2006-11-30 | 2015-01-27 | Sharp Laboratories Of America, Inc. | Liquid crystal display with area adaptive backlight |
| US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
| US7933454B2 (en) * | 2007-06-25 | 2011-04-26 | Xerox Corporation | Class-based image enhancement system |
| JP5349790B2 (ja) * | 2007-11-16 | 2013-11-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US8295557B2 (en) * | 2009-01-12 | 2012-10-23 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
| CN111127307A (zh) * | 2019-12-09 | 2020-05-08 | 上海传英信息技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11488285B2 (en) * | 2020-04-13 | 2022-11-01 | Apple Inc. | Content based image processing |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138470A (ja) * | 1995-11-14 | 1997-05-27 | Fuji Photo Film Co Ltd | 画像の主要部判定方法及び複写条件決定方法 |
| JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
| JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
| JP2000149018A (ja) * | 1998-09-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
| JP2000196901A (ja) * | 1998-12-24 | 2000-07-14 | Dainippon Screen Mfg Co Ltd | 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
| JP2001119575A (ja) * | 1999-10-15 | 2001-04-27 | Ricoh Co Ltd | 画像処理装置 |
| JP2001218015A (ja) * | 2000-01-31 | 2001-08-10 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52156624A (en) * | 1976-06-22 | 1977-12-27 | Fuji Photo Film Co Ltd | Detection of skin color of color film |
| US5781276A (en) * | 1992-07-27 | 1998-07-14 | Agfa-Gevaert Ag | Printing of color film |
| DE69428148T2 (de) * | 1993-03-24 | 2002-05-29 | Fujifilm Electronic Imaging | Farbabänderung von Bildern |
| US5889578A (en) * | 1993-10-26 | 1999-03-30 | Eastman Kodak Company | Method and apparatus for using film scanning information to determine the type and category of an image |
| US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
| US6453069B1 (en) * | 1996-11-20 | 2002-09-17 | Canon Kabushiki Kaisha | Method of extracting image from input image using reference image |
| US5867606A (en) * | 1997-08-12 | 1999-02-02 | Hewlett-Packard Company | Apparatus and method for determining the appropriate amount of sharpening for an image |
| US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
| US6707940B1 (en) * | 2000-03-31 | 2004-03-16 | Intel Corporation | Method and apparatus for image segmentation |
| US6738494B1 (en) * | 2000-06-23 | 2004-05-18 | Eastman Kodak Company | Method for varying an image processing path based on image emphasis and appeal |
| US6731821B1 (en) * | 2000-09-29 | 2004-05-04 | Hewlett-Packard Development Company, L.P. | Method for enhancing compressibility and visual quality of scanned document images |
| US7092573B2 (en) * | 2001-12-10 | 2006-08-15 | Eastman Kodak Company | Method and system for selectively applying enhancement to an image |
| US6891977B2 (en) * | 2002-02-27 | 2005-05-10 | Eastman Kodak Company | Method for sharpening a digital image without amplifying noise |
-
2001
- 2001-12-07 US US10/020,031 patent/US7050636B2/en not_active Expired - Lifetime
-
2002
- 2002-11-22 JP JP2002339710A patent/JP4498671B2/ja not_active Expired - Fee Related
- 2002-11-25 EP EP02079890A patent/EP1324265B1/en not_active Expired - Fee Related
- 2002-11-25 DE DE60235292T patent/DE60235292D1/de not_active Expired - Lifetime
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138470A (ja) * | 1995-11-14 | 1997-05-27 | Fuji Photo Film Co Ltd | 画像の主要部判定方法及び複写条件決定方法 |
| JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
| JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
| JP2000149018A (ja) * | 1998-09-10 | 2000-05-30 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
| JP2000196901A (ja) * | 1998-12-24 | 2000-07-14 | Dainippon Screen Mfg Co Ltd | 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
| JP2001119575A (ja) * | 1999-10-15 | 2001-04-27 | Ricoh Co Ltd | 画像処理装置 |
| JP2001218015A (ja) * | 2000-01-31 | 2001-08-10 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165684A (ja) * | 2003-12-02 | 2005-06-23 | Canon Inc | 画像処理方法および装置 |
| JP4659354B2 (ja) * | 2003-12-02 | 2011-03-30 | キヤノン株式会社 | 画像処理方法および装置 |
| US8395577B2 (en) | 2004-05-04 | 2013-03-12 | Sharp Laboratories Of America, Inc. | Liquid crystal display with illumination control |
| JP2006215785A (ja) * | 2005-02-03 | 2006-08-17 | Ricoh Co Ltd | 画像処理方法、画像処理装置、画像処理プログラム、および、記録媒体 |
| US7853094B2 (en) | 2006-01-24 | 2010-12-14 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
| US9143657B2 (en) | 2006-01-24 | 2015-09-22 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4498671B2 (ja) | 2010-07-07 |
| EP1324265B1 (en) | 2010-02-10 |
| DE60235292D1 (de) | 2010-03-25 |
| US20030108245A1 (en) | 2003-06-12 |
| EP1324265A2 (en) | 2003-07-02 |
| EP1324265A3 (en) | 2006-08-16 |
| US7050636B2 (en) | 2006-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4498671B2 (ja) | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム | |
| US10339643B2 (en) | Algorithm and device for image processing | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| JP4460839B2 (ja) | デジタル画像鮮鋭化装置 | |
| EP1318475B1 (en) | A method and system for selectively applying enhancement to an image | |
| US6807300B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
| JP3775782B2 (ja) | ディジタル画像中の肌色を検出する方法 | |
| EP1347415B1 (en) | Method for sharpening a digital image without amplifying noise | |
| JP2001005960A (ja) | 画像処理方法および装置 | |
| JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| US6323855B1 (en) | Sharpening edge features in digital image providing high frequency edge enhancement | |
| Wu et al. | Reflectance-guided, contrast-accumulated histogram equalization | |
| Goel | The implementation of image enhancement techniques using Matlab | |
| Sonawane et al. | Adaptive rule-based colour component weight assignment strategy for underwater video enhancement | |
| JP4445026B2 (ja) | 画像処理方法および装置並びにプログラム | |
| Jin et al. | Color Correction and Local Contrast Enhancement for Underwater Image Enhancement | |
| Jiji et al. | Hybrid technique for enhancing underwater image in blurry conditions | |
| Kojima et al. | Fast and Effective Scene Segmentation Method for Luminance Adjustment of Multi-Exposure Image | |
| Akai et al. | Low-Artifact and Fast Backlit Image Enhancement Method Based on Suppression of Lightness Order Error | |
| Pardhi et al. | Contrast Enhancement Using Adaptive Threshold Based Dynamic Range Adjustment In Luv Colour Space | |
| Supraja et al. | LIME: Low-Light Image Enhancement via Illumination Map Estimation | |
| Stange | Gradient Based Histogram Equalization of Thermal Infrared Images | |
| Shanmugavadivu et al. | Thin cloud removal for satellite images using normalized intensity mapping | |
| AU727553B2 (en) | Improvements in Image Filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080819 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090223 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100113 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100414 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |