JP2003274218A - 鮮鋭度向上方法及び鮮鋭度向上装置 - Google Patents
鮮鋭度向上方法及び鮮鋭度向上装置Info
- Publication number
- JP2003274218A JP2003274218A JP2003044170A JP2003044170A JP2003274218A JP 2003274218 A JP2003274218 A JP 2003274218A JP 2003044170 A JP2003044170 A JP 2003044170A JP 2003044170 A JP2003044170 A JP 2003044170A JP 2003274218 A JP2003274218 A JP 2003274218A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- edge
- texture
- sharpness
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 効率的且つ柔軟にピクチャの鮮鋭度を向上さ
せる。 【解決手段】 ピクチャをステップ／エッジ強調アルゴ
リズムに基づいて処理してステップ／エッジ強調ピクチ
ャを生成し、ピクチャをテクスチャ強調アルゴリズムに
基づいて処理してテクスチャ強調ピクチャを生成し、ス
テップ／エッジ強調ピクチャとテクスチャ強調ピクチャ
とを混合して、鮮鋭度が強調されたピクチャを含むビデ
オ信号を生成する。ステップ／エッジ強調ピクチャを生
成する処理及びテクスチャ強調ピクチャを生成する処理
は、ピクチャに関連する動き情報に基づいて実行され
る。
せる。 【解決手段】 ピクチャをステップ／エッジ強調アルゴ
リズムに基づいて処理してステップ／エッジ強調ピクチ
ャを生成し、ピクチャをテクスチャ強調アルゴリズムに
基づいて処理してテクスチャ強調ピクチャを生成し、ス
テップ／エッジ強調ピクチャとテクスチャ強調ピクチャ
とを混合して、鮮鋭度が強調されたピクチャを含むビデ
オ信号を生成する。ステップ／エッジ強調ピクチャを生
成する処理及びテクスチャ強調ピクチャを生成する処理
は、ピクチャに関連する動き情報に基づいて実行され
る。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオ信号に含ま
れているピクチャの鮮鋭度（sharpness）を向上させる
鮮鋭度向上方法及び鮮鋭度向上装置に関する。
れているピクチャの鮮鋭度（sharpness）を向上させる
鮮鋭度向上方法及び鮮鋭度向上装置に関する。
【０００２】
【従来の技術】近年、テレビジョン受像機等の表示装置
に画像処理アルゴリズムを組み込む技術が一般的になっ
ている。また、演算リソースの著しい増加に伴い、非常
に複雑な画像処理アルゴリズムを実行することも可能に
なってきている。このような画像処理アルゴリズムによ
り、画質の鮮鋭度が向上している。
に画像処理アルゴリズムを組み込む技術が一般的になっ
ている。また、演算リソースの著しい増加に伴い、非常
に複雑な画像処理アルゴリズムを実行することも可能に
なってきている。このような画像処理アルゴリズムによ
り、画質の鮮鋭度が向上している。
【０００３】
【発明が解決しようとする課題】画像処理に関する重要
な尺度は、鮮鋭度（sharpness）／明瞭度（clearness）
の向上である。特にビデオ信号（テレビジョン信号）の
質を向上させるために、この尺度に関する様々な研究が
なされている。鮮鋭度／明瞭度を向上させる手法は、動
きを含むビデオ信号と動きを含まないビデオ信号とで異
なるため、これらの信号内の動きの変化に応じて振る舞
いを適応化するアルゴリズムが開発されている。例え
ば、欧州特許出願ＥＰ０１６４２０３Ａ２号には、ビデ
オ信号内の動きを考慮して垂直方向の細部を強調する手
法が開示されている。ここでは、映像のシーンにおいて
動きがない場合、垂直方向の細部が輝度を表す信号に加
算及び減算され、第１及び第２の強調輝度信号（enhanc
ed luminance signal）が生成される。
な尺度は、鮮鋭度（sharpness）／明瞭度（clearness）
の向上である。特にビデオ信号（テレビジョン信号）の
質を向上させるために、この尺度に関する様々な研究が
なされている。鮮鋭度／明瞭度を向上させる手法は、動
きを含むビデオ信号と動きを含まないビデオ信号とで異
なるため、これらの信号内の動きの変化に応じて振る舞
いを適応化するアルゴリズムが開発されている。例え
ば、欧州特許出願ＥＰ０１６４２０３Ａ２号には、ビデ
オ信号内の動きを考慮して垂直方向の細部を強調する手
法が開示されている。ここでは、映像のシーンにおいて
動きがない場合、垂直方向の細部が輝度を表す信号に加
算及び減算され、第１及び第２の強調輝度信号（enhanc
ed luminance signal）が生成される。
【０００４】本発明の目的は、画像の鮮鋭度をより向上
させるとともに、高い柔軟性を有する鮮鋭度向上方法及
び鮮鋭度向上装置を提供することである。
させるとともに、高い柔軟性を有する鮮鋭度向上方法及
び鮮鋭度向上装置を提供することである。
【０００５】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る鮮鋭度向上方法は、ビデオ信号に含
まれるピクチャの鮮鋭度を向上させる鮮鋭度向上方法に
おいて、（ａ）ピクチャをステップ／エッジ強調アルゴ
リズムに基づいて処理してステップ／エッジ強調ピクチ
ャを生成するステップと、（ｂ）ピクチャをテクスチャ
強調アルゴリズムに基づいて処理してテクスチャ強調ピ
クチャを生成するステップと、（ｃ）ステップ／エッジ
強調ピクチャとテクスチャ強調ピクチャとを混合して鮮
鋭度が強調されたピクチャを含むビデオ信号を生成する
ステップとを有する。ステップ（ａ）及びステップ
（ｂ）は、ピクチャに関連する動き情報に基づいて実行
される。
めに、本発明に係る鮮鋭度向上方法は、ビデオ信号に含
まれるピクチャの鮮鋭度を向上させる鮮鋭度向上方法に
おいて、（ａ）ピクチャをステップ／エッジ強調アルゴ
リズムに基づいて処理してステップ／エッジ強調ピクチ
ャを生成するステップと、（ｂ）ピクチャをテクスチャ
強調アルゴリズムに基づいて処理してテクスチャ強調ピ
クチャを生成するステップと、（ｃ）ステップ／エッジ
強調ピクチャとテクスチャ強調ピクチャとを混合して鮮
鋭度が強調されたピクチャを含むビデオ信号を生成する
ステップとを有する。ステップ（ａ）及びステップ
（ｂ）は、ピクチャに関連する動き情報に基づいて実行
される。
【０００６】換言すれば、処理すべきピクチャの「スト
リーム」（ビデオ信号内に含まれる）は、２つの同一の
ピクチャストリームとして複製され、一方の複製ピクチ
ャストリームは、ステップ／エッジ強調アルゴリズムに
基づいて処理され、他方の複製ピクチャストリームは、
テクスチャ強調アルゴリズムに基づいて処理される。こ
れらの処理は、好ましくは同時に実行される。ステップ
／エッジ強調アルゴリズムは、好ましくは非線形演算を
含み、非線形演算は、特に、ピクチャの特定の部分／プ
ロパティの強調に適している。ステップ／エッジ強調ア
ルゴリズムは、例えば、家の屋根からその上空の青空へ
の遷移を向上させる場合等に最適である。このような遷
移部分の画質は、「通常の」鮮鋭度強調アルゴリズムを
用いた場合は、十分に向上しない。ステップ／エッジ強
調アルゴリズムによる処理が適しているこの他のピクチ
ャの部分としては、例えば窓の境界、顔の中の眼、通常
のピクチャに重ねられた人工的なグラフィクス（例えば
文字）等がある。一般的に、このアルゴリズムは、標準
的な高周波増幅の場合にエッジに生じる「オーバーシュ
ート（overshoot）」と呼ばれる現象を避けるために使
用される。このアルゴリズムの基本的な原理は、オーバ
ーシュートを予測し、例えばリミッタ等の非線形回路を
用いて、このオーバーシュートを適切に取り除くもので
ある。
リーム」（ビデオ信号内に含まれる）は、２つの同一の
ピクチャストリームとして複製され、一方の複製ピクチ
ャストリームは、ステップ／エッジ強調アルゴリズムに
基づいて処理され、他方の複製ピクチャストリームは、
テクスチャ強調アルゴリズムに基づいて処理される。こ
れらの処理は、好ましくは同時に実行される。ステップ
／エッジ強調アルゴリズムは、好ましくは非線形演算を
含み、非線形演算は、特に、ピクチャの特定の部分／プ
ロパティの強調に適している。ステップ／エッジ強調ア
ルゴリズムは、例えば、家の屋根からその上空の青空へ
の遷移を向上させる場合等に最適である。このような遷
移部分の画質は、「通常の」鮮鋭度強調アルゴリズムを
用いた場合は、十分に向上しない。ステップ／エッジ強
調アルゴリズムによる処理が適しているこの他のピクチ
ャの部分としては、例えば窓の境界、顔の中の眼、通常
のピクチャに重ねられた人工的なグラフィクス（例えば
文字）等がある。一般的に、このアルゴリズムは、標準
的な高周波増幅の場合にエッジに生じる「オーバーシュ
ート（overshoot）」と呼ばれる現象を避けるために使
用される。このアルゴリズムの基本的な原理は、オーバ
ーシュートを予測し、例えばリミッタ等の非線形回路を
用いて、このオーバーシュートを適切に取り除くもので
ある。
【０００７】一方、テクスチャ強調アルゴリズムは、ピ
クチャ全体の鮮鋭度を強調するのに適したハイパスフィ
ルタリング演算及び／又は２次導関数演算を実行する。
この処理は、例えば、マトリックスカーネルを用いた１
次元又は２次元フィルタリング演算、行及び列に対する
分離可能な１次元又は２次元フィルタリング演算、又は
対角方向の分離可能な１次元又は２次元フィルタリング
演算を実行するフィルタにより実現される。テクスチャ
強調アルゴリズムに適して処理されるピクチャ構造又は
ピクチャ部分の具体例としては、ガラス、水、木、髪等
がある。ステップ／エッジ強調アルゴリズムとテクスチ
ャ強調アルゴリズムの主な違いは、テクスチャ強調アル
ゴリズムによって処理すべきピクチャ領域は、規則的な
構造（regular structure）を有しておらず、したがっ
て明らかなオーバーシュートが現れないため、テクスチ
ャ強調アルゴリズムではオーバーシュートを除去しない
という点である。好ましい具体例においては、ステップ
／エッジ強調アルゴリズムとテクスチャ強調アルゴリズ
ムは、ステップ／エッジ強調アルゴリズムにオーバーシ
ュートを避けるための非線形処理が付加されている点を
除いて、同一のものである。
クチャ全体の鮮鋭度を強調するのに適したハイパスフィ
ルタリング演算及び／又は２次導関数演算を実行する。
この処理は、例えば、マトリックスカーネルを用いた１
次元又は２次元フィルタリング演算、行及び列に対する
分離可能な１次元又は２次元フィルタリング演算、又は
対角方向の分離可能な１次元又は２次元フィルタリング
演算を実行するフィルタにより実現される。テクスチャ
強調アルゴリズムに適して処理されるピクチャ構造又は
ピクチャ部分の具体例としては、ガラス、水、木、髪等
がある。ステップ／エッジ強調アルゴリズムとテクスチ
ャ強調アルゴリズムの主な違いは、テクスチャ強調アル
ゴリズムによって処理すべきピクチャ領域は、規則的な
構造（regular structure）を有しておらず、したがっ
て明らかなオーバーシュートが現れないため、テクスチ
ャ強調アルゴリズムではオーバーシュートを除去しない
という点である。好ましい具体例においては、ステップ
／エッジ強調アルゴリズムとテクスチャ強調アルゴリズ
ムは、ステップ／エッジ強調アルゴリズムにオーバーシ
ュートを避けるための非線形処理が付加されている点を
除いて、同一のものである。
【０００８】処理された２つのピクチャストリームは、
一方のピクチャストリーム内の各ピクチャと、他方のピ
クチャストリーム内の対応するピクチャとを混合するこ
とにより、混合される。混合されたピクチャストリーム
は、鮮鋭度が向上されたピクチャを含むビデオ信号とな
る。
一方のピクチャストリーム内の各ピクチャと、他方のピ
クチャストリーム内の対応するピクチャとを混合するこ
とにより、混合される。混合されたピクチャストリーム
は、鮮鋭度が向上されたピクチャを含むビデオ信号とな
る。
【０００９】上述のような２つの異なるアルゴリズムを
組み合わせることにより、良好な鮮鋭度を得ることがで
きる。本発明では、更に、ピクチャ内の動きを考慮して
いるので、動きを含むピクチャと動きを含まないピクチ
ャの両方について、良好な鮮鋭度を得ることができる。
２つの異なるアルゴリズムの組合せ及び動きの検出によ
り、効率的で柔軟なピクチャの鮮鋭度向上方法が実現さ
れる。
組み合わせることにより、良好な鮮鋭度を得ることがで
きる。本発明では、更に、ピクチャ内の動きを考慮して
いるので、動きを含むピクチャと動きを含まないピクチ
ャの両方について、良好な鮮鋭度を得ることができる。
２つの異なるアルゴリズムの組合せ及び動きの検出によ
り、効率的で柔軟なピクチャの鮮鋭度向上方法が実現さ
れる。
【００１０】好ましい具体例においては、各ピクチャス
トリームは、対応する強調アルゴリズムを実行する前に
複製される。この結果、各強調アルゴリズムは、２つの
ピクチャストリームを処理する。
トリームは、対応する強調アルゴリズムを実行する前に
複製される。この結果、各強調アルゴリズムは、２つの
ピクチャストリームを処理する。
【００１１】本発明に基づくステップ／エッジ強調アル
ゴリズムは、好ましくは以下のような２つの異なる処理
を行う。第１の処理（第１のピクチャストリーム）で
は、現在処理中のピクチャの情報のみを用いてピクチャ
を処理して第１のステップ／エッジ強調ピクチャを生成
する。第２の処理（第２のピクチャストリーム）では、
現在処理中のピクチャの情報及びこのピクチャに先行す
るピクチャ又は後続するピクチャの情報を用いてこのピ
クチャを処理して第２のステップ／エッジ強調ピクチャ
を生成する。次に、動き情報に基づいて、第１のステッ
プ／エッジ強調ピクチャと対応する第２のステップ／エ
ッジ強調ピクチャとを混合する。これにより、ステップ
（ａ）における「最終的な」ステップ／エッジ強調ピク
チャが生成される。
ゴリズムは、好ましくは以下のような２つの異なる処理
を行う。第１の処理（第１のピクチャストリーム）で
は、現在処理中のピクチャの情報のみを用いてピクチャ
を処理して第１のステップ／エッジ強調ピクチャを生成
する。第２の処理（第２のピクチャストリーム）では、
現在処理中のピクチャの情報及びこのピクチャに先行す
るピクチャ又は後続するピクチャの情報を用いてこのピ
クチャを処理して第２のステップ／エッジ強調ピクチャ
を生成する。次に、動き情報に基づいて、第１のステッ
プ／エッジ強調ピクチャと対応する第２のステップ／エ
ッジ強調ピクチャとを混合する。これにより、ステップ
（ａ）における「最終的な」ステップ／エッジ強調ピク
チャが生成される。
【００１２】更に、本発明に基づくテクスチャ強調アル
ゴリズムは、好ましくは以下のような２つの異なる処理
を行う。第１の処理（第３のピクチャストリーム）で
は、現在処理中のピクチャの情報のみを用いてピクチャ
を処理して第１のテクスチャ強調ピクチャを生成する。
第２の処理（第４のピクチャストリーム）では、現在処
理中のピクチャの情報及びこのピクチャに先行するピク
チャ又は後続するピクチャの情報を用いてこのピクチャ
を処理して第２のテクスチャ強調ピクチャを生成する。
次に、動き情報に基づいて、第１のテクスチャ強調ピク
チャと対応する第２のテクスチャ強調ピクチャとを混合
する。これにより、ステップ（ｂ）における「最終的
な」テクスチャ強調ピクチャが生成される。
ゴリズムは、好ましくは以下のような２つの異なる処理
を行う。第１の処理（第３のピクチャストリーム）で
は、現在処理中のピクチャの情報のみを用いてピクチャ
を処理して第１のテクスチャ強調ピクチャを生成する。
第２の処理（第４のピクチャストリーム）では、現在処
理中のピクチャの情報及びこのピクチャに先行するピク
チャ又は後続するピクチャの情報を用いてこのピクチャ
を処理して第２のテクスチャ強調ピクチャを生成する。
次に、動き情報に基づいて、第１のテクスチャ強調ピク
チャと対応する第２のテクスチャ強調ピクチャとを混合
する。これにより、ステップ（ｂ）における「最終的
な」テクスチャ強調ピクチャが生成される。
【００１３】ここで、動きが多い場合、第１の処理（フ
ィールド強調とも呼ばれる）が強められ、動きが少ない
場合、第２の処理（フレーム強調とも呼ばれる）が強め
られる。第１の処理及び第２の処理の強さは、第１及び
第２のピクチャストリームを混合する際の混合比によっ
て決定される。この混合比は、動的に調整可能であるこ
とが望ましく、更に好ましくは、動き検出処理によりピ
クチャから直接検出される動き情報又はビデオ信号の一
部である所定の動き信号として供給される動き情報に基
づいて調整される。
ィールド強調とも呼ばれる）が強められ、動きが少ない
場合、第２の処理（フレーム強調とも呼ばれる）が強め
られる。第１の処理及び第２の処理の強さは、第１及び
第２のピクチャストリームを混合する際の混合比によっ
て決定される。この混合比は、動的に調整可能であるこ
とが望ましく、更に好ましくは、動き検出処理によりピ
クチャから直接検出される動き情報又はビデオ信号の一
部である所定の動き信号として供給される動き情報に基
づいて調整される。
【００１４】ステップ（ｃ）は、好ましくは、ピクチャ
から直接算出された及び／又はビデオ信号に含まれてい
る固有のステップ／エッジ情報に基づいて実行される。
換言すれば、ステップ／エッジ強調ピクチャとテクスチ
ャ強調ピクチャの混合比は、このステップ／エッジ情報
に基づいて動的に調整することができる。
から直接算出された及び／又はビデオ信号に含まれてい
る固有のステップ／エッジ情報に基づいて実行される。
換言すれば、ステップ／エッジ強調ピクチャとテクスチ
ャ強調ピクチャの混合比は、このステップ／エッジ情報
に基づいて動的に調整することができる。
【００１５】ピクチャの鮮鋭度を更に向上させるため
に、ピクチャに関連する特徴情報に基づいて、ステップ
（ｃ）において生成された鮮鋭度が強調された各ピクチ
ャと対応する処理されていないオリジナルピクチャとを
更に混合してもよい。特徴情報は、特徴検出処理により
ピクチャから直接算出してもよく、及び／又はビデオ信
号に含まれている固有の特徴情報であってもよい。混合
比を適切に設定することにより、鮮鋭度強調の必要がな
い場合に強調アルゴリズムをオフに切り換え、演算パワ
ーの消費を抑制できるとともに、場合に応じて鮮鋭度の
質を向上させることができる。
に、ピクチャに関連する特徴情報に基づいて、ステップ
（ｃ）において生成された鮮鋭度が強調された各ピクチ
ャと対応する処理されていないオリジナルピクチャとを
更に混合してもよい。特徴情報は、特徴検出処理により
ピクチャから直接算出してもよく、及び／又はビデオ信
号に含まれている固有の特徴情報であってもよい。混合
比を適切に設定することにより、鮮鋭度強調の必要がな
い場合に強調アルゴリズムをオフに切り換え、演算パワ
ーの消費を抑制できるとともに、場合に応じて鮮鋭度の
質を向上させることができる。
【００１６】演算リソースに応じて、動き情報、ステッ
プ／エッジ情報、特徴情報のマップを作成してもよい。
これらのマップは、強調アルゴリズム及び／又はフィル
タ処理がそれぞれのタスクを実行するために利用するこ
とができる。これらのマップは、好ましくは、領域（画
素レベルまで細分化してもよい）と対応する値との間の
関係を含むルックアップテーブルとして使用される。こ
れにより、現在の演算リソースが少ない場合、より細か
い領域を処理できる（すなわち、この情報を局所的に用
いて、ピクチャの部分のみを処理することができる）。
特徴情報としては、例えばピクチャの雑音に関する情報
等がある。特徴情報は、主に雑音に関するものである
が、この他に、処理を施さない方がよい、例えばメニュ
ー又は人工的に生成されたグラフィクス等を含む領域に
対する処理を行わないために使用することもできる。
プ／エッジ情報、特徴情報のマップを作成してもよい。
これらのマップは、強調アルゴリズム及び／又はフィル
タ処理がそれぞれのタスクを実行するために利用するこ
とができる。これらのマップは、好ましくは、領域（画
素レベルまで細分化してもよい）と対応する値との間の
関係を含むルックアップテーブルとして使用される。こ
れにより、現在の演算リソースが少ない場合、より細か
い領域を処理できる（すなわち、この情報を局所的に用
いて、ピクチャの部分のみを処理することができる）。
特徴情報としては、例えばピクチャの雑音に関する情報
等がある。特徴情報は、主に雑音に関するものである
が、この他に、処理を施さない方がよい、例えばメニュ
ー又は人工的に生成されたグラフィクス等を含む領域に
対する処理を行わないために使用することもできる。
【００１７】好ましい具体例においては、テクスチャ強
調アルゴリズム及びステップ／エッジ強調アルゴリズム
によって実行すべき強調の度合いを外部から制御する。
例えば、ユーザがピクチャの鮮鋭度強調の度合いを強め
る又は弱めることを望む場合、このユーザは、外部制御
手段を用いて、各強調機構に制御信号を供給することが
できる。
調アルゴリズム及びステップ／エッジ強調アルゴリズム
によって実行すべき強調の度合いを外部から制御する。
例えば、ユーザがピクチャの鮮鋭度強調の度合いを強め
る又は弱めることを望む場合、このユーザは、外部制御
手段を用いて、各強調機構に制御信号を供給することが
できる。
【００１８】また、上述の課題を解決するために、本発
明に係る鮮鋭度向上装置は、ビデオ信号に含まれるピク
チャの鮮鋭度を向上させる鮮鋭度向上装置において、ピ
クチャを入力する入力手段と、入力手段に接続され、入
力されたピクチャのステップ／エッジを強調してステッ
プ／エッジ強調ピクチャを生成するステップ／エッジ強
調手段と、入力手段に接続され、入力されたピクチャの
テクスチャを強調してテクスチャ強調ピクチャを生成す
るテクスチャ強調手段と、ステップ／エッジ強調手段及
びテクスチャ強調手段に接続され、ステップ／エッジ強
調ピクチャとテクスチャ強調ピクチャとを混合して、鮮
鋭度が強調されたピクチャを含むビデオ信号を生成する
第１の混合手段とを備える。ステップ／エッジ強調手段
とテクスチャ強調手段は、ピクチャに関連する動き情報
に基づいて動作する。
明に係る鮮鋭度向上装置は、ビデオ信号に含まれるピク
チャの鮮鋭度を向上させる鮮鋭度向上装置において、ピ
クチャを入力する入力手段と、入力手段に接続され、入
力されたピクチャのステップ／エッジを強調してステッ
プ／エッジ強調ピクチャを生成するステップ／エッジ強
調手段と、入力手段に接続され、入力されたピクチャの
テクスチャを強調してテクスチャ強調ピクチャを生成す
るテクスチャ強調手段と、ステップ／エッジ強調手段及
びテクスチャ強調手段に接続され、ステップ／エッジ強
調ピクチャとテクスチャ強調ピクチャとを混合して、鮮
鋭度が強調されたピクチャを含むビデオ信号を生成する
第１の混合手段とを備える。ステップ／エッジ強調手段
とテクスチャ強調手段は、ピクチャに関連する動き情報
に基づいて動作する。
【００１９】好ましい具体例において、ステップ／エッ
ジ強調手段は、各ピクチャを２つの異なる処理で強調す
る。すなわち、ステップ／エッジ強調手段は、第１の処
理において、現在処理中のピクチャの情報のみを用いて
ピクチャを処理して第１のステップ／エッジ強調ピクチ
ャを生成し、第２の処理において、現在処理中のピクチ
ャの情報及び該ピクチャに先行するピクチャ又は後続す
るピクチャの情報を用いてピクチャを処理して第２のス
テップ／エッジ強調ピクチャを生成する。この具体例で
は、鮮鋭度向上装置は、ステップ／エッジ強調手段に接
続され、動き情報に基づいて、第１のステップ／エッジ
強調ピクチャと対応する第２のステップ／エッジ強調ピ
クチャとを混合してステップ／エッジ強調ピクチャを生
成する第２の混合手段を備える。この混合処理により、
ステップ（ａ）におけるステップ／エッジが強調された
ピクチャが生成される。
ジ強調手段は、各ピクチャを２つの異なる処理で強調す
る。すなわち、ステップ／エッジ強調手段は、第１の処
理において、現在処理中のピクチャの情報のみを用いて
ピクチャを処理して第１のステップ／エッジ強調ピクチ
ャを生成し、第２の処理において、現在処理中のピクチ
ャの情報及び該ピクチャに先行するピクチャ又は後続す
るピクチャの情報を用いてピクチャを処理して第２のス
テップ／エッジ強調ピクチャを生成する。この具体例で
は、鮮鋭度向上装置は、ステップ／エッジ強調手段に接
続され、動き情報に基づいて、第１のステップ／エッジ
強調ピクチャと対応する第２のステップ／エッジ強調ピ
クチャとを混合してステップ／エッジ強調ピクチャを生
成する第２の混合手段を備える。この混合処理により、
ステップ（ａ）におけるステップ／エッジが強調された
ピクチャが生成される。
【００２０】更に、テクスチャ強調手段は、好ましく
は、各ピクチャを２つの異なる処理で強調する。すなわ
ち、テクスチャ強調手段は、第１の処理において、現在
処理中のピクチャの情報のみを用いてピクチャを処理し
て第１のテクスチャ強調ピクチャを生成し、第２の処理
において、現在処理中のピクチャの情報及びピクチャに
先行するピクチャ又は後続するピクチャの情報を用いて
ピクチャを処理して第２のテクスチャ強調ピクチャを生
成する。この具体例では、鮮鋭度向上装置は、テクスチ
ャ強調手段に接続され、動き情報に基づいて、第１のテ
クスチャ強調ピクチャと対応する第２のテクスチャ強調
ピクチャとを混合してテクスチャ強調ピクチャを生成す
る第３の混合手段を備える。この混合処理により、ステ
ップ（ｂ）におけるテクスチャが強調されたピクチャが
生成される。
は、各ピクチャを２つの異なる処理で強調する。すなわ
ち、テクスチャ強調手段は、第１の処理において、現在
処理中のピクチャの情報のみを用いてピクチャを処理し
て第１のテクスチャ強調ピクチャを生成し、第２の処理
において、現在処理中のピクチャの情報及びピクチャに
先行するピクチャ又は後続するピクチャの情報を用いて
ピクチャを処理して第２のテクスチャ強調ピクチャを生
成する。この具体例では、鮮鋭度向上装置は、テクスチ
ャ強調手段に接続され、動き情報に基づいて、第１のテ
クスチャ強調ピクチャと対応する第２のテクスチャ強調
ピクチャとを混合してテクスチャ強調ピクチャを生成す
る第３の混合手段を備える。この混合処理により、ステ
ップ（ｂ）におけるテクスチャが強調されたピクチャが
生成される。
【００２１】また、鮮鋭度向上装置は、好ましくは、入
力手段と、第２及び第３の混合手段とに接続され、入力
されたピクチャから動き情報を直接算出し、及び／又は
ビデオ信号に含まれる固有の動き情報として動き情報を
抽出する動き検出手段を備える。第２及び第３の混合手
段は、動き検出手段の出力に基づいて制御される。
力手段と、第２及び第３の混合手段とに接続され、入力
されたピクチャから動き情報を直接算出し、及び／又は
ビデオ信号に含まれる固有の動き情報として動き情報を
抽出する動き検出手段を備える。第２及び第３の混合手
段は、動き検出手段の出力に基づいて制御される。
【００２２】更に、鮮鋭度向上装置は、好ましくは、入
力手段と、第１の混合手段とに接続され、入力されたピ
クチャからステップ／エッジ情報を直接算出し、及び／
又はビデオ信号に含まれる固有のステップ／エッジ情報
としてステップ／エッジ情報を抽出するステップ／エッ
ジ検出手段を備える。第１の混合手段は、ステップ／エ
ッジ検出手段の出力に基づいて制御される。
力手段と、第１の混合手段とに接続され、入力されたピ
クチャからステップ／エッジ情報を直接算出し、及び／
又はビデオ信号に含まれる固有のステップ／エッジ情報
としてステップ／エッジ情報を抽出するステップ／エッ
ジ検出手段を備える。第１の混合手段は、ステップ／エ
ッジ検出手段の出力に基づいて制御される。
【００２３】更に、鮮鋭度向上装置は、好ましくは、入
力手段と、第４の混合手段とに接続され、入力されたピ
クチャから特徴情報を直接算出し及び／又はビデオ信号
に含まれている固有の特徴情報を抽出する特徴検出手段
を備える。第４の混合手段は、特徴検出手段により生成
された特徴情報に基づいて、鮮鋭度が強調された各ピク
チャと、対応する処理されていないオリジナルピクチャ
とを混合する。
力手段と、第４の混合手段とに接続され、入力されたピ
クチャから特徴情報を直接算出し及び／又はビデオ信号
に含まれている固有の特徴情報を抽出する特徴検出手段
を備える。第４の混合手段は、特徴検出手段により生成
された特徴情報に基づいて、鮮鋭度が強調された各ピク
チャと、対応する処理されていないオリジナルピクチャ
とを混合する。
【００２４】更に、鮮鋭度向上装置は、テクスチャ強調
手段及びステップ／エッジ強調手段による強調の度合い
を外部から制御する外部制御手段を備えていてもよい。
手段及びステップ／エッジ強調手段による強調の度合い
を外部から制御する外部制御手段を備えていてもよい。
【００２５】更に、鮮鋭度向上装置は、上述のステップ
／エッジ検出手段、動き検出手段、特徴検出手段により
生成されたステップ／エッジ情報、動き情報、特徴情報
を保存する記憶手段を備えていてもよい。
／エッジ検出手段、動き検出手段、特徴検出手段により
生成されたステップ／エッジ情報、動き情報、特徴情報
を保存する記憶手段を備えていてもよい。
【００２６】また、上述の課題を解決するために、本発
明に係るコンピュータプログラム製品は、コンピュータ
又はデジタルシグナルプロセッサによって実行されて、
上述した鮮鋭度向上方法を実現するコンピュータプログ
ラムを備える。
明に係るコンピュータプログラム製品は、コンピュータ
又はデジタルシグナルプロセッサによって実行されて、
上述した鮮鋭度向上方法を実現するコンピュータプログ
ラムを備える。
【００２７】
【発明の実施の形態】以下、本発明に係る鮮鋭度向上方
法及び鮮鋭度向上装置について、図面を参照して詳細に
説明する。
法及び鮮鋭度向上装置について、図面を参照して詳細に
説明する。
【００２８】図１は、本発明に係る鮮鋭度向上装置の具
体的な構成を示すブロック図である。図１に示すよう
に、鮮鋭度向上装置１は、ステップ／エッジ強調回路２
と、テクスチャ強調回路３と、動き検出回路４と、ステ
ップ／エッジ検出回路５と、特徴検出回路６と、入力バ
ッファ７と、外部制御回路８と、第１の混合器９と、第
２の混合器１０と、第３の混合器１１と、第４の混合器
１２と、出力バッファ１３とを備える。ステップ／エッ
ジ強調回路２は、第１のステップ／エッジ強調ユニット
２１と、第２のステップ／エッジ強調ユニット２２とを
備える。テクスチャ強調回路３は、第１のテクスチャ強
調ユニット３１と、第２のテクスチャ強調ユニット３２
とを備える。
体的な構成を示すブロック図である。図１に示すよう
に、鮮鋭度向上装置１は、ステップ／エッジ強調回路２
と、テクスチャ強調回路３と、動き検出回路４と、ステ
ップ／エッジ検出回路５と、特徴検出回路６と、入力バ
ッファ７と、外部制御回路８と、第１の混合器９と、第
２の混合器１０と、第３の混合器１１と、第４の混合器
１２と、出力バッファ１３とを備える。ステップ／エッ
ジ強調回路２は、第１のステップ／エッジ強調ユニット
２１と、第２のステップ／エッジ強調ユニット２２とを
備える。テクスチャ強調回路３は、第１のテクスチャ強
調ユニット３１と、第２のテクスチャ強調ユニット３２
とを備える。
【００２９】以下、この鮮鋭度向上装置１による、ピク
チャの鮮鋭度を向上させる処理について説明する。
チャの鮮鋭度を向上させる処理について説明する。
【００３０】まず、複数のピクチャ（picture）を含む
ビデオ信号が入力バッファ７に供給される。入力バッフ
ァ７は、このビデオ信号を所定時間バッファリングす
る。そして、入力バッファ７は、これらのピクチャを第
１及び第２のステップ／エッジ強調ユニット２１、２２
と、第１及び第２のテクスチャ強調ユニット３１、３２
と、動き検出回路４と、ステップ／エッジ検出回路５
と、特徴検出回路６と、第４の混合器１２とに供給す
る。動き検出回路４は、これらのピクチャに基づき、動
きが存在するか否かを検出する。ここで、動き検出回路
４が動きを検出した場合、動き検出回路４は、検出され
た動きの量を表す出力信号を第２の混合器１０及び第３
の混合器１１に供給する。ここで、第２及び第３の混合
器１０、１１に対して、それぞれ動きを表す単一の数値
及び完全な動きマップのいずれを供給してもよい。ピク
チャは、第１及び第２のステップ／エッジ強調ユニット
２１、２ ２及び第１及び第２のテクスチャ強調ユニット
３１、３２によって処理される。
ビデオ信号が入力バッファ７に供給される。入力バッフ
ァ７は、このビデオ信号を所定時間バッファリングす
る。そして、入力バッファ７は、これらのピクチャを第
１及び第２のステップ／エッジ強調ユニット２１、２２
と、第１及び第２のテクスチャ強調ユニット３１、３２
と、動き検出回路４と、ステップ／エッジ検出回路５
と、特徴検出回路６と、第４の混合器１２とに供給す
る。動き検出回路４は、これらのピクチャに基づき、動
きが存在するか否かを検出する。ここで、動き検出回路
４が動きを検出した場合、動き検出回路４は、検出され
た動きの量を表す出力信号を第２の混合器１０及び第３
の混合器１１に供給する。ここで、第２及び第３の混合
器１０、１１に対して、それぞれ動きを表す単一の数値
及び完全な動きマップのいずれを供給してもよい。ピク
チャは、第１及び第２のステップ／エッジ強調ユニット
２１、２ ２及び第１及び第２のテクスチャ強調ユニット
３１、３２によって処理される。
【００３１】第１のステップ／エッジ強調ユニット２１
及び第１のテクスチャ強調ユニット３１は、少なくとも
２つの連続するピクチャ（フレームを構成する２つの連
続するビデオフィールド）を用いてそれぞれの強調タス
クを実行する。したがって、これらのユニットは、動き
が存在しない場合、鮮鋭度を良好に向上させる。第２の
ステップ／エッジ強調ユニット２２及び第２のテクスチ
ャ強調ユニット３２は、単一のビデオフィールドのみを
用いて、それぞれの強調タスクを実行する。これらのユ
ニットは、動きが存在する場合に、鮮鋭度を良好に向上
させる。第１のステップ／エッジ強調ユニット２１は、
第１のステップ／エッジが強調されたピクチャ（以下、
ステップ／エッジ強調ピクチャという。）を第２の混合
器１０に供給し、第２のステップ／エッジ強調ユニット
２２は、第２のステップ／エッジ強調ピクチャを第２の
混合器１０に供給する。第２の混合器１０は、これらの
ピクチャストリームを混合して、ステップ／エッジ強調
ピクチャの単一のピクチャストリームを生成し、第１の
混合器９に供給する。
及び第１のテクスチャ強調ユニット３１は、少なくとも
２つの連続するピクチャ（フレームを構成する２つの連
続するビデオフィールド）を用いてそれぞれの強調タス
クを実行する。したがって、これらのユニットは、動き
が存在しない場合、鮮鋭度を良好に向上させる。第２の
ステップ／エッジ強調ユニット２２及び第２のテクスチ
ャ強調ユニット３２は、単一のビデオフィールドのみを
用いて、それぞれの強調タスクを実行する。これらのユ
ニットは、動きが存在する場合に、鮮鋭度を良好に向上
させる。第１のステップ／エッジ強調ユニット２１は、
第１のステップ／エッジが強調されたピクチャ（以下、
ステップ／エッジ強調ピクチャという。）を第２の混合
器１０に供給し、第２のステップ／エッジ強調ユニット
２２は、第２のステップ／エッジ強調ピクチャを第２の
混合器１０に供給する。第２の混合器１０は、これらの
ピクチャストリームを混合して、ステップ／エッジ強調
ピクチャの単一のピクチャストリームを生成し、第１の
混合器９に供給する。
【００３２】一方、第１のテクスチャ強調ユニット３１
は、第１のテクスチャが強調されたピクチャ（以下、テ
クスチャ強調ピクチャという。）を第３の混合器１１に
供給し、第２のテクスチャ強調ユニット３２は、第２の
テクスチャ強調ピクチャを第３の混合器１１に供給す
る。第３の混合器１１は、これらのピクチャストリーム
を混合して、テクスチャ強調ピクチャの単一のピクチャ
ストリームを生成し、第１の混合器９に供給する。第１
の混合器９は、ステップ／エッジ強調ピクチャの単一の
ピクチャストリームと、テクスチャ強調ピクチャの単一
のピクチャストリームとを混合し、鮮鋭度が向上された
ピクチャを含むビデオ信号を生成する。第１の混合器９
による混合処理は、ステップ／エッジ検出回路５からの
出力信号によって制御され、この出力信号は、数値であ
ってもよく、ステップ／エッジデータの完全なマップで
あってもよい。
は、第１のテクスチャが強調されたピクチャ（以下、テ
クスチャ強調ピクチャという。）を第３の混合器１１に
供給し、第２のテクスチャ強調ユニット３２は、第２の
テクスチャ強調ピクチャを第３の混合器１１に供給す
る。第３の混合器１１は、これらのピクチャストリーム
を混合して、テクスチャ強調ピクチャの単一のピクチャ
ストリームを生成し、第１の混合器９に供給する。第１
の混合器９は、ステップ／エッジ強調ピクチャの単一の
ピクチャストリームと、テクスチャ強調ピクチャの単一
のピクチャストリームとを混合し、鮮鋭度が向上された
ピクチャを含むビデオ信号を生成する。第１の混合器９
による混合処理は、ステップ／エッジ検出回路５からの
出力信号によって制御され、この出力信号は、数値であ
ってもよく、ステップ／エッジデータの完全なマップで
あってもよい。
【００３３】第４の混合器１２は、「オリジナルの」ピ
クチャストリームと、第１の混合器９から出力された鮮
鋭度が向上されたピクチャの単一のピクチャストリーム
とを混合し、最終的な鮮鋭度が向上されたビデオ信号を
生成する。この最終的な鮮鋭度が向上された信号は、出
力バッファ１３に供給される。この信号に対し、更なる
処理を施してもよい。
クチャストリームと、第１の混合器９から出力された鮮
鋭度が向上されたピクチャの単一のピクチャストリーム
とを混合し、最終的な鮮鋭度が向上されたビデオ信号を
生成する。この最終的な鮮鋭度が向上された信号は、出
力バッファ１３に供給される。この信号に対し、更なる
処理を施してもよい。
【００３４】第４の混合器１２は、特徴検出回路６の出
力信号に基づいて動作する。特徴検出回路６の出力信号
は、例えば各ピクチャ内の雑音を表す信号であってもよ
い。特徴検出回路６が、ピクチャには雑音が存在しない
ことを検出した場合、ピクチャの鮮鋭度を向上させる処
理を行う必要はない。この場合、特徴検出回路６からの
出力信号は、第４の混合器１２が第１の混合器９からの
出力信号を混合しないことを表し、この結果、第４の混
合器１２からの出力信号は、入力バッファ７の出力信号
に等しくなる。この機能（すなわち、鮮鋭度向上の必要
がない場合の自動パワーオフ機能）により、鮮鋭度向上
装置の柔軟性が高まる。
力信号に基づいて動作する。特徴検出回路６の出力信号
は、例えば各ピクチャ内の雑音を表す信号であってもよ
い。特徴検出回路６が、ピクチャには雑音が存在しない
ことを検出した場合、ピクチャの鮮鋭度を向上させる処
理を行う必要はない。この場合、特徴検出回路６からの
出力信号は、第４の混合器１２が第１の混合器９からの
出力信号を混合しないことを表し、この結果、第４の混
合器１２からの出力信号は、入力バッファ７の出力信号
に等しくなる。この機能（すなわち、鮮鋭度向上の必要
がない場合の自動パワーオフ機能）により、鮮鋭度向上
装置の柔軟性が高まる。
【００３５】上述した鮮鋭度向上装置１の利点は、最小
限の処理により最適な鮮鋭度向上結果が得られるという
点である。更に、高い柔軟性と拡張性（scalability）
が実現される。更に、この鮮鋭度向上装置１は、ソフト
ウェアによっても、ハードウェアによっても、或いはこ
れらの組合せによっても容易に実現することができる。
限の処理により最適な鮮鋭度向上結果が得られるという
点である。更に、高い柔軟性と拡張性（scalability）
が実現される。更に、この鮮鋭度向上装置１は、ソフト
ウェアによっても、ハードウェアによっても、或いはこ
れらの組合せによっても容易に実現することができる。
【００３６】以下、図２〜図４を用いて、テクスチャ強
調回路３の処理の３つの具体例を説明する。全ての図に
おいて、実線２０１〜２０ｎ、２１１〜２１ｎは、画素
境界を表し、点線矢印２２１〜２２ｎ、２３１〜２
３ｎ、２４１〜２４ｎ、２５１〜２５ｎは、各フィルタ
機構の動作方向（working directions）を表している。
調回路３の処理の３つの具体例を説明する。全ての図に
おいて、実線２０１〜２０ｎ、２１１〜２１ｎは、画素
境界を表し、点線矢印２２１〜２２ｎ、２３１〜２
３ｎ、２４１〜２４ｎ、２５１〜２５ｎは、各フィルタ
機構の動作方向（working directions）を表している。
【００３７】図２に示すように、フィルタ機構は、画素
フィールド３０の水平軸に平行な方向（参照番号２
２１、２２２によって示される動作方向）又は垂直軸に
平行な方向（参照番号２３１、２３２によって示される
動作方向）に動作する。
フィールド３０の水平軸に平行な方向（参照番号２
２１、２２２によって示される動作方向）又は垂直軸に
平行な方向（参照番号２３１、２３２によって示される
動作方向）に動作する。
【００３８】一方、図３に示す具体例では、動作方向
は、画素フィールド３０の垂直軸に対し、４５°（参照
番号２４１〜２４５によって示される動作方向）と−４
５°（参照番号２５１〜２５５によって示される動作方
向）シフトされている。
は、画素フィールド３０の垂直軸に対し、４５°（参照
番号２４１〜２４５によって示される動作方向）と−４
５°（参照番号２５１〜２５５によって示される動作方
向）シフトされている。
【００３９】図４に示す具体例では、フィルタマトリッ
クス４０の動作方向は、画素フィールド３０の水平軸又
は垂直軸に平行な方向（参照番号２２２又は２３３によ
って示される動作方向）である。これは、マトリックス
カーネル（matrix kernel）を用いて、マトリックスカ
ーネルをマトリックスピクチャ（matrix picture）に畳
み込む汎用２次元フィルタ（generic 2D filter）を実
現する標準的な手法である。なお、この手法は、演算負
荷が大きく、これの完全な解を導き出すことが困難な場
合もある。
クス４０の動作方向は、画素フィールド３０の水平軸又
は垂直軸に平行な方向（参照番号２２２又は２３３によ
って示される動作方向）である。これは、マトリックス
カーネル（matrix kernel）を用いて、マトリックスカ
ーネルをマトリックスピクチャ（matrix picture）に畳
み込む汎用２次元フィルタ（generic 2D filter）を実
現する標準的な手法である。なお、この手法は、演算負
荷が大きく、これの完全な解を導き出すことが困難な場
合もある。
【００４０】上述の説明から明らかなように、本発明に
基づく鮮鋭度向上方法では、以下のような処理を行う。
入力テレビジョン信号から２つ以上のピクチャを読み出
し、動きがある領域と動きがない領域とを検出し、対応
するマップを作成する（これに代えて、既に入手可能な
動きマップを利用してもよい）。次に、処理対象のピク
チャの特定の特性、例えばエッジ、雑音、周波数の高低
等を検出して、１つ以上の対応するマップを作成する。
続いて、２次元ハイパスフィルタリング又は２次導関数
の算出、又はこれに類似する処理を実行する。ここで、
少なくとも次のような手法が知られている。すなわち、
図４に示すマトリックスカーネルを用いた完全な二次元
フィルタリング、図２に示す行及び列に対する個別のフ
ィルタリング、及び図３に示す対角線方向の個別のフィ
ルタリングが知られている。図３に示す種類のフィルタ
は、１つの二次導関数（one second derivative）の場
合に適しており、強調特性が良好であり（行及び列に対
するフィルタリングより良好である）、雑音プロファイ
ルが低く（行及び列に対するフィルタリングより良好で
ある）、演算負荷が適切である。このフィルタリング
は、フィールド及びフレーム毎に、したがって算出され
た動きマップに基づいて実行され、算出された２つの値
は、重み付けされてマージされる。これにより、動きが
ない領域（フレーム処理）の場合に最良の画質を実現で
き、又はアーテファクトの発生を回避でき、及び動きが
ある領域（フィールド処理）についても良好な画質を維
持できる。この処理は、最も適切な解及び用いられるマ
ージの種類に応じて、２回のステップで実行してもよ
く、単一のステップに結合して実行してもよい。同じポ
リシにより、処理対象のピクチャに２次元ステップ向上
アルゴリズム（2D step improvement algorithm）を適
用してもよい。これは、例えばエッジ等の特定のピクチ
ャ部分を強調するために用いられる、通常非線形の特別
な処理である。そして、測定されたプロパティを用い
て、第１のフィルタリング結果と第２のフィルタリング
結果を重み付けしてマージする。ここで、雑音等の他の
測定されたプロパティを考慮して、オリジナルピクチャ
に対するフィルタリングの強さを重み付けしてもよい。
このように処理されたピクチャは、出力バッファ１３に
供給される。全体の処理を精密に調整するために、外部
制御を行ってもよい。
基づく鮮鋭度向上方法では、以下のような処理を行う。
入力テレビジョン信号から２つ以上のピクチャを読み出
し、動きがある領域と動きがない領域とを検出し、対応
するマップを作成する（これに代えて、既に入手可能な
動きマップを利用してもよい）。次に、処理対象のピク
チャの特定の特性、例えばエッジ、雑音、周波数の高低
等を検出して、１つ以上の対応するマップを作成する。
続いて、２次元ハイパスフィルタリング又は２次導関数
の算出、又はこれに類似する処理を実行する。ここで、
少なくとも次のような手法が知られている。すなわち、
図４に示すマトリックスカーネルを用いた完全な二次元
フィルタリング、図２に示す行及び列に対する個別のフ
ィルタリング、及び図３に示す対角線方向の個別のフィ
ルタリングが知られている。図３に示す種類のフィルタ
は、１つの二次導関数（one second derivative）の場
合に適しており、強調特性が良好であり（行及び列に対
するフィルタリングより良好である）、雑音プロファイ
ルが低く（行及び列に対するフィルタリングより良好で
ある）、演算負荷が適切である。このフィルタリング
は、フィールド及びフレーム毎に、したがって算出され
た動きマップに基づいて実行され、算出された２つの値
は、重み付けされてマージされる。これにより、動きが
ない領域（フレーム処理）の場合に最良の画質を実現で
き、又はアーテファクトの発生を回避でき、及び動きが
ある領域（フィールド処理）についても良好な画質を維
持できる。この処理は、最も適切な解及び用いられるマ
ージの種類に応じて、２回のステップで実行してもよ
く、単一のステップに結合して実行してもよい。同じポ
リシにより、処理対象のピクチャに２次元ステップ向上
アルゴリズム（2D step improvement algorithm）を適
用してもよい。これは、例えばエッジ等の特定のピクチ
ャ部分を強調するために用いられる、通常非線形の特別
な処理である。そして、測定されたプロパティを用い
て、第１のフィルタリング結果と第２のフィルタリング
結果を重み付けしてマージする。ここで、雑音等の他の
測定されたプロパティを考慮して、オリジナルピクチャ
に対するフィルタリングの強さを重み付けしてもよい。
このように処理されたピクチャは、出力バッファ１３に
供給される。全体の処理を精密に調整するために、外部
制御を行ってもよい。
【００４１】
【発明の効果】以上詳細に説明したように、本発明に係
る鮮鋭度向上方法は、ピクチャをステップ／エッジ強調
アルゴリズムに基づいて処理して、ステップ／エッジ強
調ピクチャを生成し、ピクチャをテクスチャ強調アルゴ
リズムに基づいて処理して、テクスチャ強調ピクチャを
生成する。そして、ステップ／エッジ強調ピクチャとテ
クスチャ強調ピクチャとを混合し、鮮鋭度が強調された
ピクチャを含むビデオ信号を生成する。ここで、ステッ
プ／エッジ強調ピクチャを生成する処理及びテクスチャ
強調ピクチャを生成する処理は、ピクチャに関連する動
き情報に基づいて実行される。これにより、効率的且つ
柔軟にピクチャの鮮鋭度を向上させることができる。
る鮮鋭度向上方法は、ピクチャをステップ／エッジ強調
アルゴリズムに基づいて処理して、ステップ／エッジ強
調ピクチャを生成し、ピクチャをテクスチャ強調アルゴ
リズムに基づいて処理して、テクスチャ強調ピクチャを
生成する。そして、ステップ／エッジ強調ピクチャとテ
クスチャ強調ピクチャとを混合し、鮮鋭度が強調された
ピクチャを含むビデオ信号を生成する。ここで、ステッ
プ／エッジ強調ピクチャを生成する処理及びテクスチャ
強調ピクチャを生成する処理は、ピクチャに関連する動
き情報に基づいて実行される。これにより、効率的且つ
柔軟にピクチャの鮮鋭度を向上させることができる。
【００４２】また、本発明に係る先鋭度向上装置は、ピ
クチャを入力する入力手段と、入力されたピクチャのス
テップ／エッジを強調して、ステップ／エッジ強調ピク
チャを生成するステップ／エッジ強調手段と、入力され
たピクチャのテクスチャを強調して、テクスチャ強調ピ
クチャを生成するテクスチャ強調手段と、ステップ／エ
ッジ強調ピクチャとテクスチャ強調ピクチャとを混合し
て、鮮鋭度が強調されたピクチャを含むビデオ信号を生
成する第１の混合手段とを備える。ステップ／エッジ強
調手段とテクスチャ強調手段は、ピクチャに関連する動
き情報に基づいて動作する。これにより、効率的且つ柔
軟にピクチャの鮮鋭度を向上させることができる。
クチャを入力する入力手段と、入力されたピクチャのス
テップ／エッジを強調して、ステップ／エッジ強調ピク
チャを生成するステップ／エッジ強調手段と、入力され
たピクチャのテクスチャを強調して、テクスチャ強調ピ
クチャを生成するテクスチャ強調手段と、ステップ／エ
ッジ強調ピクチャとテクスチャ強調ピクチャとを混合し
て、鮮鋭度が強調されたピクチャを含むビデオ信号を生
成する第１の混合手段とを備える。ステップ／エッジ強
調手段とテクスチャ強調手段は、ピクチャに関連する動
き情報に基づいて動作する。これにより、効率的且つ柔
軟にピクチャの鮮鋭度を向上させることができる。
【図１】本発明に基づく鮮鋭度向上装置の具体的構成例
を示すブロック図である。
を示すブロック図である。
【図２】テクスチャ強調アルゴリズムの第１の処理例を
説明する図である。
説明する図である。
【図３】テクスチャ強調アルゴリズムの第２の処理例を
説明する図である。
説明する図である。
【図４】テクスチャ強調アルゴリズムの第３の処理例を
説明する図である。
説明する図である。
１ 先鋭度向上装置、２ ステップ／エッジ強調回路、
３ テクスチャ強調回路と、４ 動き検出回路、５ ス
テップ／エッジ検出回路、６ 特徴検出回路、７入力バ
ッファ、８ 外部制御回路、９ 第１の混合器、１０
第２の混合器、１１ 第３の混合器、１２ 第４の混合
器、１３ 出力バッファ
３ テクスチャ強調回路と、４ 動き検出回路、５ ス
テップ／エッジ検出回路、６ 特徴検出回路、７入力バ
ッファ、８ 外部制御回路、９ 第１の混合器、１０
第２の混合器、１１ 第３の混合器、１２ 第４の混合
器、１３ 出力バッファ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 サルトル、ペイエンジョルジオ
ドイツ連邦共和国 70327 シュトゥット
ゥガルト ハインリッヒ ヘルツ シュト
ラーセ １ ソニー インターナショナル
（ヨーロッパ） ゲゼルシャフト ミッ
ト ベシュレンクテル ハフツング アド
バンスド テクノロジー センター シュ
トゥットゥガルト内
(72)発明者 ムースラ、フランク
ドイツ連邦共和国 70327 シュトゥット
ゥガルト ハインリッヒ ヘルツ シュト
ラーセ １ ソニー インターナショナル
（ヨーロッパ） ゲゼルシャフト ミッ
ト ベシュレンクテル ハフツング アド
バンスド テクノロジー センター シュ
トゥットゥガルト内
(72)発明者 ワグナー、ペーター
ドイツ連邦共和国 70327 シュトゥット
ゥガルト ハインリッヒ ヘルツ シュト
ラーセ １ ソニー インターナショナル
（ヨーロッパ） ゲゼルシャフト ミッ
ト ベシュレンクテル ハフツング アド
バンスド テクノロジー センター シュ
トゥットゥガルト内
Ｆターム(参考） 5C021 PA73 RA01 RA02 RB07 XB03
XB13
Claims (20)
- 【請求項１】 ビデオ信号に含まれるピクチャの鮮鋭度
を向上させる鮮鋭度向上方法において、 （ａ）上記ピクチャをステップ／エッジ強調アルゴリズ
ムに基づいて処理してステップ／エッジ強調ピクチャを
生成するステップと、 （ｂ）上記ピクチャをテクスチャ強調アルゴリズムに基
づいて処理してテクスチャ強調ピクチャを生成するステ
ップと、 （ｃ）上記ステップ／エッジ強調ピクチャとテクスチャ
強調ピクチャとを混合して鮮鋭度が強調されたピクチャ
を含むビデオ信号を生成するステップとを有し、 上記ステップ（ａ）及びステップ（ｂ）は、上記ピクチ
ャに関連する動き情報に基づいて実行されることを特徴
とする鮮鋭度向上方法。 - 【請求項２】 上記ステップ／エッジ強調アルゴリズム
は、第１の処理において、現在処理中のピクチャの情報
のみを用いて該ピクチャを処理して第１のステップ／エ
ッジ強調ピクチャを生成し、第２の処理において、現在
処理中のピクチャの情報及び該ピクチャに先行するピク
チャ又は後続するピクチャの情報を用いて該ピクチャを
処理して第２のステップ／エッジ強調ピクチャを生成
し、 上記動き情報に基づいて、上記第１のステップ／エッジ
強調ピクチャと対応する第２のステップ／エッジ強調ピ
クチャとを混合して上記ステップ／エッジ強調ピクチャ
を生成することを特徴とする請求項１記載の鮮鋭度向上
方法。 - 【請求項３】 上記テクスチャ強調アルゴリズムは、各
ピクチャを２つの異なる処理で強調し、第１の処理にお
いて、現在処理中のピクチャの情報のみを用いて該ピク
チャを処理して第１のテクスチャ強調ピクチャを生成
し、第２の処理において、現在処理中のピクチャの情報
及び該ピクチャに先行するピクチャ又は後続するピクチ
ャの情報を用いて該ピクチャを処理して第２のテクスチ
ャ強調ピクチャを生成し、 上記動き情報に基づいて、上記第１のテクスチャ強調ピ
クチャと対応する第２のテクスチャ強調ピクチャとを混
合して上記テクスチャ強調ピクチャを生成することを特
徴とする請求項１又は２記載の鮮鋭度向上方法。 - 【請求項４】 上記動き情報は、動き検出処理により上
記ピクチャから直接算出され及び／又は上記ビデオ信号
に含まれている固有の動き情報として供給されることを
特徴とする請求項１乃至３いずれか１項記載の鮮鋭度向
上方法。 - 【請求項５】 上記ステップ（ｃ）は、上記ピクチャか
ら直接算出された及び／又は上記ビデオ信号に含まれて
いる固有のステップ／エッジ情報に基づいて実行される
ことを特徴とする請求項１乃至４いずれか１項記載の鮮
鋭度向上方法。 - 【請求項６】 上記ピクチャに関連する特徴情報であっ
て、特徴検出処理により上記ピクチャから直接算出され
た及び／又は上記ビデオ信号に含まれている固有の特徴
情報に基づいて、上記ステップ（ｃ）により生成された
鮮鋭度が強調された各ピクチャと、対応する処理されて
いないオリジナルピクチャとを混合するステップを有す
る請求項１乃至５いずれか１項記載の鮮鋭度向上方法。 - 【請求項７】 上記特徴情報は、ピクチャ雑音情報を含
むことを特徴とする請求項６記載の鮮鋭度向上方法。 - 【請求項８】 上記テクスチャ強調アルゴリズム及びス
テップ／エッジ強調アルゴリズムによる強調の度合いを
外部から制御するステップを有する請求項１乃至７いず
れか１項記載の鮮鋭度向上方法。 - 【請求項９】 上記強調アルゴリズムによって使用され
る動き情報、ステップ／エッジ情報、特徴情報のマップ
を作成及び保存するステップを有する請求項１乃至８い
ずれか１項記載の鮮鋭度向上方法。 - 【請求項１０】 上記ステップ／エッジ強調アルゴリズ
ムは、特定のピクチャ部分を強調する非線形演算を実行
することを特徴とする請求項１乃至９いずれか１項記載
の鮮鋭度向上方法。 - 【請求項１１】 上記テクスチャ強調アルゴリズムは、
ハイパスフィルタリング演算及び／又は２次導関数演算
を実行し、ピクチャ全体を強調することを特徴とする請
求項１乃至１０いずれか１項記載の鮮鋭度向上方法。 - 【請求項１２】 上記ハイパスフィルタリング演算は、
マトリックスカーネルを用いた完全な２次元フィルタリ
ング演算、行及び列に対する分離可能なフィルタリング
演算、又は対角方向の分離可能なフィルタリング演算を
含むことを特徴とする請求項１１記載の鮮鋭度向上方
法。 - 【請求項１３】 ビデオ信号に含まれるピクチャの鮮鋭
度を向上させる鮮鋭度向上装置において、 上記ピクチャを入力する入力手段と、 上記入力手段に接続され、上記入力されたピクチャのス
テップ／エッジを強調してステップ／エッジ強調ピクチ
ャを生成するステップ／エッジ強調手段と、 上記入力手段に接続され、上記入力されたピクチャのテ
クスチャを強調してテクスチャ強調ピクチャを生成する
テクスチャ強調手段と、 上記ステップ／エッジ強調手段及びテクスチャ強調手段
に接続され、上記ステップ／エッジ強調ピクチャとテク
スチャ強調ピクチャとを混合して、鮮鋭度が強調された
ピクチャを含むビデオ信号を生成する第１の混合手段と
を備え、 上記ステップ／エッジ強調手段とテクスチャ強調手段
は、上記ピクチャに関連する動き情報に基づいて動作す
ることを特徴とする鮮鋭度向上装置。 - 【請求項１４】 上記ステップ／エッジ強調手段は、第
１の処理において、現在処理中のピクチャの情報のみを
用いて該ピクチャを処理して第１のステップ／エッジ強
調ピクチャを生成し、第２の処理において、現在処理中
のピクチャの情報及び該ピクチャに先行するピクチャ又
は後続するピクチャの情報を用いて該ピクチャを処理し
て第２のステップ／エッジ強調ピクチャを生成し、 更に、上記ステップ／エッジ強調手段に接続され、上記
動き情報に基づいて、上記第１のステップ／エッジ強調
ピクチャと対応する第２のステップ／エッジ強調ピクチ
ャとを混合して上記ステップ／エッジ強調ピクチャを生
成する第２の混合手段を備える請求項１３記載の鮮鋭度
向上装置。 - 【請求項１５】 上記テクスチャ強調手段は、第１の処
理において、現在処理中のピクチャの情報のみを用いて
該ピクチャを処理して第１のテクスチャ強調ピクチャを
生成し、第２の処理において、現在処理中のピクチャの
情報及び該ピクチャに先行するピクチャ又は後続するピ
クチャの情報を用いて該ピクチャを処理して第２のテク
スチャ強調ピクチャを生成し、 更に、上記テクスチャ強調手段に接続され、上記動き情
報に基づいて、上記第１のテクスチャ強調ピクチャと対
応する第２のテクスチャ強調ピクチャとを混合して上記
テクスチャ強調ピクチャを生成する第３の混合手段を備
えることを特徴とする請求項１３又は１４記載の鮮鋭度
向上装置。 - 【請求項１６】 更に、上記入力手段と、第２及び第３
の混合手段とに接続され、上記入力されたピクチャから
動き情報を直接算出し、及び／又は上記ビデオ信号に含
まれる固有の動き情報として上記動き情報を抽出する動
き検出手段を備え、 上記第２及び第３の混合手段は、上記動き検出手段の出
力に基づいて制御されることを特徴とする請求項１３乃
至１５いずれか１項記載の鮮鋭度向上装置。 - 【請求項１７】 更に、上記入力手段と、第１の混合手
段とに接続され、上記入力されたピクチャからステップ
／エッジ情報を直接算出し、及び／又は上記ビデオ信号
に含まれる固有のステップ／エッジ情報として上記ステ
ップ／エッジ情報を抽出するステップ／エッジ検出手段
を備え、 上記第１の混合手段は、上記ステップ／エッジ検出手段
の出力に基づいて制御されることを特徴とする請求項１
３乃至１６いずれか１項記載の鮮鋭度向上装置。 - 【請求項１８】 更に、上記入力手段と、第４の混合手
段とに接続され、上記入力されたピクチャから特徴情報
を直接算出し及び／又は上記ビデオ信号に含まれている
固有の特徴情報を抽出する特徴検出手段を備え、 上記第４の混合手段は、該特徴検出手段により生成され
た上記特徴情報に基づいて、上記鮮鋭度が強調された各
ピクチャと、対応する処理されていないオリジナルピク
チャとを混合することを特徴とする請求項１３乃至１７
いずれか１項記載の鮮鋭度向上装置。 - 【請求項１９】 上記テクスチャ強調手段及びステップ
／エッジ強調手段による強調の度合いを外部から制御す
る外部制御手段を備える請求項１３乃至１８いずれか１
項記載の鮮鋭度向上装置。 - 【請求項２０】 コンピュータ又はデジタルシグナルプ
ロセッサによって実行されて、請求項１乃至１２いずれ
か１項記載の鮮鋭度向上方法を実現するコンピュータプ
ログラムを備えるコンピュータプログラム製品。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02004007A EP1339224B1 (en) | 2002-02-22 | 2002-02-22 | Method and apparatus for improving picture sharpness |
| EP02004007.7 | 2002-02-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003274218A true JP2003274218A (ja) | 2003-09-26 |
| JP4731100B2 JP4731100B2 (ja) | 2011-07-20 |
Family
ID=27635821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003044170A Expired - Fee Related JP4731100B2 (ja) | 2002-02-22 | 2003-02-21 | 鮮鋭度向上方法及び鮮鋭度向上装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7336848B2 (ja) |
| EP (1) | EP1339224B1 (ja) |
| JP (1) | JP4731100B2 (ja) |
| KR (1) | KR20030069897A (ja) |
| CN (1) | CN1260949C (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7529422B2 (en) * | 2004-09-22 | 2009-05-05 | Siemens Medical Solutions Usa, Inc. | Gradient-based image restoration and enhancement |
| CN100420269C (zh) * | 2005-12-09 | 2008-09-17 | 逐点半导体（上海）有限公司 | 一种图像增强处理系统和处理方法 |
| EP1821257B1 (en) | 2006-02-15 | 2010-08-04 | Sony Deutschland GmbH | Method for processing digital image data |
| CN101207697B (zh) * | 2006-12-22 | 2011-06-22 | 昆山杰得微电子有限公司 | 一种融合多模糊算子的数字图像模糊增强方法 |
| KR100866492B1 (ko) * | 2007-05-30 | 2008-11-03 | 삼성전자주식회사 | 에지 향상 기능을 갖는 노이즈 저감 장치 및 방법 |
| CN101436297B (zh) | 2007-11-14 | 2012-05-30 | 比亚迪股份有限公司 | 图像缩放方法 |
| US9324133B2 (en) | 2012-01-04 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Image content enhancement using a dictionary technique |
| JP5349671B1 (ja) * | 2012-04-27 | 2013-11-20 | 株式会社東芝 | 画像処理装置、画像表示装置および方法 |
| US10783585B1 (en) | 2012-08-16 | 2020-09-22 | Allstate Insurance Company | Agent-facilitated claims damage estimation |
| US8712893B1 (en) | 2012-08-16 | 2014-04-29 | Allstate Insurance Company | Enhanced claims damage estimation using aggregate display |
| US10580075B1 (en) | 2012-08-16 | 2020-03-03 | Allstate Insurance Company | Application facilitated claims damage estimation |
| US10430885B1 (en) | 2012-08-16 | 2019-10-01 | Allstate Insurance Company | Processing insured items holistically with mobile damage assessment and claims processing |
| US8510196B1 (en) | 2012-08-16 | 2013-08-13 | Allstate Insurance Company | Feedback loop in mobile damage assessment and claims processing |
| US11532048B2 (en) | 2012-08-16 | 2022-12-20 | Allstate Insurance Company | User interactions in mobile damage assessment and claims processing |
| US11455691B2 (en) | 2012-08-16 | 2022-09-27 | Allstate Insurance Company | Processing insured items holistically with mobile damage assessment and claims processing |
| US10572944B1 (en) | 2012-08-16 | 2020-02-25 | Allstate Insurance Company | Claims damage estimation using enhanced display |
| US9824453B1 (en) | 2015-10-14 | 2017-11-21 | Allstate Insurance Company | Three dimensional image scan for vehicle |
| CN107580159B (zh) * | 2016-06-30 | 2020-06-02 | 华为技术有限公司 | 信号校正方法、装置及终端 |
| DE202016103598U1 (de) | 2016-07-05 | 2016-08-11 | Chendu Huizhi Yuanjing Technology Ltd. | Hochauflösender Bildverstärker |
| CN106961628B (zh) * | 2017-03-24 | 2020-04-28 | 北京金山安全软件有限公司 | 视频播放方法、装置以及电子设备 |
| CN109527773A (zh) * | 2018-12-03 | 2019-03-29 | 宁波锦觅网络科技有限公司 | 香体自适应选择式散香器 |
| CN112017057A (zh) * | 2019-05-30 | 2020-12-01 | 深圳市聚蜂智能科技有限公司 | 一种保险理赔处理方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4612567A (en) | 1984-05-03 | 1986-09-16 | Rca Corporation | Television receiver using non-interlaced scanning format with vertical detail enhancement and motion compensation |
| US5428398A (en) * | 1992-04-10 | 1995-06-27 | Faroudja; Yves C. | Method and apparatus for producing from a standard-bandwidth television signal a signal which when reproduced provides a high-definition-like video image relatively free of artifacts |
| JPH0937112A (ja) * | 1995-07-19 | 1997-02-07 | Hitachi Ltd | エンハンス処理装置 |
| US6571019B1 (en) * | 1995-10-26 | 2003-05-27 | Hyundai Curitel, Inc | Apparatus and method of encoding/decoding a coded block pattern |
| DE69727547T2 (de) * | 1996-08-26 | 2004-12-23 | Koninklijke Philips Electronics N.V. | Schärferegelung |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
-
2002
- 2002-02-22 EP EP02004007A patent/EP1339224B1/en not_active Expired - Lifetime
-
2003
- 2003-02-21 US US10/371,711 patent/US7336848B2/en not_active Expired - Fee Related
- 2003-02-21 JP JP2003044170A patent/JP4731100B2/ja not_active Expired - Fee Related
- 2003-02-22 CN CNB031107745A patent/CN1260949C/zh not_active Expired - Fee Related
- 2003-02-22 KR KR10-2003-0011218A patent/KR20030069897A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| EP1339224A1 (en) | 2003-08-27 |
| US20030219169A1 (en) | 2003-11-27 |
| KR20030069897A (ko) | 2003-08-27 |
| CN1449184A (zh) | 2003-10-15 |
| EP1339224B1 (en) | 2011-11-30 |
| CN1260949C (zh) | 2006-06-21 |
| JP4731100B2 (ja) | 2011-07-20 |
| US7336848B2 (en) | 2008-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4731100B2 (ja) | 鮮鋭度向上方法及び鮮鋭度向上装置 | |
| JP5115361B2 (ja) | 画素補間装置、画素補間方法および画素補間プログラム | |
| WO2020107989A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| JP2008159071A (ja) | 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路 | |
| JPH06121192A (ja) | ノイズ除去回路 | |
| US8488899B2 (en) | Image processing apparatus, method and recording medium | |
| CN109345490A (zh) | 一种移动播放端实时视频画质增强方法及系统 | |
| JP2008293425A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
| JP2007317109A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2007249436A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP3920777B2 (ja) | 画像処理回路 | |
| JP2003203233A (ja) | 画質改善方法及び画質改善装置 | |
| US10311550B2 (en) | Image processing device for eliminating graininess of image | |
| JP2008027221A (ja) | 画像処理装置 | |
| JP2007048104A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP3508404B2 (ja) | 画像表示装置 | |
| JP2008293424A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
| JPH0793531A (ja) | 画像処理装置 | |
| EP3264737B1 (en) | Signal correction method and apparatus, and terminal | |
| JP2014033357A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2001036769A (ja) | ノイズ低減装置 | |
| JP2004172815A (ja) | 映像信号処理装置 | |
| KR100776389B1 (ko) | 조정 가능한 임계값을 이용한 컬러 보간 장치 | |
| JP4483407B2 (ja) | 映像信号処理装置 | |
| JP3964238B2 (ja) | 画像処理方法および装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081001 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081001 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081001 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090331 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090508 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090520 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20091002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |