JP2007214635A - 映像信号処理装置および方法、プログラム並びに記録媒体 - Google Patents

映像信号処理装置および方法、プログラム並びに記録媒体 Download PDF

Info

Publication number
JP2007214635A
JP2007214635A JP2006029515A JP2006029515A JP2007214635A JP 2007214635 A JP2007214635 A JP 2007214635A JP 2006029515 A JP2006029515 A JP 2006029515A JP 2006029515 A JP2006029515 A JP 2006029515A JP 2007214635 A JP2007214635 A JP 2007214635A
Authority
JP
Japan
Prior art keywords
video signal
signal
period
output
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006029515A
Other languages
English (en)
Other versions
JP4760420B2 (ja
Inventor
Atsushi Uejima
淳 上島
Takahiko Tamura
孝彦 田村
Takaari Nagamine
孝有 長峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006029515A priority Critical patent/JP4760420B2/ja
Publication of JP2007214635A publication Critical patent/JP2007214635A/ja
Application granted granted Critical
Publication of JP4760420B2 publication Critical patent/JP4760420B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

【課題】映像信号のリンギング成分を確実に抑制することができるようにする。
【解決手段】バンドパスフィルタ37は、映像信号のリンギング成分を抽出し、絶対値回路38はその絶対値を演算する。振幅検出部39は、絶対値の振幅を検出し、特性検出部40は、絶対値から入力信号のレベルが単調増加または単調減少する特性を検出する。非平坦部検出部41は、映像信号が非平坦部の信号であるかを検出する。位置検出部42は、映像信号が単峰性のパルスの映像信号であるかを検出する。レベル制御部35は、振幅検出部39、特性検出部40、非平坦部検出部41、位置検出部42の出力の積に基づいてレベル制御信号生成し、遅延回路34より入力される信号からリンギング成分を抽出する。減算器36は、映像信号からリンギング成分を減算する。
【選択図】図2

Description

本発明は映像信号処理装置および方法、プログラム並びに記録媒体に関し、特に、映像信号のリンギング成分を確実に抑制することができるようにした映像信号処理装置および方法、プログラム並びに記録媒体に関する。
放送局から送信されてくるテレビジョン信号は、映像信号と音声信号が比較的近接した周波数帯域に配置されている。したがって、テレビジョン信号を受信したチューナは、映像信号と音声信号を急峻な分離特性を有するフィルタによって分離することになる。
しかし、このフィルタ処理により、信号に歪を生じてしまうことが不可避であった。そしてこの歪は、パルスの前後にリンギングとなって表れ、映像信号を加工するいわゆる高画質化技術の中には、このリンギングを強調してしまうものもあった。
また、近年デジタル画像の伝送のために多くの画像圧縮技術が提案され、規格化されている。この画像圧縮技術は、圧縮の過程において事実上多くのデータを損失し、その結果として、同様に信号波形に歪を生じてしまう。
このような歪(リンギング成分)を除去するために、様々な方法が提案されている(例えば特許文献1)。
特開平3-163905号公報
しかしながら、特許文献1に記載の方法による場合、分離フィルタと逆特性の処理を行う必要があるため、分離フィルタの特性が既知である必要がある。従って、分離フィルタの特性が既知でない場合には、映像信号のリンギング成分を確実に抑制するように処理することは困難であった。
また映像そのものの情報をリンギング成分と誤って検出してしまい、必要な映像信号をかえって削除してしまうという問題があった。
本発明は、このような状況に鑑みてなされたものであり、映像信号のリンギング成分を確実に抑制することができるようにするものである。
本発明の一側面は、入力された映像信号のリンギング成分を含む期間を検出する期間検出手段と、入力された映像信号の、検出された期間における信号を抽出する信号抽出手段と、入力された映像信号から、抽出された前記成分を減算する減算手段とを備える映像信号処理装置である。
前記期間検出手段は、入力された映像信号から前記リンギング成分の周波数成分を抽出する周波数成分抽出手段と、抽出された前記リンギング成分の周波数成分の絶対値を検出する絶対値検出手段と、検出された前記絶対値の振幅を検出する振幅検出手段とを備えることができる。
前記期間検出手段は、検出された前記絶対値が単調減少または単調増加する特性の期間を検出する特性検出手段をさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果と前記特性検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
入力された映像信号に含まれるパルスの非連続性を検出する非連続性検出手段と、前記非連続性検出手段の検出結果に基づいて、入力された映像信号のリンギング成分を含む期間に対応するパルスを生成するパルス生成手段とをさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、並びに前記パルス生成手段の出力の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
入力された映像信号の非平坦な部分を検出する非平坦部検出手段をさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、前記パルス生成手段の出力、並びに前記非平坦部検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
本発明の一側面は、入力された映像信号のリンギング成分を含む期間を検出し、入力された映像信号の、検出された期間における信号を抽出し、入力された映像信号から、抽出された前記成分を減算するステップを実行する映像信号処理方法である。
入力された映像信号のリンギング成分を含む期間を検出し、入力された映像信号の、検出された期間における信号を抽出し、入力された映像信号から、抽出された前記成分を減算することができる。
請求項7に記載のプログラムが記録されている記録媒体とすることができる。
本発明の一側面においては、入力された映像信号のリンギング成分を含む期間が検出され、入力された映像信号の、検出された期間における信号が抽出され、入力された映像信号から、抽出された成分が減算される。
以上のように、本発明の一側面によれば、映像信号のリンギング成分を確実に抑制することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面は、入力された映像信号のリンギング成分を含む期間を検出する期間検出手段(例えば、図2の振幅検出部39または特性検出部40)と、入力された映像信号の、検出された期間における信号を抽出する信号抽出手段(例えば、図2のレベル制御部35)と、入力された映像信号から、抽出された前記成分を減算する減算手段(例えば、図2の減算器36)とを備える映像信号処理装置(例えば、図1のリンギング低減装置12を有する映像信号処理装置1)である。
前記期間検出手段は、入力された映像信号から前記リンギング成分の周波数成分を抽出する周波数成分抽出手段(例えば、図2のバンドパスフィルタ37)と、抽出された前記リンギング成分の周波数成分の絶対値を検出する絶対値検出手段(例えば、図2の絶対値回路38)と、検出された前記絶対値の振幅を検出する振幅検出手段(例えば、図2の振幅検出部39)とを備えることができる。
前記期間検出手段は、検出された前記絶対値が単調減少または単調増加する特性の期間を検出する特性検出手段(例えば、図2の特性検出部40)をさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果と前記特性検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
入力された映像信号に含まれるパルスの非連続性を検出する非連続性検出手段(例えば、図6の非連続性検出部121)と、前記非連続性検出手段の検出結果に基づいて、入力された映像信号のリンギング成分を含む期間に対応するパルスを生成するパルス生成手段(例えば、図6のパルス生成部122)とをさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、並びに前記パルス生成手段の出力の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
入力された映像信号の非平坦な部分を検出する非平坦部検出手段(例えば、図2の非平坦部検出部41)をさらに備え、前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、前記パルス生成手段の出力、並びに前記非平坦部検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出することができる。
本発明の一側面は、入力された映像信号のリンギング成分を含む期間を検出し(例えば、図10のステップS7,S6)、入力された映像信号の、検出された期間における信号を抽出し(例えば、図10のステップS13)、入力された映像信号から、抽出された前記成分を減算する(例えば、図10のステップS14)ステップを実行する映像信号処理方法(例えば、図10のリンギング低減処理方法を含む映像信号処理方法)である。
以下、図を参照して本発明の実施の形態について説明する。
図1は、本発明を適用した映像信号処理装置としてのテレビジョン受像機の構成を示すブロック図である。このテレビジョン受像機1は、チューナ11、リンギング低減装置12、高画質化処理装置13、並びに表示部14により構成されている。
チューナ11は、受信した電波から映像信号と音声信号をフィルタにより分離し、それぞれ復調する。そして復調して得られた映像信号は、チューナ11からリンギング低減装置12に出力される。リンギング低減装置12は、チューナ11より入力された映像信号からリンギング成分を抑圧し、高画質化処理装置13に出力する。高画質化処理装置13は、リンギング低減装置12より供給された映像信号に対して、クラス分類適応処理などの手法を用いて映像信号を高画質化処理する。表示部14は、高画質化処理装置13により出力された映像信号に対応する画像を表示する。なお、分離された音声信号は図示せぬ回路により処理され、出力されるが、その詳細な説明は省略する。
図2は、リンギング低減装置12の構成を表している。このリンギング低減装置12は、遅延回路31、ハイパスフィルタ(HPF)32、リミッタ33、遅延回路34、レベル制御部35、減算器36、バンドパスフィルタ(BPF)37、絶対値回路38、振幅検出部39、特性検出部40、非平坦部検出部41、並びに位置検出部42により構成されている。
図3は、振幅検出部39の構成を表している。この振幅検出部39は、リミッタ61と平滑化回路62により構成されている。リミッタ61は、絶対値回路38より出力された信号を閾値と比較し、閾値より大きい信号を抑圧し、閾値より小さい信号のみを一定のレベルの信号として平滑化回路62に出力する。平滑化回路62はリミッタ61より入力された信号を平滑化し、レベル制御部35に出力する。
図4は、特性検出部40の構成を表している。特性検出部40は平滑化回路81、差分検出部82、リミッタ83、並びに平滑化回路84により構成されている。
平滑化回路81は絶対値回路38より入力された信号(絶対値)を平滑化し、差分検出部82に出力する。差分検出部82は、平滑化回路81からの信号の差分を検出し、検出した結果をリミッタ83に出力する。リミッタ83は、図3のリミッタ61と同様の特性を有し、差分検出部82からの差分を閾値と比較し、閾値より大きい成分を抑圧し、閾値より小さい成分のみを一定のレベルの信号として平滑化回路84に出力する。平滑化回路84は、リミッタ83から入力された信号を平滑化し、レベル制御部35に出力する。
図5は、非平坦部検出部41の構成を表している。この非平坦部検出部41は、遅延回路101,102、演算部103、リミッタ104、並びにローパスフィルタ(LPF)105により構成されている。
遅延回路101は、チューナ11より入力された映像信号を1クロック分だけ遅延し、演算部103と遅延回路102に出力する。遅延回路102は、遅延回路101より入力された信号を1クロック分だけ遅延し、演算部103に出力する。演算部103は、遅延回路101により1クロック分だけ遅延された映像信号、遅延回路101,102により2クロック分だけ遅延された映像信号、並びに遅延回路101,102により遅延されていな映像信号の3つの映像信号の最大値と最小値の差を演算し、リミッタ104に出力する。リミッタ104は、演算部103からの信号を閾値と比較し、閾値より大きいとき一定のレベルの信号を出力し、また閾値より小さいとき、そのレベルより小さい一定のレベルの信号を出力する。ローパスフィルタ105は、リミッタ104の出力の低域成分を抽出し、レベル制御部35に出力する。
図6は、位置検出部42の構成を表している。位置検出部42は、非連続性検出部121とパルス生成部122により構成されている。非連続性検出部121はさらに、4次微分部131、絶対値回路132、平滑化回路133、単峰性検出部134、並びに幅拡張部135により構成されている。
パルス生成部122は、最大値保持部151、遅延回路152、乗算器153、減算器154、リミッタ155、減算器156、並びにリミッタ157により構成されている。
4次微分部131は、チューナ11より入力された映像信号を4次微分し、絶対値回路132は、4次微分部131の出力の絶対値を演算する。平滑化回路133は、絶対値回路132より出力された絶対値を平滑化する。単峰性検出部134は、平滑化回路133の出力が単峰性であるか(非連続性を有するか)を検出し、その検出結果を幅拡張部135に出力する。幅拡張部135は、単峰性検出部134が出力する信号のうち、リンギング成分に対応する期間の幅を拡張し、パルス生成部122の減算器156に出力する。
最大値保持部151は、平滑化回路133より出力された信号の最大値を保持し、乗算器153に出力する。乗算器153は、あらかじめ設定されている所定の係数k(0<k<1)を最大値保持部151の出力に乗算し、減算器154に出力する。遅延回路152は、平滑化回路133の出力を所定の時間だけ遅延し、減算器154に出力する。減算器154は、遅延回路152の出力から乗算器153の出力を減算し、リミッタ155に出力する。
リミッタ155は、減算器154の出力を閾値と比較し、閾値より大きいとき、一定の大きいレベルの信号を出力し、閾値より小さいとき、一定の小さいレベルの信号を出力する。減算器156は、幅拡張部135の出力からリミッタ155の出力を減算しリミッタ157に出力する。リミッタ157は、リミッタ155と同様の特性を有し、減算器156からの入力を閾値と比較して、閾値より大きいとき、一定の大きいレベルの信号を出力し、閾値より小さいとき、一定の小さいレベルの信号を出力する。
図7は、単峰性検出部134の構成を表している。この単峰性検出部134は、遅延回路181,182、平均値演算部183、減算器184、リミッタ185、並びにレベル制御部186により構成されている。
遅延回路181は、平滑化回路133の出力を6クロック分だけ遅延して遅延回路182、減算器184、並びにレベル制御部186に出力する。平均値演算部183は平滑化回路133からの信号と遅延回路182からの信号の平均値を演算して、減算器184に出力する。減算器184は、遅延回路181が出力する信号から平均値演算部183の信号を減算し、リミッタ185に出力する。リミッタ185は、入力された信号を閾値と比較し、閾値より大きいとき、一定の大きいレベルの信号を出力し、閾値より小さいとき、一定の小さいレベルの信号を出力する。レベル制御部186は、リミッタ185より入力される信号を制御信号として、遅延回路181より入力される信号のレベルを制御し、幅拡張部135に出力する。
図8は、単峰性検出部134の他の実施の形態を表している。この単峰性検出部134は、図7の単峰性検出部134の平均値演算部183に代えて、最小値選択部191が設けられている。
最小値選択部191は、平滑化回路133からの信号と遅延回路182からの信号の最小値を演算し、その演算して得られた結果を減算器184に出力する。その他の構成は図7における場合と同様である。
図9は、幅拡張部135の構成を表している。同図に示されるように、幅拡張部135は、遅延回路201乃至204、最大値検出回路205、遅延回路206乃至210、並びに最大値検出回路211により構成されている。
遅延回路201は、単峰性検出部134からの信号を1クロック分だけ遅延し、遅延回路202は、遅延回路201の出力を1クロック分だけさらに遅延し、遅延回路203は、遅延回路202の出力をさらに1クロック分だけ遅延し、遅延回路204は、遅延回路203の出力をさらに1クロック分だけ遅延する。最大値検出回路205は、単峰性検出部134からの信号、遅延回路201の出力、遅延回路202の出力、遅延回路203の出力、および遅延回路204の出力の中から最大値を検出し、遅延回路206と最大値検出回路211に出力する。
遅延回路206は、最大値検出回路205からの信号を5クロック分だけ遅延し、遅延回路207は、遅延回路206の出力を5クロック分だけさらに遅延し、遅延回路208は、遅延回路207の出力を12クロック分だけ遅延し、遅延回路209は、遅延回路208の出力を5クロック分だけ遅延し、遅延回路210は、遅延回路209の出力を5クロック分だけ遅延する。最大値検出回路211は、最大値検出回路205の出力、遅延回路206の出力、遅延回路207の出力、遅延回路208の出力、遅延回路209の出力、並びに遅延回路210の出力から最大値を検出し、得られた最大値を減算器156に出力する。
次に図10のフローチャートを参照して、図2のリンギング低減装置12のリンギング低減処理について説明する。
ステップS1において、遅延回路31はチューナ11より入力された映像信号を遅延する。この遅延時間は、ハイパスフィルタ32、リミッタ33、遅延回路34、レベル制御部35等の処理による遅延時間に対応する時間に設定されている。ステップS2において、ハイパスフィルタ32はチューナ11より入力された映像信号からリンギング成分の周波数より低い不要な低域成分を除去し、高域成分のみを抽出する。ステップS3において、リミッタ33はハイパスフィルタ32より入力された映像信号をリミットする。リミッタ33は、例えば図11に示される特性で信号をリミットする。すなわち入力された信号があらかじめ設定されている所定の閾値より大きいとき、大きい一定のレベルの信号を出力し、閾値より小さいとき、それより小さい一定のレベルの信号を出力する。
ステップS4おいて、遅延回路34は、リミッタ33より入力された信号を所定時間だけ遅延してレベル制御部35に出力する。以上のようにしてリンギング成分を含む映像信号が抽出される。
ステップS5において、バンドパスフィルタ37はリンギング成分を抽出する。リンギング成分は、図12に示されるように、パルスの前縁または後縁において、単調増加するか単調減少するように発生し、その周波数は、映像信号と音声信号を分離するフィルタの遮断周波数(分離周波数)の近傍の周波数成分を多く有している。バンドパスフィルタ37はこの成分を抽出する。ステップS6において、絶対値回路38は、バンドパスフィルタ37の出力を絶対値化する。
ステップS7,S8において、振幅検出部39は振幅検出処理を実行する。具体的にはステップS7において、リミッタ61は絶対値回路38より入力された絶対値を図13に示される特性に基づいてリミットする。すなわち、入力信号のレベルが低い場合、ほぼ一定のレベルの信号が出力され、入力信号のレベルが閾値より大きい場合、出力信号のレベルは0とされる。これにより、本来の映像信号と思われるような大きな振幅の信号は除去される。平滑化回路62は、ステップS8において、リミッタ61の出力を平滑化する。平滑化回路62の出力は、レベル制御部35に供給される。
以上の処理を波形を示して説明すると、図14に示されるようになる。すなわちバンドパスフィルタ37により、映像信号からリンギング成分を含む周波数成分が抽出される(図14A)。このリンギング成分は絶対値回路38により絶対値化され(図14B)、リミッタ61により絶対値のうちの大きいレベルの信号は0レベルにリミットされる(図14C)。平滑化回路62はリミッタ61の出力を平滑化し、エンベロープの信号を生成する(図14D)。リミッタ61は、閾値より大きいレベルの信号を0レベルの信号とするため、図14Dに示されるように、平滑化回路62の出力は、大きなレベルを有するパルスの期間において低レベルの期間TL1とされ、その前後の期間Th1,Th2において高レベルの信号となる。この期間TH1,TH2がリンギングが発生している期間に対応する。
図10に戻って、次にステップS9において、特性検出部40は特性検出処理を実行する。この特性検出処理の詳細は、図15に示されている。
すなわちステップS31において、平滑化回路81は、絶対値回路38より入力された絶対値を平滑化し、エンベロープの信号を生成する。ステップS32において、差分検出部82は、平滑化回路81からの入力の差分を検出する。すなわち図16に示されるように、いま処理対象のピクセルをd1とし、その1クロック分だけ前のピクセルd0、1クロック分だけ後のピクセルd2とする。そして、差分検出部82は、差分d1-d0と差分d2-d1を演算する。差分検出部82はさらに2つの差分の極性を比較し、両者が一致する場合には、信号の特性は単調減少または単調増加であると判定する。このとき差分検出部82は、差分d2-d0の絶対値を出力する。一方、2つの差分の極性が一致しない場合、差分検出部82は0レベルの信号を出力する。
ステップS33において、リミッタ83は差分検出部82の出力をリミットする。リミッタ83の特性は、図3のリミッタ61と同様に、図13に示される特性とされている。すなわち所定の閾値より大きいとき、出力信号は0レベルとされるが、閾値より小さいとき、一定のレベルの信号が出力される。
ステップS34において、平滑化回路84は、リミッタ83の出力を平滑化し、レベル制御部35に出力する。
以上の処理を求めると図17に示されるようになる。すなわち絶対値回路38の出力(図17A)は、平滑化回路81により平滑化され、エンベロープの信号とされた後(図17B)、リミッタ83よりリミットされる(図17C)。リミッタ83は、閾値より大きいレベルの信号が入力されたとき、出力を0レベルとするため、図17Cに示されるように、中央部において低レベルとされた特性の信号が出力される。しかしながら、平滑化回路84は、この低レベルの期間を平滑化するため、図17Dに示されるように、期間TH11において高レベルの信号が出力される。この期間TH11は、信号が単調増加または単調減少している期間に対応している。
図10に戻って、以上のようにしてステップS9において、特性検出処理が実行された後、次にステップS10において、非平坦部検出部41により平坦部検出処理が実行される。この非平坦部検出処理の詳細は、図18のフローチャートに示されている。
すなわちステップS51において、遅延回路101は、チューナ11より入力された映像信号を1クロック分だけ遅延する。ステップS52において、遅延回路102は、遅延回路101により1クロック分遅延した信号をさらに1クロック分遅延する。ステップS53において、演算部103は、遅延回路101により1クロック分だけ遅延された映像信号、遅延回路101,102により2クロック分だけ遅延された映像信号、並びに遅延回路101,102により遅延されていない映像信号の中から最大値と最小値を検出し、その差を演算する。
映像信号が平坦部の映像信号である場合には(変化成分が少ない画面の映像信号である場合には)、3つの映像信号のダイナミックレンジ(最大値と最小値の差)は小さいことになる。これに対して平坦でない画面(変化が大きい画面)の映像信号は、ダイナミックレンジが大きいことになる。そこで、ステップS54において、リミッタ104は演算部103の出力をリミットする。具体的には、リミッタ104は演算部103からの信号を閾値と比較し、閾値より大きい場合には、一定のレベルの大きな信号を出力し、閾値より小さい場合には、小さい一定のレベルの信号を出力する。ステップS55においてローパスフィルタ105は、リミッタ104が出力する信号の低域成分を抽出し、不要な高域成分を除去する。
以上のようにして、チューナ11より入力された映像信号(図19A)が平坦な部分の映像信号である場合には、図19Bに示されるように、非平坦である部分に対応する期間TH21において高レベルとなる信号(図19B)がローパスフィルタ105より出力される。リンギングは画面の非平坦部(複雑な部分)において発生しやすいため、レベル制御部35はローパスフィルタ105からの出力が高レベルである期間において、リンギング検出処理を実行する。これに対してローパスフィルタ105の出力が低レベルである期間(画面が平坦である期間)においては、リンギングは発生しにくい。そこでレベル制御部35は、ローパスフィルタ105の出力レベルが低い期間においては、リンギング検出処理を禁止するように機能する。
図10に戻って、以上のようにしてステップS10において非平坦部検出処理が完了すると、次にステップS11において、位置検出部42により位置検出処理が実行される。この位置検出処理の詳細は、図20のフローチャートに示されている。
すなわちステップS81において、4次微分部131は、チューナ11より入力された映像信号(図21A)を4次微分する(図21B)。絶対値回路132は、ステップS82において、4次微分部131より出力された信号の絶対値を演算する(図21C)。ステップS83において、平滑化回路133は絶対値回路132の出力を平滑化し、エンベロープの信号を生成する(図21D)。
次に、ステップS84において、単峰性検出部134は、平滑化回路133の出力から単峰性検出処理を実行する。単峰性検出部134が図7に示されるように構成されている場合、単峰性検出処理は、図22のフローチャートに示されるように実行される。
すなわちステップS111において、遅延回路181は平滑化回路133より入力された信号を6クロック分遅延する。いま図23Aに示されるように、単峰性(非連続性)の特性を有する信号が遅延回路181により6クロック分だけ遅延されると、図23Bに示されるような信号が出力される。ステップS112において遅延回路182は、遅延回路181により6クロック分遅延された信号をさらに6クロック分遅延する。これにより、図23Cに示されるような信号が遅延回路182から出力される。ステップS113において、平均値演算部183は、平滑化回路133より入力された信号(図23A)と遅延回路182より入力された信号(図23C)の平均値を演算する。これにより、平均値演算部183は、図23Dに示されるような信号を出力する。
ステップS114において、減算器184は、遅延回路181の出力(図23B)から平均値演算部183の出力(図23D)を減算する(図23E)。ステップS115において、リミッタ185は、減算器184の出力をリミットをする。すなわちリミッタ185は、減算器184からの入力信号のレベルをあらかじめ設定されている所定の閾値と比較し、入力信号のレベルが閾値より大きいとき、一定のレベルの信号を出力し、閾値(例えば、0レベル)より小さいとき、0レベルの信号を出力する。その結果、リミッタ185の出力は図23Fに示されるようになる。
次にステップS116において、レベル制御部186は、遅延回路181より入力された信号(図23B)のレベルを、リミッタ185より入力された信号を制御信号として制御し、出力する(図23G)。すなわちレベル制御部186は、リミッタ185からの制御信号のレベルが高レベルであるとき、遅延回路181からの入力をそのまま出力するが、リミッタ185からの制御信号のレベルが小さいとき、遅延回路181の出力を抑制する。図23Aに示されるように、単峰性の(連続していない)信号が入力された場合、制御信号のレベルは充分大きくなるため、レベル制御部186は充分大きなレベルの信号を出力する。
一方、単峰性検出部134に入力されたのが図24Aに示されるように、例えば正弦波のような連続波である場合、遅延回路181と遅延回路182の出力は、それぞれ図24Bまたは図24Cに示されるようになる。したがって平均値演算部183による平滑化回路133の出力(図24A)と遅延回路182の出力(図24C)の平均値は、図24Dに示されるようになる。そして減算器184が、遅延回路181の出力(図24B)から平均値演算部183の出力(図24D)を減算して出力する信号は図24Eに示されるようになる。リミッタ185は、減算器184からの信号を閾値(0レベル)と比較し比較結果を出力する(図24F)。
リミッタ185の出力は、連続信号が入力される場合には、小さなレベルの信号となる。その結果、レベル制御部186は、遅延回路181から入力される信号を極めて小さいレベルの信号に減衰して出力する(図24G)。図24Gにおいては、便宜上、比較的大きなレベルの信号として示されているが、実際には、おなじスケールで表現した場合、図23に示される場合に比べて、ほとんど図示することができない程度のレベルとなる。したがって連続パルスが入力された場合において、レベル制御部186が出力する信号は、ほとんど0レベルの信号となる。
単峰性検出部134を図8に示されるように構成した場合においては、図22の単法性検出処理は図25に示されるようになる。
図25のステップS131乃至ステップS136の処理は、図22のステップS111乃至ステップS116の処理と基本的に同様の処理であるが、平均値を演算するステップS113に対応するステップS133の処理が最小値を演算する処理となっている点のみが異なっている。すなわち、この場合の処理においては、最小値選択部191において、平滑化回路133の出力と遅延回路182の出力のうちの最小値が選ばれる。その他の処理は、図22における場合と同様である。
したがって図8の単峰性検出部134に図26Aに示されるような単峰性の信号が入力された場合、遅延回路181の出力は6クロック分だけ遅延され、図26Bに示されるようになり、遅延回路182の出力はさらに6クロック分だけ遅延され、図26Cに示されるようになる。最小値選択部191は、平滑化回路133からの信号(図26A)と遅延回路182からの信号(図26C)との最小値を選ぶため、その信号は図26Dに示されるようになる。また、減算器184は、最小値選択部191の出力(図26D)を遅延回路181の出力(図26B)から減算するため、その出力は図26Eに示されるようになる。その結果、リミッタ185は減算器184の出力(図26E)をリミットとすることで、図26Fに示される信号をレベル制御部186に出力する。レベル制御部186は、このリミッタ185からの信号に基づき、遅延回路181から出力される信号(図26B)を制御するので、その出力は図26Gに示されるようになる。
このように、この場合においても、図7の単峰性検出部134において平均値を演算する場合と同様の処理が実行されることになる。
これに対して図8の単峰性検出部134に、図27Aに示されるように連続パルスが入力された場合、遅延回路181が6クロック遅延して出力する信号は、図27Bに示されるようになり、遅延回路182がさらに6クロック遅延して出力する信号は図27Cに示されるようになる。最小値選択部191は、平滑化回路133の出力(図27A)と遅延回路182の出力(図27C)の最小値を演算する(図27D)。減算器184は、遅延回路181の出力(図27B)から最小値選択部191の出力(図27D)を減算し(図27E)、リミッタ185に出力する。リミッタ185は、減算器184の出力(図27E)をリミットし(図27F)、その信号をレベル制御部186に出力する。レベル制御部186は、遅延回路181の出力(図27B)をリミッタ185の出力(図27F)に基づいて制御し(図27G)、幅拡張部135に出力する。
最小値選択部191の出力は、連続波の場合(図27D)、単峰性の場合(図26D)に比べて大きくなる。従って、減算器184の出力は、連続波の場合(図27E)、単峰性の場合(図26E)に比べて小さくなる。その結果、リミッタ185が出力する制御信号は、連続波の場合(図27F)、単峰性の場合(図26F)に比べて小さくなり、レベル制御部186が遅延回路181の出力をレベルを制御して出力する信号は、連続波の場合(図27G)、単峰性の場合(図26G)に比べて小さくなる。図27においては、便宜上そのレベルを図26の場合に比べて拡大して表示しているが、実際には図26Gに比べて図27Gのレベルは極めて小さい。したがってレベル制御部186が出力する信号のレベルは、ほとんど0レベルとなる。
図20に戻って、以上のようなステップS84の単峰性検出処理の次に、ステップS85において、幅拡張処理が幅拡張部135により実行される。この幅拡張処理の詳細は、図28のフローチャートに示されている。
ステップS161において、遅延回路201乃至204は、単峰性検出部134より入力された信号を1クロック分ずつ合計4クロック分だけ遅延する。すなわち遅延回路201は、単峰性検出部134より入力された信号(図29A)を1クロック分遅延し、遅延回路202は、遅延回路201の出力(図29B)を1クロック分だけ遅延し、遅延回路203は、遅延回路202の出力(図29C)を1クロック分だけ遅延し、遅延回路204は、遅延回路203の出力(図29D)を1クロック分だけ遅延し、最大値検出回路205に出力する(図29E)。
ステップS162において、最大値検出回路205は、単峰性検出部134、遅延回路201乃至204より出力された信号から最大値を検出する。すなわち最大値検出回路205は、単峰性検出部134より入力された信号、遅延回路201より出力された信号、遅延回路202より出力された信号、遅延回路203より出力された信号、並びに遅延回路204より出力された信号の5つの信号から、その最大値を検出する(図29F)。結果的に5クロックの期間に渡って、常にいずれかのタイミングにおいて最大値が入力されるため、最大値検出回路205の出力は5クロックの期間に渡って高レベルの信号となる。
ステップS163において、遅延回路206,207は、最大値検出回路205より入力された信号を5クロック分ずつ2回遅延する。すなわち遅延回路206が最大値検出回路205の出力(図29F)を5クロック分遅延し、遅延回路207が遅延回路206の出力(図29G)をさらに5クロック分遅延する(図29H)。ステップS164において遅延回路208は、入力された信号(図29H)を12クロック分だけ遅延する(図29I)。
ステップS165において、遅延回路209,210は、入力された信号を5クロック分ずつ2回遅延する。具体的には、遅延回路209は、遅延回路208の出力(図29I)を5クロック分だけ遅延する。遅延回路210は、遅延回路209の出力(図29J)を5クロック分だけ遅延する(図29K)。
ステップS166において、最大値検出回路211は最大値を検出する。具体的には、最大値検出回路205の出力(図29F)、遅延回路206の出力(図29G)、遅延回路207の出力(図29H)、遅延回路208の出力(図29I)、遅延回路209の出力(図29J)、並びに遅延回路210の出力(図29K)の6個の信号から最大値を検出する。図29に示されるように、15クロックの期間、高レベルの信号が入力された後、7クロックの期間、低レベルの信号が入力され、その後再び15クロックの期間、高レベルの信号が入力されるため、最大値検出回路211の記録は、図29Lに示されるようになる。
結果的に単峰性のパルスが検出された場合には、7クロックの期間の低レベルの信号の前後に15クロックの期間に渡って高レベルの信号が形成される。後述するように、高レベルの期間リンギング成分の検出処理が実行されるため、幅拡張部135は、リンギング成分を検出するための期間を15クロックの期間に設定している処理(幅を拡張している処理)を行っていることになる。
図20に戻って、以上のようにしてステップS85において、幅拡張処理が実行された後、ステップS86において、最大値保持部151は最大値を保持する。具体的には、最大値保持部151は、平滑化回路133の出力(図30A)を遅延回路152の遅延時間の2倍の時間に渡って保持する(図30B)。
ステップS87において、乗算器153は、最大値保持部151の出力に係数kを乗算する。この係数kは、0より大きく1より小さい値に設定されている。この係数kを1/2,1/4のように、2のべき乗分の1の値に設定する場合においては、乗算器153をビットシフトにより実現することができる。
ステップS88において、遅延回路152は、平滑化回路133の出力を所定の時間だけ遅延する(図30C)。ステップS89において、減算器154は、遅延回路152の出力(図30C)から乗算器153の出力を減算する(図30D)。リミッタ155は、減算器154の出力を閾値と比較し、閾値より大きい場合一定の大きなレベルの信号を出力し、閾値より一定の小さいとき小さなレベルの信号を出力(図30E)。
ステップS91において、減算器156は、幅拡張部135の出力(図30F)からリミッタ155の出力(図30E)を減算する。ステップS92においてリミッタ157は減算器156の出力をリミッタ155と同様にリミットする(図30G)。
以上のようにして、幅拡張部135が出力する信号(図30F)により形成される高レベルの期間TH31,TH32の間に存在する低レベルの期間TL31のレベルを確実に0に設定することができる。これにより、期間TL31に存在する本来の映像信号がリンギング成分として誤検出されることが抑制される。
図10に戻って、以上のようにしてステップS11において、位置検出処理が実行されると、次にステップS12においてレベル制御部35はレベル制御信号を成する。具体的には、レベル制御部35は振幅検出部39の出力(図31B)、特性検出部40の出力(図31C)、非平坦部検出部41の出力(図31D)、および位置検出部42の出力(図31E)のすべての積(または、少なくとも2以上の積)を減算し、これをレベル制御信号(図31F)とする。
ステップS13において、レベル制御部35はリンギング成分を抽出する。具体的には、レベル制御部35は、遅延回路34より入力された信号(図31A)に対して、ステップS12の処理で生成したレベル制御信号(図31F)を適用し、レベル制御信号が高レベルである期間の信号のみを抽出し、レベル制御信号が低レベルである期間の信号は、これを抑圧する。これにより、映像信号の本来の高レベルの信号の前後に存在するリンギング成分のみが抽出され、減算器36に供給される。なお、遅延回路34は、図31Fのレベル制御信号の凹部の中心が、図31Aの正の頂部の中心と略一致するように、タイミングを調整する。
ステップS14において、減算器36は、遅延回路31より入力された信号から、レベル制御部35より入力されたリンギング成分を減算する。これにより、リンギング成分が相殺された映像信号が出力されることになる。遅延回路31は、レベル制御部35よりリンギング成分減算器36に入力されるタイミングが自ら出力する映像信号のリンギング成分のタイミングと一致するように、タイミングを制御する。
なお、本発明は、テレビジョン受像機以外の映像信号処理装置に適用することが可能である。
図32は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが適宜記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301にはまた、バス304を介して入出力インターフェース305が接続されている。入出力インターフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行する。そして、CPU301は、処理の結果を出力部307に出力する。
入出力インターフェース305に接続されている記憶部308は、例えばハードディスクからなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部309を介してプログラムを取得し、記憶部308に記憶してもよい。
入出力インターフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部308に転送され、記憶される。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図32に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311、または、プログラムが一時的もしくは永続的に格納されるROM302や、記憶部308を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部309を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したテレビジョン受像機の構成を示すブロック図である。 リンギング低減装置の構成を示すブロック図である。 振幅検出部の構成を示すブロック図である。 特性検出部の構成を示すブロック図である。 非平坦部検出部の構成を示すブロック図である。 位置検出部の構成を示すブロック図である。 単峰性検出部の構成を示すブロック図である。 単峰性検出部の構成を示す他のブロック図である。 幅拡張部の構成を示すブロック図である。 リンギング低減処理を説明するフローチャートである。 リミッタの特性を示す図である。 リンギング成分を含む映像信号の例を示す図である。 リミッタの特性を示す図である。 振幅検出部の動作を説明する図である。 特性検出処理を説明するフローチャートである。 差分検出の原理を説明する図である。 特性検出部の処理を説明する図である。 非平坦部検出処理を説明するフローチャートである。 非平坦部検出処理を説明する図である。 位置検出処理を説明するフローチャートである。 位置検出処理を説明する図である。 単峰性検出処理を説明するフローチャートである 単峰のパルスが入力された場合の単峰性検出処理を説明する図である。 連続パルスが入力された場合における単峰性検出部の動作を説明する図である。 単峰性検出処理を説明するフローチャートである。 単峰性のパルスが入力された場合における単峰性検出部の動作を説明する図である 連続パルスが入力された場合における単峰性検出部の動作を説明する図である。 幅拡張処理を説明するフローチャートである。 幅拡張処理を説明するタイミングチャートである パルス生成部の処理を説明するタイミングチャートである。 レベル制御部の処理を説明する図である。 パーソナルコンピュータの構成を示すブロック図である。
符号の説明
1 テレビジョン受像機, 11 チューナ, 12 リンギング低減装置, 13 高画質化処理装置, 14 表示部, 31 遅延回路, 32 ハイパスフィルタ, 33 リミッタ, 34 遅延回路, 35 レベル制御部, 36 減算器, 37 バンドパスフィルタ, 38 絶対値回路, 39 振幅検出部, 40 特性検出部, 41 非平坦部検出部, 42 位置検出部

Claims (8)

  1. 入力された映像信号のリンギング成分を含む期間を検出する期間検出手段と、
    入力された映像信号の、検出された期間における信号を抽出する信号抽出手段と、
    入力された映像信号から、抽出された前記成分を減算する減算手段と
    を備える映像信号処理装置。
  2. 前記期間検出手段は、
    入力された映像信号から前記リンギング成分の周波数成分を抽出する周波数成分抽出手段と、
    抽出された前記リンギング成分の周波数成分の絶対値を検出する絶対値検出手段と、
    検出された前記絶対値の振幅を検出する振幅検出手段と
    を備える請求項1に記載の映像信号処理装置。
  3. 前記期間検出手段は、検出された前記絶対値が単調減少または単調増加する特性の期間を検出する特性検出手段をさらに備え、
    前記信号抽出手段は、前記振幅検出手段の検出結果と前記特性検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出する
    請求項2に記載の映像信号処理装置。
  4. 入力された映像信号に含まれるパルスの非連続性を検出する非連続性検出手段と、
    前記非連続性検出手段の検出結果に基づいて、入力された映像信号のリンギング成分を含む期間に対応するパルスを生成するパルス生成手段とをさらに備え、
    前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、並びに前記パルス生成手段の出力の積を、入力された映像信号の検出された期間として、その期間における信号を抽出する
    請求項3に記載の映像信号処理装置。
  5. 入力された映像信号の非平坦な部分を検出する非平坦部検出手段をさらに備え、
    前記信号抽出手段は、前記振幅検出手段の検出結果、前記特性検出手段の検出結果、前記パルス生成手段の出力、並びに前記非平坦部検出手段の検出結果の積を、入力された映像信号の検出された期間として、その期間における信号を抽出する
    請求項4に記載の映像信号処理装置。
  6. 入力された映像信号のリンギング成分を含む期間を検出し、
    入力された映像信号の、検出された期間における信号を抽出し、
    入力された映像信号から、抽出された前記成分を減算する
    ステップを実行する映像信号処理方法。
  7. 入力された映像信号のリンギング成分を含む期間を検出し、
    入力された映像信号の、検出された期間における信号を抽出し、
    入力された映像信号から、抽出された前記成分を減算する
    ステップをコンピュータに実行させるプログラム。
  8. 請求項7に記載のプログラムが記録されている記録媒体。
JP2006029515A 2006-02-07 2006-02-07 映像信号処理装置および方法、プログラム並びに記録媒体 Expired - Fee Related JP4760420B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006029515A JP4760420B2 (ja) 2006-02-07 2006-02-07 映像信号処理装置および方法、プログラム並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006029515A JP4760420B2 (ja) 2006-02-07 2006-02-07 映像信号処理装置および方法、プログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2007214635A true JP2007214635A (ja) 2007-08-23
JP4760420B2 JP4760420B2 (ja) 2011-08-31

Family

ID=38492726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006029515A Expired - Fee Related JP4760420B2 (ja) 2006-02-07 2006-02-07 映像信号処理装置および方法、プログラム並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4760420B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143361A (ja) * 1993-11-19 1995-06-02 Nec Corp リンギング除去装置
JP2004007292A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd モスキート歪み低減装置およびモスキート歪み低減方法
JP2005175743A (ja) * 2003-12-10 2005-06-30 Sony Corp 映像信号処理装置、映像信号処理方法および映像信号処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143361A (ja) * 1993-11-19 1995-06-02 Nec Corp リンギング除去装置
JP2004007292A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd モスキート歪み低減装置およびモスキート歪み低減方法
JP2005175743A (ja) * 2003-12-10 2005-06-30 Sony Corp 映像信号処理装置、映像信号処理方法および映像信号処理プログラム

Also Published As

Publication number Publication date
JP4760420B2 (ja) 2011-08-31

Similar Documents

Publication Publication Date Title
CN102177705B (zh) 用于平滑图像边缘以去除不规则的系统、方法和装置
TWI404412B (zh) 具有sigma-delta類比轉數位輸入電視的數位前端架構、系統及其操作方法
JP4861228B2 (ja) ノイズ低減装置及びノイズ低減方法
US7949200B2 (en) Image processing apparatus, display device, and image processing method
JP4760420B2 (ja) 映像信号処理装置および方法、プログラム並びに記録媒体
JP2007208723A (ja) 輪郭強調装置及び輪郭強調プログラム
KR20180036032A (ko) 영상처리장치 및 기록매체
US8947597B2 (en) Video reproducing device, controlling method of video reproducing device, and control program product
US20130314497A1 (en) Signal processing apparatus, signal processing method and program
KR102579860B1 (ko) 자막을 출력하는 동영상 재생 장치 및 그 제어 방법
AU2013272414A1 (en) Apparatus and method for adjusting volume in a terminal
JP2019507978A5 (ja)
KR101559754B1 (ko) 노이즈 판별 장치 및 방법
WO2010150327A1 (ja) 画像処理装置
JP2006203473A (ja) 同期検出回路
JP2010109857A (ja) 画像処理装置および画像処理方法
US20170236525A1 (en) Digital Audio Processing Apparatus, Digital Audio Processing Method, and Digital Audio Processing Program
JPWO2009118978A1 (ja) ノイズ検出方法及びそのノイズ検出方法を用いた映像処理方法
KR101551090B1 (ko) 델타 시그마 변조를 이용한 고화질 멀티미디어 인터페이스 표준의 디스플레이 포트 오디오 타임스탬프 변환기 및 그 방법
KR20030026683A (ko) 디지털 영상을 이용한 애니메이션 효과를 내는 영상필터링 장치 및 그 방법
JP4558370B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2009267902A (ja) 画像処理装置
JP2008124570A (ja) 信号処理装置および方法、並びにプログラム
KR20160039497A (ko) 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법
JP6256293B2 (ja) デジタル音声処理装置、デジタル音声処理方法、デジタル音声処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees