JP2011049965A - 画像処理装置及び方法並びに画像表示装置 - Google Patents

画像処理装置及び方法並びに画像表示装置 Download PDF

Info

Publication number
JP2011049965A
JP2011049965A JP2009198236A JP2009198236A JP2011049965A JP 2011049965 A JP2011049965 A JP 2011049965A JP 2009198236 A JP2009198236 A JP 2009198236A JP 2009198236 A JP2009198236 A JP 2009198236A JP 2011049965 A JP2011049965 A JP 2011049965A
Authority
JP
Japan
Prior art keywords
image
frequency component
intermediate image
horizontal
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009198236A
Other languages
English (en)
Other versions
JP2011049965A5 (ja
JP5471175B2 (ja
Inventor
Toshihiro Kai
俊博 賀井
Shotaro Moriya
正太郎 守谷
Satoshi Yamanaka
聡 山中
Koji Minami
浩次 南
Hiroaki Sugiura
博明 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009198236A priority Critical patent/JP5471175B2/ja
Publication of JP2011049965A publication Critical patent/JP2011049965A/ja
Publication of JP2011049965A5 publication Critical patent/JP2011049965A5/ja
Application granted granted Critical
Publication of JP5471175B2 publication Critical patent/JP5471175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】 映像入力信号にノイズ成分が多い場合、一様に強調処理を行うとノイズ成分に不必要な強調がおこなわれ、出力画像の不具合となることを防止する。
【解決手段】 映像入力信号に含まれるノイズの量をノイズ検出手段13により検出してノイズ検出信号NDを得る。また、映像入力信号は、ノイズ低減手段12によりノイズ検出信号NDに応じてノイズが低減され、強調処理手段11の入力画像DINとなる。強調処理手段11では、入力画像DIN11から中間画像生成手段111により特定の周波数帯域近傍の成分を取り出した第1の中間画像を生成し、中間画像生成手段112により第1の中間画像に非線形処理を施して得られた高周波数成分の画像と第1の中間画像とにノイズ検出信号NDに応じたコアリング処理を行い、夫々を加算して第2の中間画像を生成し、加算手段113により入力画像DIN11と第2の中間画像を加算して映像出力信号を生成する。
【選択図】 図1

Description

本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、ノイズを含む画像が入力された際に、ノイズの量を検出した後、解像感の高い出力画像を得るよう画像の強調処理を行い、検出したノイズ量に応じて高周波数成分とした抽出した信号における微小信号を除去する閾値を、検出したノイズ量に応じて変更するものである。
一般に映像信号に対し適宜信号処理を施した後、画像を再生表示するということが行われている。
例えば特許文献1に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望とする周波数帯域の細部画像に対する強調係数をその所望とする周波数帯域よりも低周波数帯域の細部画像の信号に基づいて設定することにより、所望とする周波数帯域を強調している。
特開平9−44651公報(段落0031)
しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることが不可能であった。
例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分(折り返し成分)が現れる。したがって単純に高周波数成分を強調するとこの折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。
また、入力画像にノイズが含まれている場合、細部画像の周波数帯域に重なるノイズを強調してしまう。
また、入力画像にノイズが含まれている場合に、先にノイズ処理を用いて入力画像に含まれるノイズを取り除くと、高周波数成分側の周波数スペクトルもノイズ処理によって失ってしまう。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。
本発明の画像処理装置は、入力画像に含まれるノイズの量を検出するノイズ検出手段と、前記ノイズ検出手段において検出したノイズ量に応じて低減するノイズを調整するノイズ低減手段と強調処理を行った強調処理画像を出力する強調処理手段を含む画像処理装置において、
前記強調処理手段は、前記ノイズ除去画像から特定の周波数帯域近傍の成分を取り出した第1の中間画像を生成する中間画像生成手段と、前記第1の中間画像の画素に応じて処理の内容を変化させる非線形処理手段と前記ノイズ検出手段からのノイズ量を示す制御信号を受けてコアリングの閾値を変更するコアリング手段を含む中間画像処理手段を有する
ことを特徴とする。
本発明によれば、入力画像にノイズが含まれていても、ノイズを増加あるいは強調してしまうことなく、十分に画像の強調処理を行うことができる。
本発明の実施の形態1による画像処理装置の構成を示すブロック図である。 図1の強調処理手段11の構成例を示すブロック図である。 図2の水平方向非線形処理手段112Ahの構成例を示すブロック図である。 図2の垂直方向非線形処理手段112Avの構成例を示すブロック図である。 (A)及び(B)は、コアリング処理に対する入力信号及びコアリング処理による出力信号を示す図である。 図1のノイズ検出手段13の構成例を示すブロック図である。 図1のノイズ低減手段12の構成例を示すブロック図である。 本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。 図8の画像拡大手段2の構成例を示すブロック図である。 (A)〜(E)は、図9の画像拡大手段2の動作を示す画素配置図である。 (A)、(B)は、図9の画像拡大手段2の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 (A)〜(E)は、図2の第1の中間画像生成手段111の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 (A)〜(C)は、図2の第2の中間画像生成手段112の動作を説明するための周波数応答及び周波数スペクトルを示す図である。 (A)〜(C)は、ステップエッジとステップエッジをサンプリング間隔S1でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 (A)〜(C)は、ステップエッジとステップエッジをサンプリング間隔S2でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 (A)〜(F)は、図2の第1の中間画像生成手段111及び第2の中間画像生成手段112の動作を説明するための、相連続する画素の信号の値を示す図である。 (A)〜(E)は、第1の中間画像生成手段111及び第2の中間画像生成手段112の動作を説明するための、相連続する画素の信号の値を示す図である。 (A)〜(D)は、コアリング手段112C及び112Dの動作を説明するための、相連続する画素の信号の値を示す図である。 本発明の実施の形態1による画像処理装置の別の構成を示すブロック図である。 本発明の実施の形態1による画像処理装置の別の構成における加重加算手段112EAの構成図である。 本発明の実施の形態2による画像処理方法を示すフロー図である。 強調処理ステップの動作を説明するためのフロー図である。 高周波数成分画像生成ステップの動作を説明するためのフロー図である。 低周波数成分画像生成ステップの動作を説明するためのフロー図である。 非線形処理ステップの動作を説明するためのフロー図である。 高周波数成分画像生成ステップの動作を説明するためのフロー図である。 水平方向非線形処理ステップの動作を説明するためのフロー図である。 垂直方向非線形処理ステップの動作を説明するためのフロー図である。 コアリング処理ステップ動作を説明するためのフロー図である。
実施の形態1.
図1は本発明の実施の形態1による画像処理装置の構成例を示す図であり、図示の画像処理装置は例えば画像表示装置の一部として用いることができる。
本発明の画像処理装置は、入力信号をノイズ検出手段13へ入力し、検出したノイズ量に応じた制御信号を出力する。入力信号からノイズを低減するノイズ低減手段12においては、前記ノイズ検出手段13からの制御信号を受け、これに応じて、ノイズ量が多い場合ノイズの低減効果が大きいように調整し、処理を行った信号を強調処理手段11により信号処理をおこない、強調処理手段11においても、前記ノイズ検出手段13からの制御信号を受け閾値を変更するようなコアリング処理をおこなう。
図2は、図1における強調処理手段11の構成を表す図である。強調処理手段11は入力信号DIN11から特定の周波数帯域近傍の成分を取り出した中間画像D111を生成する中間画像生成手段111、画像D1に後述する処理を行った中間画像D112を生成する中間画像生成手段112、入力信号DIN11と中間画像D112を加算する加算手段113からなり、加算手段113にて入力信号DIN11と中間画像D112を加算した結果が出力信号DOUTとして出力される。
中間画像生成手段111は入力信号DIN11から高周波数成分のみを取り出した画像D111Aを生成する高周波数成分画像生成手段111A、画像D111Aの低周波数成分のみを取り出した画像D111Bを生成する低周波数成分画像生成手段111Bからなる。中間画像生成手段111からは画像D111Bが中間画像D111として出力される。
中間画像生成手段112は中間画像D111に対し、後述する非線形処理を行った画像D112Aを出力する非線形処理手段112A、画像D112Aの高周波数成分のみを取り出した画像D112Bを出力する高周波数成分画像生成手段112B、画像D112Bについてコアリング処理をおこなうコアリング手段112C、画像D111についてコアリング処理をおこなうコアリング手段112D、中間画像D112Cと画像D112Dを加算した画像D112Eを出力する加算手段112Eからなる。中間画像生成手段112からは画像D112Eが中間画像D112として出力される。
以下、本発明の実施の形態1による画像処理装置の詳細な動作について説明を行う。
まず、第1の中間画像生成手段111の詳細な動作について説明する。
第1の中間画像生成手段111は、高周波数成分画像生成手段111Aにおいて、入力画像DIN11の高周波数成分のみを取り出した画像D111Aを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行う。すなわち高周波数成分画像生成手段111Aは、入力画像DIN11に対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ高周波数成分を取り出した画像D111Ahを生成する水平方向高周波数成分画像生成手段111Ahと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ高周波数成分を取り出した画像D111Avを生成する垂直方向高周波数成分画像生成手段111Avからなり、画像D111Aは画像D111Ahと画像D111Avからなる。
次に、第1の中間画像生成手段111は、低周波数成分画像生成手段111Bにおいて、画像D111Aの低周波数成分のみを取り出した画像D111Bを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。なお、低周波数成分の取り出しは水平方向、垂直方向それぞれについて行う。すなわち低周波数成分画像生成手段111Bは、画像D111Ahに対し水平方向のローパスフィルタ処理を行った画像D111Bhを生成する水平方向低周波数成分画像生成手段111Bと、画像D111Avに対し垂直方向のローパスフィルタ処理を行った画像D111Bvを生成する垂直方向低周波数成分画像生成手段111Bvからなり、画像D111Bは画像D111Bhと画像D111Bvからなる。そして、中間画像生成手段111からは、画像D111Bが中間画像D111として出力される。なお、中間画像D111は、画像D111Bhに相当する画像D111h、画像D111Bvに相当する画像D111vからなる。
次に、第2の中間画像生成手段112の詳細な動作について説明する。
まず、第2の中間画像生成手段112は、非線形処理手段112Aにおいて、中間画像D111に対して後述する非線形処理を行った画像D112Aを生成する。非線形処理は、水平方向、垂直方向それぞれについて行う。すなわち非線形処理手段112Aは、画像D111Bhに対して後述する非線形処理を行って画像D112Ahを生成する水平方向非線形処理手段112Ahと、画像D111Bvに対して後述する非線形処理を行って画像D112Avを生成する垂直方向非線形処理手段112Avからなり、画像D112Aは画像D112Ahと画像D112Avからなる。
非線形処理手段112Aの動作についてさらに詳しく説明する。非線形処理手段112Aは同様の構成からなる水平方向非線形処理手段112Ah、垂直方向非線形処理手段112Avを備える。ここで、水平方向非線形処理手段112Ahは水平方向の処理を行い、垂直方向非線形処理手段112Avは垂直方向の処理を行う。
図3は水平方向非線形処理手段112Ahの構成を表す図である。水平方向非線形処理手段112Ahはゼロクロス判定手段112Ah1、信号増幅手段112Ah2を備える。なお、非線形処理手段112Ahには、画像D111hが入力画像DIN112Ah1として入力される。
ゼロクロス判定手段112Ah1は入力画像DIN112Ah1における画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D112Ah1によってゼロクロス点の前後にある画素(前後において隣接する画素)の位置を信号増幅手段112Ah2に伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。水平方向非線形処理手段112Ah内のゼロクロス判定手段112Ah1では、ゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
信号増幅手段112Ah2は信号D112Ah1をもとにゼロクロス点の前後にある画素(前後において隣接する画素)を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D112Ah2を生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
水平方向非線形処理手段112Ahからは画像D112Ahとして非線形処理画像D112Ah2が出力される。
図4は垂直方向非線形処理手段112Avの構成を表す図である。図示の垂直方向非線形処理手段112Avはゼロクロス判定手段112Av1と、信号増幅手段112Av2とを備える。非線形処理手段112Avには、画像D111vが入力画像DIN112Av1として入力される。
ゼロクロス判定手段112Av1は入力画像DIN112Av1における画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D112Av1によってゼロクロス点の前後にある画素(前後において隣接する画素)の位置を信号増幅手段112Av2に伝達する。垂直方向非線形処理手段112Avのゼロクロス判定手段112Av1では、ゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
信号増幅手段112Av2は信号D112Av2をもとにゼロクロス点の前後にある画素(前後において隣接する画素)を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D112Av2を生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
以上が非線形処理手段112Aの動作である。
次に第2の中間画像生成手段112は、高周波数成分画像生成手段112Bにおいて、画像D112Aの第3の周波数以上の高周波数成分のみを取り出した画像D112Bを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段112Bは、画像D112Ahに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第3の水平方向周波数以上の高周波数成分を取り出した画像D112Bhを生成する水平方向高周波数成分画像生成手段112Bhと、画像D112Avに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第3の垂直方向周波数以上の高周波数成分を取り出した画像D112Bvを生成する垂直方向高周波数成分画像生成手段112Bvとを有し、画像D112Bは画像D112Bhと画像D112Bvとから成る。
次に、第1のコアリング手段112Dの詳細な動作について説明する。
コアリング手段112Dは、第1の中間画像D111に対して微小な振動を抑制するコアリング処理を行う。ここで第1の中間画像は、画像D111hと画像D111vとから成るので、水平方向コアリング手段112Dhが画像D111hに対してコアリング処理を行って画像D112Dhを生成し、垂直方向コアリング手段112Dvが画像D111vに対してコアリング処理を行って画像D112Dvを生成する。そして画像D112Dhと画像D112Dvが中間画像D112Dとして第1のコアリング手段112Dから出力される。
図5(A)及び(B)を参照して微小な振動を抑制するコアリング処理についてさらに詳しく説明する。
図5(A)はコアリング処理に対する入力信号を、図5(B)がコアリング処理による出力信号を表す。コアリング処理に対する入力値をDATAIN、コアリング処理による出力値をDATAOUTとするとDATAINとDATAOUTの関係は、
Figure 2011049965
と表される。ここでTHpは正の値をとる閾値を、THmは負の値をとる閾値を表す。
図5(A)と図5(B)を比較すると明らかにコアリング処理によって微小な振動(閾値THpから閾値THmで表される範囲の振動)が抑えられている。即ち、コアリング処理によって、微小な振動を抑えることが可能である。
なおここでの処理は式(1)で説明したコアリング処理に限らず、微小な振動を抑える処理であればよい。
以上が第1のコアリング手段112Dの動作である。
次に、第2のコアリング手段112Cの動作について説明する。第2のコアリング手段は、入力信号が中間画像D112Bとなっている以外は第1のコアリング手段と同様の構成となっており、第2のコアリング手段112Cは、第1のコアリング手段112Dが中間画像D111に対して行ったものと同じ処理を、中間画像D112Bに対して行って得た中間画像D112Cを出力する。なお、上述した第1のコアリング手段112Dの詳細な動作の説明から、第2のコアリング手段112Cの詳細な動作も明らかであるので、第2のコアリング手段112Cの詳細な動作の説明は省略する。
加算手段112Eの動作について説明する。加算手段112Eは、中間画像D112Dと、中間画像D112Cを加算した出力画像D112Eを生成し、中間画像生成手段112の出力画像D112として出力する。中間画像D112Dは画像D112Dh及び画像D112Dvから成っており、中間画像D112Cは画像D112Ch及び画像D112Cvから成っているので、中間画像D112D、及び中間画像D112Cを加算するとは画像D112Dh、D112Dv、D112Ch、及びD112Cvの全てを加算することを意味する。
最後に加算手段113の動作について説明する。加算手段113は、入力画像DIN11と中間画像D112を加算した出力画像DOUTを生成する。加算手段113の出力画像DOUTが最終的な出力画像として、画像処理装置から出力される。
以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。以下の説明では特に断らない限り、Fnという記号は入力画像DIN11のナイキスト周波数を表す。
図8は本発明における画像処理装置を利用した画像表示装置を示し、図示の画像表示装置においては、モニタ3上に原画DORGに対応した画像が表示される。
画像拡大手段2は、原画DORGの画像サイズがモニタ3の画像サイズより小さい場合、原画DORGを拡大した画像D2を出力する。ここで画像の拡大は例えばバイキュービック法などにより行なうことができる。
本発明における画像処理装置1は、画像D2に対し、先に説明した処理を行った画像D1を出力する。そしてモニタ3上には画像D1が表示される。
以下、原画DORGは、水平方向及び垂直方向ともにその画素数がモニタ3の画素数の半分であるとして、まず画像拡大手段2の動作、作用について説明を行う。
図9は画像拡大手段2の構成及び動作を示す図であり、画像拡大手段2は、水平方向ゼロ挿入手段21と、水平方向低周波数成分通過手段22と、垂直方向ゼロ挿入手段23と、垂直方向低周波数成分通過手段24とを有する。
水平方向ゼロ挿入手段21は原画DORGの水平方向に関して画素値0を持つ画素を適宜挿入した(原画DORGの水平方向に隣接する画素列相互間に、画素値0の画素から成る画素列を1列ずつ挿入した)画像D21を生成する。水平方向低周波数成分通過手段22はローパスフィルタ処理により画像D21の低周波数成分のみを取り出した画像D22を生成する。
垂直方向ゼロ挿入手段23は画像D22の垂直方向に関して画素値0を持つ画素を適宜挿入した(画像D22の垂直方向に隣接した画素行相互間に、画素値0の画素から成る画素行を1行ずつ挿入した)画像D23を生成する。垂直方向低周波数成分通過手段24は画像D23の低周波数成分のみを取り出した画像D24を生成する。
以上により、画像D24が原画DORGを水平方向及び垂直方向ともに2倍した画像D2として、画像拡大手段2から出力される。
図10(A)〜(E)は画像拡大手段2の動作を詳しく説明するための図であり、図10(A)は原画DORGを、図10(B)は画像D21を、図10(C)は画像D22を、図10(D)は画像D23を、図10(E)は画像D24を表す。図10(A)〜(E)に関して、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。
水平方向ゼロ挿入手段21は図10(A)に示す原画DORGに対して、水平方向の1画素につき1個、画素値0をもった画素を挿入し(即ち、原画DORGの水平方向に隣接する画素列相互間に一つの、画素値0の画素から成る画素列を挿入し)、図10(B)に示す画像D21を生成する。水平方向低周波数成分通過手段22は図10(B)に示す画像D21に対して、ローパスフィルタ処理を施し、図10(C)に示す画像D22を生成する。
垂直方向ゼロ挿入手段23は図10(C)に示す画像D22に対して、垂直方向の1画素につき1個、画素値0をもった画素を挿入し(即ち、画像D22の垂直方向に隣接する画素行相互間に一つの、画素値0の画素から成る画素行を挿入し)、図10(D)に示す画像D23を生成する。垂直方向低周波数成分通過手段24は図10(D)に示す画像D23に対して、ローパスフィルタ処理を施し、図10(E)に示す画像D24を生成する。以上の処理により原画DORGを水平方向及び垂直方向ともに2倍に拡大した画像D24が生成される。
図11は画像拡大手段2による処理の作用を周波数空間上で表したものであり、図11(A)は原画DORGの周波数スペクトル、図11(B)は水平方向周波数成分通過手段22の周波数応答を表している。なお、図11において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。なお原画DORGの画素数は入力画像DIN11の半分となっており、言い換えると原画DORGのサンプリング間隔は入力画像DIN11のサンプリング間隔の2倍になっている。したがって原画DORGのナイキスト周波数は入力画像DIN11のナイキスト周波数の半分すなわち、Fn/2となる。
なお、図11では表記を簡素にするため、1本の周波数軸しか用いていない。しかしながら、通常、画像データは2次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画DORG等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸1本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸2本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、1本の周波数軸で張られる空間を用いて行う。
まず、原画DORGの周波数スペクトルについて説明する。通常、自然画像が原画DORGとして入力されるが、その場合にはそのスペクトル強度は周波数空間の原点周辺に集中している。したがって原画DORGの周波数スペクトルは図11(A)のスペクトルSPOのようになる。
画像D22の周波数スペクトルについて説明する。画像D21に対し、ローパスフィルタ処理を行うことで、画像D22が得られる。したがって画像D22の周波数スペクトルは画像D22に示すように、スペクトルSPOの強度がある程度落ちたスペクトルSP1からなる。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルSP1の強度をスペクトルSPOと比較すると、水平方向低周波数成分通過手段22によって、高周波数成分側、すなわち周波数が±Fn/2近傍でのスペクトル強度が減少したものとなる。
また、画像拡大手段2による処理のうち、垂直方向ゼロ挿入手段23および垂直方向低周波数成分通過手段24による処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図10を用いて説明した内容と同様の作用があることは容易に理解できる。すなわち、画像D24の周波数スペクトルは、図11(B)に示した周波数スペクトルが2次元上に広がったものとなる。
以下、本発明における画像処理装置の作用、効果について説明する。
図12(A)〜(E)は入力画像DIN11として原画DORGを拡大して得られた画像D24が入力された場合の、入力画像DIN11から中間画像D111を生成する際の作用、効果を模式的に表した図であり、図12(A)は入力画像DIN11の周波数スペクトルを、図12(B)は高周波数成分画像生成手段111Aの周波数応答を、図12(C)は低周波数成分画像生成手段111Bの周波数応答を、図12(D)は中間画像生成手段111の周波数応答を、図12(E)は中間画像D111の周波数スペクトルを表す。なお、図12においても図11同様の理由で周波数軸は1本しか用いていない。
さらに図12(A)〜(E)では、空間周波数が0以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が0以上となる範囲のみを示したもので十分である。
まず、入力画像DIN11の周波数スペクトルについて説明する。画像D12が入力画像DIN11として入力されるので、入力画像DIN11の周波数スペクトルは図12(A)に示すように、周波数スペクトルは図11(B)で説明したものと同じ形状となり、原画DORGのスペクトルSPOの強度がある程度落ちたスペクトルSP1となる。
次に、高周波数成分画像生成手段111Aの周波数応答について説明する。高周波数成分画像生成手段111Aはハイパスフィルタにより構成されているので、その周波数応答は図12(B)に示すように周波数が低くなるほど低くなる。
次に、低周波数成分画像生成手段111Bの周波数応答について説明する。低周波数成分画像生成手段111Bはローパスフィルタにより構成されているので、その周波数応答は図12(C)に示すように周波数が高くなるほど低くなる。
次に、中間画像生成手段1の周波数応答について説明する。入力画像DIN11が持つ周波数成分のうち、図12(D)に示された低周波数成分側の領域RL1の周波数成分については、中間画像生成手段111内の高周波数成分画像生成手段111Aで弱められる。一方、図12(D)に示された高周波数成分側の領域RH1の周波数成分については、中間画像生成手段111内の低周波数成分画像生成手段111Bで弱められる。したがって、中間画像生成手段111の周波数応答は、図12(D)に示すように、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域を制限された中間の領域RM1にピークを持ったものとなる。
次に、中間画像D1の周波数スペクトルについて説明する。図12(A)に示す周波数スペクトルを持つ入力画像DIN11が、図12(D)に示した周波数応答を持つ中間画像生成手段111を通過することで、中間画像D111が得られる。そして中間画像生成手段111の周波数応答は、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域制限された中間の領域RM1にピークを持ったものなので、中間画像D111の周波数スペクトルは、入力画像DIN11の周波数スペクトルのうち、低周波数成分側の領域RL1と高周波数成分側の領域RH1に含まれる部分の強度が弱くなったものとなる。従って中間画像D111は入力画像DIN11の持つ高周波数成分となる。
図13(A)〜(C)は中間画像生成手段112の作用、効果を表した図であり、図13(A)は非線形処理画像D112Aの周波数スペクトルを、図13(B)は高周波数成分画像112Bの周波数応答を、図13(C)は画像D112Bの周波数スペクトルを表す。なお、図13では、図12と同様の理由で、空間周波数が0以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表している。
後述するように非線形処理画像D112Aでは、高周波数成分側の領域RH2に相当する高周波数成分が生成される。図13(A)はその様子を模式的に表した図である。画像D112Bは非線形処理画像D112Aが高周波数成分画像生成手段112Bを通過することで生成される。高周波数成分画像生成手段112Bはハイパスフィルタで構成されており、その周波数応答は図13(B)に示すように周波数が高くなるほど高いものとなる。従って画像D112Bの周波数スペクトルは図13(C)に示すように非線形処理画像D112Aの周波数スペクトルから低周波数成分側の領域RL2に相当する成分を取り除いたものとなる。言い換えると、非線形処理手段112Aには高周波数成分側の領域RH2に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段112Bには非線形処理手段112Aで生成された高周波数成分のみを取り出す効果がある。
上記の作用、効果について、サンプリング間隔の長さが2倍の場合を、上記のように高周波成分が劣化し、画像がぼやけた場合とみなして、これを例に用いて詳しく説明する。
図14はステップエッジをサンプリングした際に得られる信号について表した図である。図14(A)はステップエッジとサンプリング間隔S1を表しており、図14(B)はステップエッジをサンプリング間隔S1でサンプリングした際に得られる信号を表しており、図14(C)は図14(B)に表された信号の高周波数成分を表している。一方、図15(A)はステップエッジとサンプリング間隔S1より間隔の広いサンプリング間隔S2を表しており、図15(B)はステップエッジをサンプリング間隔S2でサンプリングした際に得られる信号を表しており、図15(C)は図15(B)に表された信号の高周波数成分を表している。なお、以下の説明ではサンプリング間隔S2の長さはサンプリング間隔S1の長さの2倍であるとする。
図14(C)、図15(C)に表されるようにステップエッジの中央は高周波数成分を表した信号においてゼロクロス点Zとして現れる。また、高周波数成分を表した信号のゼロクロス点Zの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Z近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Zに近づく。
すなわち、サンプリング間隔が変わっても、エッジ近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど(あるいは解像度が上がるほど)エッジ近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
図16はステップエッジをサンプリング間隔S1でサンプリングした信号が2倍に拡大された後、本発明における映像記録装置に入力された際の作用、効果を表す図であり、特に中間画像生成手段111および中間画像生成手段112の作用、効果を表している。なお、先に述べた通り、中間画像生成手段111および中間画像生成手段112内部の処理は水平方向、垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図16では一次元信号を用いて処理の内容を表している。
図16(A)は、図15(B)同様ステップエッジをサンプリング間隔S2でサンプリングした信号である。図16(B)は、図16(A)に表した信号を2倍に拡大した信号である。すなわち、原画DORGに図16(A)に示すようなエッジが含まれる場合、入力画像DIN11として図16(B)に示すような信号が入力される。なお、信号を2倍に拡大するとサンプリング間隔は拡大前の半分になるため、図16(B)に表した信号のサンプリング間隔は図14中のサンプリング間隔S1と同じになる。また、図16(A)において座標P3で表される位置はエッジ信号の低輝度側の境界部分であり、座標P4で表される位置はエッジ信号の高輝度側の境界である。
図16(C)は図16(B)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段111Aから出力される画像D111Aに相当する信号である。なお、画像D111Aは、入力画像DIN11の高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
図16(D)は図16(C)に表した信号の低周波数成分を表した信号、すなわち低周波数成分画像生成手段111Bから出力される画像D111Bに相当する信号である。なお先に述べたとおり画像D111Bが中間画像D111として出力されるので、図16(D)は中間画像D111にも相当する。図16(D)に示すとおり、中間画像D111においてゼロクロス点Z近傍の局所的な最小値は座標P3に、局所的な最大値は座標P4に表れ、その様子は図15(C)に示した、ステップエッジをサンプリング間隔S2でサンプリングした信号から取り出した高周波数成分と一致する。
図16(E)は、図16(D)に表した信号に対する非線形処理手段112Aに入力された際の出力信号、すなわち、中間画像D111が入力された場合に非線形処理手段112Aから出力される画像D112Aを表している。非線形処理手段112Aではゼロクロス点Zの前後の座標P1、P2の信号値が増幅される。したがって、画像D112Aは図16(E)に示すように座標P1、P2での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Z近傍で、局所的な最小値の現れる位置が座標P3からよりゼロクロス点Zに近い座標P1に、局所的な最大値の現れる位置が座標P4からよりゼロクロス点Zに近い座標P1へと変化する。これは非線形処理手段112Aにおける、ゼロクロス点Z前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。すなわち非線形処理手段112Aには、中間画像D111には含まれない高周波数成分、すなわち、図13(A)に示した高周波数成分側の領域RH2に相当する高周波数成分を生成する効果がある。
図16(F)は図16(E)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段112Bから出力される画像D112Bに相当する信号である。図16(F)に示すとおり、画像D112Bにおいてゼロクロス点Z近傍の局所的な最小値は座標P1に、最大値は座標P2に表れ、その様子は図14(C)に示した、ステップエッジをサンプリング間隔S1でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段112Aにおいて生成された高周波数成分が高周波数成分画像生成手段112Bによって取り出され、画像D112Bとして出力されることを意味する。また、取り出された画像D112Bはサンプリング間隔S1に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段112Bには非線形処理手段112Aで生成された高周波数成分のみを取り出す効果がある。
別の言い方をすると、上述のような処理を行い、ゼロクロス点Zの近傍でのピークの位置を座標P1、P2で表される位置へと変化させることは、サンプリング間隔S1に対応した周波数成分を生成させることに対応する。
以上が第2の中間画像生成手段112の効果であり、まとめると、第2の中間画像生成手段112内の非線形処理手段112Aには高周波数成分側の領域RH2に相当する高周波数成分を生成する効果があり、第2の中間画像生成手段112内の高周波数成分画像生成手段112Bには非線形処理手段112Aで生成された高周波数成分のみを取り出す効果がある。第2の中間画像手段112は、サンプリング間隔S1に対応した高周波数成分を持った中間画像D112Bを出力する。
ここで中間画像D111及び中間画像D112Bを入力画像DIN11に加算することで画像の強調処理を行うことが可能である。
本発明では、中間画像D111及びD112Bを入力画像DIN11に加算するわけではないが、以下、仮に上記の中間画像を加算をした場合に得られる効果について説明し、その後で、上記の中間画像D111及びD112Bの代わりに、中間画像D112D及びD112Cを加算することによる効果について説明する。
まず、中間画像D111を加算することの効果について述べる。先に述べたとおり中間画像D111は入力画像DIN11の持つ高周波数成分から折り返し成分を取り除いたものであり、図12(E)に示すように原画DORGのナイキスト周波数の近傍の高周波数成分に対応している。図11(B)で説明したとおり、原画DORGのナイキスト周波数の近傍のスペクトル強度は画像拡大手段2での拡大処理によって弱められているので、中間画像D111を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像D1から、折り返し成分は取り除かれているので、オーバーシュートやジャギーあるいはリンギングといった偽の信号を強調することはない。
次に中間画像D112Bを加算することの効果について述べる。先に述べたとおり中間画像D112Bはサンプリング間隔S1に対応した高周波数成分である。したがって中間画像D112Bを加算することで原画DORGのナイキスト周波数以上の帯域の高周波数成分を与えることができ、従って、画像の解像感を増すことができる。
まとめると中間画像D111と画像D112Bを入力画像DIN11に加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。
ところで、上記の説明の様にして生成した高周波数成分を入力画像に加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、入力画像にノイズが多く含まれているとノイズが強調され、かえって画質の低下を招くことがある。
図17(A)〜(E)は高周波数成分の加算による画質の低下について説明するための図である。
図17(A)は、図16(B)と同様、ステップエッジ信号をサンプリングした後、2倍に拡大した画像を表す。ただし、図16(B)と違い区間SEC1、SEC2で示された領域にノイズが存在する。また、座標Z0はステップエッジ信号の中心部分を表す。以下、入力画像DIN11として図17(A)に示された画像が入力される場合を考える。
なお、図17(A)では便宜的に区間SEC1、SEC2にノイズとして1画素ごとに増減を繰り返す微小な振動(2画素周期の振動)が描かれているが、ノイズの種類はこれに限定されるわけではない。即ち振動の周期は2画素に限定されず、また、1種類でもない。言い換えれば複数の周期の振動が合成されたものでもよい。たとえばあらゆる周期のノイズが合成された例としては白色雑音がある。またノイズは周期的なものに限定されず、ソルトアンドペッパーノイズのような単発的なものでもよい。
図17(B)は、このとき得られる画像D111Aを示す図である。画像D111Aは、図16(C)を参照して説明した場合とほぼ同形状となるが、図16(C)と違い、区間SEC1、SEC2に、入力画像DIN11が区間SEC1、SEC2に持っているノイズに起因する微小な振動が存在する。即ち、入力画像DIN11に含まれるノイズの一部が高周波数成分画像生成手段111A内のハイパスフィルタを通過するため、区間SEC1、SEC2に微小な振動が生じる。
図17(C)は、このとき得られる中間画像D111を示す図である。中間画像D111は、図16(D)を参照して説明した場合とほぼ同形状となるが、図16(D)と違い区間SEC1、SEC2で示された領域に微小な振動が存在する。これは画像D111Aに含まれる微小な振動の一部が低周波数成分画像生成手段111B内のローパスフィルタを通過するためである。
以上の説明を言い換えると、中間画像D111には、入力画像DIN11に含まれるノイズのうち、図12(D)中に領域RM1で示した周波数帯域を通過したものが含まれる。
図17(D)は、このとき得られる画像D112Aを示す図である。中間画像D112Aは、図16(E)を参照して説明した場合とほぼ同形状となるが、図16(E)と違い区間SEC1、SEC2に微小な振動が存在する。これは中間画像D111に含まれる微小な振動に起因するものである。また、中間画像D111の区間SEC1、SEC2の間に存在する微小な振動の中にはその値が正の値から負の値または負の値から正の値へと変化するゼロクロス点が多く含まれるので、その振動は非線形処理手段112Aでの非線形処理によって増幅されることとなる。
図17(E)は、このとき得られる中間画像D112Bを示す図である。中間画像D112Bは、図16(F)を参照して説明した場合とほぼ同形状となるが、図16(F)と違い区間SEC1、SEC2に微小な振動が存在する。これは画像D112Aに含まれる微小な振動の一部が高周波数成分画像生成手段112B内のハイパスフィルタを通過するためである。
図17(A)に示す入力画像DIN11に対して、図17(C)に示す中間画像D111及び図17(E)に示す中間画像D112Bを加算することで座標Z0を中心とするステップエッジ信号を強調し、画像の解像感を高めることが可能である。しかしながら同時に区間SEC1、SEC2では中間画像D111及び中間画像D112Bによって微小な振動が加算され、その結果、もともと区間SEC1、SEC2に含まれていたノイズが増加されることとなる。
先に述べたとおり、入力画像DIN11に含まれるノイズは、中間画像D111及び中間画像D112Bにおいて微小な振動として現れる。そしてこの微小な振動が入力画像DIN11に加算されることでノイズが増加する。
そこで、中間画像D111及び中間画像D112Bに存在する微小な振動を抑えた後、入力画像DIN11に加算することで、ノイズの増加を伴うことなく画像の強調処理を行うこととした。
本発明の実施の形態1による画像処理装置では、コアリング手段112Dが中間画像D111の微小な振動を抑え、コアリング手段112Cが中間画像D112Bの微小な振動を抑える。
図18(A)〜(D)を用いて微小振動抑制処理としてコアリング処理を用いた場合を例に本発明の実施の形態1による画像処理装置の作用、効果の説明を行う。
図18(A)に、図17(B)に示した中間画像D111を再び示す。なお、図18(A)にはコアリング手段112Dに用いる閾値THp1、THm1も合わせて示してある。
図18(B)に、コアリング手段112Dによって生成された中間画像D112Dを示す。コアリング処理によって閾値THp1、THm1で示される範囲内の振動が抑えられるため、中間画像D111において区間SEC1、SEC2に含まれていた微小な振動が抑えられたことがわかる。また座標P3、P4の位置に存在するピークは損なわれずに残っているので、この中間画像D112Dを入力画像DIN11に加算することでノイズを増加することなく画像の強調処理を行うことが可能である。
図18(C)に、図17(E)に示した中間画像D112Bを再び示す。なお、図18(C)にはコアリング手段112Cに用いる閾値THp2、THm2も合わせて示してある。
図18(D)に、コアリング手段112Cによって生成された中間画像D112Cを示す。コアリング処理によって閾値THp2、THm2で示される範囲内の振動が抑えられるため、中間画像D112Bにおいて区間SEC1、SEC2に含まれていた微小な振動が抑えられたことがわかる。また座標P1、P2の位置に存在するピークは損なわれずに残っているので、この中間画像D112Cを入力画像DIN11に加算することで画像の強調処理を行うことも可能である。先に述べたように、ゼロクロス点の近傍のピークが座標P1、P2に存在するということは、サンプリング間隔S1に対応した高周波数成分であるということなので、中間画像D112Cを加算することで原画DORGのナイキスト周波数以上の帯域の高周波数成分を与えることが可能となり、画像の解像感を増すことができる。
このようにして、コアリング手段112C及び112Dを用いることで、入力画像DIN11に含まれるノイズを増加することなく、画像の解像感を高めることができる。
次にノイズ検出手段13およびノイズ低減手段12について説明する。図6に、ノイズ検出手段13の構成例を示す。ノイズ検出手段13においては、水平方向高周波数成分通過手段131と垂直方向高周波数成分通過手段132と時間方向高周波数成分通過手段133により水平・垂直・時間方向の高周波数成分を抽出し、高周波数計数手段134により全画面内における上記高周波数成分を含む画素を計数し、判定手段135により計数結果がある大きさを有する場合に水平・垂直・時間方向のいずれにおいても全画面にわたって高周波成分を持つことからノイズであると判定し、ノイズに応じて値が大きい信号を出力する。
図7に、ノイズ低減手段12の構成を示す。ノイズ低減手段12においては、水平方向低周波数成分通過手段121と垂直方向低周波数成分通過手段122と時間方向低周波数成分通過手段123により水平・垂直・時間方向の低周波数成分を抽出し、画面内のノイズを低減する。一方、遅延手段124は、水平方向低周波数成分通過手段121と垂直方向低周波数成分通過手段122と時間方向低周波数成分通過手段123の遅延時間分だけ入力信号を遅延するものである。選択手段125は、時間方向低周波数成分通過手段123出力信号D123と遅延手段124出力信号D124について、ノイズ検出手段13の検出信号NDより、「ノイズあり」と判定され値の大きい検出信号の場合は、時間方向低周波数成分通過手段123出力信号D123の割合を大きくし、「ノイズなし」と判定され値の小さい検出信号の場合は、遅延手段124出力信号D124の割合を大きくする。なお、時間方向低周波数成分通過手段123出力信号D123に関しては、処理画像が静止画像でない場合、水平方向あるいは垂直方向またはその両方の時間方向低周波数成分通過手段の出力信号を用いて時間方向低周波数成分通過手段の結果を用いないように切り換えることが望ましいが、ここでは詳細な構成は省略する。
図2の強調処理手段におけるコアリング手段112C及び112Dにおいては、入力されるノイズ検出信号NDに応じて閾値THp1、THm1の値を変えるものとする。正の値となるTHp1と負の値となるTHm1については例えば絶対値化し、ノイズ検出信号NDの値が大きければ閾値の絶対値もそれに応じて大きくすることで、ノイズ量に対応してコアリング処理により抑制されるノイズの振幅値も大きくなる。
上記のような処理をおこなった中間画像D112Dと画像D112Cを加算手段112Eならびに加算手段113により入力画像DIN11に加算することで、ノイズ量が大きい場合も対応してノイズ振幅を抑制しながら、画像の解像感を高めることが可能となる。
さらに、本発明における画像処理装置では、第1の中間画像生成手段111及び第2の中間画像生成手段112において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。
また、本発明における画像処理装置では周波数空間で考えて原点からFnに渡る周波数帯域のうち、原画DORGのナイキスト周波数±Fn/2の近傍(あるいは特定の周波数帯域)に入力画像DIN11が持っている成分をもとに、画像DIN11のナイキスト周波数±Fnの近傍の高周波数成分に対応した画像D112Bを生成している。したがってなんらかの理由で、入力画像DIN11において、ナイキスト周波数±Fnの近傍の周波数成分が失われていたとしても、画像D112Bにより、ナイキスト周波数±Fnの近傍の周波数成分を与えることが可能になる。言い換えると、入力画像DIN11に対し、より高周波数成分側の周波数成分を与えられることになるので、出力画像DOUTの解像感を増すことができる。
なお、特定の周波数帯域として用いる箇所は、±Fn/2の近傍に限定されるものではない。即ち高周波数成分画像生成手段111A及び低周波数成分画像生成手段111Bの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。
上記の説明ではナイキスト周波数Fnの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力画像DIN11に対してナイキスト周波数Fnの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。
また、コアリング手段112C及びコアリング手段112Dで行う微小振動抑制処理は本実施の形態で説明したものに留まらず、微小な振動を抑えるものであればよい。
また、上記の説明ではノイズ検出手段13からの検出信号を、ノイズ低減手段12と強調処理手段11のそれぞれで受け、ノイズ低減手段12と強調処理手段11のそれぞれでノイズを低減・抑制する動作としていたが、ノイズ低減手段12を用いることなしにノイズ検出手段13からの検出信号を強調処理手段11のみで受け、ノイズを抑制する構成としてもよい。
また、上記の説明ではノイズ検出手段13の構成を図6のように、ノイズ低減手段12の構成を図7のように説明したが、ノイズ成分を検出する回路構成であれば図6に、ノイズ成分を低減する回路構成であれば図7の構成に限るものではない。
また、上記の説明では、ノイズ検出量に応じてコアリングの閾値を変更する構成としていたが、図19の構成のようにノイズ検出量が大きいときにそれぞれの中間画像生成手段において抽出する周波数成分を高周波数に変更し、強調の度合いを弱めるなど、高周波数成分画像生成手段111A、低周波数成分画像生成手段111B、高周波数成分画像生成手段112Bにおいて抽出する周波数成分を変更することで、ノイズ検出量の大きさに合わせ強調処理を自動的に調整するような構成としてもよい。
また、強調処理手段11における加算手段112Eを図20の加重加算手段112EA構成のようにすることで、ノイズ検出量が大きいときにそれぞれの乗算手段において各入力信号D112Dh、D112Dv、D112Ch、D112Cvと乗算する乗算値を小さくすることで強調の度合いを弱めるようにすることで、ノイズ検出量の大きさに合わせ強調処理を自動的に調整するような構成としてもよい。
実施の形態2.
図21は本発明の実施の形態2による画像処理方法のフローを表す図であり、本発明の実施の形態2による画像処理方法は、ノイズ検出ステップST1、強調処理ステップST2からなる。
強調処理ステップST2は図22に示すように、中間画像生成ステップST2A、中間画像生成ステップST2B、加算ステップST2Cからなり、中間画像生成ステップST2Aは高周波数成分画像生成ステップST2A1、低周波数成分画像生成ステップST2A2から、中間画像生成ステップST2Bは非線形処理ステップST2B1、高周波数成分画像生成ステップST2B2、コアリング処理ステップST2B3、加算ステップST2B4により実現される。
高周波数成分画像生成ステップST2A1は図23に示すように、水平方向高周波数成分通過ステップST2A1h、垂直方向高周波数成分通過ステップST2A1vを含む。
低周波数成分画像生成ステップST2A2は図24に示すように、水平方向低周波数成分通過ステップST2A2h、垂直方向低周波数成分通過ステップST2A2vを含む。
非線形処理ステップST2B1は図25に示すように、水平方向非線形処理ステップST2B1h、垂直方向非線形処理ステップST2B1vを含む。
高周波数成分画像生成ステップST2B2は図26に示すように、水平方向高周波数成分通過ステップST2B2h、垂直方向高周波数成分通過ステップST2B2vを含む。
水平方向非線形処理ステップST2B1hは図27に示すように、ゼロクロス判定ステップST2B11h、信号増幅ステップST2B12hからなり、垂直方向非線形処理ステップST2B1vは図28に示すように、ゼロクロス判定ステップST2B11v、信号増幅ステップST2B12vを含む。
コアリング処理ステップST2B3は図29に示すように、水平方向高周波数成分通過ステップST2B3h、垂直方向高周波数成分通過ステップST2B3vを含む。
まず、図22、図23ならびに図24のフローに従って中間画像生成ステップST2Aの動作について説明する。
高周波数成分画像生成ステップST2A1では、図示しない画像入力ステップにて入力された入力画像DIN11に対し、以下のような処理が行われる。まず、水平方向高周波数成分画像生成ステップST2A1hでは、水平方向のハイパスフィルタ処理によって、入力画像DIN11から水平方向の高周波数成分を取り出した画像D111Ahを生成する。垂直方向高周波数成分画像ステップST2A1vでは、垂直方向のハイパスフィルタ処理によって、入力画像DIN11から垂直方向の高周波数成分を取り出した画像D111Avを生成する。すなわち、高周波数成分画像生成ステップST2A1は、高周波数成分画像生成手段111Aと同様の処理を行い、入力画像DIN11から、画像D111Ahおよび画像D111Avからなる画像D111Aを生成する。この動作は高周波数成分画像生成手段111Aと同等である。
低周波数成分画像生成ステップST2A2では、画像D111Aに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップST2A2hでは、水平方向のローパスフィルタ処理によって、画像D111Ahから水平方向の低周波数成分を取り出した画像D111Bhを生成する。垂直方向低周波数成分画像生成ステップST2A2vでは、垂直方向のローパスフィルタ処理によって、画像D111Avから垂直方向の低周波数成分を取り出した画像D111Bvを生成する。すなわち、低周波数成分画像生成ステップST2A2は、低周波数成分画像生成手段111Bと同様の処理を行い、画像D111Aから、画像D111Bhおよび画像D111Bvからなる画像D111Bを生成する。この動作は低周波数成分画像生成手段111Bと同等である。
以上が中間画像生成ステップST2Aの動作であり、中間画像生成ステップST2Aでは画像D111Bhを画像D111hとし、画像D111Bvを画像D111vとし、画像D111hおよび画像D111vからなる中間画像D111を出力する。以上の動作は中間画像生成手段111と同等である。
次に図25〜29のフローに従って中間画像処理ステップST2Bの動作について説明する。
まず、非線形処理ステップST2B1では中間画像D111に対し、以下のような処理を行う。
まず、水平方向非線形処理ステップST2B1hでは、図27に示すフローに従った処理で画像D111hから画像D112Ahを生成する。図27に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップST2B11hでは、画像D111hにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップST2B12hに通知する。信号増幅ステップST2B12hでは画像D111hについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像D112Ahとして出力する。すなわち、非線形処理ステップST2B1hは、画像D111hに対し、水平方向非線形処理手段112Ahと同様の処理を行い、画像D112Ahを生成する。
次に、垂直方向非線形処理ステップST2B1vでは、図28に示すフローに従った処理で画像D111vから画像D112Avを生成する。図28に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップST2B11vでは、画像D111vにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップST2B12vに通知する。信号増幅ステップST2B12vでは画像D111vについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像D112Avとして出力する。すなわち、非線形処理ステップST2B12Avは、画像D111vに対し、垂直方向非線形処理手段112Avと同様の処理を行い、画像D112Avを生成する。
以上が非線形処理ステップST2B1の動作であり、非線形処理ステップST2B1は画像D112Ahおよび画像D112Avからなる画像D112Aを生成する。その動作は非線形処理手段112Aと同等である。
次に、高周波数成分画像生成ステップST2B2では画像D112Aに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップST2B2hでは、画像D112Ahに対し水平方向のハイパスフィルタ処理を行った画像D112Bhを生成する。すなわち、水平方向高周波数成分画像生成ステップST2B2hは、水平方向高周波数成分画像生成手段112Bhと同様の処理を行う。
次に、垂直方向高周波数成分画像生成ステップST2B2vでは、画像D112Avに対し垂直方向のハイパスフィルタ処理を行った画像D112Bvを生成する。すなわち、垂直方向高周波数成分画像生成ステップST2B2vは、垂直方向高周波数成分画像生成手段112Bvと同様の処理を行う。
以上が高周波数成分画像生成ステップST2B2の動作であり、高周波数成分画像生成ステップST2B2は画像D112Bhおよび画像D112Bvからなる画像D112Bを生成する。その動作は高周波数成分画像生成手段112Bと同等である。
次に、コアリング処理ステップST2B3では画像D111ならびにD112Bに対し、以下の様な処理を行う。
まず、水平方向コアリング処理ステップST2B3hでは、画像D111ならびにD112Bに対し水平方向のコアリング処理を行った画像D112DhならびにD112Chを生成する。
次に、垂直方向コアリング処理ステップST2B3vでは、画像D111ならびにD112Bに対し垂直方向のコアリング処理を行った画像D112DvならびにD112Cvを生成する。
以上がコアリング処理ステップST2B3の動作であり、コアリング処理ステップST2B3は画像D112DhおよびD112Dvからなる画像D112Dならびに画像D112ChおよびD112Cvからなる画像D112Cを生成する。
加算ステップST2B4は画像D112DとD112Cを加算して画像D112Eを生成する。この動作は加算手段112Eと同等である。
以上が中間画像処理ステップST2Bの動作であり、中間画像処理ステップST2Bは画像D112Eを中間画像D112として出力する。この動作は中間画像処理手段112と同等である。
加算ステップST2Cは入力画像DIN11と中間画像D112を加算し、出力画像DOUTを生成する。そして出力画像DOUTが本発明における画像処理方法の最終出力画像として出力される。すなわち、加算ステップST2Cの動作は加算手段113の動作と同等である。
以上が本発明における画像処理方法の動作である。
本発明における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態1における画像処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態1における画像処理装置と同様の効果を持つ。
1 画像処理装置、 11 強調処理手段、 12 ノイズ低減手段、 13 ノイズ検出手段、 111 第1の中間画像生成手段、 112 第2の中間画像生成手段、 111A 高周波数成分画像生成手段、 111B 低周波数成分画像生成手段、 112A 非線形処理手段、 112B 高周波数成分画像生成手段、112C コアリング手段、112D コアリング手段、 112E 加算手段、113 加算手段。

Claims (12)

  1. 画像入力信号に含まれるノイズ量を検出してノイズ検出信号を出力するノイズ検出手段と、
    前記画像入力信号の特定の周波数帯域近傍の成分を取り出して第1の中間画像を生成する第1の中間画像生成手段と、
    前記第1の中間画像と、前記第1の中間画像に非線形処理を施して生成した高周波数成分の各々にコアリング処理した後加算して第2の中間画像を生成する第2の中間画像生成手段と、
    前記画像入力画像と前記第2の中間画像を加算して映像出力信号を生成する加算手段と
    を有することを特徴とする画像処理装置。
  2. 前記中間画像生成手段は、
    前記入力画像信号の第1の周波数以上の高周波数成分のみを取り出した第1の高周波数成分画像を生成する高周波数成分画像生成手段と、
    前記第1の高周波数成分画像の第2の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成手段と
    を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記中間画像生成手段は、
    前記第1の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理手段と、
    前記非線形処理画像の第3の周波数以上の高周波数成分のみを取り出した第2の高周波数成分画像を生成する高周波数成分画像生成手段と、
    前記第1の中間画像に含まれる微小な振動を抑制したコアリング手段と、
    前記第2の高周波数成分画像に含まれる微小な振動を抑制したコアリング手段と、
    前記コアリング手段の出力信号とコアリング手段の出力信号を加算する加算手段と
    を有することを特徴とする請求項1に記載の画像処理装置。
  4. 前記高周波数成分画像生成手段は、
    前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第1の水平方向周波数以上の高周波数成分を取り出した第1の水平方向高周波数成分画像を生成する第1の水平方向高周波数成分画像生成手段と、
    前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第1の垂直方向周波以上の高周波数成分を取り出した第1の垂直方向高周波数成分画像を生成する第1の垂直方向高周波数成分画像生成手段を有し、
    前記低周波数成分画像生成手段は、
    前記第1の水平方向高周波数成分画像の第2の水平方向周波数以下の低周波数成分のみを取り出した第1の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
    前記第1の垂直方向高周波数成分画像の第2の垂直方向周波数以下の低周波数成分のみを取り出した第1の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段と
    を有することを特徴とする請求項2に記載の画像処理装置。
  5. 前記第1の中間画像が、
    前記第1の水平方向中間画像及び前記第1の垂直方向中間画像から成り、
    前記非線形処理手段は、
    前記第1の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段と、
    前記第1の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
    前記高周波数成分画像生成手段は、
    前記水平方向非線形処理画像の第3の水平方向周波数以上の高周波数成分のみを取り出した第2の水平方向高周波数成分画像を生成する第2の水平方向高周波数成分画像生成手段と、
    前記垂直方向非線形処理画像の第3の垂直方向周波数以上の高周波数成分のみを取り出した第2の垂直方向高周波数成分画像を生成する第2の垂直方向高周波数成分画像生成手段を有する
    ことを特徴とする請求項2乃至請求項5のいすれかに記載の画像処理装置。
  6. 前記水平方向非線形処理手段は、
    前記第1の水平方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
    前記水平方向ゼロクロス判定手段の判定結果に応じて前記第1の水平方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第1の水平方向中間画像の画素値を増幅する水平方向信号増幅手段を有し、
    前記垂直方向非線形処理手段は、
    前記第1の垂直方向中間画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
    前記垂直方向ゼロクロス判定手段の判定結果に応じて前記第1の垂直方向中間画像の各画素に対する増幅率を決定し、決定した増幅率で前記第1の垂直方向中間画像の画素値を増幅する垂直方向信号増幅手段を有する
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記コアリング手段が、
    前記第1の水平方向中間画像に含まれる微小な振動を抑制した第3の水平方向中間画像を生成する水平方向コアリング手段と、
    前記第1の垂直方向中間画像に含まれる微小な振動を抑制した第3の垂直方向中間画像を生成する水平方向コアリング手段を有する
    ことを特徴とする請求項3に記載の画像処理装置。
  8. 前記コアリング手段が、
    前記第2の水平方向中間画像に含まれる微小な振動を抑制した第4の水平方向中間画像を生成する水平方向コアリング手段と、
    前記第2の垂直方向中間画像に含まれる微小な振動を抑制した第4の垂直方向中間画像を生成する水平方向コアリング手段を有する
    ことを特徴とする請求項3に記載の画像処理装置。
  9. 前記コアリング手段の少なくとも一つは、
    入力画素値をDATAIN、出力画素値をDATAOUTで表す時、
    DATAINの値が正の値である第1の閾値THp以上の場合は
    DATAOUT=DATAIN−THp
    とし、
    DATAINの値が負の値である第2の閾値THmより大きい場合は
    DATAOUT=0
    とし、
    DATAINの値が前記第2の閾値THm以下の場合は
    DATAOUT=DATAIN+THm
    とする処理を行うことを特徴とする請求項7または8に記載の画像処理装置。
  10. 請求項1乃至9のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
  11. 入力画像からノイズ成分を検出するノイズ検出ステップと、
    入力画像から特定の周波数帯域の成分を取り出した第1の中間画像を生成する第1の中間画像生成ステップと、
    前記第1の中間画像をもとに第2の中間画像を生成する第2の中間画像生成ステップと、
    前記第1の中間画像生成ステップは、
    前記入力画像信号の第1の周波数以上の高周波数成分のみを取り出した第1の高周波数成分画像を生成する高周波数成分画像生成ステップと、
    前記第1の高周波数成分画像の第2の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成ステップからなり
    前記第2の中間画像生成ステップは、
    前記第1の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理ステップと、
    前記非線形処理画像の第3の周波数以上の高周波数成分のみを取り出した第2の高周波数成分画像を生成する高周波数成分画像生成ステップと、
    前記第1の中間画像および前記第2の高周波数成分画像に含まれる微小な振動を抑制するコアリング処理ステップからなり、
    前記コアリング処理ステップにおいてコアリング処理をおこなった信号と入力画像を加算する加算ステップを有すること
    ことを特徴とする画像処理方法。
  12. 請求項11に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
JP2009198236A 2009-08-28 2009-08-28 画像処理装置及び方法並びに画像表示装置 Active JP5471175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009198236A JP5471175B2 (ja) 2009-08-28 2009-08-28 画像処理装置及び方法並びに画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009198236A JP5471175B2 (ja) 2009-08-28 2009-08-28 画像処理装置及び方法並びに画像表示装置

Publications (3)

Publication Number Publication Date
JP2011049965A true JP2011049965A (ja) 2011-03-10
JP2011049965A5 JP2011049965A5 (ja) 2012-09-20
JP5471175B2 JP5471175B2 (ja) 2014-04-16

Family

ID=43835824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009198236A Active JP5471175B2 (ja) 2009-08-28 2009-08-28 画像処理装置及び方法並びに画像表示装置

Country Status (1)

Country Link
JP (1) JP5471175B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016189590A (ja) * 2016-04-28 2016-11-04 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344386A (ja) * 1992-06-09 1993-12-24 Matsushita Electric Ind Co Ltd 画像輪郭強調器
JPH07177386A (ja) * 1993-12-21 1995-07-14 Matsushita Electric Ind Co Ltd 画像輪郭強調装置
JPH08111792A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 画像輪郭強調器
JPH0946554A (ja) * 1995-07-31 1997-02-14 Sony Corp 撮像装置
JPH09224186A (ja) * 1995-12-12 1997-08-26 Sony Corp ビデオカメラおよび輪郭補正装置
JP2002269558A (ja) * 2001-01-02 2002-09-20 Eastman Kodak Co 色の相互相関統計量を利用した、デジタル画像から雑音を計算する方法。
JP2003304506A (ja) * 2002-04-10 2003-10-24 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2006252508A (ja) * 2005-03-08 2006-09-21 Renei Kagi Kofun Yugenkoshi ビデオ信号のノイズを削減する方法と装置
JP2008125112A (ja) * 2005-10-12 2008-05-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344386A (ja) * 1992-06-09 1993-12-24 Matsushita Electric Ind Co Ltd 画像輪郭強調器
JPH07177386A (ja) * 1993-12-21 1995-07-14 Matsushita Electric Ind Co Ltd 画像輪郭強調装置
JPH08111792A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 画像輪郭強調器
JPH0946554A (ja) * 1995-07-31 1997-02-14 Sony Corp 撮像装置
JPH09224186A (ja) * 1995-12-12 1997-08-26 Sony Corp ビデオカメラおよび輪郭補正装置
JP2002269558A (ja) * 2001-01-02 2002-09-20 Eastman Kodak Co 色の相互相関統計量を利用した、デジタル画像から雑音を計算する方法。
JP2003304506A (ja) * 2002-04-10 2003-10-24 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2006252508A (ja) * 2005-03-08 2006-09-21 Renei Kagi Kofun Yugenkoshi ビデオ信号のノイズを削減する方法と装置
JP2008125112A (ja) * 2005-10-12 2008-05-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200401763003; 志村 厚: 'epsilon-フィルタを用いたエッジ効果の生じない高周波数成分推定を伴うディジタル画像拡大法の提案' 電子情報通信学会論文誌 J86-A No.5, 20030501, 540 - 551, 社団法人電子情報通信学会 *
JPN6013002520; 志村 厚: 'epsilon-フィルタを用いたエッジ効果の生じない高周波数成分推定を伴うディジタル画像拡大法の提案' 電子情報通信学会論文誌 J86-A No.5, 20030501, 540 - 551, 社団法人電子情報通信学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016189590A (ja) * 2016-04-28 2016-11-04 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置

Also Published As

Publication number Publication date
JP5471175B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP4767345B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP4994400B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP4453777B2 (ja) 画質改善装置及び方法
JP4994355B2 (ja) 画像処理装置及び方法並びに画像表示装置
WO2010013401A1 (ja) 画像処理装置及び方法、並びに画像表示装置
JP5471175B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP5247628B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP5300656B2 (ja) 画像処理装置及び方法、並びに画像表示装置
JP4419566B2 (ja) 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP5247633B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP4708170B2 (ja) 輪郭強調回路及び輪郭強調方法
JP5349204B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP4610642B2 (ja) 画像処理装置及び方法、並びに画像表示装置
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JP5247627B2 (ja) 画像処理装置及び方法、並びに画像表示装置
JP4994409B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP4483407B2 (ja) 映像信号処理装置
JP4958876B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP5225144B2 (ja) 画像処理装置及び方法、並びに画像表示装置
JP2004172815A (ja) 映像信号処理装置
JP4994354B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP2010146444A (ja) 画像処理装置及び方法並びに画像表示装置
JP5402396B2 (ja) 映像再生装置、映像記録再生装置、および映像記録再生方法
JP2012238983A (ja) 輪郭補正装置、輪郭補正方法及び輪郭補正プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5471175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250