JP5249166B2

JP5249166B2 - 画像処理装置、画像処理方法

Info

Publication number: JP5249166B2
Application number: JP2009232864A
Authority: JP
Inventors: 幸彦坂下
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-06
Filing date: 2009-10-06
Publication date: 2013-07-31
Anticipated expiration: 2029-10-06
Also published as: JP2011081150A; US8447131B2; CN102034418B; US20110081095A1; CN102034418A

Description

本発明は、画像処理技術に関するものである。

近年、ＴＶの受像機やＰＣの表示装置として液晶表示装置が使用されている。このような液晶表示装置は、薄型に形成できるため省スペースで、且つ省電力であるため幅広く用いられている。しかし、このような液晶表示装置は、動き映像に対する応答時間が遅いという問題を有している。

そこで、この応答速度を改善するための液晶表示装置の駆動方法として、次に表示する画像データを以前の画像データと比較し、その比較結果に応じてオーバードライブ駆動を行う方法が提案されている（特許文献１）。

また、液晶表示装置の表示特性による動きぼけを改善する方法として、入力画像信号のフレーム周波数を倍にして黒挿入や中間画像挿入して駆動する方法が提案されている（特許文献２）。

また、次のような技術も提案されている（特許文献３）。先ず、入力画像信号のフレーム周波数を増加させることで１つのフレームを複数のサブフレームに分割する。そして、複数のサブフレームのうち少なくとも１つの所定サブフレームにおいて画像表示に用いられる画像信号の高周波成分を、他のサブフレームにおいて画像表示に用いられる画像信号と比較して減少させる。

特開平１１−１２６０５０号公報特開２００２−３５１３８２号公報特開２００６−１８４８９６号公報

しかしながら、高周波成分の変化量が大きい場合、表示範囲を超えた値になる場合があり、表示が崩れたり、余分な映像が表示されたりするので、高周波成分を減少させることで対応した場合、動きボケ改善効果が減少（劣化）するという問題があった。

本発明は以上の問題に鑑みてなされたものであり、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分を抑制する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、入力画像において部分的に存在する低輝度領域中の輝度値を増加させる補正手段と、前記補正手段により補正された前記入力画像に対して最小値フィルタ処理を行った後、ローパスフィルタ処理を行うことで、低周波成分画像を生成するフィルタ手段と、前記入力画像から前記低周波成分画像を減じることで高周波成分画像を生成する手段と、前記高周波成分画像の輝度値を予め設定された割合だけ前記入力画像に対して加えることで、高周波成分強調画像を生成する手段と、前記低周波成分画像と前記高周波成分強調画像とを交互に出力する出力手段とを備えることを特徴とする。

本発明の構成によれば、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示を可能にすると共に、余計な擬似成分を抑制することができる。

第１の実施形態に係る画像処理装置２００の機能構成例を示すブロック図。サブフレーム画像生成部１０３の機能構成例を示すブロック図。映像信号の波形例を示す図。サブフレーム画像生成部１０３の機能構成例を示すブロック図。映像信号の波形例を示す図。画像処理装置２００が行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、図１を用いて、本実施形態に係る画像処理装置と、その周辺機器と、について説明する。図１に示す如く、本実施形態に係る画像処理装置２００には、ＰＣ（パーソナルコンピュータ）３００が接続されており、このＰＣ３００から表示対象としての映像信号を取得することができる。また、画像処理装置２００はＡＶ端子５１を有しており、このＡＶ端子５１を介して外部からＮＴＳＣ等の各種の規格の信号や、一般のテレビ放送番組の映像信号を受信することができる。また、ＡＶ端子５１を介して、媒体に映像信号の録画を行う録画装置（ビデオデッキ、ＤＶＤレコーダ、ＨＤＤレコーダ）或いは媒体に録画された映像信号を再生する再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ等）等から映像信号を受信することもできる。このように、画像処理装置２００は、様々な入力形態でもって映像信号を取得することができる。

先ず、画像処理装置２００について説明する。ＮＴＳＣ等の各種の規格の信号、一般のテレビ放送番組の映像信号、ビデオデッキ、ＤＶＤレコーダ、ＨＤＤレコーダ等の録画装置やＤＶＤプレーヤ、ＬＤプレーヤ等の再生装置から出力された映像信号は、ＡＶ端子５１を介して信号処理回路５２に入力される。

信号処理回路５２は、ＡＶ端子５１を介して入力された映像信号に対してデコード処理、ノイズ低減処理、帯域制限フィルタリング処理、信号レベル調節処理等の信号処理を施す。そして信号処理回路５２は、これらの各種の信号処理を施した映像信号を、後段のスイッチ３０に送出する。

一方、スイッチ３０には、ＰＣ３００から送信された映像信号が端子５０を介して入力される。そしてスイッチ３０は、信号処理回路５２、端子５０のうち一方からの映像信号を選択し、Ａ／Ｄ変換器３１に送出する。Ａ／Ｄ変換器３１は、スイッチ３０から送出されたアナログ映像信号としての映像信号を、デジタル映像信号としての映像信号に変換する。

ＤＳＰ（Digital Signal Processor）部３２は、Ａ／Ｄ変換器３１から入力されたデジタル映像信号としての映像信号に対して、例えば、コントラスト、ブライト調整や色変換、解像度変換等の画像処理を行う。そしてＤＳＰ３２は、その処理結果としての映像信号を、後段のフレームレート変換部１０１に送出する。

フレームレート変換部１０１は、ＤＳＰ３２から入力された映像信号のフレームレートを変換する。そしてフレームレート変換部１０１は、変換した映像信号を画像データとしてメモリ３３に格納する。メモリ３３は、現フレームの画像データ（今から表示する画像データ）と次のフレームの画像データ（次のフレームで表示する画像データ）とを格納するためのものである。然るに、フレームレート変換部１０１は、メモリ３３に格納されている画像データのうち古いものから順に後段のサブフレーム画像生成部１０３に送出する。

タイミング発生回路（ＴＧ）３４は、信号処理部３を構成する各部の動作タイミングを規定するタイミング信号を、対応する機能部に出力する。サブフレーム画像生成部１０３は、フレームレート変換部１０１から送出された画像データに対して動画ぼけなどの動画特性を改善するための処理を行い、その結果、後述する低周波成分画像と高周波成分強調画像とを生成し、出力する。

タイミング検出部１３２は、サブフレーム画像生成部１０３が低周波成分画像と高周波成分強調画像とを交互に出力するための切替信号をこのサブフレーム画像生成部１０３に対して供給する。極性反転部１０６は、サブフレーム画像生成部１０３から出力された画像データに基づく映像信号の極性を反転させる。

Ｄ／Ａ変換器３５は、極性反転部１０６により極性が判定されたデジタル映像信号としての映像信号を、アナログ映像信号としての映像信号に変換し、変換した映像信号を、後段のパネルドライバ３６に送出する。

パネルドライバ３６は、Ｄ／Ａ変換器３５から受けた映像信号のうちＲ成分の信号についてはＲパネル２Ｒに送出し、Ｇ成分の信号についてはＧパネル２Ｇに送出し、Ｂ成分の信号についてはＢパネル２Ｂに送出する。更にパネルドライバ３６は、各パネル２Ｒ、２Ｇ、２Ｂに対して電源も供給する。以上説明した各部でもって、信号処理部３を構成する。

各パネル２Ｒ、２Ｇ、２Ｂは何れも表示装置として機能するもので、対応する色成分の画像を表示するためのものである。なお、図１では、画像処理装置２００に入力する信号は何れもアナログ映像信号としているが、ＬＶＤＳ、ＴＭＤＳ等のデジタル映像信号用入力端子や、デジタルＴＶ用Ｄ４端子等を設け、デジタル映像信号としての映像信号を入力するようにしても良い。

バラスト５７は、ランプ１に接続されるランプ用の電源である。また画像処理装置２００は、電源５８、ＡＣインレット６０を有する。リモコン６１は、画像処理装置２００に対して各種の指示を行うためにユーザが操作するものである。制御パネル６２は、リモコン６１からの信号を受信し、ＣＰＵ６３に通知する。

ＣＰＵ６３は、ＲＯＭ６４に格納されているコンピュータプログラムやデータを用いて画像処理装置２００を構成する各部の動作制御を行う。ＲＯＭ６４には、画像処理装置２００を構成する各部が後述する各処理を実行するように、ＣＰＵ６３にこの各部の動作制御を行わせるためのコンピュータプログラムやデータが格納されている。ＲＡＭ６５は、外部から受信した様々なデータを一時的に記憶するためのエリア、ＣＰＵ６３が各種の処理を実行するために用いるワークエリアを有する。即ち、ＲＡＭ６５は、各種のエリアを適宜提供することができる。ＵＳＢインタフェース（Ｉ／Ｆ）１０７は、端子１２１を介してＰＣ３００とのデータ通信を行うためのものである。

上述した、画像処理装置２００を構成する各部は互いにデータ通信が可能なように、共通のバスを介して繋がっているものとする。もちろん、画像処理装置２００の構成については厳密に図１に従うべきものではなく、以下に説明する各処理を実現可能な構成であれば、何れの構成を採用にしても良い。また、本実施形態では、画像処理装置２００を構成するものとして図１に示した各部は何れもハードウェアで構成されているものとして説明する。しかし、例えば、サブフレーム画像生成部１０３やフレームレート変換部１０１等をコンピュータプログラムとして実装してＲＯＭ６４に格納し、これをＣＰＵ６３が実行することで、これら各部の機能を実現させても良い。

次に、フレームレート変換部１０１の動作についてより詳細に説明する。フレームレート変換部１０１は、１つのフレームの映像信号を、Ｎ個のサブフレームの映像信号に分割する。Ｎは２以上の任意の整数であって、この分割数に応じてフレームレートもＮ倍となる。本実施形態では、Ｎ分割の一例としてＮ＝２の場合、即ち、垂直周波数６０Ｈｚの映像信号を、２倍の垂直周波数１２０Ｈｚのフレームレートに変換する場合を説明する。その際、入力された少なくとも１画面以上の画像データがメモリ３３に記憶され、メモリ３３からの画像データの読出速度を変えることにより、入力映像信号とは異なるフレームレートの映像信号に変換することが可能となる。

次に、図２を用いて、サブフレーム画像生成部１０３の機能構成例とその動作について説明する。

入力端子２０２には、フレームレート変換部１０１から送出された画像データが入力され、この画像データは、入力端子２０２を介してガンマ変換部２０３に入力される。ガンマ変換部２０３は、入力端子２０２を介して入力された画像データに対して２．２乗のガンマ変換を施すことで、リニアなガンマを有する画像データに変換する。

特徴画像検出補間部２０４は、ガンマ変換部２０３により変換された画像データが示す画像（入力画像）において部分的に存在する低輝度領域をその周囲の領域を用いて補間することで、低輝度領域中の輝度値を増加させる処理を行う。例えば、入力画像から孤立点や細線などの特徴画像を除去する為に、この特徴画像の領域をその周囲の領域を用いて補間する。

最小値フィルタ部２０５は、特徴画像検出補間部２０４により補間処理が成された画像データが示す画像に対して最小値フィルタ処理を施す。最小値フィルタ処理については周知の通り、着目画素とこれに隣接する画素群とで構成される画素領域内で、最小の画素値（輝度値）を検出する。そして着目画素の画素値を検出した画素値に更新する。係る処理を、着目画素を画像を構成する各画素に当てはめて行うことにより、画像全体に対して最小値フィルタ処理を施すことができる。

ローパスフィルタ（ＬＰＦ）２０６は、最小値フィルタ部２０５による最小値フィルタ処理済みの画像データに対して、ガウスフィルタ等のローパスフィルタを用いたローパスフィルタ処理を行う。これにより、高周波成分がカットされた低周波成分画像（Ｌ）を生成することができる。そしてローパスフィルタ２０６は、このようにして生成した低周波成分画像を、後段のセレクタ２１０と、減算器２０７とに送出する。

減算器２０７は、ガンマ変換部２０３により変換された入力画像（Ｈ＋Ｌ）から、ローパスフィルタ２０６が生成した低周波成分画像（Ｌ）を減じることで、高周波成分画像（Ｈ）を生成する。

係数器２０８は、減算器２０７が生成した高周波成分画像（Ｈ）に対して所定の係数Ｋ１を乗じることで高周波成分画像を構成する各画素の輝度値を調整し、調整後の高周波成分画像を加算器２０９に送出する。

加算器２０９は、ガンマ変換部２０３により変換された入力画像（Ｈ＋Ｌ）と、係数器２０８により輝度値が調整された高周波成分画像とを合成することで、高周波成分強調画像（２Ｈ＋Ｌ）を生成する。即ち、高周波成分強調画像とは、高周波成分画像の輝度値を予め設定された割合（Ｋ１）だけ入力画像（Ｈ＋Ｌ）に対して加えることで得られるものである。

セレクタ２１０は、加算器２０９により生成された高周波成分強調画像（２Ｈ＋Ｌ）、ローパスフィルタ２０６により生成された低周波成分画像（Ｌ）を、端子２０１を介してタイミング検出部１３２から入力される切替信号に応じて、交互に選択する。切替の周期は１２０Ｈｚである。そしてセレクタ２１０は、選択した方の画像を、後段のガンマ変換部２１１に送出する。ガンマ変換部２１１は、セレクタ２１０から出力された画像に対して適宜ガンマ変換を施し、その結果としての映像信号を端子２１２を介して極性反転部１０６に送出する。

次に、サブフレーム画像生成部１０３が行う処理の過程で変化する映像信号（画像データ）について、図３を用いて説明する。図３（ａ）〜（ｅ）に示したグラフは何れも、水平方向１ライン分の映像信号の波形を示しており、背景が黒（輝度信号レベル＝０）、前景が白（輝度信号レベル＝１００）としている。

図３（ａ）に示した波形を有する映像信号には孤立点や細線等の特徴画像がないため、この映像信号が入力されると、特徴画像検出補間部２０４は、図３（ｂ）に示す如く、図３（ａ）に示した波形と同じ波形を有する映像信号を出力する。

図３（ｂ）に示した波形を有する映像信号が入力されると、最小値フィルタ部２０５は、図３（ｃ）に示す波形を有する映像信号を出力する。上述の通り、最小値フィルタ部２０５が行う最小値フィルタ処理では、着目画素とこれに隣接する画素群（着目画素の周囲±Ｎ画素）から最小の輝度値を検出し、着目画素の輝度値を検出した輝度値に置き換えるので、輝度レベルが低い部分が広がる結果となる。

次に、特徴画像検出補間部２０４に、孤立点や細線等の特徴画像が含まれている映像信号が入力された場合について説明する。孤立点や細線等の特徴画像が含まれている映像信号の波形は、図３（ｄ）に示す如く、高輝度レベルの領域の中に低輝度レベルの領域が部分的に存在するような波形となる。ここで、画像処理装置２００から特徴画像検出補間部２０４を省き、図３（ｄ）に示す波形を有する映像信号が最小値フィルタ部２０５に入力されると、図３（ｅ）に示す如く、先の低輝度レベルの領域が広がった波形を有する映像信号を出力することになる。

本実施形態では、図３（ｄ）に示すような波形を有する映像信号が入力されても、特徴画像検出補間部２０４が着目画素とその周辺画素の輝度差を検出し、低輝度レベルの領域を補正・除去するので、上記問題を解決することができる。即ち、図３（ｄ）に示すような微小の黒領域が最小値フィルタ処理により広がるという問題を解決することができる。

なお、本実施形態には、高周波成分強調画像には特徴点は補正されず残るという利点がある。従って、最小値フィルタへ与える特徴点の不具合のみを改善することが可能であり、最終的に表示される画像で特徴画像が無くなる等の劣化を生じることはない。

以上説明した、画像処理装置２００が行う各処理について、同処理のフローチャートを示す図６を用いて、説明する。なお、この説明は上記の通りであるので、ここでは簡単に説明する。

ステップＳ６０１では、スイッチ３０を介して入力された映像信号に対して、Ａ／Ｄ変換器３１、ＤＳＰ３２はそれぞれ上述の通り、デジタル映像信号としての映像信号への変換、デジタル映像信号としての映像信号に対する各種の画像処理を行う。

ステップＳ６０２では、フレームレート変換部１０１は、ＤＳＰ３２から入力された映像信号のフレームレートを変換する。ステップＳ６０３では、ガンマ変換部２０３は、入力端子２０２を介して入力された画像データに対してガンマ変換を施すことで、リニアなガンマを有する画像データに変換する。

ステップＳ６０４では、特徴画像検出補間部２０４は、ガンマ変換部２０３により変換された画像データが示す画像に対して上記補間処理を行うことで、低輝度領域中の輝度値を増加させる処理を行う。

ステップＳ６０５では、最小値フィルタ部２０５は、特徴画像検出補間部２０４により補間処理が成された画像データが示す画像に対して最小値フィルタ処理を施す。ステップＳ６０６では、ローパスフィルタ（ＬＰＦ）２０６は、最小値フィルタ部２０５による最小値フィルタ処理済みの画像データに対してローパスフィルタ処理を行うことで、高周波成分がカットされた低周波成分画像を生成する。

ステップＳ６０７では、減算器２０７は、ガンマ変換部２０３により変換された画像から低周波成分画像を減じることで、高周波成分画像を生成する。ステップＳ６０８では、係数器２０８は、減算器２０７が生成した高周波成分画像に対して所定の係数Ｋ１を乗じることで高周波成分画像を構成する各画素の輝度値を調整する。

ステップＳ６０９では、加算器２０９は、ガンマ変換部２０３により変換された画像と、係数器２０８により輝度値が調整された高周波成分画像とを合成することで、高周波成分強調画像を生成する。

ステップＳ６１０では、セレクタ２１０は、加算器２０９により生成された高周波成分強調画像、ローパスフィルタ２０６により生成された低周波成分画像を、切替信号に応じて交互に選択し、ガンマ変換部２１１に送出する。ガンマ変換部２１１は、セレクタ２１０から出力された画像に対して適宜ガンマ変換を施し、その結果としての映像信号を端子２１２を介して極性反転部１０６に送出する。

ステップＳ６１１では、極性反転部１０６、Ｄ／Ａ変換器３５、パネルドライバ３６、による処理が施された映像信号のうち、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの成分の映像信号は、パネル２Ｒ、２Ｇ、２Ｂに送出される。

［第２の実施形態］
第１の実施形態では、特徴画像検出補間部２０４を用いて、ガンマ変換部２０３により変換された映像信号が示す画像において部分的に存在する低輝度領域をその周囲の領域を用いて補間することで、低輝度領域中の輝度値を増加させていた。本実施形態では、低輝度領域中の輝度値を増加させるための他の方法として、ローパスフィルタを用いる。即ち、本実施形態では、特徴画像検出補間部２０４の代わりに、ローパスフィルタを用いる。

然るに、本実施形態は、サブフレーム画像生成部１０３の構成において、特徴画像検出補間部２０４の代わりに、図４に示す如く、ローパスフィルタ１００１を用いる以外は、第１の実施形態と同じである。ローパスフィルタ１００１は、ガンマ変換部２０３により変換された映像信号に対してローパスフィルタ処理を行うことで、低輝度領域内の輝度値を増加させる。

図５（ａ）に示す如く、高輝度レベルの領域中に低輝度レベルの領域が部分的に存在するような波形を有する映像信号がローパスフィルタ１００１に入力されると、図５（ｂ）に示す如く、ローパスフィルタ１００１によって、低輝度領域内の輝度値が増加する。そして図５（ｂ）に示す波形を有する映像信号が最小値フィルタ部２０５に入力されると、最小値フィルタ部２０５は、図５（ｃ）に示す如く、微小の黒領域が最小値フィルタ処理により広がるという問題を解決している。

以上の各実施形態によれば、動画ぼやけ等の動画特性の改善を行う場合でも、高周波成分が潰れること無く、表示諧調のダイナミックレンジをフルに使った表示が可能になり、孤立点等の特徴画像による画質劣化無しに、動画特性を改善させることができる。

Claims

入力画像において部分的に存在する低輝度領域中の輝度値を増加させる補正手段と、
前記補正手段により補正された前記入力画像に対して最小値フィルタ処理を行った後、ローパスフィルタ処理を行うことで、低周波成分画像を生成するフィルタ手段と、
前記入力画像から前記低周波成分画像を減じることで高周波成分画像を生成する手段と、
前記高周波成分画像の輝度値を予め設定された割合だけ前記入力画像に対して加えることで、高周波成分強調画像を生成する手段と、
前記低周波成分画像と前記高周波成分強調画像とを交互に出力する出力手段と
を備えることを特徴とする画像処理装置。
前記入力画像は、外部から入力された画像に対してガンマ変換が施された、リニアなガンマを有する映像信号が示す画像であることを特徴とする請求項１に記載の画像処理装置。
前記出力手段は、出力する画像に対してガンマ変換を施してから出力することを特徴とする請求項１又は２に記載の画像処理装置。
前記出力手段は、表示装置に対して画像を出力することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記補正手段は、前記低輝度領域をその周囲の領域を用いて補間することで、前記低輝度領域中の輝度値を増加させることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記補正手段は、前記入力画像に対してローパスフィルタ処理を行うことで、前記低輝度領域中の輝度値を増加させることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の補正手段が、入力画像において部分的に存在する低輝度領域中の輝度値を増加させる補正工程と、
前記画像処理装置のフィルタ手段が、前記補正工程で補正された前記入力画像に対して最小値フィルタ処理を行った後、ローパスフィルタ処理を行うことで、低周波成分画像を生成するフィルタ工程と、
前記画像処理装置の高周波成分画像生成手段が、前記入力画像から前記低周波成分画像を減じることで高周波成分画像を生成する工程と、
前記画像処理装置の高周波成分強調画像生成手段が、前記高周波成分画像の輝度値を予め設定された割合だけ前記入力画像に対して加えることで、高周波成分強調画像を生成する工程と、
前記画像処理装置の出力手段が、前記低周波成分画像と前記高周波成分強調画像とを交互に出力する出力工程と
を備えることを特徴とする画像処理方法。