JP2009093442A - 画像信号処理方法、装置、及びそれを用いた画像表示装置 - Google Patents

Abstract

【課題】
高解像度化しながら画素数を増やす技術においては、高度な画像信号処理技術が必要であり、信号処理回路の規模拡大や動作性能（処理速度）への要求が高くなるため経済的でない。また、時間的に離れた数多くのフレーム画像を用いて位置推定等を行う必要があるため、入力と出力の間に時間差が発生し、リアルタイム性が損なわれる
【解決手段】
高解像度化しながら画素数を増やす処理（超解像処理）に対して、入力画像の特徴（例えば、エッジ画像の有無や数）や視覚特性（例えば、画素位置に対する画像の信号強度）等に基づいて、該処理の実施箇所を選択する。
【選択図】図2

Description

本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。

最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。そこで、特許文献1、特許文献2、非特許文献1に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。

これらの従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

特開平8-3360468号 特開平9-69755号 青木伸 "複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998

以上説明した通り、高解像度化しながら画素数を増やす技術においては、高度な画像信号処理技術が必要であり、信号処理回路の規模の拡大や動作性能（処理速度）への要求が高くなるため経済的でない。また、時間的に離れた数多くのフレーム画像を用いて位置推定等を行う必要があるため、入力と出力の間に時間差が発生し、リアルタイム性が要求される場合、例えばビデオゲーム等、には適用が困難である。

本発明の目的は、上記回路規模の拡大や高動作性能化に伴う経済性の低下を回避する装置および方法を提供することである。

また、本発明の目的は、入出力間の時間差によるリアルタイム性の低下を回避する装置および方法を提供することである。

上記目的を達成するために、本発明では、高解像度化しながら画素数を増やす処理（以下、超解像処理）に対して、入力画像の特徴や視覚特性、等に基づいて、該処理の実施箇所を選択する。

具体的には、１画面から分割された領域ごとに、エッジ画像の有無又は数に応じて、または、画素位置に対する画像の信号強度の分布に応じて、入力された複数の画面分の画像から拡大画面の画像を生成するか（超解像処理）、入力された単一画面中の画像から拡大画面の画像を生成するか（画素数拡大処理）を判定する。

この結果、表示される１画面分の画像は、超解像処理による画像の領域と画素数拡大処理による画像の領域とが混在する。

本発明によれば、高解像度化しながら画素数を増やす処理（超解像処理）に対して、入力画像の特徴や視覚特性、等に基づいて、該処理の実施箇所を選択する機能を付加した構成とすることにより、該処理の処理量が削減され、回路規模の拡大や高動作性能化が抑制され低コスト化・低消費電力化が図られ、また、リアルタイム性が向上する。

また、本発明によれば、１画面全体に対して高解像度化しながら画素数を増やす処理（超解像処理）を行うのではなく、超解像処理とは異なる拡大処理を混在させることにより、処理量が削減され、リアルタイム性が向上する。

また、本発明によれば、高解像度化しながら画素数を増やす処理（超解像処理）によって、却って劣化する画像に対しては、超解像処理とは異なる拡大処理を行うことにより、超解像処理による画質劣化を抑制することができる。

以下、本発明の実施例１、２を説明する。

図1は、従来の超解像処理回路の手順と処理構成を説明するである。入力データは、表示すべき画像を構成する各フレーム画像である。フレーム1(101)から順に超解像処理回路へ入力される。ここで超解像処理回路(107)は、位置推定処理回路(109)、高帯域補間処理回路(108)、加重和処理回路(110)により構成されている。但し、本発明の説明に係わらない要素に関しては省略している。以下の説明では、フレーム1(101)を基準フレームと考え、出力データである高解像度フレーム画像(111)は、フレーム1(101)の画像配置で解像度が向上しているものとする。また、各フレーム内に示した黒四角と点線四角は、超解像処理中のある時刻での着目画素(103)とそれを含む画素群(102)を示している。該画素群(102)を単位として超解像処理(107)が行われるものとする。着目画素(103)は、超解像処理前の画像中の画素である。

始めに、位置推定処理(109)は、各フレーム間での被写体の位置ずれを推定する処理である。例えば、2つのフレーム間において、一方のフレームを構成する全画素群から着目画素(103)を含む微小領域を構成する画素群(102)を選択し、その画素群(102)と最も差分が小さくなる画素群を、他方のフレームを構成する全画素群から特定することで、被写体の位置ずれを推定する。この処理を、着目画素(103)を順次移動させ繰り返して行う事でフレーム全面での被写体の位置ずれを推定するという処理方法が挙げられる。微小領域の範囲は、ＥＥＰＲＯＭやレジスタなどに予め設定可能である。微小領域の範囲は、１画面の画像中のアドレスによって指定可能である。微小領域は、１画素よりも多く１フレーム分が画素よりも少ないのが好ましい。

次に、高帯域補間処理(108)は、標本密度を増やす処理である。具体例として、元の信号を全て通過させるsinc関数を用いたローパスフィルタ処理であり、折り返し成分を含んだ元の信号が高密度化される。これは、各フレーム画像に対して実施される。

そして、加重和処理(110)は、折り返し成分の打消しと誤差の低減を目的とした処理である。具体的には、上記高帯域補間処理された各フレーム画像を、上記位置推定処理による位置ずれ情報を参照しながら、折り返し成分を打ち消すことが出来るように、各フレーム画像に重み付けを施して全て加算する処理である。尚、前記重み付けを決定するには、加算するフレーム数に比例する元数の連立方程式を解く必要がある。

以上の各処理の結果、元の画像フレームを構成する画素数を水平方向と垂直方向の少なくとも一方に対して増加した高解像度フレーム画像(111)を得る。

図2に本発明の実施形態の一例を示す。本実施形態でも、前記従来の超解像処理の説明の場合と同じく、フレーム1(201)を基準フレームと考え、出力データである高解像度フレーム画像(210)は、フレーム1(201)の画像配置で解像度が向上しているものとする。また、各フレーム内に示した黒四角と点線四角は、超解像処理中のある時刻での着目画素(203)とそれを含む画素群(202)を示している。該画素群(202)を単位として超解像処理が行われるものとする。

本実施形態では、前記従来の超解像処理に対して基準フレーム(201)の画像状態を判定し、位置推定処理(206)、高帯域補間処理(205)、加重和処理(211)、等の従来の超解像処理機能の実行と停止を制御する画像状態判定処理回路(207)と、前記画像状態判定処理回路(207)により動作の実行と停止が制御される構成であり、基準フレーム(201)の画像を出力データである高解像度フレーム画像(210)の画素数に一致させるための画素数拡大処理回路(208)と、前記画像状態判定処理回路(204)により出力の選択が行われる構成であり、前記画素数拡大処理回路(208)からの入力または加重和算処理回路(211)からの入力を選択して出力する選択処理回路(209)を追加した構成となっている。ここで、画素数拡大処理回路(208)は、ディジタルフィルタのフィルタリング処理等で行われる解像度変換を伴わない処理である。例えば、同一フレーム（単一フレーム）中の周辺画素を複製して補間画素を生成して補間する単純拡大処理や、同一フレーム中の周辺画素からリニア関数やスプライン関数を用いて補間画素を生成して補間する拡大処理がある。このような拡大処理では、同一フレーム中の画素を用いて補間画素を生成し、その補間画素を用いてオリジナル画素を補間しているため、画素数拡大に伴って空間周波数のスペクトルはほとんど変化しない。

図3に画像状態判定処理の手順の構成を示す。画像状態判定処理回路(304)への入力データは、基準フレーム画像(301)の中の画素群(302)である。画像状態判定処理回路(304)は、エッジ検出処理回路(305)、エッジ比較処理回路(306)、エッジ判定処理回路(307)、及び設定処理回路(308)からなり、前記制御を行うための制御信号(309)を出力する。ここで、エッジ検出処理回路(305)は、着目する画素群(302)による画像に、エッジを形成する所定値以上の輝度変化または色変化が含まれているかを検出する。エッジは、背景と人物、背景と影、背景と車など、表示されるオブジェクトが異なる場合や、車でもボディとガラスなど、同一オブジェクトでも機能や色彩、素材が異なる場合に現れる。具体的なエッジ検出方法は、種々考えられ、ここでは微分処理によるものを想定するが、これに限定されるものではない。更に微分の方式も種々考えられ、ここではラプラシアンフィルタなどによる2次微分によるものを想定するが、同様にこれに限定されるものではない。

検出されたエッジは、エッジ比較処理回路(306)によりその大きさが、基準値に対して比較される。該基準値は、レジスタなどに任意に設定可能とする。比較結果は、次のエッジ判定処理回路(307)により判定される。ここでは、単純に前記基準値に対する大小関係のみを判定するものとする。エッジの密度を判定するなど、処理方式は種々考えられるが、本発明の目的に合致する方式であれば、前記大きさ判定のみに限定されるものではないことは明らかである。該エッジ判定処理回路(307)の結果に基づいて、設定処理回路(308)により前記従来の超解像処理機能の実行と停止を制御するための制御信号(309)、等が出力される。

図4及び図5は、上記実施例での処理を説明する図である。

図4は基準フレーム(401)であるフレーム1(401)の左上の領域(402)を処理している場合を説明している図である。この場合、処理の対象となる画素群(402)が表示する画像は、極端な（所定値以上の）階調変化や色変化が無い領域である。フレーム1(401)から抽出された画素群(402)のデータは画像状態判定処理回路(408)にて処理される。先ず、エッジ検出処理回路（305）により微分演算されエッジ強度（階調変化や色変化の強度）が算出される。本例では大きなエッジ強度は算出されない。次に、エッジ比較処理回路（306）で該算出されたエッジ強度と予め設定されている判定閾値との比較が行われる。本例では大きなエッジ強度は算出されていないため、判定閾値を越えるエッジは存在しないと判断される。更に、エッジ判定処理回路（307）では、本例で示した領域ではエッジが存在しないと判断される。従って、設定処理回路（308）からは、図中太線と実線で示すように、本例の領域には画素数拡大処理(409)を適用し、位置推定処理(406)、高帯域補間処理(405)、加重和処理(407)、等の従来の超解像処理機能を停止する制御信号が発生する。よって、出力である高解像度フレーム画像(411)の本例で示した領域にあたる部位(412)には画素数拡大処理の結果が出力される。

図5は、基準フレームであるフレーム1(501)の左上の領域(502)を処理している場合を説明している図である。この場合、処理の対象となる画素群(502)が表示する画像は、背景と被写体の境界部分に当たり、極端な（所定値以上の）階調変化や色変化の発生が有る領域である。フレーム1(501)から抽出された画素群(502)のデータは画像状態判定処理回路(508)にて処理される。先ず、エッジ検出処理回路（305）により微分演算されエッジ強度が算出される。本例では、大きなエッジ強度が、背景と被写体の境界部分に算出される。次に、エッジ比較処理回路（306）で該算出されたエッジ強度と予め設定されている判定閾値との比較が行われる。本例では大きなエッジ強度が算出されているため、判定閾値を越えるエッジが存在すると判断される。更に、エッジ判定処理回路（307）では、本例で示した領域では判定閾値を越えるエッジが所定値以上の多数存在すると判断される。判定閾値を越えるエッジの数の閾値は、１であってもよい、複数であってもよいし、領域の列方向の画素数又は行方向の画素数であってもよい。従って、設定処理回路（308）からは、図中太線と実線で示すように、本例の領域には画素数拡大処理(509)を適用せず、位置推定処理(506)、高帯域補間処理(505)、加重和処理(507)、等の従来の超解像処理を実行する制御信号が発生する。よって、出力である高解像度フレーム画像(511)の本例で示した領域にあたる部位(512)には、超解像処理の結果が出力される。

図6は、本発明の効果を説明する図である。図6(a)は、本発明による処理結果と、従来方式による結果を、空間周波数のスペクトルにより比較した図である。(1)の元画像スペクトルに対して、本実施例の方式で超解像処理を行う場合、超解像処理が施される部位は、空間周波数中の中高域となる。低域が除外されるのは、DC成分（直流成分）となだらかな輝度、色変化からなる部位でるのでエッジ検出により画素数拡大処理が適用されるためである。この中高域が超解像処理により高帯域化され、図中(4)で示されるスペクトルが得られる。低域は画素数拡大処理が適用されるため空間周波数特性は変わらない。従って、本実施例の処理では、図中(3)出示すスペクトルを有する画像が得られる。これに対し、全体に超解像処理を行った場合は、図中(2)出示すスペクトルを有する画像を得る。これらを比較すると、略一致するため、処理の際による画像の差異は顕著でないといえる。図6(b)は、本実施例の処理形態と従来の処理形態とで処理量を比較した図である。本実施例の形態では、超解像処理がエッジが存在する部位に限定されるため、処理量が軽減される。

図７は、本発明の超解像処理を行うか否かの比較閾値を決定するための画像状態判定処理回路を説明する図である。画像状態判定処理回路(704)に、現在の基準フレーム(701)のエッジ検出処理回路(707)の結果から、エッジ強度の頻度計数処理をおこない、一フレーム間の頻度分布を算出するエッジ強度頻度計数処理回路（現在）(705)と、現在の基準フレームの1つ前のフレームのエッジ強度頻度計数処理結果を保持するエッジ強度頻度計数処理回路（過去）(70６)が追加されている。ここで、現在の基準フレーム(701)のエッジ強度頻度計数処理を行っているエッジ強度頻度計数処理回路（現在）(705)は、次のフレームでは、エッジ強度頻度計数処理回路（過去）(706)として機能する。つまり、フレームの進行に伴ってエッジ強度頻度計数処理回路（過去）(706)とエッジ強度頻度計数処理回路（現在）(705)は機能を入れ替えて動作する構成である。エッジ強度頻度計数処理回路（過去）(706)の状態に応じてエッジ比較処理回路(708)の参照する比較閾値が変化する構成である。

以下、図8により説明する。図８は、横軸にエッジ強度、縦軸に発生頻度を示す、エッジ強度のヒストグラムである。例えば、図8(a)に示すように、エッジ強度頻度計数処理回路（過去）の結果から、発生頻度の高い順に一定量、例えば上位10%や50％、のエッジ強度に相当するエッジを選択する方式や、図8(b)に示すように、エッジ強度自体が強い順の一定量、例えば上位10%や50％、に当たるエッジ強度を比較閾値とするなどの方式が挙げられる。図8(a)の例では２番目に高いエッジ強度（左側）を比較閾値とするのが好ましい。図8(b)の例では一定量の下限のエッジ強度を比較閾値とするのが好ましい。

また、選択されるエッジ数が一定とし、処理数を一定とするように、上記比較閾値を決めるパーセンテージを決めることも可能である。図8(c)に示すように、例えば、図8(b)のエッジ強度自体が強い順に選択する際に、閾値を越えて選択されるエッジ数（図中では斜線部面積）が一定となるようにすることも可能である。

図9は、本発明の超解像処理を行うか否かを決定するための画像状態判定処理の第二の実施例を説明する図である。本例は、画像を表示するデバイス側の表現可能な階調数が限られており（ここでは、基本階調と呼ぶ）、該基本階調間の中間階調は、誤差拡散などの処理を用いて、基本階調の空間的な混合率を変えることで表現するような場合に超解像処理を適用するものである。

図9(b)及び図9(c)は、図9(a)に示す基準フレーム(901)の中の超解像処理対象である画素群(902)の信号強度プロファイルである。横軸に画素位置、縦軸に信号強度を示している。ここでは、説明の簡単化のため一次元で示す。また、点線で基本階調を示している。信号強度0から信号強度maxまでを5段階の基本階調に分割している。それぞれの基本階調間の階調は、誤差拡散処理などにより表現されている。

図9(b)は、画素群(902)の信号強度プロファイルが複数の基本階調間に跨るように分布する場合である。これに対して、図9(c)は、画素群(902)の信号強度プロファイルが最大で隣接する2つの基本階調間にのみ跨るように分布する場合である。図9(b)の場合に画像中の物体などの境界は、基本階調間で形成されるが、図9(c)の場合に画像中の物体などの境界は、基本階調間で形成されず、誤差拡散のパターン、つまり空間的な粗密、により表現される。従って、図9(b)の場合は境界が明確になっているが、図9(c)の場合は境界が明確になっていないことになる。これらに超解像処理を行う場合、図9(b)の場合は境界が明確になっているため効果が明確であるが、図9(c)の場合は境界が明確になっていないことにより、超解像処理の効果が現れにくい。

このような現象に着目して、本実施例では、基準フレームの中の超解像処理対象である画素群(902)の信号強度プロファイルが、複数の基本階調間に跨るように分布するか、または、最大で隣接する2つの基本階調間にのみ跨るように分布するか、を判定して超解像処理の実行を制御することとしている。

図9(a)は、本実施例における画像状態判定処理の構成を示している。基準フレーム中の超解像処理対象である画素群(902)の信号強度プロファイルが階調差処理回路(905)により解析される。該解析結果は、階調差比較処理回路(906)により基本階調との関係が解析される。更にその結果は、階調差判定処理回路(907)にて信号強度が複数の基本階調間に跨るように分布する（最大の信号強度と次に大きい信号強度が隣接せずに分散している）か、または、信号強度が最大で隣接する2つの基本階調間にのみ跨るように分布する（最大の信号強度と次に大きい信号強度が隣接して集中している）か、を判定され、設定処理回路(908)から制御信号(909)が出力される。

本例では、複数の基本階調間に跨るように分布する場合は、超解像処理を行い、最大で隣接する2つの基本階調間にのみ跨るように分布する場合は、画素数拡大処理を行う。

図10は、本発明の第一または第二の実施例をディスプレイ装置に適当した図である。図１０中、１は複数の画素がマトリックス状に配列された表示パネル、２は外部から表示データや各種信号を受信するインターフェイス機能を持った入力データ処理回路、３は表示データを高解像度化すると共にその高解像度化に応じたタイミング信号を生成する超解像処理回路、４は表示データに応じたデータ線駆動信号（例えば階調ごとに対応するレベルを有する電圧）をデータ線を介して各画素に印加するデータ線駆動回路、５はデータ線駆動信号を印加すべき画素に走査線を介して走査線駆動信号（例えば選択電圧）を印加する走査線駆動回路を示す。表示パネル１、データ線駆動回路４、走査線駆動回路５は、表示モジュールを構成する。特に、入力データ処理回路２に実施例１、２の超解像処理回路３を設ける。入力表示データの解像度（例えば、横640×縦480画素）と表示パネルの解像度（例えば、横1920×縦1080画素）が異なり、表示パネルの解像度の方が高くなっているため、超解像処理回路３において入力表示データを高解像度化処理する。これに伴い、データ線駆動回路４へのデータ量が増加すると共に制御信号が高周波数化されている。

表示パネル１は、列方向にデータ線が配線され、行方向に走査線が配線され、その交点に対応して画素が配列され、その画素にデータ線及び走査線が接続されている。超解像処理回路３は、１画面（フレーム）の期間（タイミング）を決める垂直同期信号、１ラインの期間（タイミング）を決める水平同期信号、表示データが入力されることを示すデータイネーブル、表示データ、１画素の期間（タイミング）を決める同期クロックを、他の装置（例えば、ＴＶチューナ、表示メモリ、ハードディスク、ＰＣ本体）から入力する。表示データのサイズは、８ビットでも、１０ビットでもよい。そして、超解像処理回路３は、入力される表示データ、同期信号から、表示パネル１の解像度に対応したデータ線制御信号、走査線制御信号を生成する。データ線駆動回路４は、データ線制御信号を入力し、データ線制御信号に含まれる表示データに応じたデータ線駆動信号を生成する。走査線駆動回路４は、走査線制御信号を入力し、走査線制御信号に従って走査線駆動信号を１又は複数の走査線に上から順次印加する。そして、走査線駆動信号が印加された画素に、データ線駆動信号が印加され、画素はデータ線駆動信号の大きさに応じた輝度を表示する。尚、画素の表示素子は、液晶素子である場合は、対向電圧に対するデータ線駆動信号の相対的な電位差に応じて輝度を表示する。

液晶ディスプレイを適用例としているが、プラズマディスプレイ、有機ELディスプレイ、電界放射型ディスプレイ、CRT、など表示デバイスには依存しないことは明らかである。本発明の超解像処理回路３を、ハードウエア化して入力データ処理部回路２に実装しているが、汎用プロセッサによるソフトウエア処理化も可能である。

本発明は、ハイビジョンテレビに利用可能である。

従来技術を説明する図 本発明の実施例１の超解像処理回路を説明する図 本発明の実施例１の画像状態判定処理回路を説明する図 本発明の実施例１の超解像処理回路を説明する図 本発明の実施例１の超解像処理回路を説明する図 本発明の実施例１による空間周波数スペクトルの変化および処理軽減効果を説明する図 本発明の実施例１の画像状態判定処理回路を説明する図 本発明の実施例１のエッジ強度の判定閾値の決定方法を説明する図 本発明の実施例２の拡大処理の選択基準の決定方法を説明する図 本発明の実施例１および２の超解像処理回路を含む表示装置を説明する図

符号の説明

１・・・表示パネル、２・・・入力データ処理回路、３・・・超解像処理回路、４・・・データ線駆動回路、５・・・走査線駆動回路、101・・・フレーム1、102・・・画素群、103・・・着目画素、107・・・超解像処理、108・・・高帯域補間処理、109・・・位置推定、110・・・加重和処理、111・・・高解像度フレーム画像、201・・・フレーム1、202・・・画素群、203・・・着目画素、204・・・超解像処理、205・・・高帯域補間処理、206・・・位置推定、211・・・加重和処理、210・・・高解像度フレーム画像、207・・・画像状態判定処理、208・・・画素数拡大処理、209・・・選択処理、301・・・基準フレーム、302・・・画素群、303・・・着目画素、304・・・画像状態判定処理、305・・・エッジ検出処理、306・・・エッジ比較処理、307・・・エッジ判定処理、308・・・設定処理、309・・・制御信号、401・・・フレーム1、402・・・画素群、403・・・着目画素、404・・・超解像処理、405・・・高帯域補間処理、406・・・位置推定、407・・・加重和処理、411・・・高解像度フレーム画像、408・・・画像状態判定処理、409・・・画素数拡大処理、410・・・選択処理、412・・・領域、501・・・フレーム1、502・・・画素群、503・・・着目画素、504・・・超解像処理、505・・・高帯域補間処理、506・・・位置推定、507・・・加重和処理、511・・・高解像度フレーム画像、508・・・画像状態判定処理、509・・・画素数拡大処理、510・・・選択処理、512・・・領域、701・・・基準フレーム、702・・・画素群、703・・・着目画素、704・・・画像状態判定処理、705・・・エッジ強度頻度計数処理（現在）、706・・・エッジ強度頻度計数処理（過去）、707・・・エッジ検出処理、708・・・エッジ比較処理、709・・・エッジ判定処理、710・・・設定処理、711・・・制御信号。

Claims (20)

1. 複数の画像フレームが入力し、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向の少なくとも一方に対して増加して出力画像フレームを得る画像信号処理方法において、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析結果に応じ、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向の少なくとも一方に対して増加して出力画像フレームを得るための解像度変換処理の実行と停止を制御することを特徴とする画像信号処理方法。
2. 複数の画像フレームが入力される入力し、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向の少なくとも一方に対して増加して出力画像フレームを得、または、前記入力フレームの画像を構成する画素数を解像度変換を伴わないで増加させる画像信号処理方法において、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析結果に応じ、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向の少なくとも一方に対して増加して出力画像フレームを得るための解像度変換と、前記入力フレームの画像を構成する画素数を解像度変換を伴わないで増加させる画素数変換とを切り替えることを特徴とする画像信号処理方法。
3. 請求項2に記載の画像信号処理方法であって、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析が、該画像フレームに含まれるエッジ情報の解析であり、
   前記切り替えは、該エッジ情報の中のエッジ強度の基準値に対する大小判定により行われることを特徴とする画像信号処理方法。
4. 請求項3に記載の画像信号処理方法であって、
   前記エッジ強度の大小判定を行う基準値は、前記基準となるフレームよりも過去のフレームに対するエッジ強度分布の状態に応じて決定されることを特徴とする画像信号処理方法。
5. 複数の画像フレームが入力される入力回路と、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向に対して増加して出力画像フレームを得るための解像度変換回路と、を備える画像信号処理装置において、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析結果に応じ、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向に対して増加して出力画像フレームを得るための解像度変換回路による処理の実行と停止を制御する処理回路を備えることを特徴とする画像信号処理装置。
6. 複数の画像フレームが入力される入力回路と、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向に対して増加して出力画像フレームを得るための解像度変換回路と、前記入力フレームの画像を構成する画素数を解像度変換を伴わないで増加させる画素数変換回路と、を備える画像信号処理装置において、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析結果に応じ、前記入力された複数の画像フレームを合成することにより、画像フレームを構成する画素数を水平方向と垂直方向に対して増加して出力画像フレームを得るための解像度変換回路による処理と、前記入力フレームの画像を構成する画素数を解像度変換を伴わないで増加させる画素数変換回路による処理とを切り替える処理回路を備えることを特徴とする画像信号処理装置。
7. 請求項6に記載の画像信号処理装置であって、
   前記入力される複数の画像フレームのうちの基準となる画像フレームの画像情報の解析は、該画像フレームに含まれるエッジ情報の解析であり、
   前記切り替えは、該エッジ情報の中のエッジ強度の基準値に対する大小判定により行われることを特徴とする画像信号処理装置。
8. 請求項7に記載の画像信号処理装置であって、
   前記エッジ強度の大小判定を行う基準値は、前記基準となるフレームよりも過去のフレームに対するエッジ強度分布の状態に応じて決定されることを特徴とする画像信号処理装置。
9. 請求項1から8の何れかの画像信号処理装置と表示モジュールを備えたことを特徴とする画像表示装置。
10. 入力された画像の解像度を拡大する画像信号処理装置において、
    １画面から分割された領域ごとに、エッジ画像の有無又は数に応じて、または、画素位置に対する画像の信号強度の分布に応じて、入力された複数の画面分の画像から拡大画面の画像を生成するか、入力された単一画面中の画像から拡大画面の画像を生成するかを判定する判定回路と、
    前記判定回路の判定結果に応じて、前記入力された複数の画面分の画像から前記拡大画面の画像を生成する第１の処理回路と、
    前記判定回路の判定結果に応じて、前記入力された単一画面中の画像から前記拡大画面の画像を生成する第２の処理回路とを備えたことを特徴とする画像信号処理装置。
11. 入力された画像の解像度を拡大して表示する画像表示装置において、
    画像を表示する表示モジュールと、
    入力された画像の解像度を拡大する処理回路とを備え、
    前記処理回路は、１画面から分割された領域ごとに、エッジ画像の有無又は数に応じて、または、画素位置に対する画像の信号強度の分布に応じて、入力された複数の画面分の画像から拡大画面の画像を生成するか、入力された単一画面中の画像から拡大画面の画像を生成するかを判定し、その判定結果に応じて、前記入力された画像から前記拡大画像を生成することを特徴とする画像表示装置。
12. 入力された画像の解像度を拡大して表示する画像表示装置において、
    画像を表示する表示モジュールと、
    入力された画像の解像度を拡大する処理回路とを備え、
    前記表示パネルに表示された１画面分の画像は、前記入力された画像の空間周波数に対して高域方向に伸張した空間周波数を有する第１の領域と、前記入力された画像の空間周波数に対して高域方向に伸張しない空間周波数を有する第２の領域とが混在することを特徴とする画像表示装置。
13. 前記処理回路は、前記第１の領域については、入力された複数の画面分の画像から拡大画面の画像を生成し、前記第２の領域については、入力された単一画面中の画像から拡大画面の画像を生成することを特徴とする請求項１２に記載の画像表示装置。
14. 前記処理回路は、前記第１の領域については、前記入力された複数の画面分の画像に対して位相推定、高帯域補間、加重和を行うことによって、前記拡大画面の画像を生成し、前記第２の領域については、前記入力された単一画面中の画像を複製して又は所定関数を用いて補間画素を生成して補間することによって前記拡大画面の画像を生成することを特徴とする請求項１３に記載の画像表示装置。
15. 前記第１の領域の画像は、所定値以上の輝度変化または色変化を所定数以上含み、
    前記第２の領域の画像は、前記所定値以上の輝度変化または色変化が前記所定数未満であることを特徴とする請求項１２に記載の画像表示装置。
16. 前記処理回路は、領域の画像が前記所定値以上の輝度変化または色変化を前記所定数以上含む場合にその領域を前記第１の領域であると判定し、領域の画像が前記所定値以上の輝度変化または色変化が前記所定数未満である場合にその領域を前記第２の領域であると判定することを特徴とする請求項１５に記載の画像表示装置。
17. 前記所定値は、過去の１画面分の輝度変化または色変化の発生頻度分布から決定されることを特徴とする請求項１５に記載の画像表示装置。
18. 前記所定値は、前記１画面分の輝度変化または色変化の発生頻度分布の上位から所定パーセントの輝度変化または色変化の値であることを特徴とする請求項１５に記載の画像表示装置。
19. 前記第１の領域中の画素位置に対する画像の信号強度の分布は、分散し、
    前記第２の領域中の画素位置に対する画像の信号強度の分布は、集中することを特徴とする請求項１２に記載の画像表示装置。
20. 前記処理回路は、領域中の画素位置に対する画像の信号強度の分布が分散する場合にその領域を前記第１の領域であると判定し、領域中の画素位置に対する画像の信号強度の分布が集中する場合にその領域を前記第２の領域であると判定することを特徴とする請求項１９に記載の画像表示装置。

Images