JP2004260682A - 画像拡大方法 - Google Patents

画像拡大方法 Download PDF

Info

Publication number
JP2004260682A
JP2004260682A JP2003050853A JP2003050853A JP2004260682A JP 2004260682 A JP2004260682 A JP 2004260682A JP 2003050853 A JP2003050853 A JP 2003050853A JP 2003050853 A JP2003050853 A JP 2003050853A JP 2004260682 A JP2004260682 A JP 2004260682A
Authority
JP
Japan
Prior art keywords
image
frequency component
pattern
input image
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003050853A
Other languages
English (en)
Inventor
Satoshi Hirotsune
聡 廣常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003050853A priority Critical patent/JP2004260682A/ja
Publication of JP2004260682A publication Critical patent/JP2004260682A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4084Transform-based scaling, e.g. FFT domain scaling

Abstract

【課題】ディスプレイ装置の信号処理部に使用される画像拡大方法においてぼけた拡大画像になる問題点を解決し、鮮鋭感のある拡大画像を得ることを目的とする。
【解決手段】入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、画像データを補間して拡大画像を生成する画像拡大方法に関するものである。
【0002】
【従来の技術】
画像拡大は大画面プラズマテレビ、大画面液晶テレビ、プロジェクタなど大画面高精細ディスプレイに比較的低解像度のソース(たとえばNTSC、PAL方式映像信号)を表示する際に必須の技術となっている。近年、向上したディスプレイの表示能力を十分生かすため鮮鋭感の高い画像拡大方式が求められている。
【0003】
先ず一般的なディスプレイの信号処理について説明する。図21は液晶プロジェクタの信号処理部の概略ブロック図である。液晶などのドットマトリクスディスプレイでは表示デバイスに解像度を合わせる解像度変換が必要である。この際、低解像度ソース画像を高解像度表示デバイスに表示する際に画像拡大が必要となる。液晶プロジェクタでは図21の2101のように種々の解像度の映像信号を2102入力回路でAD変換や同期分離などを行い2103解像度変換回路で2105液晶パネルの解像度に変換する。ここに画像拡大が必要となる。一般的にはバイリニア法、キュービックコンボリューション法などの線形フィルタによる画像拡大方法が用いられている。解像度変換された画像は2104液晶駆動回路で多相変換など液晶パネル表示に適した信号フォーマットに変換され2105液晶パネル上に画像が表示される。この画像を2106ランプユニットで照射して2107投射レンズで投影され2108スクリーンに画像が表示される。
【0004】
以下に従来の画像拡大方法について説明する。
【0005】
従来、画像拡大方法は特許第3302731号に記載されたものが知られている。その画像拡大方法を図22に示す。図22は従来の画像拡大方法のDCTを用いたゲルヒベルグ−パポリス反復法の説明図を示すものである。今、2201に示すN×N画素の元画像がありそれをm倍に拡大したmN×mN画素の画像を作ることを想定しステップごとに処理を説明する。
【0006】
2202のように画像の空間的な広がりを限定させるために、N×N画素の元画像の周りに画素値をlとした画像を付け、nN×nN画素の画像に拡張する。今後この部分を拡張領域と呼ぶ。
【0007】
この画像を2次元DCTにより変換し、2203に示すDCT領域の画像を得る。
【0008】
拡大率に応じた高周波帯まで周波数領域を拡張した2204を得る。このとき高周波成分は0であり、拡張されたサイズはnmN×nmN画素分になる。
【0009】
周波数拡張されたDCT成分を2次元逆DCT(IDCT)によって逆変換する。2205に示すこのとき得られた画像はnmN×nmN画素の画像であり、その中心部のmN×mN画素分aが拡大画像である。
【0010】
その中心部のmN×mN画素分aの外側(拡張領域)は、既にその画素値がlであることがわかっているので、正しい値に修正し2206に示す画像を得る。この操作が空間的領域制限である。
【0011】
拡張領域を修正した画像をDCTによって変換し2207に示すDCT領域の画像を得る。このときの周波数成分はbである。
【0012】
低周波側は既知情報として周波数成分aであることがわかっているので、低周波成分を成分aに置き換え2208に示すDCT領域の画像を得る。
【0013】
IDCTにより逆変換をし2209に示す画像を得る。
【0014】
ステップ2205〜2208の処理を繰り返す。
【0015】
【特許文献1】
特許第3302731号公報、4頁
【非特許文献1】
新堀英二、高木幹雄著「DCTを用いたGerchberg(ゲラヒベルグ)−Pappoulis(パポリス)の反復法を適用した高画質画像拡大」1993年9月、電子情報通信学会論文誌D−II Vol.J76−D−II No.9 1933頁
【0016】
【発明が解決しようとする課題】
しかしながら上記の従来の方法では、画像の空間的な広がりが限定されていることと、通過帯域内の正しい情報が既知であることの拘束条件のみから高周波成分を再現しようとしており、拘束条件が不十分なため高周波成分を十分に再現することができず鮮鋭感のある拡大画像が得られないという問題点を有していた。
【0017】
本発明は上記従来の問題点を解決するもので鮮鋭感のある拡大画像を得る拡大方式を提供することを目的とする。
【0018】
【課題を解決するための手段】
この目的を達成するために本発明の画像拡大方法は、入力画像を周波数領域に変換して画像パターンを抽出し、そこから高周波成分が含まれた画像パターンを推測してその画像パターンに置き換えることにより鮮鋭感のある拡大画像が得られる。
【0019】
【発明の実施の形態】
本発明の請求項1に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップと、前記高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【0020】
本発明の請求項3に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンから高周波成分を推測し、前記画像パターンに前記高周波成分を付加するステップと、前記高周波成分を付加された画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【0021】
本発明の請求項5に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンを生成するステップと、前記推測した高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法としたものである。
【0022】
本発明の請求項7に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記入力画像を前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップから拡大画像を得る画像拡大方法したものである。
【0023】
いずれの発明も、鮮鋭感のある拡大画像が得られるという作用を有する。
【0024】
以下、本発明の実施の形態について図1から図6を用いて説明する。
【0025】
(実施の形態1)
図1は本発明の画像拡大方法のフローチャートであり、図2は元画像の離散ウェーブレット変換の周波数帯域分割の図で空間周波数成分を表し、水平垂直軸はそれぞれ水平、垂直周波数軸であり、図3は2倍拡大の場合の離散ウェーブレット変換の周波数帯域分割の図で空間周波数成分を表し、水平垂直軸はそれぞれ水平、垂直周波数軸であり、図4は各処理ステップでの波形図である。図21の液晶プロジェクタの2103解像度変換回路に本発明を適用した場合でありたとえばCPUによって実現される。一部または全部を専用ハードウェアで実現することも出来る。
【0026】
先ず図2と図3を用いて空間周波数領域で考えた拡大について説明する。画像を離散ウェーブレット変換すると低周波成分と高周波成分に2分される。画像の場合2次元であるので図2のように水平、垂直のそれぞれの低周波成分と高周波成分の分離で4成分が得られる。水平−低域、垂直−低域成分の201、水平−高域、垂直−低域成分の202、水平−低域、垂直−高域成分の203、水平−高域、垂直−高域成分の204の4成分である。図2ではそれぞれ順にLL、HL、LH、HHと表記している。以後202HLなどと表記する。また分離した4成分を用いて離散逆ウェーブレット変換を行うと元の画像が再現される。2倍拡大の場合、図3に示すように図2の2倍の帯域の4成分、301の水平−低域、垂直−低域成分(LL)、302の水平−高域、垂直−低域成分(HL)、303の水平−低域、垂直−高域成分(LH)、304の水平−高域、垂直−高域成分(HH)を用意し逆ウェーブレット変換を行うと2倍拡大画像が得られる。ここで元画像は図2で4成分全部が図3の301LLと同等であるが、302HL、303LH、304HHは存在しない。302HL、303LH、304HHに0を入れて離散逆ウェーブレットを行えば一応、水平、垂直それぞれ2倍の拡大画像が得られるが必要な高周波成分がないので鮮鋭感のないぼけた拡大画像となる。そこで何らかの方法で高周波成分302HL、303LH、304HHを予測しなければならない。本実施例では302HLは202HLから、303HLは203HLから、304HLは204HLからそれぞれ予測する。さらに説明を容易にするため本発明の実施例では202HLと302HLのあるラインの数ドットを抜き出し1次元のパターンとして説明するが同様の処理を全画像領域にわたって行っている。より精密な拡大にはパターンの処理を2次元で行い、302HL、303LH、304HHを図2の4成分すべて用いて予測することも可能である。また離散ウェーブレット変換の多重解像度解析の観点から201LLをさらに離散ウェーブレット変換した結果をも用いて、さらにより精密な予測を行うことも可能である。
【0027】
以後、図2の入力画像の領域で用いる高周波成分という用語は202HL、203LH、204HHに属する周波数成分を意味し、図3の拡大画像の領域で用いる高周波成分という用語は302HL、303LH、304HHに属する周波数成分を意味するものとする。これは離散ウェーブレット変換で帯域を2分した場合それぞれの解像度で周波数が高い領域を高周波成分と呼ぶためである。
【0028】
次に図1、図2、図3を用いて本発明の処理手順を説明する。
【0029】
(ステップ101)入力画像全体を離散ウェーブレット変換し図2に示すような低周波成分201LLと高周波成分202HL、203LH、204HHに分離する。
【0030】
(ステップ102)図2の202HL、203LH、204HHで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【0031】
(ステップ103)パターンデータベースから一致するパターンを検索し、一致した場合はステップ104へ一致しなかった場合はステップ105へ行く。
【0032】
(ステップ104)高周波成分を含んだパターンと置換する。この際202HLに属するパターンは302HLに、203LHに属するパターンは303LHに、204HHに属するパターンは304HHの成分のパターンに置換されると同時に水平垂直の画素数をそれぞれ2倍にする。一致しなかった場合はパターンを置換せず画素数を2倍にする。したがって一致しなかった場合は対応する座標の拡大画像の高周波成分は0となる。この場合精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ102からステップ104の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【0033】
(ステップ105)離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【0034】
さらにステップ102、103、104の処理について具体的なパターン例を用いて説明する。図4は入力画像と図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。401は入力画像、402は401の高周波成分である。図5は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。501は入力画像401をフィルタでそのまま拡大した場合、502は本実施例の方法で拡大した場合の画像である。図6は入力画像の高周波成分202HLの比較パターンデータベースである。図7は図6に対応して図3の高周波成分302HLの出力パターンデータベースである。図6、図7のパターンはともに高周波成分パターンである。高周波成分601は高周波成分701に、高周波成分602は高周波成分702に、高周波成分603は高周波成分703に、高周波成分604は高周波成分704に置換するように対応している。これらのパターンデータベースは視覚的な知見と膨大な量の画像を統計解析して最も画質的に良い結果が得られるパターンを選んでいる。
【0035】
入力画像401の高周波成分が402のように検出されたとき、図6に示すデータベースの4パターンの中から最も近いパターンを検索する。ここでは601のパターンを最も近いパターンとして採用する。次に601のパターンに対応する601パターンにはない高周波成分を含んだパターン701に置換する。入力画像401の高周波成分402のままでは図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分402を図3の高周波成分302HLで0以外の有効な値を持つ高周波成分701に置換することにより、鮮鋭感のある拡大画像502が得られる。
【0036】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【0037】
なお、以上の説明では比較する対象として高周波成分402のように離散ウェーブレット変換した結果のみを用いているが入力画像401も同時に比較対象にすることもできる。
【0038】
(実施の形態2)
図1は本発明の画像拡大方法のフローチャートであり、図8は入力画像の高周波成分202HLの比較パターンデータベースである。図9は図8に対応して図3の高周波成分302HLの出力パターンデータベースである。
【0039】
空間周波数領域で考えた拡大の概念と本発明の処理手順は実施の形態1と同様であるので省略する。
【0040】
さらにステップ102、103、104の処理について具体的なパターン例を用いて説明する。図4は図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。図8は入力画像の高周波成分202HLの比較パターンデータベースである。図9は図8に対応して図3の高周波成分302HLの出力パターンデータベースである。図8、図9のパターンはともに高周波成分パターンである。高周波成分801は高周波成分901に、高周波成分802は高周波成分902に、高周波成分803は高周波成分903に置換するように対応している。このパターンはステップ信号を帯域制限した信号を離散ウェーブレット変換した高周波成分で801から803まで順番に帯域制限の帯域幅が狭くなる。これらパターンには視覚的に鮮鋭感に重要なステップ信号を帯域制限の幅ごとに検出しようとする意図があり、これらパターンの検出により入力信号のステップ信号が精密に検出できる。入力画像401の高周波成分が402のように検出されたとき、図8に示すデータベースの3パターンの中から最も近いパターンを検索する。ここでは802のパターンを最も近いパターンとして採用する。次に802のパターンに対応する高周波成分を含んだパターン902に置換する。入力画像401の高周波成分402のままでは図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分402を図3の高周波成分302HLで0以外の有効な値を持つ高周波成分902に置換することにより、鮮鋭感のある拡大画像502が得られる。
【0041】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンからステップ信号を離散ウェーブレット変換した比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより視覚的に重要なステップ信号に高周波成分を付加して鮮鋭感のある拡大画像が得られる。
【0042】
なお、以上の説明では比較する対象として高周波成分402のように離散ウェーブレット変換した結果のみを用いているが入力画像401も同時に比較対象にすることもできる。
【0043】
(実施の形態3)
図10は本発明の画像拡大方法のフローチャートである。図11は入力画像の高周波成分202HLの比較パターンデータベースである。図12は図11に対応して入力画像401の高周波成分402に付加する高周波成分データベースである。
【0044】
空間周波数領域で考えた拡大の概念は実施の形態1と同様であるので省略する。
【0045】
次に図10、図2、図3を用いて本発明の処理手順を説明する。
【0046】
(ステップ1001)入力画像全体を離散ウェーブレット変換し図2に示すような低周波成分201LLと高周波成分202HL、203LH、204HHに分離する。
【0047】
(ステップ1002)図2の202HL、203LH、204HHで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【0048】
(ステップ1003)パターンデータベースから一致するパターンを検索し、一致した場合はステップ1004へ一致しなかった場合はステップ1005へ行く。
【0049】
(ステップ1004)入力画像の高周波成分は202HL、203LH、204HHに属するが、さらに高周波成分を付加することによりそれぞれ302HL、303LH、304HHの高周波成分が生成される。同時に水平垂直の画素数をそれぞれ2倍にする。一致しなかった場合は高周波成分を付加しないので対応する座標の302HL、303LH、304HHの高周波成分は0となる。ステップ1002からステップ1004の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【0050】
(ステップ1005)離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【0051】
さらにステップ1002、1003、1004の処理について具体的なパターン例を用いて説明する。図4は入力画像と図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。401は入力画像、402は401の高周波成分である。図5は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。501は入力画像401をフィルタでそのまま拡大した場合、502は本実施例の方法で拡大した場合の画像である。図11は入力画像の高周波成分202HLの比較パターンデータベースである。図12は図11に対応して図3の高周波成分302HLの付加する高周波成分データベースである。図11、図12のパターンはともに高周波成分パターンである。高周波成分1101は高周波成分1201に、高周波成分1102は高周波成分1202に、高周波成分1103は高周波成分1203に、高周波成分1104は高周波成分1204に対応している。
【0052】
入力画像401の高周波成分が402のように検出されたとき、図11に示すデータベースの4パターンの中から最も近いパターンを検索する。ここでは1101のパターンを最も近いパターンとして採用する。次に1101のパターンに対応する1101パターンにはない高周波成分を含んだパターン1201を入力画像401の高周波成分402に加算する。入力画像401の高周波成分が402そのままの信号では図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像401の高周波成分402を図3の高周波成分302HLで0以外の有効な値を持つ高周波成分1201を付加することにより、鮮鋭感のある拡大画像502が得られる。実施の形態1、実施の形態2と異なる点は高周波成分のパターンを置換するのではなくパターン化された高周波成分を入力画像の高周波成分に付加しているところである。これによって入力画像の成分がより保存されパターンの選択を誤ったときでも画質劣化を最小限に抑えることが出来る。
【0053】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【0054】
なお、以上の説明では比較する対象として高周波成分402のように離散ウェーブレット変換した結果のみを用いているが入力画像401も同時に比較対象にすることもできる。
【0055】
(実施の形態4)
図10は本発明の画像拡大方法のフローチャートである。図13は入力画像の高周波成分202HLの比較パターンデータベースである。図14は図13に対応して入力画像401の高周波成分402に付加する高周波成分データベースである。
【0056】
空間周波数領域で考えた拡大の概念と本発明の処理手順は実施の形態1と同様であるので省略する。
【0057】
さらにステップ1002、1003、1004の処理について具体的なパターン例を用いて説明する。図4は入力画像と図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。401は入力画像、402は401の高周波成分である。図5は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。501は入力画像401をフィルタでそのまま拡大した場合、502は本実施例の方法で拡大した場合の画像である。図13は入力画像の高周波成分202HLの比較パターンデータベースである。図14は図13に対応して図3の高周波成分302HLに属する、付加する高周波成分データベースである。図13、図14のパターンはともに高周波成分パターンである。高周波成分1301は高周波成分1401に、高周波成分1302は高周波成分1402に、高周波成分1303は高周波成分1403に対応している。図13のパターンはステップ信号を帯域制限した信号を離散ウェーブレット変換した高周波成分で1301から1303まで順番に帯域制限の帯域幅が狭くなる。これらパターンには視覚的に鮮鋭感に重要なステップ信号を帯域制限の幅ごとに検出しようとする意図があり、これらパターンの検出により入力信号のステップ信号が精密に検出できる。入力画像401の高周波成分が402のように検出されたとき、図13に示すデータベースの3パターンの中から最も近いパターンを検索する。ここでは1302のパターンを最も近いパターンとして採用する。次に1302のパターンに対応する1302パターンにはない高周波成分を含んだパターン1402を入力画像401の高周波成分402に加算する。入力画像401の高周波成分402のままでは図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分402を図3の高周波成分302HLで0以外の有効な値を持つ高周波成分902に置換することにより、鮮鋭感のある拡大画像502が得られる。
【0058】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンからステップ信号を離散ウェーブレット変換した比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンと置換し、離散ウェーブレット逆変換を行うことにより視覚的に重要なステップ信号に高周波成分を付加して鮮鋭感のある拡大画像が得られる。
【0059】
なお、以上の説明では比較する対象として高周波成分402のように離散ウェーブレット変換した結果のみを用いているが入力画像401も同時に比較対象にすることもできる。
【0060】
(実施の形態5)
図15は本発明の画像拡大方法のフローチャートであり、図16は入力画像の比較パターンデータベースである。図17は図16に対応して図3の高周波成分302HLの出力パターンデータベースである。
【0061】
空間周波数領域で考えた拡大の概念は実施の形態1と同様であるので省略する。
【0062】
次に図15、図2、図3を用いて本発明の処理手順を説明する。
【0063】
(ステップ1501)入力画像を水平、垂直、斜め成分抽出、領域分割、規格化などを行い、パターンを検出する。
【0064】
(ステップ1502)パターンデータベースから一致するパターンを検索し、一致した場合はステップ1503へ一致しなかった場合はステップ1504へ行く。
【0065】
(ステップ1503)高周波成分を含んだ高周波成分パターンを生成する。302HL、303LH、304HHの成分のパターンをそれぞれ生成すると同時に水平垂直の画素数をそれぞれ2倍にする。
【0066】
(ステップ1504)一致しなかった場合の処理。高周波成分として0を生成する。この場合精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ1501からステップ1504の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【0067】
(ステップ1505)離散逆ウェーブレット変換を画像全体に対して行い、拡大画像を得る。
【0068】
さらにステップ1502、1503、1504の処理について具体的なパターン例を用いて説明する。図4は入力画像と図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。ただし本実施例では入力画像の離散ウェーブレット変換を行わないので入力画像401のみが必要である。図5は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。501は入力画像401をフィルタでそのまま拡大した場合、502は本実施例の方法で拡大した場合の画像である。図16は入力画像の比較パターンデータベースである。図17は図16に対応して図3の高周波成分302HLの出力パターンデータベースである。比較パターン1601は高周波成分1701に、比較パターン1602は高周波成分1702に、比較パターン1603は高周波成分1703に、比較パターン1604は高周波成分1704に置換するように対応している。
【0069】
入力画像401は、図16に示すデータベースの4パターンの中から最も近いパターンを検索する。ここでは1601のパターンを最も近いパターンとして採用する。次に1601のパターンに対応する1601パターンにはない高周波成分を含んだパターン1701に置換する。入力画像401を線形フィルタで拡大しただけでは図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし図3の高周波成分302HLで0以外の有効な値を持つ高周波成分1701を発生することにより、鮮鋭感のある拡大画像502が得られる。
【0070】
以上のように本実施の形態によれば入力画像から比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンを発生し、離散ウェーブレット逆変換を行うことにより鮮鋭感のある拡大画像が得られる。
【0071】
(実施の形態6)
図18は本発明の画像拡大方法のフローチャートである。図19は入力画像の高周波成分202HLの比較パターンデータベースである。図20は図19に対応した出力パターンデータベースでこれらパターンが選択されるとこのまま拡大画像となる。
【0072】
空間周波数領域で考えた拡大の概念は実施の形態1と同様であるので省略する。
【0073】
次に図18、図2、図3を用いて本発明の処理手順を説明する。
【0074】
(ステップ1801)入力画像全体を離散ウェーブレット変換し図2に示すような低周波成分201LLと高周波成分202HL、203LH、204HHに分離する。
【0075】
(ステップ1802)図2の202HL、203LH、204HHで示す高周波成分それぞれで領域分割、規格化などを行い、パターンを検出する。
【0076】
(ステップ1803)パターンデータベースから一致するパターンを検索し、一致した場合はステップ1804へ一致しなかった場合はステップ1805へ行く。
【0077】
(ステップ1804)高周波成分を含んだパターンを拡大画像として出力する。これら高周波成分を含んだパターンは水平垂直の画素数をそれぞれ2倍になっている。
【0078】
(ステップ1805)一致しなかった場合は入力画像を低域通過フィルタ(LPF)で拡大し画素数を水平垂直の画素数をそれぞれ2倍にする。したがって一致しなかった場合は対応する座標の拡大画像の高周波成分は生成されず、精細感のある拡大画像は得られないが誤った高周波成分を生成して画質を劣化させるよりはよい。ステップ1802からステップ1805の処理は領域を分割して行うので画像全体を網羅するように分割領域ごとに繰り返し処理または並列処理を行う。
【0079】
さらにステップ1802、1803、1804の処理について具体的なパターン例を用いて説明する。図4は入力画像と図2の高周波成分202HLのあるラインを水平方向に見たときの数ドットを示したものである。401は入力画像、402は401の高周波成分である。図5は拡大画像のあるラインを水平方向に見たときの数ドットを示したものである。501は入力画像401をフィルタでそのまま拡大した場合、502は本実施例の方法で拡大した場合の画像である。図19は入力画像の高周波成分202HLの比較パターンデータベースである。図20は図19に対応したそのまま拡大画像となる出力パターンデータベースである。図19のパターンは高周波成分パターン、図20のパターンは空間領域の画像パターンである。高周波成分1901は画像パターン2001に、高周波成分1902は画像パターン2002に、高周波成分1903は画像パターン2003に、高周波成分1904は画像パターン2004に対応している。これらのパターンデータベースは視覚的な知見と膨大な量の画像を統計解析して最も画質的に良い結果が得られるパターンを選んでいる。
【0080】
入力画像401の高周波成分が402のように検出されたとき、図19に示すデータベースの4パターンの中から最も近いパターンを検索する。ここでは1901のパターンを最も近いパターンとして採用する。次に1901のパターンに対応する1901パターンにはない高周波成分を含んだパターン2001を出力する。入力画像401の高周波成分402のままでは図3の高周波成分302HLでは0となり、拡大画像501と同様なエッジのなまった鮮鋭感のない拡大画像となってしまう。しかし入力画像の高周波成分402を図3の高周波成分302HLで0以外の有効な値を持つ画像パターン2001を出力することにより、鮮鋭感のある拡大画像502が得られる。
【0081】
以上のように本実施の形態によれば入力画像を離散ウェーブレット変換で空間周波数領域に変換し、空間周波数領域変換画像として離散ウェーブレット変換の4成分を得、その画像パターンから比較パターンデータベースと比較し高周波成分が含まれた出力パターンデータベースのパターンを拡大画像として出力することにより鮮鋭感のある拡大画像が得られる。
【0082】
なお、以上の説明では比較する対象として高周波成分402のように離散ウェーブレット変換した結果のみを用いているが入力画像401も同時に比較対象にすることもできる。
【0083】
【発明の効果】
以上のように本発明は、有効な高周波成分を付加することができるので鮮鋭感のある画像拡大ができるという優れた効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態1、2における画像拡大方法のフローチャート
【図2】本発明の入力画像の周波数帯域分割図
【図3】本発明の2倍拡大の周波数帯域分割図
【図4】本発明の入力画像とその高周波成分を示した図
【図5】本発明の2通りの拡大画像を示した図
【図6】本発明の実施の形態1における高周波成分推測の説明図
【図7】本発明の実施の形態1における高周波成分推測の説明図
【図8】本発明の実施の形態2における高周波成分推測の説明図
【図9】本発明の実施の形態2における高周波成分推測の説明図
【図10】本発明の実施の形態3、4における画像拡大方法のフローチャート
【図11】本発明の実施の形態3における高周波成分推測の説明図
【図12】本発明の実施の形態3における高周波成分推測の説明図
【図13】本発明の実施の形態4における高周波成分推測の説明図
【図14】本発明の実施の形態4における高周波成分推測の説明図
【図15】本発明の実施の形態5における画像拡大方法のフローチャート
【図16】本発明の実施の形態5における高周波成分推測の説明図
【図17】本発明の実施の形態5における高周波成分推測の説明図
【図18】本発明の実施の形態6における画像拡大方法のフローチャート
【図19】本発明の実施の形態6における高周波成分推測の説明図
【図20】本発明の実施の形態6における高周波成分推測の説明図
【図21】液晶プロジェクタの構成図
【図22】従来の画像拡大方法の説明図
【符号の説明】
101 離散ウェーブレット変換処理
102 パターン検出処理
103 パターンデータベースと比較処理
104 パターン置換処理
105 離散逆ウェーブレット変換処理

Claims (10)

  1. 入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップと、前記高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
  2. 前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を空間周波数領域に変換したパターンであることを特徴とする請求項1記載の画像拡大方法。
  3. 入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記画像パターンから高周波成分を推測し、前記画像パターンに前記高周波成分を付加するステップと、前記高周波成分を付加された画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
  4. 前記高周波成分はステップ信号またはインパルス信号を空間周波数領域に変換した周波数成分の一部または全領域であることを特徴とする請求項3記載の画像拡大方法。
  5. 入力画像を補間して拡大する画像拡大方法であって、前記入力画像から画像パターンを抽出するステップと、前記画像パターンを前記画像パターンから推測した高周波成分が含まれた画像パターンを生成するステップと、前記推測した高周波成分が含まれた画像パターンを空間領域に変換するステップから拡大画像を得る画像拡大方法。
  6. 前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を空間周波数領域に変換したパターンであることを特徴とする請求項5記載の画像拡大方法。
  7. 入力画像を補間して拡大する画像拡大方法であって、前記入力画像を空間周波数領域に変換して空間周波数領域変換画像を得るステップと、前記空間周波数領域変換画像から画像パターンを抽出するステップと、前記入力画像を前記画像パターンから推測した高周波成分が含まれた画像パターンに置換するステップから拡大画像を得る画像拡大方法。
  8. 前記推測した高周波成分が含まれた画像パターンはステップ信号またはインパルス信号を帯域制限したものであることを特徴とする請求項7記載の画像拡大方法。
  9. 前記空間周波数領域に変換する方法と前記空間領域に変換する方法は直交変換であることを特徴とする請求項1、請求項3、請求項5、請求項7いずれか記載の画像拡大方法。
  10. 前記空間周波数領域に変換する方法と前記空間領域に変換する方法ははフーリエ変換、離散コサイン変換、ウェーブレット変換のいずれかまたはそれらの組み合わせであることを特徴とする請求項1、請求項3、請求項5、請求項7いずれか記載の画像拡大方法。
JP2003050853A 2003-02-27 2003-02-27 画像拡大方法 Pending JP2004260682A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003050853A JP2004260682A (ja) 2003-02-27 2003-02-27 画像拡大方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003050853A JP2004260682A (ja) 2003-02-27 2003-02-27 画像拡大方法

Publications (1)

Publication Number Publication Date
JP2004260682A true JP2004260682A (ja) 2004-09-16

Family

ID=33116156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003050853A Pending JP2004260682A (ja) 2003-02-27 2003-02-27 画像拡大方法

Country Status (1)

Country Link
JP (1) JP2004260682A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076030A (ja) * 2007-08-29 2009-04-09 Daihatsu Motor Co Ltd 物体認識装置
WO2011108144A1 (ja) * 2010-03-01 2011-09-09 シャープ株式会社 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076030A (ja) * 2007-08-29 2009-04-09 Daihatsu Motor Co Ltd 物体認識装置
WO2011108144A1 (ja) * 2010-03-01 2011-09-09 シャープ株式会社 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置
US8897569B2 (en) 2010-03-01 2014-11-25 Sharp Kabushiki Kaisha Image enlargement device, image enlargement program, memory medium on which an image enlargement program is stored, and display device
JP5640071B2 (ja) * 2010-03-01 2014-12-10 シャープ株式会社 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置

Similar Documents

Publication Publication Date Title
US8275218B2 (en) Forward and backward image resizing method
US6466618B1 (en) Resolution improvement for multiple images
JP4760288B2 (ja) 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
JP4490987B2 (ja) 高解像度化装置および方法
Su et al. Spatially adaptive block-based super-resolution
JP2002527953A (ja) キーストーン歪みを防止する方法および装置
KR100860968B1 (ko) 해상도 향상 장치 및 방법
JP2007089110A (ja) テレビウォール用画像分割方法
US20120287311A1 (en) Digital image processing device and processing method thereof
JP2000184185A (ja) 解像度変換装置、方法及びコンピュータ読み取り可能な記憶媒体
Maalouf et al. Colour image super-resolution using geometric grouplets
JPH08294001A (ja) 画像処理方法および画像処理装置
Zamani et al. Multiple-frames super-resolution for closed circuit television forensics
JP2005217532A (ja) 解像度変換方法及び解像度変換装置
JP2009093442A (ja) 画像信号処理方法、装置、及びそれを用いた画像表示装置
KR101339785B1 (ko) 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치
JP2004260682A (ja) 画像拡大方法
JP4081926B2 (ja) 画像拡大装置
JP2011040004A (ja) 画像処理装置及び画像処理方法
JP2009140393A (ja) 映像処理装置、映像表示装置、映像処理方法および映像表示方法
JP2002123829A (ja) 画像変形装置および対象物拡大表示方法
JP2007087218A (ja) 画像処理装置
US8264601B2 (en) Video picture format conversion method and corresponding device
JP2005011191A (ja) 画像拡大方法
JP2009294273A (ja) 超解像表示装置