JP2005011191A - 画像拡大方法 - Google Patents
画像拡大方法 Download PDFInfo
- Publication number
- JP2005011191A JP2005011191A JP2003176461A JP2003176461A JP2005011191A JP 2005011191 A JP2005011191 A JP 2005011191A JP 2003176461 A JP2003176461 A JP 2003176461A JP 2003176461 A JP2003176461 A JP 2003176461A JP 2005011191 A JP2005011191 A JP 2005011191A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image
- frequency component
- frequency
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims description 36
- 238000003708 edge detection Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004069 differentiation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】ディスプレイ装置の信号処理部に使用される画像拡大方法においてぼけた拡大画像になる問題点を解決し、鮮鋭感と質感の両立した拡大画像を得ることを目的とする。
【解決手段】入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【選択図】 図１
【解決手段】入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを補間して拡大画像を生成する画像拡大方法に関するものである。
【０００２】
【従来の技術】
画像拡大は大画面プラズマテレビ、大画面液晶テレビ、プロジェクタなど大画面高精細ディスプレイに比較的低解像度のソース（たとえばＮＴＳＣ、ＰＡＬ方式映像信号）を表示する際に必須の技術となっている。近年、向上したディスプレイの表示能力を十分生かすため鮮鋭感の高い画像拡大方式が求められている。
【０００３】
先ず一般的なディスプレイの信号処理について説明する。図１４は液晶プロジェクタの信号処理部の概略ブロック図である。液晶などのドットマトリクスディスプレイでは表示デバイスに解像度を合わせる解像度変換が必要である。この際、低解像度ソース画像を高解像度表示デバイスに表示する際に画像拡大が必要となる。液晶プロジェクタでは図１４の２１０１のように種々の解像度の映像信号を２１０２入力回路でＡＤ変換や同期分離などを行い２１０３解像度変換回路で２１０５液晶パネルの解像度に変換する。ここに画像拡大が必要となる。一般的にはバイリニア法、キュービックコンボリューション法などの線形フィルタによる画像拡大方法が用いられている。解像度変換された画像は２１０４液晶駆動回路で多相変換など液晶パネル表示に適した信号フォーマットに変換され２１０５液晶パネル上に画像が表示される。この画像を２１０６ランプユニットで照射して２１０７投射レンズで投影され２１０８スクリーンに画像が表示される。
【０００４】
以下に従来の画像拡大方法について説明する。
【０００５】
従来、画像拡大方法は特許第３３０２７３１号に記載されたものが知られている。その画像拡大方法を図１５に示す。図１５は従来の画像拡大方法のＤＣＴを用いたゲルヒベルグ−パポリス反復法の説明図を示すものである。今、２２０１に示すＮ×Ｎ画素の元画像がありそれをｍ倍に拡大したｍＮ×ｍＮ画素の画像を作ることを想定しステップごとに処理を説明する。
【０００６】
２２０２のように画像の空間的な広がりを限定させるために、Ｎ×Ｎ画素の元画像の周りに画素値をｌとした画像を付け、ｎＮ×ｎＮ画素の画像に拡張する。今後この部分を拡張領域と呼ぶ。
【０００７】
この画像を２次元ＤＣＴにより変換し、２２０３に示すＤＣＴ領域の画像を得る。
【０００８】
拡大率に応じた高周波帯まで周波数領域を拡張した２２０４を得る。このとき高周波成分は０であり、拡張されたサイズはｎｍＮ×ｎｍＮ画素分になる。
【０００９】
周波数拡張されたＤＣＴ成分を２次元逆ＤＣＴ（ＩＤＣＴ）によって逆変換する。２２０５に示すこのとき得られた画像はｎｍＮ×ｎｍＮ画素の画像であり、その中心部のｍＮ×ｍＮ画素分ａが拡大画像である。
【００１０】
その中心部のｍＮ×ｍＮ画素分ａの外側（拡張領域）は、既にその画素値がｌであることがわかっているので、正しい値に修正し２２０６に示す画像を得る。この操作が空間的領域制限である。
【００１１】
拡張領域を修正した画像をＤＣＴによって変換し２２０７に示すＤＣＴ領域の画像を得る。このときの周波数成分はｂである。
【００１２】
低周波側は既知情報として周波数成分ａであることがわかっているので、低周波成分を成分ａに置き換え２２０８に示すＤＣＴ領域の画像を得る。
【００１３】
ＩＤＣＴにより逆変換をし２２０９に示す画像を得る。
【００１４】
ステップ５〜８の処理を繰り返す。
【００１５】
【特許文献１】
特許第３３０２７３１号公報 （４頁）
【非特許文献１】
新堀英二、高木幹雄著「ＤＣＴを用いたＧｅｒｃｈｂｅｒｇ−Ｐａｐｐｏｕｌｉｓの反復法を適用した高画質画像拡大」１９９３年９月、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ Ｎｏ．９ １９３３頁
【００１６】
【発明が解決しようとする課題】
しかしながら上記の従来の方法では、画像の空間的な広がりが限定されていることと通過帯域内の正しい情報が既知であることの拘束条件のみから高周波成分を再現しようとしており拘束条件が不十分なため高周波成分すなわちエッジを十分に再現することができず鮮鋭感のある拡大画像が得られないのみならず不正確にエッジが再現され質感を損ねるという問題点を有していた。
【００１７】
本発明は上記従来の問題点を解決するもので鮮鋭感と質感を両立した拡大画像を得る画像拡大方式を提供することを目的とする。
【００１８】
【課題を解決するための手段】
この目的を達成するために本発明の画像拡大方法は、入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００１９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２０】
本発明の請求項２に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２１】
本発明の請求項３に記載の発明は、前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分により得ることを特徴とする請求項１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２２】
本発明の請求項４に記載の発明は、前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２３】
本発明の請求項５に記載の発明は、前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２４】
本発明の請求項６に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２５】
本発明の請求項７に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２６】
本発明の請求項８に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は補間フィルタを用いて拡大することを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２７】
本発明の請求項９に記載の発明は、前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２８】
本発明の請求項１０に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２９】
本発明の請求項１１に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３０】
本発明の請求項１２に記載の発明は、前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分を用いることを特徴とする請求項１０記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３１】
本発明の請求項１３に記載の発明は、前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１０記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３２】
本発明の請求項１４に記載の発明は、前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３３】
本発明の請求項１５に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３４】
本発明の請求項１６に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３５】
本発明の請求項１７に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は前記高周波成分に０を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３６】
本発明の請求項１８に記載の発明は、前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３７】
本発明の請求項１９に記載の発明は、前記高周波成分を空間領域に変換するステップでは、逆ウェーブレット変換を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３８】
以下、本発明の実施の形態について図１から図１３を用いて説明する。
【００３９】
（実施の形態１）
図１は本発明の画像拡大方法のフローチャートである。
【００４０】
図１において１０１はウェーブレット変換を用いて高周波成分を抽出する高周波成分抽出ステップ、１０２は１フレーム分全部の画素の処理終了を判断する１フレーム終了判断ステップ、１０３はパターンマッチングによりエッジを検出するエッジ検出ステップ、１０４は１０３の情報をもとにエッジ画素を判断するエッジ画素判断ステップ、１０５はエッジの周波数解析をするエッジ周波数解析ステップ、１０６はエッジの周波数成分などを加工するエッジ加工ステップ、１０７は拡大画像上に生成するエッジの座標を計算する拡大画像エッジ座標計算ステップ、１０８は拡大画像上にエッジを生成する拡大画像エッジ生成ステップ、１０９はエッジ画素でない場合に線形フィルタで拡大画素を生成する線形フィルタ拡大画素生成ステップである。
【００４１】
図２は図１に示す本発明の画像拡大方法における１次元表現の画像である。図２において２０１は入力画像である。
【００４２】
図３は入力画像２０１を高周波成分抽出ステップ１０２で処理した結果を表す図で３０１は高周波成分である。
【００４３】
図４はエッジを周波数解析した解析結果を示す図で４０１は周波数解析ステップ１０５で得られた周波数成分ｆａ、４０２は周波数成分４０１をエッジ加工ステップ１０６で周波数シフトした加工後周波数成分ｆｂである。
【００４４】
図５は本発明の方法による拡大画像で５０１は点線、実線合わせて拡大画像、５０２は実線部で表されるエッジ部分、５０３は点線部で表される非エッジ部分である。
【００４５】
図６はすべて線形フィルタで拡大した場合の拡大画像で６０１は点線、実線合わせて拡大画像、６０２は実線部で表されるエッジ部分である。
【００４６】
図７は拡大倍率２倍の２次元拡大画像でジャギーが発生している例を示す図である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。７０１はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０が対応するエッジ、７０２はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０．５が対応するエッジ、７０３はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標１が対応するエッジである。
【００４７】
図８は拡大倍率２倍の２次元拡大画像でジャギーが発生していない例を示す図である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。８０１はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０が対応するエッジ、８０２はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０．５が対応するエッジ、８０３はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標１が対応するエッジである。
【００４８】
以上のようなステップで動作する画像拡大方法について図１から図８を用いて説明する。
【００４９】
入力画像に対してエッジ検出１０３の前処理として１フレームの全画素に対して高周波成分抽出ステップ１０１でウェーブレット変換を行い高周波成分の抽出を行う。入力画像２０１のウェーブレット変換を行い高周波成分３０１が抽出される。
【００５０】
次に１フレーム終了の判断１０２を行うが最初は１フレームの終了でないことは明らかである。
【００５１】
１フレームの終了でない場合パターンマッチングによるエッジ検出１０３をステップ１０１で抽出した高周波成分３０１を用いて行う。パターンマッチングは高周波成分３０１のゼロクロスを検出することにより簡単に行っているが正規化相関法などの手法を用いることもできる。また直接入力画像２０１を用いてパターンマッチングを行うことも可能である。
【００５２】
エッジ画素を判断するステップ１０４ではパターンマッチングによるエッジ検出１０３の結果に基づきエッジ画素を判断する。
【００５３】
エッジと判断された場合、エッジの周波数解析をするステップ１０５で入力画像２０１と高周波成分３０１から周波数解析を行う。具体的には高周波成分３０１のゼロクロス部分の傾きと座標、入力画像２０１の振幅、オフセットから入力画像２０１の入力画像エッジの座標、周波数成分４０１、振幅、オフセットを計算する。入力画像エッジの周波数成分４０１はエッジの主要な特徴を簡潔に表現するため単一の周波数で表現する。ここではステップ信号を理想帯域制限したときの帯域制限周波数を用いている。本実施例では周波数で表現しているパラメータはエッジの傾斜として表現しても同様である。
【００５４】
エッジの加工ステップ１０６では入力画像エッジの周波数成分４０１の周波数を高周波側にシフトさせ出力画像エッジの加工後周波数成分４０２を得る。この場合拡大画像のエッジは入力画像のエッジよりも急峻になる。エッジの加工ステップ１０６での処理で出力画像のエッジの傾きは自由に制御できる。入力画像のエッジをそのまま移動して出力画像のエッジとする場合にはこのステップを省略することも出来る。
【００５５】
拡大画像エッジ座標計算ステップ１０７では入力画像２０１のエッジ座標ｘから出力画像５０１のエッジ座標ｙを計算する。拡大倍率をａとすると
ｙ＝ａｘ――――（式１）
でエッジ座標ｙが与えられる。球面へのマッピングなど拡大倍率が座標により異なる場合も式１を変えれば可能である。
【００５６】
１画素を座標値１とし、画素は整数座標にしか存在しないように配置しても理論的なエッジ座標ｘの小数成分は０ではない場合がある。したがって出力画像５０１のエッジ座標ｙも小数成分が０ではない場合がある。これらのことから入力画像２０１のエッジの画素を単にそのまま移動させて出力画像５０１の画素としたら正確なエッジ座標ｙが得られないことがわかる。本発明の方法では入力画像２０１のエッジを周波数解析し、エッジ座標、周波数成分４０１などを得ているので正確に拡大画像５０１のエッジを再現することが可能である。このためエッジの傾きのバランスを保持出来るので質感と鮮鋭感の両立が可能となる。さらにエッジの加工ステップ１０６でエッジの傾斜などを自由に制御することが出来るため鮮鋭感の制御も可能である。
【００５７】
拡大画像にエッジを合成するステップ１０８ではステップ１０５、１０６、１０７の情報を元に拡大画像５０１にエッジ５０２を合成する。エッジ５０２はエッジ座標ｙを中心に近傍数画素をエッジとしている。図５では実線で表記している。
【００５８】
ステップ１０４でエッジ画素でないと判断された場合線形フィルタによる拡大ステップ１０９で直線補間などのフィルタを用いて拡大画素が生成され拡大画像５０１の非エッジ部分５０３となる。図５では点線で表記している。
【００５９】
ステップ１０８、ステップ１０９の後は再びステップ１０２に戻り１フレーム分全画素処理が終了するまで繰り返す。
【００６０】
仮に従来のフィルタによってエッジを生成した場合には拡大画像６０１のエッジ６０２のようになだらかなエッジとなり鮮鋭感が大きく損なわれる。
【００６１】
次に斜めエッジの処理について説明する。斜めエッジは２次元画像で水平、垂直を分離して処理するとジャギーが発生する。本実施例では拡大画像のエッジを生成するエッジ座標近傍のエッジ座標を用いてジャギーを低減している。図７は拡大倍率２倍の拡大画像でジャギーが発生している例である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。今、Ｙ座標０のエッジ７０１、Ｙ座標２のエッジ７０３が得られておりＹ座標１のエッジ７０２を合成する事を考える。拡大倍率２倍なので水平方向にエッジをスキャンして合成するとき近傍エッジの情報がないとエッジ７０１とエッジ７０２のＸ座標を同じ４．５とするのが妥当な判断である。しかしこの場合エッジ７０３とエッジ７０２で２画素分の段差ができジャギーが発生する。図８は拡大倍率２倍の拡大画像でジャギーが発生していない例である。エッジ８０１とエッジ８０３のエッジのＸ座標値４．５と２．５の平均値３．５をエッジ８０２のエッジのＸ座標値とするとジャギーが低減される。曲線など複雑な斜めエッジでは考慮する近傍エッジを増やすなどの対応が出来る。
【００６２】
またエッジ８０２は対象入力画像のＹ座標０．５のエッジを直線補間などで計算してから拡大画像上のエッジ座標を計算しても同様にジャギーを低減することが出来る。
【００６３】
近傍エッジを考慮するとノイズなどの孤立点の除去や逆にインパルスなどの重要な孤立点の面積を増大させずに拡大するなどの処理が可能となる。
【００６４】
以上のように本実施の形態によれば入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００６５】
なお、高周波成分抽出ステップ１０１を省略し、入力画像２０１から直接パターンマッチングでエッジ検出することも可能である。
【００６６】
（実施の形態２）
図９は本発明の画像拡大方法のフローチャートである。
【００６７】
図９において９０１は１フレーム分全部の画素の処理終了を判断する１フレーム終了判断ステップ、９０２はパターンマッチングによりエッジを検出するエッジ検出ステップ、９０３はエッジ画素を判断するエッジ画素判断ステップ、９０４はエッジの周波数解析を行うエッジ周波数解析ステップ、９０５はエッジの周波数成分などを加工するエッジ加工ステップ、９０６は拡大画像上に生成するエッジの座標を計算する拡大画像エッジ座標計算ステップ、９０７は拡大画像上にエッジの高周波成分を生成する拡大画像エッジ高周波成分生成ステップ、９０８は低周波成分と高周波成分を逆ウェーブレット変換して拡大画像を生成する逆ウェーブレット変換ステップ、９０９はエッジ画素でない場合に高周波成分に０を生成する高周波成分０生成ステップである。
【００６８】
図１０は図９に示す本発明の画像拡大方法における１次元表現の画像である。図１０において１００１は入力画像である。
【００６９】
図１１はエッジを周波数解析した解析結果を示す図で１１０１は周波数解析ステップ９０４で得られた周波数成分、１１０２は周波数成分１１０１をエッジ加工ステップ９０５でシフトした加工後周波数成分である。
【００７０】
図１２は拡大画像エッジ高周波成分生成ステップ９０７で生成されたエッジの高周波成分を表す図で１２０１はエッジの高周波成分。
【００７１】
図１３は本発明の方法による拡大画像で１３０１は点線、実線合わせて拡大画像、１３０２は実線部で表されるエッジ部分、１３０３は点線部で表される非エッジ部分である。
【００７２】
以上のようなステップで動作する画像拡大方法について図９から図１３を用いて説明する。
【００７３】
先ず１フレーム終了の判断９０１を行うが最初は１フレームの終了でないことは明らかである。
【００７４】
１フレームの終了でない場合パターンマッチングによるエッジ検出９０２を入力画像１００１を用いて行う。パターンマッチングは入力画像１００１を直接テンプレートと比較することにより簡単に行っているが正規化相関法などの手法を用いることもできる。
【００７５】
エッジ画素を判断するステップ９０３ではパターンマッチングによるエッジ検出９０２の結果に基づきエッジ画素を判断する。
【００７６】
エッジと判断された場合、エッジの周波数解析をするステップ９０４で入力画像１００１から周波数解析を行う。具体的には入力画像１００１エッジの傾き、座標、振幅、オフセットから入力画像１００１の入力画像エッジの座標、周波数成分１１０１、振幅、オフセットを計算する。入力画像エッジの周波数成分１１０１はエッジの主要な特徴を簡潔に表現するため単一の周波数で表現する。ここではステップ信号を理想帯域制限したときの帯域制限周波数を用いている。本実施例では周波数で表現しているパラメータはエッジの傾斜として表現しても同様である。
【００７７】
エッジの加工ステップ９０５では入力画像エッジの周波数成分１１０１の周波数を高周波側にシフトさせ出力画像エッジの加工後周波数成分１１０２を得る。この場合拡大画像のエッジは入力画像のエッジよりも急峻になる。エッジの加工ステップ９０５での処理で出力画像のエッジの傾きは自由に制御できる。入力画像のエッジをそのまま移動して出力画像のエッジとする場合にはこのステップを省略することも出来る。
【００７８】
拡大画像エッジ座標計算ステップ９０６では入力画像１００１のエッジ座標ｘから出力画像１３０１のエッジ座標ｙを計算する。拡大倍率をｂとすると
ｙ＝ｂｘ―――−（式２）
でエッジ座標ｙが与えられる。曲面へのマッピングなど拡大倍率が座標により異なる場合も式２を変えれば可能である。
【００７９】
１画素を座標値１とし、画素は整数座標にしか存在しないように配置しても理論的なエッジ座標ｘの小数成分は０ではない場合がある。したがって出力画像１３０１のエッジ座標ｙも小数成分が０ではない場合がある。これらのことから入力画像１００１のエッジの画素を単にそのまま移動させて出力画像１３０１の画素としたら正確なエッジ座標ｙが得られないことがわかる。本発明の方法では入力画像１００１のエッジを周波数解析し、エッジ座標、周波数成分１１０１などを得ているので正確に拡大画像１３０１のエッジを再現することが可能である。このためエッジの傾きのバランスを保持出来るので質感と鮮鋭感の両立が可能となる。さらにエッジの加工ステップ９０５でエッジの傾斜などを自由に制御することが出来るため鮮鋭感の制御も可能である。
【００８０】
エッジの高周波成分生成ステップ９０７ではステップ９０４、９０５、９０６での情報を元に拡大画像１３０１にエッジ１３０２を合成する。エッジ１３０２はエッジ座標ｙを中心に近傍数画素をエッジとしている。図１３では実線で表記している。
【００８１】
ステップ９０３でエッジ画素でないと判断された場合高周波成分０生成ステップ９０９でその画素に対する高周波成分は０が生成される。
【００８２】
ステップ９０７、ステップ９０９の後は再びステップ９０１に戻り１フレーム分全画素処理が終了するまで繰り返す。このループの間１フレーム分の高周波成分がメモリに蓄えられる。
【００８３】
逆ウェーブレット変換ステップ９０８ではステップ９０７とステップ９０９で生成された高周波成分と入力画像１００１を低周波成分として逆ウェーブレット変換を行い１フレーム分の拡大画素が生成される。
【００８４】
以上のように本実施の形態によれば入力画像のエッジを検出し、そのエッジを周波数解析して、エッジの高周波成分を生成し逆ウェーブレット変換で拡大画像を生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００８５】
なお、本実施の形態ではエッジ検出９０２は入力画像１００１を用いたが実施の形態１に示すように高周波成分抽出ステップ１０１を設けて高周波成分からエッジ検出しても良い。
【００８６】
【発明の効果】
以上のように本発明は、鮮鋭感と質感が両立した拡大画像が得られるという優れた効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像拡大方法のフローチャート
【図２】本発明の実施の形態１における入力画像の図
【図３】本発明の実施の形態１における入力画像の高周波成分の図
【図４】本発明の実施の形態１における周波数成分の図
【図５】本発明の実施の形態１における拡大画像の図
【図６】本発明の実施の形態１におけるフィルタのみを用いたときの拡大画像の図
【図７】本発明の実施の形態１におけるシャギー発生時の拡大画像の図
【図８】本発明の実施の形態１におけるシャギーがないときの拡大画像の図
【図９】本発明の実施の形態２における画像拡大方法のフローチャート
【図１０】本発明の実施の形態２における入力画像の図
【図１１】本発明の実施の形態２における周波数成分の図
【図１２】本発明の実施の形態２における生成した高周波成分の図
【図１３】本発明の実施の形態２における拡大画像の図
【図１４】従来の液晶プロジェクターの説明図
【図１５】従来の画像拡大方法の説明図
【符号の説明】
１０１ 高周波成分抽出ステップ
１０２ １フレーム終了判断ステップ
１０３ エッジ検出ステップ
１０４ エッジ画素判断ステップ
１０５ エッジ周波数解析ステップ
１０６ エッジ加工ステップ
１０７ 拡大画像エッジ座標計算ステップ
１０８ 拡大画像エッジ合成ステップ
１０９ 線形フィルタ拡大画素生成ステップ
【発明の属する技術分野】
本発明は、画像データを補間して拡大画像を生成する画像拡大方法に関するものである。
【０００２】
【従来の技術】
画像拡大は大画面プラズマテレビ、大画面液晶テレビ、プロジェクタなど大画面高精細ディスプレイに比較的低解像度のソース（たとえばＮＴＳＣ、ＰＡＬ方式映像信号）を表示する際に必須の技術となっている。近年、向上したディスプレイの表示能力を十分生かすため鮮鋭感の高い画像拡大方式が求められている。
【０００３】
先ず一般的なディスプレイの信号処理について説明する。図１４は液晶プロジェクタの信号処理部の概略ブロック図である。液晶などのドットマトリクスディスプレイでは表示デバイスに解像度を合わせる解像度変換が必要である。この際、低解像度ソース画像を高解像度表示デバイスに表示する際に画像拡大が必要となる。液晶プロジェクタでは図１４の２１０１のように種々の解像度の映像信号を２１０２入力回路でＡＤ変換や同期分離などを行い２１０３解像度変換回路で２１０５液晶パネルの解像度に変換する。ここに画像拡大が必要となる。一般的にはバイリニア法、キュービックコンボリューション法などの線形フィルタによる画像拡大方法が用いられている。解像度変換された画像は２１０４液晶駆動回路で多相変換など液晶パネル表示に適した信号フォーマットに変換され２１０５液晶パネル上に画像が表示される。この画像を２１０６ランプユニットで照射して２１０７投射レンズで投影され２１０８スクリーンに画像が表示される。
【０００４】
以下に従来の画像拡大方法について説明する。
【０００５】
従来、画像拡大方法は特許第３３０２７３１号に記載されたものが知られている。その画像拡大方法を図１５に示す。図１５は従来の画像拡大方法のＤＣＴを用いたゲルヒベルグ−パポリス反復法の説明図を示すものである。今、２２０１に示すＮ×Ｎ画素の元画像がありそれをｍ倍に拡大したｍＮ×ｍＮ画素の画像を作ることを想定しステップごとに処理を説明する。
【０００６】
２２０２のように画像の空間的な広がりを限定させるために、Ｎ×Ｎ画素の元画像の周りに画素値をｌとした画像を付け、ｎＮ×ｎＮ画素の画像に拡張する。今後この部分を拡張領域と呼ぶ。
【０００７】
この画像を２次元ＤＣＴにより変換し、２２０３に示すＤＣＴ領域の画像を得る。
【０００８】
拡大率に応じた高周波帯まで周波数領域を拡張した２２０４を得る。このとき高周波成分は０であり、拡張されたサイズはｎｍＮ×ｎｍＮ画素分になる。
【０００９】
周波数拡張されたＤＣＴ成分を２次元逆ＤＣＴ（ＩＤＣＴ）によって逆変換する。２２０５に示すこのとき得られた画像はｎｍＮ×ｎｍＮ画素の画像であり、その中心部のｍＮ×ｍＮ画素分ａが拡大画像である。
【００１０】
その中心部のｍＮ×ｍＮ画素分ａの外側（拡張領域）は、既にその画素値がｌであることがわかっているので、正しい値に修正し２２０６に示す画像を得る。この操作が空間的領域制限である。
【００１１】
拡張領域を修正した画像をＤＣＴによって変換し２２０７に示すＤＣＴ領域の画像を得る。このときの周波数成分はｂである。
【００１２】
低周波側は既知情報として周波数成分ａであることがわかっているので、低周波成分を成分ａに置き換え２２０８に示すＤＣＴ領域の画像を得る。
【００１３】
ＩＤＣＴにより逆変換をし２２０９に示す画像を得る。
【００１４】
ステップ５〜８の処理を繰り返す。
【００１５】
【特許文献１】
特許第３３０２７３１号公報 （４頁）
【非特許文献１】
新堀英二、高木幹雄著「ＤＣＴを用いたＧｅｒｃｈｂｅｒｇ−Ｐａｐｐｏｕｌｉｓの反復法を適用した高画質画像拡大」１９９３年９月、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ Ｎｏ．９ １９３３頁
【００１６】
【発明が解決しようとする課題】
しかしながら上記の従来の方法では、画像の空間的な広がりが限定されていることと通過帯域内の正しい情報が既知であることの拘束条件のみから高周波成分を再現しようとしており拘束条件が不十分なため高周波成分すなわちエッジを十分に再現することができず鮮鋭感のある拡大画像が得られないのみならず不正確にエッジが再現され質感を損ねるという問題点を有していた。
【００１７】
本発明は上記従来の問題点を解決するもので鮮鋭感と質感を両立した拡大画像を得る画像拡大方式を提供することを目的とする。
【００１８】
【課題を解決するための手段】
この目的を達成するために本発明の画像拡大方法は、入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００１９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２０】
本発明の請求項２に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２１】
本発明の請求項３に記載の発明は、前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分により得ることを特徴とする請求項１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２２】
本発明の請求項４に記載の発明は、前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２３】
本発明の請求項５に記載の発明は、前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２４】
本発明の請求項６に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２５】
本発明の請求項７に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２６】
本発明の請求項８に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は補間フィルタを用いて拡大することを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２７】
本発明の請求項９に記載の発明は、前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１または請求項２記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２８】
本発明の請求項１０に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００２９】
本発明の請求項１１に記載の発明は、入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３０】
本発明の請求項１２に記載の発明は、前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分を用いることを特徴とする請求項１０記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３１】
本発明の請求項１３に記載の発明は、前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１０記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３２】
本発明の請求項１４に記載の発明は、前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３３】
本発明の請求項１５に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３４】
本発明の請求項１６に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３５】
本発明の請求項１７に記載の発明は、前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は前記高周波成分に０を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３６】
本発明の請求項１８に記載の発明は、前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３７】
本発明の請求項１９に記載の発明は、前記高周波成分を空間領域に変換するステップでは、逆ウェーブレット変換を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法としたものであり、鮮鋭感と質感が両立した拡大画像が得られるという作用を有する。
【００３８】
以下、本発明の実施の形態について図１から図１３を用いて説明する。
【００３９】
（実施の形態１）
図１は本発明の画像拡大方法のフローチャートである。
【００４０】
図１において１０１はウェーブレット変換を用いて高周波成分を抽出する高周波成分抽出ステップ、１０２は１フレーム分全部の画素の処理終了を判断する１フレーム終了判断ステップ、１０３はパターンマッチングによりエッジを検出するエッジ検出ステップ、１０４は１０３の情報をもとにエッジ画素を判断するエッジ画素判断ステップ、１０５はエッジの周波数解析をするエッジ周波数解析ステップ、１０６はエッジの周波数成分などを加工するエッジ加工ステップ、１０７は拡大画像上に生成するエッジの座標を計算する拡大画像エッジ座標計算ステップ、１０８は拡大画像上にエッジを生成する拡大画像エッジ生成ステップ、１０９はエッジ画素でない場合に線形フィルタで拡大画素を生成する線形フィルタ拡大画素生成ステップである。
【００４１】
図２は図１に示す本発明の画像拡大方法における１次元表現の画像である。図２において２０１は入力画像である。
【００４２】
図３は入力画像２０１を高周波成分抽出ステップ１０２で処理した結果を表す図で３０１は高周波成分である。
【００４３】
図４はエッジを周波数解析した解析結果を示す図で４０１は周波数解析ステップ１０５で得られた周波数成分ｆａ、４０２は周波数成分４０１をエッジ加工ステップ１０６で周波数シフトした加工後周波数成分ｆｂである。
【００４４】
図５は本発明の方法による拡大画像で５０１は点線、実線合わせて拡大画像、５０２は実線部で表されるエッジ部分、５０３は点線部で表される非エッジ部分である。
【００４５】
図６はすべて線形フィルタで拡大した場合の拡大画像で６０１は点線、実線合わせて拡大画像、６０２は実線部で表されるエッジ部分である。
【００４６】
図７は拡大倍率２倍の２次元拡大画像でジャギーが発生している例を示す図である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。７０１はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０が対応するエッジ、７０２はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０．５が対応するエッジ、７０３はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標１が対応するエッジである。
【００４７】
図８は拡大倍率２倍の２次元拡大画像でジャギーが発生していない例を示す図である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。８０１はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０が対応するエッジ、８０２はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標０．５が対応するエッジ、８０３はＸ方向に見たときのエッジで拡大対象入力画像のＹ座標１が対応するエッジである。
【００４８】
以上のようなステップで動作する画像拡大方法について図１から図８を用いて説明する。
【００４９】
入力画像に対してエッジ検出１０３の前処理として１フレームの全画素に対して高周波成分抽出ステップ１０１でウェーブレット変換を行い高周波成分の抽出を行う。入力画像２０１のウェーブレット変換を行い高周波成分３０１が抽出される。
【００５０】
次に１フレーム終了の判断１０２を行うが最初は１フレームの終了でないことは明らかである。
【００５１】
１フレームの終了でない場合パターンマッチングによるエッジ検出１０３をステップ１０１で抽出した高周波成分３０１を用いて行う。パターンマッチングは高周波成分３０１のゼロクロスを検出することにより簡単に行っているが正規化相関法などの手法を用いることもできる。また直接入力画像２０１を用いてパターンマッチングを行うことも可能である。
【００５２】
エッジ画素を判断するステップ１０４ではパターンマッチングによるエッジ検出１０３の結果に基づきエッジ画素を判断する。
【００５３】
エッジと判断された場合、エッジの周波数解析をするステップ１０５で入力画像２０１と高周波成分３０１から周波数解析を行う。具体的には高周波成分３０１のゼロクロス部分の傾きと座標、入力画像２０１の振幅、オフセットから入力画像２０１の入力画像エッジの座標、周波数成分４０１、振幅、オフセットを計算する。入力画像エッジの周波数成分４０１はエッジの主要な特徴を簡潔に表現するため単一の周波数で表現する。ここではステップ信号を理想帯域制限したときの帯域制限周波数を用いている。本実施例では周波数で表現しているパラメータはエッジの傾斜として表現しても同様である。
【００５４】
エッジの加工ステップ１０６では入力画像エッジの周波数成分４０１の周波数を高周波側にシフトさせ出力画像エッジの加工後周波数成分４０２を得る。この場合拡大画像のエッジは入力画像のエッジよりも急峻になる。エッジの加工ステップ１０６での処理で出力画像のエッジの傾きは自由に制御できる。入力画像のエッジをそのまま移動して出力画像のエッジとする場合にはこのステップを省略することも出来る。
【００５５】
拡大画像エッジ座標計算ステップ１０７では入力画像２０１のエッジ座標ｘから出力画像５０１のエッジ座標ｙを計算する。拡大倍率をａとすると
ｙ＝ａｘ――――（式１）
でエッジ座標ｙが与えられる。球面へのマッピングなど拡大倍率が座標により異なる場合も式１を変えれば可能である。
【００５６】
１画素を座標値１とし、画素は整数座標にしか存在しないように配置しても理論的なエッジ座標ｘの小数成分は０ではない場合がある。したがって出力画像５０１のエッジ座標ｙも小数成分が０ではない場合がある。これらのことから入力画像２０１のエッジの画素を単にそのまま移動させて出力画像５０１の画素としたら正確なエッジ座標ｙが得られないことがわかる。本発明の方法では入力画像２０１のエッジを周波数解析し、エッジ座標、周波数成分４０１などを得ているので正確に拡大画像５０１のエッジを再現することが可能である。このためエッジの傾きのバランスを保持出来るので質感と鮮鋭感の両立が可能となる。さらにエッジの加工ステップ１０６でエッジの傾斜などを自由に制御することが出来るため鮮鋭感の制御も可能である。
【００５７】
拡大画像にエッジを合成するステップ１０８ではステップ１０５、１０６、１０７の情報を元に拡大画像５０１にエッジ５０２を合成する。エッジ５０２はエッジ座標ｙを中心に近傍数画素をエッジとしている。図５では実線で表記している。
【００５８】
ステップ１０４でエッジ画素でないと判断された場合線形フィルタによる拡大ステップ１０９で直線補間などのフィルタを用いて拡大画素が生成され拡大画像５０１の非エッジ部分５０３となる。図５では点線で表記している。
【００５９】
ステップ１０８、ステップ１０９の後は再びステップ１０２に戻り１フレーム分全画素処理が終了するまで繰り返す。
【００６０】
仮に従来のフィルタによってエッジを生成した場合には拡大画像６０１のエッジ６０２のようになだらかなエッジとなり鮮鋭感が大きく損なわれる。
【００６１】
次に斜めエッジの処理について説明する。斜めエッジは２次元画像で水平、垂直を分離して処理するとジャギーが発生する。本実施例では拡大画像のエッジを生成するエッジ座標近傍のエッジ座標を用いてジャギーを低減している。図７は拡大倍率２倍の拡大画像でジャギーが発生している例である。２次元の画像で黒丸と白丸がそれぞれ輝度の異なる画素を表す。今、Ｙ座標０のエッジ７０１、Ｙ座標２のエッジ７０３が得られておりＹ座標１のエッジ７０２を合成する事を考える。拡大倍率２倍なので水平方向にエッジをスキャンして合成するとき近傍エッジの情報がないとエッジ７０１とエッジ７０２のＸ座標を同じ４．５とするのが妥当な判断である。しかしこの場合エッジ７０３とエッジ７０２で２画素分の段差ができジャギーが発生する。図８は拡大倍率２倍の拡大画像でジャギーが発生していない例である。エッジ８０１とエッジ８０３のエッジのＸ座標値４．５と２．５の平均値３．５をエッジ８０２のエッジのＸ座標値とするとジャギーが低減される。曲線など複雑な斜めエッジでは考慮する近傍エッジを増やすなどの対応が出来る。
【００６２】
またエッジ８０２は対象入力画像のＹ座標０．５のエッジを直線補間などで計算してから拡大画像上のエッジ座標を計算しても同様にジャギーを低減することが出来る。
【００６３】
近傍エッジを考慮するとノイズなどの孤立点の除去や逆にインパルスなどの重要な孤立点の面積を増大させずに拡大するなどの処理が可能となる。
【００６４】
以上のように本実施の形態によれば入力画像の高周波成分を抽出し、高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００６５】
なお、高周波成分抽出ステップ１０１を省略し、入力画像２０１から直接パターンマッチングでエッジ検出することも可能である。
【００６６】
（実施の形態２）
図９は本発明の画像拡大方法のフローチャートである。
【００６７】
図９において９０１は１フレーム分全部の画素の処理終了を判断する１フレーム終了判断ステップ、９０２はパターンマッチングによりエッジを検出するエッジ検出ステップ、９０３はエッジ画素を判断するエッジ画素判断ステップ、９０４はエッジの周波数解析を行うエッジ周波数解析ステップ、９０５はエッジの周波数成分などを加工するエッジ加工ステップ、９０６は拡大画像上に生成するエッジの座標を計算する拡大画像エッジ座標計算ステップ、９０７は拡大画像上にエッジの高周波成分を生成する拡大画像エッジ高周波成分生成ステップ、９０８は低周波成分と高周波成分を逆ウェーブレット変換して拡大画像を生成する逆ウェーブレット変換ステップ、９０９はエッジ画素でない場合に高周波成分に０を生成する高周波成分０生成ステップである。
【００６８】
図１０は図９に示す本発明の画像拡大方法における１次元表現の画像である。図１０において１００１は入力画像である。
【００６９】
図１１はエッジを周波数解析した解析結果を示す図で１１０１は周波数解析ステップ９０４で得られた周波数成分、１１０２は周波数成分１１０１をエッジ加工ステップ９０５でシフトした加工後周波数成分である。
【００７０】
図１２は拡大画像エッジ高周波成分生成ステップ９０７で生成されたエッジの高周波成分を表す図で１２０１はエッジの高周波成分。
【００７１】
図１３は本発明の方法による拡大画像で１３０１は点線、実線合わせて拡大画像、１３０２は実線部で表されるエッジ部分、１３０３は点線部で表される非エッジ部分である。
【００７２】
以上のようなステップで動作する画像拡大方法について図９から図１３を用いて説明する。
【００７３】
先ず１フレーム終了の判断９０１を行うが最初は１フレームの終了でないことは明らかである。
【００７４】
１フレームの終了でない場合パターンマッチングによるエッジ検出９０２を入力画像１００１を用いて行う。パターンマッチングは入力画像１００１を直接テンプレートと比較することにより簡単に行っているが正規化相関法などの手法を用いることもできる。
【００７５】
エッジ画素を判断するステップ９０３ではパターンマッチングによるエッジ検出９０２の結果に基づきエッジ画素を判断する。
【００７６】
エッジと判断された場合、エッジの周波数解析をするステップ９０４で入力画像１００１から周波数解析を行う。具体的には入力画像１００１エッジの傾き、座標、振幅、オフセットから入力画像１００１の入力画像エッジの座標、周波数成分１１０１、振幅、オフセットを計算する。入力画像エッジの周波数成分１１０１はエッジの主要な特徴を簡潔に表現するため単一の周波数で表現する。ここではステップ信号を理想帯域制限したときの帯域制限周波数を用いている。本実施例では周波数で表現しているパラメータはエッジの傾斜として表現しても同様である。
【００７７】
エッジの加工ステップ９０５では入力画像エッジの周波数成分１１０１の周波数を高周波側にシフトさせ出力画像エッジの加工後周波数成分１１０２を得る。この場合拡大画像のエッジは入力画像のエッジよりも急峻になる。エッジの加工ステップ９０５での処理で出力画像のエッジの傾きは自由に制御できる。入力画像のエッジをそのまま移動して出力画像のエッジとする場合にはこのステップを省略することも出来る。
【００７８】
拡大画像エッジ座標計算ステップ９０６では入力画像１００１のエッジ座標ｘから出力画像１３０１のエッジ座標ｙを計算する。拡大倍率をｂとすると
ｙ＝ｂｘ―――−（式２）
でエッジ座標ｙが与えられる。曲面へのマッピングなど拡大倍率が座標により異なる場合も式２を変えれば可能である。
【００７９】
１画素を座標値１とし、画素は整数座標にしか存在しないように配置しても理論的なエッジ座標ｘの小数成分は０ではない場合がある。したがって出力画像１３０１のエッジ座標ｙも小数成分が０ではない場合がある。これらのことから入力画像１００１のエッジの画素を単にそのまま移動させて出力画像１３０１の画素としたら正確なエッジ座標ｙが得られないことがわかる。本発明の方法では入力画像１００１のエッジを周波数解析し、エッジ座標、周波数成分１１０１などを得ているので正確に拡大画像１３０１のエッジを再現することが可能である。このためエッジの傾きのバランスを保持出来るので質感と鮮鋭感の両立が可能となる。さらにエッジの加工ステップ９０５でエッジの傾斜などを自由に制御することが出来るため鮮鋭感の制御も可能である。
【００８０】
エッジの高周波成分生成ステップ９０７ではステップ９０４、９０５、９０６での情報を元に拡大画像１３０１にエッジ１３０２を合成する。エッジ１３０２はエッジ座標ｙを中心に近傍数画素をエッジとしている。図１３では実線で表記している。
【００８１】
ステップ９０３でエッジ画素でないと判断された場合高周波成分０生成ステップ９０９でその画素に対する高周波成分は０が生成される。
【００８２】
ステップ９０７、ステップ９０９の後は再びステップ９０１に戻り１フレーム分全画素処理が終了するまで繰り返す。このループの間１フレーム分の高周波成分がメモリに蓄えられる。
【００８３】
逆ウェーブレット変換ステップ９０８ではステップ９０７とステップ９０９で生成された高周波成分と入力画像１００１を低周波成分として逆ウェーブレット変換を行い１フレーム分の拡大画素が生成される。
【００８４】
以上のように本実施の形態によれば入力画像のエッジを検出し、そのエッジを周波数解析して、エッジの高周波成分を生成し逆ウェーブレット変換で拡大画像を生成することにより、鮮鋭感と質感が両立した拡大画像が得られる。
【００８５】
なお、本実施の形態ではエッジ検出９０２は入力画像１００１を用いたが実施の形態１に示すように高周波成分抽出ステップ１０１を設けて高周波成分からエッジ検出しても良い。
【００８６】
【発明の効果】
以上のように本発明は、鮮鋭感と質感が両立した拡大画像が得られるという優れた効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像拡大方法のフローチャート
【図２】本発明の実施の形態１における入力画像の図
【図３】本発明の実施の形態１における入力画像の高周波成分の図
【図４】本発明の実施の形態１における周波数成分の図
【図５】本発明の実施の形態１における拡大画像の図
【図６】本発明の実施の形態１におけるフィルタのみを用いたときの拡大画像の図
【図７】本発明の実施の形態１におけるシャギー発生時の拡大画像の図
【図８】本発明の実施の形態１におけるシャギーがないときの拡大画像の図
【図９】本発明の実施の形態２における画像拡大方法のフローチャート
【図１０】本発明の実施の形態２における入力画像の図
【図１１】本発明の実施の形態２における周波数成分の図
【図１２】本発明の実施の形態２における生成した高周波成分の図
【図１３】本発明の実施の形態２における拡大画像の図
【図１４】従来の液晶プロジェクターの説明図
【図１５】従来の画像拡大方法の説明図
【符号の説明】
１０１ 高周波成分抽出ステップ
１０２ １フレーム終了判断ステップ
１０３ エッジ検出ステップ
１０４ エッジ画素判断ステップ
１０５ エッジ周波数解析ステップ
１０６ エッジ加工ステップ
１０７ 拡大画像エッジ座標計算ステップ
１０８ 拡大画像エッジ合成ステップ
１０９ 線形フィルタ拡大画素生成ステップ
Claims (19)
- 入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法。
- 入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像上のエッジを生成するエッジ生成ステップから成ることを特徴とする画像拡大方法。
- 前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分により得ることを特徴とする請求項１記載の画像拡大方法。
- 前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１記載の画像拡大方法。
- 前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項２記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１または請求項２記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１または請求項２記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は補間フィルタを用いて拡大することを特徴とする請求項１または請求項２記載の画像拡大方法。
- 前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１または請求項２記載の画像拡大方法。
- 入力画像を補間して拡大する画像拡大方法であって、前記入力画像を周波数領域に変換して高周波成分を抽出する高周波成分抽出ステップと、前記高周波成分からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法。
- 入力画像を補間して拡大する画像拡大方法であって、前記入力画像からエッジを検出するエッジ検出ステップと、前記エッジを周波数解析するエッジ周波数解析ステップと、前記周波数解析結果から拡大画像のエッジの高周波成分を生成するエッジ高周波成分生成ステップと、前記高周波成分を空間領域に変換するステップから成ることを特徴とする画像拡大方法。
- 前記高周波成分抽出ステップでは、前記高周波成分はウェーブレット変換または２次微分を用いることを特徴とする請求項１０記載の画像拡大方法。
- 前記エッジ検出ステップでは、前記高周波成分のエッジはパターンマッチングにより検出することを特徴とする請求項１０記載の画像拡大方法。
- 前記エッジ検出ステップでは、前記入力画像のエッジはパターンマッチングにより検出することを特徴とする請求項１１記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記入力画像のエッジ座標と拡大倍率から計算されることを特徴とする請求項１０または請求項１１記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジを生成する座標は前記拡大画像と前記入力画像の双方またはいずれかのエッジの近傍の座標により決定することを特徴とする請求項１０または請求項１１記載の画像拡大方法。
- 前記エッジ生成ステップでは、前記拡大画像のエッジ以外の画素は前記高周波成分に０を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法。
- 前記エッジ周波数解析ステップでは、前記周波数解析結果は前記入力画像のエッジをステップ信号の帯域制限で近似したときの帯域制限周波数を含むことを特徴とする請求項１０または請求項１１記載の画像拡大方法。
- 前記高周波成分を空間領域に変換するステップでは、逆ウェーブレット変換を用いることを特徴とする請求項１０または請求項１１記載の画像拡大方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176461A JP2005011191A (ja) | 2003-06-20 | 2003-06-20 | 画像拡大方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003176461A JP2005011191A (ja) | 2003-06-20 | 2003-06-20 | 画像拡大方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005011191A true JP2005011191A (ja) | 2005-01-13 |
Family
ID=34099339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003176461A Pending JP2005011191A (ja) | 2003-06-20 | 2003-06-20 | 画像拡大方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005011191A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219622A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 動画像空間解像度拡大装置および動画像空間解像度拡大プログラム |
| JP2009076030A (ja) * | 2007-08-29 | 2009-04-09 | Daihatsu Motor Co Ltd | 物体認識装置 |
| WO2011108144A1 (ja) * | 2010-03-01 | 2011-09-09 | シャープ株式会社 | 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置 |
| CN109215068A (zh) * | 2017-07-06 | 2019-01-15 | 深圳华大智造科技有限公司 | 图像放大率测量方法及装置 |
-
2003
- 2003-06-20 JP JP2003176461A patent/JP2005011191A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008219622A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 動画像空間解像度拡大装置および動画像空間解像度拡大プログラム |
| JP2009076030A (ja) * | 2007-08-29 | 2009-04-09 | Daihatsu Motor Co Ltd | 物体認識装置 |
| WO2011108144A1 (ja) * | 2010-03-01 | 2011-09-09 | シャープ株式会社 | 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置 |
| CN102844786A (zh) * | 2010-03-01 | 2012-12-26 | 夏普株式会社 | 图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置 |
| US8897569B2 (en) | 2010-03-01 | 2014-11-25 | Sharp Kabushiki Kaisha | Image enlargement device, image enlargement program, memory medium on which an image enlargement program is stored, and display device |
| JP5640071B2 (ja) * | 2010-03-01 | 2014-12-10 | シャープ株式会社 | 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置 |
| CN109215068A (zh) * | 2017-07-06 | 2019-01-15 | 深圳华大智造科技有限公司 | 图像放大率测量方法及装置 |
| CN109215068B (zh) * | 2017-07-06 | 2021-05-28 | 深圳华大智造科技股份有限公司 | 图像放大率测量方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4490987B2 (ja) | 高解像度化装置および方法 | |
| US8275218B2 (en) | Forward and backward image resizing method | |
| EP1471728B1 (en) | Method and system for automatically reducing aliasing artifacts | |
| JP2003283811A (ja) | 画像処理装置およびプログラム | |
| JP2012521708A (ja) | 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置 | |
| JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
| JP2008148315A (ja) | 画像復元方法および画像復元装置 | |
| JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
| JP2008059551A (ja) | 画像処理システムおよび画像処理プログラム | |
| US20010048771A1 (en) | Image processing method and system for interpolation of resolution | |
| KR100655040B1 (ko) | 디지털 영상신호 스케일링 방법 | |
| JP2013020528A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2005011191A (ja) | 画像拡大方法 | |
| JP2005012561A (ja) | 画像処理装置、画像処理方法および画像投射装置 | |
| JP4369030B2 (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP4081926B2 (ja) | 画像拡大装置 | |
| JP2000115526A (ja) | 画像処理装置およびエッジ処理方法 | |
| JP2007005933A (ja) | 画像調整方法、画像処理回路、及び画像表示装置 | |
| JP2004133592A (ja) | 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム | |
| JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| JP2006203716A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
| KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 | |
| JPH09326921A (ja) | ディジタル画像の拡大方法 | |
| JP2004260682A (ja) | 画像拡大方法 | |
| JP2003125197A (ja) | 画像処理装置およびプログラム |