JP2012065091A

JP2012065091A - 画像解像度変換方法および画像解像度変換装置

Info

Publication number: JP2012065091A
Application number: JP2010206670A
Authority: JP
Inventors: Hisashi Nishimura; 西村　　久
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-09-15
Filing date: 2010-09-15
Publication date: 2012-03-29

Abstract

【課題】インタレースで入力される画像を解像度変換した後の画質を向上することができる画像解像度変換方法および画像解像度変換装置を提供する。
【解決手段】補間演算部１０４は、元画像の各画素の画素値がインタレースで入力される場合において、非ライン方向の解像度変換では、元画像の４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成する第１のステップと、当該第１のステップで補間された画素値を含めた４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する第２のステップとの二段階による補間演算を実施する。
【選択図】図１

Description

本発明は、画像解像度変換装置に関し、特に、インタレース画像のフィールド単位で元画像の画素値から任意の倍率で解像度を変換し、新規に設定した画素位置の画素値を生成するのに好適な画像解像度変換方法および画像解像度変換装置に関する。

画像の解像度を変換する従来技術は、例えば特許文献１に記載されている。図４を参照し、この従来技術を説明する。特許文献１では、新規に画素を生成する領域を、矩形を構成する２行２列の４つの元画像の画素で囲まれる領域とし、新規に画素を生成する際の演算に用いる元画像の画素群を、これら４画素で囲まれる範囲の１画素外側の画素を含んだ４行４列の１６画素とする方法が提案されている。この方法では、４行４列の１６画素の画素値を元にして、新規に生成する画素の画素値を、キュービック補間処理などによって演算している。

特開２００１−２３８０７３号公報

インタレース画像をフレーム単位で解像度変換することは画質の観点では有利であるが、リアルタイム処理という点で見ると、１フィールド分以上の遅延が生じるため、遅延が許されない場面においてはフィールド単位での処理が望まれる。特許文献１で提案されている方法では、新規画素を生成するのに用いる元画像の画素群を４行４列の１６画素（図４参照）としているが、インタレース画像をフィールド単位で処理する際にこの方法を用いると次のような問題が生ずる。

インタレース画像の一方のフィールドに着目すると、他方のフィールドに存在する画素が間引かれる形になるため、画素は１ラインおきにしか存在しない。そのため、新規画素を生成するのに用いる元画像の画素群が分布する範囲の行方向の距離と列方向の距離は、以下のように全く異なるものとなる。

この様子を示したのが図５である。丸印５００が、インタレース画像をフィールド単位で見た場合の元画像の画素位置であり、升目状に描いた線の交点５１０が、両フィールドを合成したフレームで見た場合の元画像の画素位置である。２つのフィールドからなるインタレース画像をフィールド単位で見た場合、２行につき１行の画素データが存在しないため、列の間隔は１画素間隔であるが、行の間隔は２画素間隔となる。つまり、フィールド単位で見て４行４列の範囲というのは、他方のフィールドと合成したフレームとして見ると、７行４列に相当するものである。

従って、新規に画素を生成する際に参照する画素群として、ある方向（図５の水平方向すなわちライン方向）に見ると、新規画素から近い位置の画素を用いるものの、もう一方の方向（図５の垂直方向すなわち非ライン方向）に見ると、新規画素から遠い位置の画素を用いることになるため、新規に生成する画素の画素値を適切に演算できず、解像度変換後に高画質な画像を得ることができない。

また、一方のフィールドにおいて、垂直方向に見ると、他方のフィールドに存在する画素の画素値が欠落しているため、参照できる情報が粗い。そのため、エッジの位置を的確に検出することが難しく、解像度変換後の両フィールドを混合した際にジャギーや縞模様などの原因となる。

新規画素を生成するのに用いる元画像の画素群を４行４列とした場合を例に説明したが、高精度な補間演算をしようとして参照画素の領域を６行６列、８行８列と大きくしていくと、その弊害は更に大きくなる。

本発明は、上述した課題に鑑みてなされたものであって、インタレースで入力される画像を解像度変換した後の画質を向上することができる画像解像度変換方法および画像解像度変換装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、所定の大きさの画素領域を構成する画素群に含まれる複数の画素に係る画素値を補間して新規画素を生成することで、元画像を、設定された解像度変換倍率を乗じた解像度を有する画像に変換する画像解像度変換方法であって、２次元の補間演算を、非ライン方向とライン方向の１次元の補間演算に分離して順次実施し、前記元画像の各画素の画素値がインタレースで入力される場合において、前記非ライン方向の解像度変換では、前記元画像の４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成する第１のステップと、当該第１のステップで補間された画素値を含めた４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する第２のステップとの二段階による補間演算を実施し、前記ライン方向の解像度変換では、前記第１のステップおよび前記第２のステップで参照した画素値の数の和となる数の画素値、あるいは当該和から２を減じた数の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成することを特徴とする画像解像度変換方法である。

また、本発明の画像解像度変換方法において、前記非ライン方向の解像度変換における前記二段階による補間演算を重畳した補間演算を行うための補間係数を、新規に画素を生成する領域内の生成位置に応じて予め生成し、補間フィルタにおける補間係数の乗算を一段階で済ませることを特徴とする。

また、本発明の画像解像度変換方法において、前記元画像の各画素の画素値がプログレッシブで入力される場合には、前記非ライン方向の解像度変換における補間演算では、前記ライン方向の解像度変換における補間演算と同一の補間演算を実施することを特徴とする。

また、本発明は、所定の大きさの画素領域を構成する画素群に含まれる複数の画素に係る画素値を補間して新規画素を生成することで、元画像を、設定された解像度変換倍率を乗じた解像度を有する画像に変換する画像解像度変換装置であって、２次元の補間演算を、非ライン方向とライン方向の１次元の補間演算に分離して順次実施する補間演算部を有し、前記補間演算部は、前記元画像の各画素の画素値がインタレースで入力される場合において、前記非ライン方向の解像度変換では、前記元画像の４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成する第１のステップと、当該第１のステップで補間された画素値を含めた４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する第２のステップとの二段階による補間演算を実施し、前記ライン方向の解像度変換では、前記第１のステップおよび前記第２のステップで参照した画素値の数の和となる数の画素値、あるいは当該和から２を減じた数の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成することを特徴とする画像解像度変換装置である。

本発明によれば、非ライン方向の解像度変換時に、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成してから新たな位置の画素値を生成することによって、インタレースで入力される画像を解像度変換した後の画質を向上することができる。

本発明の一実施形態による画像解像度変換装置の構成を示すブロック図である。本発明の一実施形態による画像解像度変換装置が備える補間演算部の構成を示すブロック図である。本発明の一実施形態における補間演算を説明するための参考図である。従来の画像解像度変換において、新規画素を生成する領域と、新規画素の生成に用いる画素群とを示す参考図である。従来の画像解像度変換における問題点を説明するための参考図である。

以下、図面を参照し、本発明の実施形態を説明する。本実施形態では、新規画素の生成に用いる元画像の画素群が６行６列の３６画素である場合を例としている。図１は、本実施形態による画像解像度変換装置の構成を示している。図１に示す画像解像度変換装置は、画素値記憶部１０１と、領域決定部１０２と、画素値読み取り制御部１０３と、補間演算部１０４と、画素値書き込み制御部１０５とを備えている。

CCD（Charge Coupled Device）などの撮像素子でラスタスキャンされた元画像スキャン画素値は、画素値書き込み制御部１０５からの書き込み制御信号に従って、画素値記憶部１０１に書き込まれる。これによって、画素値記憶部１０１には、インタレースで入力される元画像の各画素の画素値が、インタレースのフィールドを単位として格納される。

領域決定部１０２は、外部から供給される拡大／縮小倍率データ（解像度変換倍率）に基づいて、解像度変換により新規に画素を生成する領域（新規画素生成領域）を決定するための領域制御信号を画素値読み取り制御部１０３に供給すると同時に、新規画素生成領域における新規に画素を生成する位置を示す新規画素生成位置信号を補間演算部１０４に供給する。

画素値読み取り制御部１０３は、供給された領域制御信号から読み取り制御信号を生成し、この読み取り制御信号を画素値記憶部１０１に供給する。これにより、新規に画素を生成する新規画素生成領域の周辺に存在する６行６列の３６画素の元画像画素値が画素値記憶部１０１から読み出されて補間演算部１０４に供給される。補間演算部１０４は、新規画素生成位置信号に基づいて補間係数を生成し、画素値記憶部１０１から供給された元画像画素値にこの補間係数を乗ずることにより、拡大／縮小倍率データに対応する、解像度変換した新規画素の値を出力する。

次に、補間演算部１０４について詳細に説明する。図２は補間演算部１０４の構成を示している。補間演算部１０４は、垂直補間係数生成部２０１と、水平補間係数生成部２０２と、垂直補間演算部２０３と、水平補間演算部２０４とを備えている。

垂直補間係数生成部２０１は、新規画素生成位置信号が示す新規画素の非ライン方向の位置をもとに６種の垂直補間係数を生成し、読み取り制御信号に基づくタイミングで出力する。水平補間係数生成部２０２は、新規画素生成位置信号が示す新規画素のライン方向の位置をもとに６種の水平補間係数を生成し、読み取り制御信号に基づくタイミングで出力する。

垂直補間演算部２０３は、新規画素生成領域周辺の元画像において、各列の６行の画素値に対して、垂直補間係数生成部２０１が出力した６種の垂直補間係数を乗じ、その和を得る演算を６列分実施して出力する。垂直補間演算部２０３から出力される６個の画素値は、新規画素の非ライン方向の位置に対応した各列の画素値を意味する。水平補間演算部２０４は、垂直補間演算部２０３が出力した６個の画素値に対して、水平補間係数生成部２０２が出力した６種の水平補間係数を乗じ、その和を出力する。

新規画素の補間生成は２次元の処理であるが、ライン方向と非ライン方向は独立していて依存性はないので、各方向に関する１次元処理の混合で実現できる。上記では、非ライン方向の補間演算を実施してから、ライン方向の補間演算を実施する構成としたが、この順序を入れ替えても出力値に影響はない。

水平補間係数生成部２０２が出力する６種の補間係数は、６タップの補間フィルタ（ランチョスIII補間相当）による補間係数である。垂直補間係数生成部２０１が出力する６種の補間係数は、画像信号がプログレッシブ入力であれば６タップの補間フィルタ（ランチョスIII補間相当）による補間係数でよい。すなわち、非ライン方向の補間演算とライン方向の補間演算は同一となる。また、画像信号がインタレース入力の場合には、垂直補間係数生成部２０１が出力する６種の補間係数は、以下に詳述する補間係数となる。

図３（ａ）に示すように、領域３００が、新規画素を生成する領域であり、黒丸印３１０が、インタレース画像をフィールド単位で見た場合の元画像の画素位置である。また、升目状に描いた線の交点３２０が、両フィールドを合成したフレームで見た場合の元画像の画素位置であり、着目したフィールドにおいては欠落しているものである。

以下では、垂直補間係数生成部２０１が行う非ライン方向の補間演算についてのみ説明する。新規画素の生成に先立って、他フィールドの画素が存在している位置（図３（ｂ）に示す白丸印３３０ａ，３３０ｂ，３３０ｃに相当）の画素値を各列単位で垂直方向に補間生成する。この補間は、４タップの補間フィルタ（キュービック補間相当）による４画素をもとに行うものとし、２行と３行の間の画素値（図３（ｂ）に示す白丸印３３０ａに相当）は１〜４行の元画像の画素値から、３行と４行の間の画素値（図３（ｂ）に示す白丸印３３０ｂに相当）は２〜５行の元画像の画素値から、４行と５行の間の画素値（図３（ｂ）に示す白丸印３３０ｃに相当）は３〜６行の元画像の画素値から、それぞれ生成する。

新規画素の生成では、上記のようにして、着目したフィールドでは欠落している他フィールドの画素位置の画素値を補った後に、各列単位で非ライン方向に補間生成する。この補間も４タップの補間フィルタ（キュービック補間相当）による４画素をもとにして行うものとする。このとき、新規画素生成領域（図３（ａ）に示す領域３００に相当）を非ライン方向の中間点から上下に分割して、上半分の領域と下半分の領域とでは異なる画素を参照する。

この非ライン方向の補間において、上半分の領域に新規画素を生成する場合は、図３（ｃ）に示すように、元画像の画素値として３行と４行の画素値を用い、他フィールドの画素位置の画素値を補ったものとして、２行と３行の間の画素値と、３行と４行の間の画素値を用いる。また、下半分の領域に新規画素を生成する場合は、図３（ｄ）に示すように、元画像の画素値として３行と４行の画素値を用い、他フィールドの画素位置の画素値を補ったものとして、３行と４行の間の画素値と、４行と５行の間の画素値を用いる。

以上について、数式を用いて補足説明する。元画像の画素は１間隔で並んでいるものとすると、元画像の画素の非ライン方向の位置は0,1,2,3,4,・・・である。解像度変換によって新規に補間生成する画素の間隔は変換倍率の逆数となるため、例えば、1.6倍に解像度変換すると変換後の画素間隔は0.625となり、変換後の画素の位置は0,0.625,1.25,1.875,・・・となる。小数点以下の端数は、元画像の画素位置の間の位置を示すものとなる。解像度変換後に生成する画素の位置を、整数部Yaと小数部Ybとに分離して表した(Ya+Yb)とし、位置(Ya+Yb)における画素値を計算する方法を以下に示す。

なお、キュービック補間の基本式には、一般的な以下の（１）式を用いることとする。P(Y)は画素値を表し、Yが整数であればP(Y)は元画像の画素値として既知のものである。また、本明細書において、*は乗算を意味し、^はべき乗を意味する。

インタレースの一方のフィールドで見たときに欠落しているラインは、実在するラインの中間にあるため、Yb=0.5の位置となる。従って、欠落しているライン上の画素値（図３（ｂ）に示す白丸印３３０ａ，３３０ｂ，３３０ｃの位置の画素値に相当）を、実在する４つのライン上の画素値を用いて以下の（２）式〜（４）式のように生成する。なお、図３に示した例では、非ライン方向の位置Yaは３行目の位置である。

続いて、欠落しているラインを含めた４ラインから、新規に補間生成する画素の画素値を生成するが、0≦Yb<0.5 の場合（図３（ｃ）の場合）と 0.5≦Yb<1 の場合（図３（ｄ）の場合）とで、選ばれる４ラインが以下の（５）式および（６）式のように異なる。

実際に回路化して補間演算を実施する場合、欠落しているラインを生成するための補間演算と、新規画素を生成するための補間演算とを２段階で実施すると多くの乗算器が必要になるため、両者を一括した演算で済ませる。従って、以下の（７）式および（８）式によって元画像のライン上の画素値から新規画素を補間生成する。

（７）式は（２）式、（３）式、および（５）式に基づく。（８）式は（３）式、（４）式、および（６）式に基づく。

このように、６行６列の３６画素で構成される元画像の画素群から新規に補間生成する画素の画素値を計算するが、元画像画素値がインタレースで入力される場合には、他フィールドに存在していて、着目したフィールドでは欠落しているライン上の画素値を高精度に推定しているため、解像度変換後の両フィールドを混合した際に画素値の変化に逆転が生ずることが少なく、ジャギーや縞模様などを抑制できる。

両フィールドを合成したフレームで見た場合に、非ライン方向の補間演算で参照する画素の範囲と、ライン方向の補間演算で参照する画素の範囲は同等であることが望ましい。しかし、図３（ａ）に示した例では、両フィールドを合成したフレームで見た場合に、非ライン方向の補間演算で参照する画素の範囲が、非ライン方向の補間演算で参照する画素の範囲よりも広い。このため本実施形態では、非ライン方向の補間演算において、新規に画素を生成する位置から遠い元画像の画素に乗ずる補間係数を適正な値（0あるいは微小な値）にしている。上記の例では、（７）式においてP(Ya-2)に乗ずる補間係数と、（８）式においてP(Ya+3)に乗ずる補間係数が、他の補間係数と比較して微小な値となっている。また、（７）式および（８）式には示されていないが、元画像画素値としてP(Ya-2)、P(Ya-1)、P(Ya)、P(Ya+1)、P(Ya+2)、P(Ya+3)が使用されるため、（７）式ではP(Ya+3)に乗ずる補間係数が0であり、（８）式ではP(Ya-2)に乗ずる補間係数が0である。

垂直補間係数生成部２０１は、新規画素生成位置信号が示す新規画素の非ライン方向の位置(Yb)が0以上0.5未満である場合には、６種の垂直補間係数として[0.25 * Yb^3 - 0.25 * Yb^2 + 0.0625 * Yb]、[- 1.5 * Yb^3 + 1.75 * Yb^2 - 0.625 * Yb]、 [3 * Yb^3 - 3.25 * Yb^2 + 1]、[- 2.5 * Yb^3 + 2.25 * Yb^2 + 0.625 * Yb]、[0.75 * Yb^3 - 0.5 * Yb^2 - 0.0625 * Yb]、0（P(Ya+3)に乗ずる係数）を出力し、0.5以上1未満の場合には、６種の補間係数として0（P(Ya-2)に乗ずる係数）、[- 0.75 * (Yb-0.5)^3 + 0.625 * (Yb-0.5)^2 - 0.0625]、[2.5 * (Yb-0.5)^3 - 1.5 * (Yb-0.5)^2 - (Yb-0.5) + 0.5625]、 [- 3 * (Yb-0.5)^3 + 1.25 * (Yb-0.5)^2 + (Yb-0.5) + 0.5625]、[1.5 * (Yb-0.5)^3 - 0.5 * (Yb-0.5)^2 - 0.0625]、[-0.25 * (Yb-0.5)^3 + 0.125 * (Yb-0.5)^2]を出力する。これにより、形式的には通常の補間演算処理と同一であるが、処理内容としては、欠落したライン上の画素値を補間し、更に新規画素の画素値を補間する２段階の処理となっている。

本実施形態では、元画像画素値がインタレースで入力される場合、非ライン方向の２段階の補間演算のそれぞれにおいて、元画像の４個の画素値を用いて、４タップの補間フィルタによって補間演算を実施し、ライン方向の補間演算において、元画像の６個の画素値を用いて、６タップの補間フィルタによって補間演算を実施するとした。

これに限らず、元画像画素値がインタレースで入力される場合、非ライン方向の２段階の補間演算のそれぞれにおいて、元画像の画素値として４以上の偶数個（上記の例では４個）の画素値を用いて、その画素値の数に対応したタップ数の補間フィルタによって補間演算を実施し、非ライン方向の補間演算において、非ライン方向の２段階の補間演算のそれぞれで参照した画素値の数の和（上記の例では８）となる数の画素値、あるいはその和から２を減じた数の画素値を用いて、その画素値の数に対応したタップ数の補間フィルタによって補間演算を実施すればよい。

上述したように、本実施形態によれば、非ライン方向の補間演算において、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を高精度に生成してから新たな位置の画素値を生成することによって、ジャギーや不要な縞模様の発生を抑えることができる。

また、ライン方向の参照画素の範囲を超えた距離に位置する、非ライン方向の参照画素に乗ずる補間係数（上記の例ではP(Ya-2)に乗ずる補間係数とP(Ya+3)に乗ずる補間係数）が小さくなるため、両方向の周波数特性が揃えられる。以上により、インタレース画像をフィールド単位で解像度変換した際に、画質を向上することができるという効果が得られる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０１・・・画素値記憶部、１０２・・・領域決定部、１０３・・・画素値読み取り制御部、１０４・・・補間演算部、１０５・・・画素値書き込み制御部、２０１・・・垂直補間係数生成部、２０２・・・水平補間係数生成部、２０３・・・垂直補間演算部、２０４・・・水平補間演算部

Claims

所定の大きさの画素領域を構成する画素群に含まれる複数の画素に係る画素値を補間して新規画素を生成することで、元画像を、設定された解像度変換倍率を乗じた解像度を有する画像に変換する画像解像度変換方法であって、
２次元の補間演算を、非ライン方向とライン方向の１次元の補間演算に分離して順次実施し、
前記元画像の各画素の画素値がインタレースで入力される場合において、
前記非ライン方向の解像度変換では、前記元画像の４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成する第１のステップと、当該第１のステップで補間された画素値を含めた４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する第２のステップとの二段階による補間演算を実施し、
前記ライン方向の解像度変換では、前記第１のステップおよび前記第２のステップで参照した画素値の数の和となる数の画素値、あるいは当該和から２を減じた数の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する
ことを特徴とする画像解像度変換方法。
前記非ライン方向の解像度変換における前記二段階による補間演算を重畳した補間演算を行うための補間係数を、新規に画素を生成する領域内の生成位置に応じて予め生成し、補間フィルタにおける補間係数の乗算を一段階で済ませることを特徴とする請求項１に記載の画像解像度変換方法。
前記元画像の各画素の画素値がプログレッシブで入力される場合には、前記非ライン方向の解像度変換における補間演算では、前記ライン方向の解像度変換における補間演算と同一の補間演算を実施することを特徴とする請求項１に記載の画像解像度変換方法。
所定の大きさの画素領域を構成する画素群に含まれる複数の画素に係る画素値を補間して新規画素を生成することで、元画像を、設定された解像度変換倍率を乗じた解像度を有する画像に変換する画像解像度変換装置であって、
２次元の補間演算を、非ライン方向とライン方向の１次元の補間演算に分離して順次実施する補間演算部を有し、
前記補間演算部は、
前記元画像の各画素の画素値がインタレースで入力される場合において、
前記非ライン方向の解像度変換では、前記元画像の４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、一方のフィールドにおいて欠落している他方のフィールドのライン上の画素値を生成する第１のステップと、当該第１のステップで補間された画素値を含めた４以上の偶数個の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する第２のステップとの二段階による補間演算を実施し、
前記ライン方向の解像度変換では、前記第１のステップおよび前記第２のステップで参照した画素値の数の和となる数の画素値、あるいは当該和から２を減じた数の画素値を用いて、当該画素値の数に対応したタップ数の補間フィルタによって、新たな位置の画素値を生成する
ことを特徴とする画像解像度変換装置。