JP2004032413A - 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 - Google Patents
補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 Download PDFInfo
- Publication number
- JP2004032413A JP2004032413A JP2002186534A JP2002186534A JP2004032413A JP 2004032413 A JP2004032413 A JP 2004032413A JP 2002186534 A JP2002186534 A JP 2002186534A JP 2002186534 A JP2002186534 A JP 2002186534A JP 2004032413 A JP2004032413 A JP 2004032413A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- video signal
- correction
- corrected
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
【課題】映像信号の静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラムを提供する。
【解決手段】補正映像信号生成方法は、映像信号の補正対象となる奇数フィールドofの画素と水平方向の位置が同一で、且つ表示位置において奇数フィールドofの画素と垂直方向に隣接する偶数フィールドefの画素値をen及びen+1とし、奇数フィールドofの画素の画素値をonとし、補正した補正画素の画素値をpnとしたとき、画素位置毎に可変な補正量αnによって、pn=αn(en+en+1)/4+(1−αn/2)onなる演算により補正を行うことを特徴とする。
【選択図】 図6
【解決手段】補正映像信号生成方法は、映像信号の補正対象となる奇数フィールドofの画素と水平方向の位置が同一で、且つ表示位置において奇数フィールドofの画素と垂直方向に隣接する偶数フィールドefの画素値をen及びen+1とし、奇数フィールドofの画素の画素値をonとし、補正した補正画素の画素値をpnとしたとき、画素位置毎に可変な補正量αnによって、pn=αn(en+en+1)/4+(1−αn/2)onなる演算により補正を行うことを特徴とする。
【選択図】 図6
Description
【0001】
【発明の属する技術分野】
本発明は、映像信号の歪補正技術に関し、より詳細には、インタレース信号で入力される映像信号の各フィールド間の歪を補正する補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置に関する。
【0002】
【従来の技術】
一般に、現行TVにおけるNTSC信号や、HDTV(高精細テレビジョン)におけるHDTV信号による放送方式においては、インタレース走査方式によって映像信号が放送されている。また、ビデオカメラにおける映像信号もインタレース走査方式によってビデオテープ等の記録媒体へ記録される方式が一般的である。
【0003】
このインタレース走査方式においては、フレームは走査線が一本毎に交互に走査する2つのフィールドから構成されている。そのため、フレームを構成する2つのフィールドを単純に合成して得られるフレーム画像では、映像上で動作している映像オブジェクトのエッジ部分に走査線一本毎に水平方向の櫛状部分が発生する。このような櫛状部分を有するフレーム画像に対して、ウェーブレット変換を用いたフレーム内符号化を適用すると、低ビットレートで復号を行う場合、その櫛状部分が劣化の原因となって、映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)が現れる。
【0004】
従来は、この低ビットレート復号時のちらつきを軽減するために、映像を符号化する前に、フィルタ(前置フィルタ)によって水平方向の櫛状部分を抑える処理を施していた。あるいは、低ビットレートで映像を復号した後のフィルタ(後置フィルタ)によって水平方向の櫛状部分を抑える処理を施していた(参考文献1:久下,星野,“JPEG2000によるHDTV動画像符号化の検討”,電子情報通信学会総合大会,D−11−18,2001−3)。
【0005】
例えば、図7(a)に示すような前置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部COで符号化する前に前置フィルタPRによって、水平方向の櫛状部分を抑える処理を施し、符号化部COで符号化を行い符号化データを生成している。そして、この符号化データは、復号側において、携帯端末のような低ビットレートでしか復号できない装置では、低ビットレート復号部DLで、また、高ビットレートで復号が可能な装置では、高ビットレート復号部DHにより映像信号を復号していた。
【0006】
また、図7(b)に示すような後置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部COで符号化した符号化データを生成し、その符号化データを低ビットレートでしか復号できない装置では、低ビットレート復号部DLで符号化データを復号した後に、後置フィルタPOによって、水平方向の櫛状部分を抑える処理を施していた。一方、高ビットレートで復号が可能な装置では、高ビットレート復号部DHにより映像信号を復号していた。
【0007】
また従来、低ビットレート復号時のちらつきを軽減するために、映像の符号化側において、フレームの奇数フィールドの画素と、その奇数フィールドに隣接する偶数フィールドの画素とを、水平方向の櫛状部分を抑える固定係数型フィルタによって補間を行うことで、新たな奇数フィールドの画素を生成した補間フレームを生成する手法がある(以下、「デ・インターレス化処理」と呼ぶ)。この手法では、低ビットレート復号時には、補間フレームをそのまま復号するが、高ビットレート復号時には、低ビットレート復号時のようなちらつきがないため、前記固定係数型フィルタで用いた固定係数によって、補間フレームから元の奇数フィールドの画素を復元している(以下、「リ・インタレース化処理」と呼ぶ)。
【0008】
ここで、図8を参照して、従来のデ・インターレス化処理及びリ・インタレース化処理について説明する。図8は、従来の固定係数型のデ・インタレース化処理及びリ・インタフェース化処理の動作を模式的に示した模式図である。図8(a)に示すように従来の固定係数型デ・インターレス化処理では、インタレース信号である映像信号の奇数フィールドofと、偶数フィールドefとに基づいて奇数フィールドofの画素値を補正した補間フレームhfを生成する。
【0009】
例えば、偶数フィールドefのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドofのnラインめの画素(奇数フィールド画素)の画素値をon、奇数フィールドofの補正を行った画素(奇数フィールド補正画素)の画素値をpnとし、pnを下記の(1)式で算出された値とする。
【0010】
pn=(en+en+1)/4+on/2 …(1)式
【0011】
これによって、奇数フィールドの画素値を前後の偶数フィールドの画素値によって補正することで水平方向の櫛状部分を抑えることができる。そして、このリ・インタレース化処理によって生成された映像信号は低ビットレートで復号を行う際に櫛状歪を低減した映像を生成することができる。
【0012】
また、図8(b)に示すように、従来の固定係数型リ・インタレース化処理では、固定係数型デ・インターレス化処理で生成された映像信号の補間フレームhfから、元の映像信号である奇数フィールドofの画素値を復元する。
【0013】
例えば、偶数フィールドのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドのnラインめの画素(奇数フィールド補正画素)の画素値をpn、奇数フィールド補正画素の復元を行った画素(奇数フィールド画素)の画素値をqnとし、qnを下記の(2)式で算出された値とする。
【0014】
qn=−(en+en+1)/2+2pn …(2)式
【0015】
ここで、(2)式のpnに(1)式のpnを代入すると、(2)式は下記の(3)式のように変形することができる。
【0016】
【0017】
この(3)式に示すように、(1)式で生成された奇数フィールド補正画素の画素値qnは(2)式によって、元の奇数フィールド画素の画素値onに復元される。
【0018】
このように、補間フレームを生成する手法は、デ・インタレース化処理とリ・インタレース化処理とを、完全再構成条件を満たす固定係数型フィルタを対にすることで実現している(参考文献2:石田,村松,周,佐々木,菊地,“完全再構成デ・インタレース化処理を用いた動画像フレーム/フィールド内符号化”,電子情報通信学会,信学技報,CAS2001−80(2001−11))。
【0019】
例えば、図9に示すような映像信号伝送システム8において、符号化側では、映像信号を符号化部COで符号化する前にデ・インターレス化処理部DEによってデ・インターレス化処理を行い、そのデ・インタレース化処理を行った映像信号を、符号化部COによって符号化し符号化データを生成していた。そして、この符号化データはすでに水平方向の櫛状部分を抑える処理を施しているため、低ビットレートでしか復号できない装置においては、符号化データを通常の低ビットレート復号部DLで復号することで、櫛状歪を低減した映像信号を再生することができる(低品質映像信号)。また、高ビットレートで復号が可能な装置では、符号化データを高ビットレート復号部DHで復号し、リ・インタレース化処理部REでリ・インタレース化処理を行い元の映像信号を再生していた(高品質映像信号)。
【0020】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像を符号化する前にフィルタ(前置フィルタ)によって水平方向の櫛状部分を抑える手法では、高ビットレート復号時に空間解像度が低下してしまうという問題があった。また、低ビットレート復号時にフィルタ(後置フィルタ)によって水平方向の櫛状部分を抑える処理を施す手法では、通常、低ビットレートによる復号を行うシステムは、システム構成の簡略化や速度の向上が要求されるにも関らず、余分な処理を付加しなければならないという問題があった。
【0021】
また、前記従来の技術において、固定係数型フィルタによって時空間方向の補間により補間フレームを生成する手法では、映像に動きがある場合には、水平方向の櫛状部分を抑えるために、垂直方向に低域フィルタ効果を持たせるように固定係数(補正量)を決める必要がある。一方、映像が静止している場合には、元々櫛状部分が現れず、垂直方向に低域フィルタ効果を持たせると逆に画像をぼかしてしまうことになる。すなわち、映像が静止している場合、垂直方向の低域フィルタ効果は、映像の空間解像度を犠牲にしまう。このように、実際の映像では、動いている部分と静止している部分とが混在しているため、従来の固定係数型フィルタを用いた手法では、映像毎に適した処理を行うことができないという問題があった。
【0022】
本発明は、以上のような問題点に鑑みてなされたものであり、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラムを提供することを目的とする。
さらに、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号符号化装置及び補正映像信号復号装置を提供することを目的とする。
【0023】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の補正映像信号生成装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成装置であって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、を備える構成とした。
【0024】
かかる構成によれば、補正映像信号生成装置は、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成装置は、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0025】
例えば、映像信号における奇数フィールドのライン上の画素を補正対象画素としたとき、補正対象画素の画素値に、その補正対象画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量(可変係数)で定まる比率で加算することで、補正対象画素を補正した補正画素を生成する。なお、ここで表示位置とは、偶数フィールドと、奇数フィールドとからなる1つのフレームにおける位置を示している。
【0026】
ここで、補正量をαn、補正対象画素の画素値をon、2つの隣接画素の画素値をen及びen+1としたとき、補正画素の画素値は、(1−αn/2)onと、αnen/4と、αnen+1/4と、を加算して生成する。なお、補正量αnは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数(可変係数)であり、0以上2未満の範囲とする。
【0027】
この補正量を、0以上2未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、0以上2未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【0028】
また、請求項2に記載の補正映像信号生成装置は、請求項1に記載の補正映像信号生成装置において、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、前記補正量を生成する櫛状歪検出手段、を備える構成とした。
【0029】
かかる構成によれば、補正映像信号生成装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正量を生成する。
【0030】
この櫛状歪検出手段は、抽出した水平ライン上の櫛状歪の大きさによって、0以上2未満の範囲で補正量を生成する。つまり、櫛状歪が大きい場合は、水平方向の櫛状部分を低減させるために補正量を大きくし、櫛状歪が小さい場合は、水平方向の櫛状部分を低減させることよりも、より元の画素値に近い値を生成させるため補正量を小さくする。
【0031】
さらに、請求項3に記載の補正映像信号符号化装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成し、符号化を行う補正映像信号符号化装置であって、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する櫛状歪検出手段と、この櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、この対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う符号化手段と、を備える構成とした。
【0032】
かかる構成によれば、補正映像信号符号化装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する。
【0033】
そして、補正映像信号符号化装置は、隣接画素演算手段によって、櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成し、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0034】
さらに、補正映像信号符号化装置は、符号化手段によって、対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う。
【0035】
例えば、符号化手段では、Motion−JPEG2000や、MPEG2等の符号化方式において符号化を行う際に、補正量を符号化データに埋め込むことで、補正映像信号と補正量を対応付ける。
【0036】
また、請求項4に記載の補正映像信号生成方法は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成方法であって、前記画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素を補正した補正画素の画素値をpnとしたとき、画素位置毎に可変な補正量αnによって、pn=αn(en+en+1)/4+(1−αn/2)onなる演算により、前記画素毎の補正を行った補正映像信号を生成することを特徴とする。
【0037】
この方法によれば、補正映像信号生成方法は、補正画素の画素値pnを(1−αn/2)onと、αnen/4と、αnen+1/4と、を加算して生成する。なお、補正量αnは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数であり、0以上2未満の範囲とする。
【0038】
この補正量を、0以上2未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、0以上2未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【0039】
さらに、請求項5に記載の補正映像信号生成プログラムは、インタレース信号として入力される映像信号から、前記映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【0040】
すなわち、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段、とした。
【0041】
かかる構成によれば、補正映像信号生成プログラムは、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成プログラムは、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0042】
また、請求項6に記載の補正映像信号復元装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元する補正映像信号復元装置であって、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【0043】
かかる構成によれば、補正映像信号復元装置は、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元装置は、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【0044】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【0045】
ここで、補正量をαn、補正画素の画素値をpn、2つの隣接画素の画素値をen及びen+1としたとき、補正画素を復元した画素の画素値は、2pn(2/2−α0)から、αn(en+en+1)/(2(2−αn))を減算して生成する。
【0046】
さらに、請求項7に記載の補正映像信号復号装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素を含んだ補正映像信号を、前記補正量を前記補正画素に対応付けて符号化した補正量埋め込み符号化データを復号する補正映像信号復号装置であって、前記補正量埋め込み符号化データから、前記補正量を抽出して前記補正映像信号を復号する復号手段と、この復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【0047】
かかる構成によれば、補正映像信号復号装置は、復号手段によって、補正量埋め込み符号化データから、補正量を抽出して補正映像信号を復号する。
そして、補正映像信号復号装置は、隣接画素演算手段によって、復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成し、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【0048】
例えば、復号手段では、Motion−JPEG2000や、MPEG2等で復号を行う際に、予めMotion−JPEG2000や、MPEG2等の符号化方式によって補正量を埋め込まれた補正量埋め込み符号化データから、補正量を抽出する。これによって、補正映像信号復号装置は、対象画素復元手段により、補正映像信号を復元するときに、その補正映像信号の補正画素に対応する補正量を用いて復元を行う。
【0049】
また、請求項8に記載の補正映像信号復元方法は、インタレース信号として入力される映像信号において、画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素の画素位置毎に、その補正の度合いを示す補正量をαnとしたとき、前記補正対象画素を補正した補正画素の画素値pnをpn=αn(en+en+1)/4+(1−αn/2)onなる演算により生成した補正映像信号から、前記映像信号を復元する補正映像信号復元方法であって、画素位置毎に入力される前記補正量αnと、前記補正画素の画素値pnと、前記補正画素に隣接する前記隣接画素の画素値en及びen+1とに基づいて、前記補正画素を復元した復元画素の画素値qnをqn=−αn(en+en+1)/(2(2−αn))+2pn/(2−αn)により演算して、前記映像信号を復元することを特徴とする。
【0050】
この方法によれば、補正映像信号復元方法は、画素位置毎に入力される前記補正量をαn、補正画素の画素値をpn、補正画素に隣接する隣接画素の画素値をen及びen+1としたとき、復元画素の画素値qnを、2pn/(2−αn)から、αn(en+en+1)/(2(2−αn))を減算することで復元する。
【0051】
さらに、請求項9に記載の補正映像信号復元プログラムは、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元するために、コンピュータを、以下の手段によって機能させる構成とした。
【0052】
すなわち、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段、とした。
【0053】
かかる構成によれば、補正映像信号復元プログラムは、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元プログラムは、対象画素復元手段によって、隣接画素演算手段で生成された隣接画素補正量と、補正量とに基づいて、補正画素の画素値を画素毎に復元する。
【0054】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【0055】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
(第一の実施の形態:補正映像信号生成装置)
図1は、本発明における第一の実施の形態である補正映像信号生成装置1の構成を示すブロック図である。図1に示すように、補正映像信号生成装置1は、インタレース信号として入力される映像信号で、表示位置において垂直方向に隣接する偶数フィールド画素及び奇数フィールド画素と、外部から入力される補正の度合いを示す補正量とに基づいて、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を補正した補正映像信号を生成するものである。
【0056】
この補正映像信号生成装置1は、隣接画素演算手段11と、対象画素補正手段12と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド(第0フィールド)から始まっているものとする。フィールドの開始を第1フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【0057】
隣接画素演算手段11は、遅延部20(20a)と、加算部21(21a)と、乗算部23(23c)とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素(偶数フィールド画素)の画素値を加算し、対象画素補正手段12から出力される補正量αの1/4の値に基づいて、対象画素補正手段12で使用される隣接画素補正量を生成するものである。この隣接画素演算手段11で生成された隣接画素補正量は、対象画素補正手段12へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【0058】
対象画素補正手段12は、遅延部20(20b,20c)と、加算部21(21b)と、減算部22(22a)と、乗算部23(23b)と、除算部24(24a,24b)とを備え、入力された映像信号の奇数フィールド画素を、隣接画素演算手段11から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行った奇数フィールド補正画素を生成するものである。
【0059】
この隣接画素演算手段11及び対象画素補正手段12において、遅延部20は、入力された信号を一旦蓄積し、次の信号が入力された段階で、一旦蓄積した先に入力された信号を出力するものである。例えば、遅延部20aは、先に入力された偶数フィールド画素の画素値を一旦蓄積し、次の偶数フィールドの画素が入力された段階で、先に蓄積した画素値を出力する。
【0060】
また、加算部21は、入力された2つの信号を加算した新たな信号を生成するものである。例えば、加算部21aは、遅延部20aから出力される先に入力された偶数フィールド画素の画素値と、次に入力された偶数フィールド画素の画素値とを加算した画素値を出力する。
【0061】
さらに、減算部22は、入力された2つの信号の差分を新たな信号として生成するものである。例えば、減算部22aは、数値1から除算部24bの出力である補正量αを1/2倍した値(α/2)を減算した(1−α/2)の値を出力する。なお、この減算部22aは減算される数を1に固定したものである。
【0062】
また、乗算部23は、入力された2つの信号を乗算した新たな信号を生成するものである。例えば、乗算部23bは、遅延部20cから出力される奇数フィールド画素の画素値と、減算部22aから出力される(1−α/2)の値とを乗算した値を出力する。
【0063】
さらにまた、除算部24は、入力された2つの信号から、一方の信号を他方の信号で除算した信号を生成するものである。例えば、除算部24aは、遅延部20bから出力される補正量αを4で除算(1/4の乗算)した値を出力する。なお、この除算部24aは除数を4に固定したものである。
【0064】
[補正映像信号生成装置の動作]
次に、図1及び図6を参照して、補正映像信号生成装置1の動作について説明する。図6は、補正量を可変にした可変係数型のデ・インタレース化処理(図6(a))及びリ・インタフェース化処理(図6(b))の動作を模式的に示した模式図である。ここでは、図6(a)を参照して説明を行う。
【0065】
補正映像信号生成装置1は、偶数フィールドefのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドofのnラインめの画素(奇数フィールド画素)の画素値をon、奇数フィールドofの補正を行った画素(奇数フィールド補正画素)の画素値をpnとし、そのときの補正量をαnとすると、隣接画素演算手段11及び対象画素補正手段12によって、pnを下記の(4)式で算出した値として出力する。
【0066】
pn=αn(en+en+1)/4+(1−αn/2)on …(4)式
【0067】
例えば、奇数フィールドofの0ラインめの画素に対応する補間フレームhfにおける奇数フィールド補正画素の画素値p0は、偶数フィールドefの0ラインめの画素の画素値e0のα0/4倍と、偶数フィールドefの1ラインめの画素の画素値e1のα0/4倍と、奇数フィールドofの0ラインめの画素の画素値o0の(1−α0/2)倍とを加算した値となる。以下、奇数フィールドofの1ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて補正される。
【0068】
なお、(4)式において、(en+en+1)は、隣接画素演算手段11の加算部21aからの出力であり、αn(en+en+1)/4は、乗算部23aの出力である。また、(1−αn/2)onは、対象画素補正手段12の乗算部23bの出力であり、pnは、加算部21bから出力されることになる。
【0069】
また、図6(a)において、奇数フィールドofの最終ラインの画素には、隣接する偶数フィールドefの画素が1つしかないため、最終ラインの奇数フィールド補正画素を生成するには、偶数フィールドefの最終ラインの画素に掛かる係数を2倍にして算出することとする。
【0070】
すなわち、偶数フィールドefの最終ラインの画素値をem、奇数フィールドofの最終ラインの画素値をom、奇数フィールドofの補正を行った補間フレームhfの画素の画素値をpmとし、そのときの補正量をαmすると、pmは下記の(5)式で算出された値となる。
【0071】
pm=αmem/2+(1−αm/2)om …(5)式
【0072】
この場合、隣接画素演算手段11は、最終ラインを検出するカウンタ部(図示せず)によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段21aの2つの入力とすることで、偶数フィールド画素の画素値を2倍にして出力する。
【0073】
以上、説明したように補正映像信号生成装置1は、インタレース信号として入力される映像信号である奇数フィールド画素を、表示位置において垂直方向に隣接する偶数フィールド画素と、補正量とに基づいて補正を行った奇数フィールド補正画素を生成することができ、補正量を可変にしたデ・インターレス化処理を実現することができる。
【0074】
なお、補正映像信号生成装置1は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【0075】
(第二の実施の形態:補正映像信号生成装置)
次に、図2を参照して、本発明における第二の実施の形態である補正映像信号生成装置1Bについて説明する。図2は、補正映像信号生成装置1Bを含んだ補正映像信号符号化装置3の構成を示したブロック図である。図2に示すように補正映像信号生成装置1Bは、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を画素毎に可変な補正量(可変係数)により補正した補正映像信号を生成するものである。なお、図2では、補正映像信号生成装置1Bに、補正映像信号生成装置1Bで生成される補正映像信号を符号化する符号化手段2を付加した補正映像信号符号化装置3の構成例(第三の実施の形態)を示している。
【0076】
この補正映像信号生成装置1Bは、第一の実施の形態(図1)で説明した補正映像信号生成装置1に、櫛状歪検出手段10を付加して構成した。
櫛状歪検出手段10は、歪量検出部10aと、補正量変換部10bとを備え、映像信号の水平ライン上の櫛状歪を検出して、その歪を補正するための補正量(可変係数)を生成するものである。
【0077】
歪量検出部10aは、入力された映像信号から、映像信号の垂直方向のナイキスト周波数(垂直方向のサンプリング周波数の1/2の周波数)を最大利得としDC応答が0であるFIR(有限インパルスレスポンス)型高域フィルタによって櫛状歪を検出し、その櫛状歪の程度を表す量を補正量変換部10bへ出力するものである。
【0078】
例えば、FIR型高域フィルタをh(y)、映像信号のフレーム画像の画素位置(x,y)における画素値をI(x,y)と表し、I(x,y)に対してh(y)を施した結果のスカラ値をI(x,y)*h(y)(ただし「*」はI(x,y)とh(y)の畳み込み和を示す)、I(x,y)の自乗和の平方根を||I(x,y)||と表したとき、画素位置(x,y)における櫛状歪の程度を表す歪量β(x,y)を下記の(6)式で演算する。
【0079】
β(x,y)=|I(x,y)*h(y)|/||I(x,y)||…(6)式
【0080】
なお、このh(y)は、例えば垂直3タップフィルタ{−1/4,1/2,−1/4}を使用する。また、この櫛状歪を検出する技術は、本願出願人において「インターレース信号符号化方法及びその装置(特願2001−062593)」として開示されている技術を用いて実現することができる。
【0081】
補正量変換部10bは、歪量検出部10aから入力される歪量β(x,y)を、各画素を補正するための補正量に変換して、補正映像信号生成装置1へ出力するものである。また、符号化手段2で補正映像信号を符号化する際には、この補正量を符号化手段2へも出力するものとする。
【0082】
なお、この補正量変換部10bは、歪量β(x,y)を、0以上2未満の範囲の補正量αに変換する。例えば、補正量α(αn)=0とすると、(4)式においてpn=onとなり、デ・インターレス化処理において、補正映像信号は元の映像信号と同じものとなる。補正量α(αn)=1とすると、(4)式においてpn=(en+en+1)/4+on/2となり、中間的な補正を示すものになる。また、補正量α(αn)=2とすると、(4)式においてpn=(en+en+1)/2となり、奇数フィールド画素の情報が失われてしまう。このため、補正量αは0以上2未満の範囲とする。
【0083】
例えば、cを定数としたとき、cβ(x,y)が下記の(7)式を満たすように制限し、このcβ(x,y)を補正量αとする。
【0084】
0≦cβ(x,y)<2 …(7)式
【0085】
この定数cは、値が大きい程、補正量が大きくなるため、櫛状歪を低減する効果は大きいが、映像をぼかして動きの滑らかさをなくす方向に働くことになる。また、定数cの値が小さい程、補正量が小さくなり、櫛状歪を低減する効果を弱める方向に働くことになる。このため、定数cは、映像の性質(動きの多い映像、少ない映像等)や、映像の用途に応じて適宜設定する。
【0086】
また、例えば、予め閾値Tを設定しておいて、β(x,y)が閾値T未満の場合はα=0、閾値T以上の場合はα=1として2値化した値を補正量αとすることとしてもよい。この閾値Tも(7)式で説明した定数cと同様に、映像の性質(動きの多い映像、動きの少ない映像等)や、映像の用途に応じて適宜設定する。
【0087】
このように、補正映像信号生成装置1Bを、補正映像信号生成装置1に櫛状歪検出手段10を付加して構成することで、自動的に櫛状歪を検出してその歪量に基づいて、画素毎の補正量を設定することができるので、映像信号に動いている部分と静止している部分とが混在していても、映像毎に適した補正映像信号を生成することが可能になる。
【0088】
なお、補正映像信号生成装置1Bは、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【0089】
(第三の実施の形態:補正映像信号符号化装置)
次に、本発明における第三の実施の形態である補正映像信号符号化装置3について説明する。図2に示すように補正映像信号符号化装置3は、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を画素毎に可変な補正量(可変係数)により補正した補正映像信号を生成し、その補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【0090】
この補正映像信号符号化装置3は、第二の実施の形態で説明した補正映像信号生成装置1Bに、符号化手段2を付加して構成した。
符号化手段2は、映像信号符号化部2aと、補正量埋め込み部2bとを備え、補正映像信号生成装置1Bで生成される補正映像信号と、補正量とに基づいて、補正映像信号をエントロピ符号化する際に、画素毎の補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【0091】
映像信号符号化部2aは、補正映像信号生成装置1Bで生成される補正映像信号を入力し、Motion−JPEG2000(以下、MJP2と略す)や、MPEG2等の一般的な符号化方式によってフレーム単位又はフィールド単位で符号化を行った符号化データを生成するものである。
【0092】
補正量埋め込み部2bは、補正映像信号生成装置1Bで生成される補正量を、映像信号符号化部2aで符号化した符号化データに埋め込んで、補正量埋め込み符号化データとして生成するものである。
【0093】
例えば、櫛状歪検出手段10の補正量変換部10bで補正量αを2値化した場合、MJP2符号化方式において、補正量を埋め込むためには、MJP2で規格化されているROI(Region Of Interest)符号化を用いて実現することができる。このROI符号化は、画像中の選択領域を他の領域よりも優先して符号化を行い、復号時の再生画質を高める機能である。このROI符号化で用いられるROI選択領域を、補正量α>0の適用領域として利用することで、補正量のビットマップを埋め込み、符号化することが可能になる。
【0094】
このように、補正映像信号符号化装置3を、補正映像信号生成装置1Bに符号化手段2を付加して構成することで、この補正映像信号符号化装置3で符号化された補正量埋め込み符号化データは、高ビットレートで復号を行う場合、この補正量を用いて元の映像信号を復元することが可能になる。
【0095】
なお、補正映像信号符号化装置3は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号符号化プログラムとして動作させることも可能である。
【0096】
(第四の実施の形態:補正映像信号復元装置の構成)
次に、図3を参照して、本発明における第四の実施の形態である補正映像信号復元装置について説明する。図3は補正映像信号復元装置の構成を示すブロック図である。図3に示すように、補正映像信号復元装置5は、補正映像信号生成装置1(図1参照)で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置1B(図2参照)で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するものである。
【0097】
この補正映像信号復元装置5は、隣接画素演算手段13と、対象画素復元手段14と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド(第0フィールド)から始まっているものとする。フィールドの開始を第1フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【0098】
隣接画素演算手段13は、遅延部20(20d)と、加算部21(21c)と、乗算部23(23c)とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素(偶数フィールド画素)の画素値を加算し、対象画素復元手段14から出力される補正量αの1/4の値に基づいて、対象画素復元手段14で使用される隣接画素補正量を生成するものである。この隣接画素演算手段13で生成された隣接画素補正量は、対象画素復元手段14へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【0099】
対象画素復元手段14は、遅延部20(20e,20f)と、減算部22(22b,22c)と、除算部24(24c,24d)とを備え、入力された映像信号の奇数フィールド画素(奇数フィールド補正画素)を、隣接画素演算手段13から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行う前の奇数フィールド画素を復元するものである。
【0100】
この隣接画素演算手段13及び対象画素復元手段14における遅延部20、加算部21、減算部22、乗算部23及び除算部24は、図1で説明したものと同一であるので個々の説明は省略する。
【0101】
[補正映像信号復元装置の動作]
次に、図3及び図6(b)を参照して、補正映像信号復元装置5の動作について説明する。図6(b)は、補正量を可変にした可変係数型のリ・インタフェース化処理の動作を模式的に示した模式図である。
【0102】
補正映像信号復元装置5は、偶数フィールドのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドのnラインめの画素(奇数フィールド補正画素)の画素値をpn、奇数フィールド補正画素の復元を行った画素(奇数フィールド画素)の画素値をqnとし、そのときの補正量をαnとすると、隣接画素演算手段13及び対象画素復元手段14によって、qnを下記の(8)式で算出した値として出力する。
【0103】
【0104】
例えば、奇数フィールドofの0ラインめの画素の画素値q0は、補間フレームhfの奇数フィールドの0ラインめの画素の画素値p0の2/(2−α0)倍から、補間フレームhfの偶数フィールドの0ラインめの画素の画素値e0のα0/(2(2−α0))倍と、補間フレームhfの偶数フィールドの1ラインめの画素の画素値e1のα0/(2(2−α0))倍とを加算した値を減算した値となる。以下、奇数フィールドofの1ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて算出される。
なお、補正映像信号復元装置5は、(8)式を変形した下記の(9)式に基づいて動作するように構成したものである。
【0105】
【0106】
この(9)式において、(en+en+1)は隣接画素演算手段13の加算部21cからの出力であり、αn(e0+en+1)/4は乗算部23cの出力であり、(−(αn(e0+en+1)/4)+pn)は対象画素復元手段14の減算部22cの出力である。そして、qnは除算部24eにおいて、減算部22cの出力を減算部22bの出力である(1−αn/2)で除算することで得られる。
【0107】
また、図6(b)における映像信号である補間フィールドhfの最終ラインの画素は、図6(a)における奇数フィールドofの最終ラインの画素と偶数フィールドefの最終ラインの画素との2画素から生成されている。そこで、図6(b)において復元される奇数フィールドofの最終ラインの画素は、補間フレームhfにおける最終ラインの1ライン前の画素に掛かる係数を2倍にして算出することとする。
【0108】
すなわち、図6(b)の補間フレームhfにおける最終ラインの画素の画素値をqm、その1ライン前の画素の画素値をemとし、そのときの補正量をαmとすると、最終ラインの奇数フィールド補正画素の復元を行った画素の画素値qmは、下記の(10)式で算出された値となる。
【0109】
qm=(−αmem/2+pm)/(1−αm/2) …(10)式
【0110】
この場合、隣接画素演算手段13は、最終ラインを検出するカウンタ部(図示せず)によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段21cの2つの入力とすることで、偶数フィールド画素の画素値を2倍にして出力する。
【0111】
ここで、補正映像信号生成装置1(図1参照)で説明した(4)式で生成された奇数フィールド補正画素が、(8)式によって、画素毎に異なる補正量に関らず元の奇数フィールド画素に復元(完全再構成)されることを以下の数式で示す。
(8)式のpnに(4)式のpnを代入すると、(8)式は下記の(11)式のように変形することができる。
【0112】
【0113】
この(11)式に示すように、(4)式で生成された奇数フィールド補正画素の画素値qnは(8)式によって、元の奇数フィールド画素の画素値onに復元される。
【0114】
以上、説明したように補正映像信号復元装置5は、補正映像信号生成装置1(図1参照)で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置1B(図2参照)で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するリ・インターレス化処理を実現することができる。
【0115】
なお、補正映像信号復元装置5は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復元プログラムとして動作させることも可能である。
【0116】
(第五の実施の形態:補正映像信号復号装置)
次に、図4を参照して、本発明における第五の実施の形態である補正映像信号復号装置6について説明する。図4は、補正映像信号復号装置6の構成を示したブロック図である。図4に示すように補正映像信号復号装置6は、補正映像信号符号化装置3(図2参照)で符号化された補正量埋め込み符号化データを映像信号に復号するものである。
この補正映像信号復号装置6は、第四の実施の形態で説明した補正映像信号復元装置5(図3参照)に、復号手段4を付加して構成した。
【0117】
復号手段4は、補正量抽出部4aと、符号化データ復号部4bとを備え、補正映像信号符号化装置3で符号化された補正量埋め込み符号化データから、補正量を抽出するとともに、デ・インタレース化処理によって補正された補正映像信号を復号するものである。
【0118】
補正量抽出部4aは、入力された補正量埋め込み符号化データから画素毎の補正量を抽出するものである。例えば、補正量埋め込み符号化データがMJP2符号化方式で符号化され、その符号化されたデータの中にROI選択領域として、補正量のビットマップが埋め込まれている場合は、その補正量を優先して復号し抽出を行う。この補正量は、補正映像信号復元装置5に出力される。
【0119】
符号化データ復号部4bは、入力された補正量埋め込み符号化データを、補正映像信号符号化装置3で用いた符号化方式の復号手順に基づいて補正映像信号に復号するもである。例えば、補正量埋め込み符号化データが、MJP2で符号化されたデータである場合は、符号化データ復号部4bはMJP2の復号を行うものとする。MJP2の復号については、すでに一般的な技術であるのでここでは説明を省略する。ここで復号された補正映像信号は、補正映像信号復元装置5に出力される。
【0120】
このように、補正映像信号復号装置6を、補正映像信号復元装置5に、復号手段4を付加して構成することで、補正量埋め込み符号化データから補正を行う前の映像信号を復元することが可能になる。
【0121】
以上説明したように、本発明に係る補正映像信号符号化装置3と、補正映像信号復号装置6とを用いて、符号化された映像信号を低ビットレートで復号する場合は、映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)を低減し、高ビットレートで復号を行う場合は、元の映像信号を復元することが可能な映像信号伝送システムを構成することが可能になる。
【0122】
なお、補正映像信号復号装置6は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復号プログラムとして動作させることも可能である。
【0123】
[映像信号伝送システム]
ここで、図5を参照して、補正映像信号符号化装置3と、補正映像信号復号装置6とを用いて実現した映像信号伝送システム7の構成例について説明する。図5に示すように、映像信号を符号化する側(符号化側)の装置を、補正映像信号生成装置1Bと、符号化手段2とを備えた補正映像信号符号化装置3とする。また、符号化された映像信号(補正量埋め込み符号化データ)を復号する側(復号側)の装置は、携帯端末のような低ビットレートで復号を行う低ビットレート復号部DLを備えた装置、あるいは、高ビットレートで復号を行う復号手段4と、補正映像信号復元装置5とを備えた補正映像信号復号装置6とする。
【0124】
この映像信号伝送システム7は、補正映像信号符号化装置3によってデ・インタレース化処理を行い補正量を付加した補正量埋め込み符号化データを、図示していない送信装置から通信回線を介して送信したり、図示していない書き込み装置を用いてDVD等の記録メディアに記録する。
【0125】
そして、復号側では、例えば低ビットレートでしか復号できない携帯端末では、低ビットレート復号部DLにおいて、補正量埋め込み符号化データを通常の復号(補正量は無視する)を行うことで、低品質ではあるが映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)を低減した映像信号(低品質映像信号)を復号することができる。
【0126】
また、高ビットレートで復号を行う装置として、補正映像信号復号装置6を用いることで、補正量埋め込み符号化データは、復号手段4によって、補正映像信号と補正量とに復号され、補正映像信号復元装置5によって、元の映像信号である高品質な映像信号に復元される。
【0127】
このように、映像信号伝送システム7では、低ビットレートで映像信号の復号を行う装置に負荷を与えずに櫛状歪を低減することができ、さらに高ビットレートで映像信号の復号を行う装置では、映像信号の完全再構成が可能になる。
【0128】
【発明の効果】
以上説明したとおり、本発明に係る補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置では、以下に示す優れた効果を奏する。
【0129】
請求項1又は請求項5に記載の発明によれば、補正量を画素毎に可変にすることができ、インタレース信号として入力される映像信号から、静止画部分では補正量を少なくすることで、解像度を保持しつつ、動き部分では補正量を多くすることで、水平方向の櫛状部分(櫛状歪)を抑制した映像信号を生成することが可能になる。
【0130】
請求項2に記載の発明によれば、映像信号から自動的に水平方向の櫛状歪量を検出することが可能になり、その検出量(櫛状歪量)に基づいて、自動的に補正量を変化させることで、静止画部分では補正量を少なくし解像度を保持することができ、動き部分では補正量を多くし水平方向の櫛状部分(櫛状歪)を抑制することが可能になる。
【0131】
請求項3に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行った画素毎の補正量を、符号化データに埋め込んだ補正量埋め込み符号化データを生成するので、復号側でその補正量を抽出することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0132】
請求項4に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行うため、高ビットレートで復号を行う装置では、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0133】
請求項6、請求項8又は請求項9に記載の発明によれば、隣接画素によって補正された補正画素を、補正量によって元の画素に復元することができる。これによって、完全再構成が可能なデ・インタレース化処理を行った補正画素と、補正量を入力することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0134】
請求項7に記載の発明によれば、デ・インタレース化処理を行った補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データから、補正量を検出することができるので、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態に係る補正映像信号生成装置の構成を示すブロック図である。
【図2】本発明の第二の実施の形態に係る補正映像信号生成装置を含んだ第三の実施の形態に係る補正映像信号符号化装置の構成を示すブロック図である。
【図3】本発明の第四の実施の形態に係る補正映像信号復元装置の構成を示すブロック図である。
【図4】本発明の第五の実施の形態に係る補正映像信号復号装置の構成を示すブロック図である。
【図5】本発明の補正映像信号符号化装置と補正映像信号復号装置とで構成した映像信号伝送システムの構成を示すブロック図である。
【図6】本発明の可変係数型デ・インタレース化処理及び可変係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図7】従来の映像信号伝送システムの構成を示すブロック図である。
【図8】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図9】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理による映像信号伝送システムの構成を示すブロック図である。
【符号の説明】
1、1B……補正映像信号生成装置
2……符号化手段
3……補正映像信号符号化装置
4……復号手段
5……補正映像信号復元装置
6……補正映像信号復号装置
10……櫛状歪検出手段
11……隣接画素演算手段
12……対象画素補正手段
13……隣接画素演算手段
14……対象画素復元手段
【発明の属する技術分野】
本発明は、映像信号の歪補正技術に関し、より詳細には、インタレース信号で入力される映像信号の各フィールド間の歪を補正する補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置に関する。
【0002】
【従来の技術】
一般に、現行TVにおけるNTSC信号や、HDTV(高精細テレビジョン)におけるHDTV信号による放送方式においては、インタレース走査方式によって映像信号が放送されている。また、ビデオカメラにおける映像信号もインタレース走査方式によってビデオテープ等の記録媒体へ記録される方式が一般的である。
【0003】
このインタレース走査方式においては、フレームは走査線が一本毎に交互に走査する2つのフィールドから構成されている。そのため、フレームを構成する2つのフィールドを単純に合成して得られるフレーム画像では、映像上で動作している映像オブジェクトのエッジ部分に走査線一本毎に水平方向の櫛状部分が発生する。このような櫛状部分を有するフレーム画像に対して、ウェーブレット変換を用いたフレーム内符号化を適用すると、低ビットレートで復号を行う場合、その櫛状部分が劣化の原因となって、映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)が現れる。
【0004】
従来は、この低ビットレート復号時のちらつきを軽減するために、映像を符号化する前に、フィルタ(前置フィルタ)によって水平方向の櫛状部分を抑える処理を施していた。あるいは、低ビットレートで映像を復号した後のフィルタ(後置フィルタ)によって水平方向の櫛状部分を抑える処理を施していた(参考文献1:久下,星野,“JPEG2000によるHDTV動画像符号化の検討”,電子情報通信学会総合大会,D−11−18,2001−3)。
【0005】
例えば、図7(a)に示すような前置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部COで符号化する前に前置フィルタPRによって、水平方向の櫛状部分を抑える処理を施し、符号化部COで符号化を行い符号化データを生成している。そして、この符号化データは、復号側において、携帯端末のような低ビットレートでしか復号できない装置では、低ビットレート復号部DLで、また、高ビットレートで復号が可能な装置では、高ビットレート復号部DHにより映像信号を復号していた。
【0006】
また、図7(b)に示すような後置フィルタによる映像信号伝送システムでは、符号化側において、映像信号を符号化部COで符号化した符号化データを生成し、その符号化データを低ビットレートでしか復号できない装置では、低ビットレート復号部DLで符号化データを復号した後に、後置フィルタPOによって、水平方向の櫛状部分を抑える処理を施していた。一方、高ビットレートで復号が可能な装置では、高ビットレート復号部DHにより映像信号を復号していた。
【0007】
また従来、低ビットレート復号時のちらつきを軽減するために、映像の符号化側において、フレームの奇数フィールドの画素と、その奇数フィールドに隣接する偶数フィールドの画素とを、水平方向の櫛状部分を抑える固定係数型フィルタによって補間を行うことで、新たな奇数フィールドの画素を生成した補間フレームを生成する手法がある(以下、「デ・インターレス化処理」と呼ぶ)。この手法では、低ビットレート復号時には、補間フレームをそのまま復号するが、高ビットレート復号時には、低ビットレート復号時のようなちらつきがないため、前記固定係数型フィルタで用いた固定係数によって、補間フレームから元の奇数フィールドの画素を復元している(以下、「リ・インタレース化処理」と呼ぶ)。
【0008】
ここで、図8を参照して、従来のデ・インターレス化処理及びリ・インタレース化処理について説明する。図8は、従来の固定係数型のデ・インタレース化処理及びリ・インタフェース化処理の動作を模式的に示した模式図である。図8(a)に示すように従来の固定係数型デ・インターレス化処理では、インタレース信号である映像信号の奇数フィールドofと、偶数フィールドefとに基づいて奇数フィールドofの画素値を補正した補間フレームhfを生成する。
【0009】
例えば、偶数フィールドefのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドofのnラインめの画素(奇数フィールド画素)の画素値をon、奇数フィールドofの補正を行った画素(奇数フィールド補正画素)の画素値をpnとし、pnを下記の(1)式で算出された値とする。
【0010】
pn=(en+en+1)/4+on/2 …(1)式
【0011】
これによって、奇数フィールドの画素値を前後の偶数フィールドの画素値によって補正することで水平方向の櫛状部分を抑えることができる。そして、このリ・インタレース化処理によって生成された映像信号は低ビットレートで復号を行う際に櫛状歪を低減した映像を生成することができる。
【0012】
また、図8(b)に示すように、従来の固定係数型リ・インタレース化処理では、固定係数型デ・インターレス化処理で生成された映像信号の補間フレームhfから、元の映像信号である奇数フィールドofの画素値を復元する。
【0013】
例えば、偶数フィールドのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドのnラインめの画素(奇数フィールド補正画素)の画素値をpn、奇数フィールド補正画素の復元を行った画素(奇数フィールド画素)の画素値をqnとし、qnを下記の(2)式で算出された値とする。
【0014】
qn=−(en+en+1)/2+2pn …(2)式
【0015】
ここで、(2)式のpnに(1)式のpnを代入すると、(2)式は下記の(3)式のように変形することができる。
【0016】
【0017】
この(3)式に示すように、(1)式で生成された奇数フィールド補正画素の画素値qnは(2)式によって、元の奇数フィールド画素の画素値onに復元される。
【0018】
このように、補間フレームを生成する手法は、デ・インタレース化処理とリ・インタレース化処理とを、完全再構成条件を満たす固定係数型フィルタを対にすることで実現している(参考文献2:石田,村松,周,佐々木,菊地,“完全再構成デ・インタレース化処理を用いた動画像フレーム/フィールド内符号化”,電子情報通信学会,信学技報,CAS2001−80(2001−11))。
【0019】
例えば、図9に示すような映像信号伝送システム8において、符号化側では、映像信号を符号化部COで符号化する前にデ・インターレス化処理部DEによってデ・インターレス化処理を行い、そのデ・インタレース化処理を行った映像信号を、符号化部COによって符号化し符号化データを生成していた。そして、この符号化データはすでに水平方向の櫛状部分を抑える処理を施しているため、低ビットレートでしか復号できない装置においては、符号化データを通常の低ビットレート復号部DLで復号することで、櫛状歪を低減した映像信号を再生することができる(低品質映像信号)。また、高ビットレートで復号が可能な装置では、符号化データを高ビットレート復号部DHで復号し、リ・インタレース化処理部REでリ・インタレース化処理を行い元の映像信号を再生していた(高品質映像信号)。
【0020】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像を符号化する前にフィルタ(前置フィルタ)によって水平方向の櫛状部分を抑える手法では、高ビットレート復号時に空間解像度が低下してしまうという問題があった。また、低ビットレート復号時にフィルタ(後置フィルタ)によって水平方向の櫛状部分を抑える処理を施す手法では、通常、低ビットレートによる復号を行うシステムは、システム構成の簡略化や速度の向上が要求されるにも関らず、余分な処理を付加しなければならないという問題があった。
【0021】
また、前記従来の技術において、固定係数型フィルタによって時空間方向の補間により補間フレームを生成する手法では、映像に動きがある場合には、水平方向の櫛状部分を抑えるために、垂直方向に低域フィルタ効果を持たせるように固定係数(補正量)を決める必要がある。一方、映像が静止している場合には、元々櫛状部分が現れず、垂直方向に低域フィルタ効果を持たせると逆に画像をぼかしてしまうことになる。すなわち、映像が静止している場合、垂直方向の低域フィルタ効果は、映像の空間解像度を犠牲にしまう。このように、実際の映像では、動いている部分と静止している部分とが混在しているため、従来の固定係数型フィルタを用いた手法では、映像毎に適した処理を行うことができないという問題があった。
【0022】
本発明は、以上のような問題点に鑑みてなされたものであり、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラムを提供することを目的とする。
さらに、静止画部分の解像度を保持しつつ、動き部分の櫛状部分を抑制し、デ・インタレース化処理とリ・インタレース化処理とによる可逆性を保証した補正映像信号符号化装置及び補正映像信号復号装置を提供することを目的とする。
【0023】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の補正映像信号生成装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成装置であって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、を備える構成とした。
【0024】
かかる構成によれば、補正映像信号生成装置は、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成装置は、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0025】
例えば、映像信号における奇数フィールドのライン上の画素を補正対象画素としたとき、補正対象画素の画素値に、その補正対象画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量(可変係数)で定まる比率で加算することで、補正対象画素を補正した補正画素を生成する。なお、ここで表示位置とは、偶数フィールドと、奇数フィールドとからなる1つのフレームにおける位置を示している。
【0026】
ここで、補正量をαn、補正対象画素の画素値をon、2つの隣接画素の画素値をen及びen+1としたとき、補正画素の画素値は、(1−αn/2)onと、αnen/4と、αnen+1/4と、を加算して生成する。なお、補正量αnは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数(可変係数)であり、0以上2未満の範囲とする。
【0027】
この補正量を、0以上2未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、0以上2未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【0028】
また、請求項2に記載の補正映像信号生成装置は、請求項1に記載の補正映像信号生成装置において、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、前記補正量を生成する櫛状歪検出手段、を備える構成とした。
【0029】
かかる構成によれば、補正映像信号生成装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正量を生成する。
【0030】
この櫛状歪検出手段は、抽出した水平ライン上の櫛状歪の大きさによって、0以上2未満の範囲で補正量を生成する。つまり、櫛状歪が大きい場合は、水平方向の櫛状部分を低減させるために補正量を大きくし、櫛状歪が小さい場合は、水平方向の櫛状部分を低減させることよりも、より元の画素値に近い値を生成させるため補正量を小さくする。
【0031】
さらに、請求項3に記載の補正映像信号符号化装置は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成し、符号化を行う補正映像信号符号化装置であって、前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する櫛状歪検出手段と、この櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、この対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う符号化手段と、を備える構成とした。
【0032】
かかる構成によれば、補正映像信号符号化装置は、櫛状歪検出手段によって、映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する。
【0033】
そして、補正映像信号符号化装置は、隣接画素演算手段によって、櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成し、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0034】
さらに、補正映像信号符号化装置は、符号化手段によって、対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う。
【0035】
例えば、符号化手段では、Motion−JPEG2000や、MPEG2等の符号化方式において符号化を行う際に、補正量を符号化データに埋め込むことで、補正映像信号と補正量を対応付ける。
【0036】
また、請求項4に記載の補正映像信号生成方法は、インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成方法であって、前記画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素を補正した補正画素の画素値をpnとしたとき、画素位置毎に可変な補正量αnによって、pn=αn(en+en+1)/4+(1−αn/2)onなる演算により、前記画素毎の補正を行った補正映像信号を生成することを特徴とする。
【0037】
この方法によれば、補正映像信号生成方法は、補正画素の画素値pnを(1−αn/2)onと、αnen/4と、αnen+1/4と、を加算して生成する。なお、補正量αnは、水平方向の櫛状部分を低減するために補正対象画素を補正するときに使用する係数であり、0以上2未満の範囲とする。
【0038】
この補正量を、0以上2未満の範囲で大きくすることで、補正対象画素の画素値は隣接画素の画素値に近似する方向に作用するため、水平方向の櫛状部分を低減することができる。また、補正量を、0以上2未満の範囲で小さくすることで、水平方向の櫛状部分の低減は少なくなるが、補正画素の画素値は元の補正対象画素の画素値に近づく方向に作用する。
【0039】
さらに、請求項5に記載の補正映像信号生成プログラムは、インタレース信号として入力される映像信号から、前記映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【0040】
すなわち、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段、とした。
【0041】
かかる構成によれば、補正映像信号生成プログラムは、隣接画素演算手段によって、補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する。そして、補正映像信号生成プログラムは、対象画素補正手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する。
【0042】
また、請求項6に記載の補正映像信号復元装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元する補正映像信号復元装置であって、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【0043】
かかる構成によれば、補正映像信号復元装置は、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元装置は、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【0044】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【0045】
ここで、補正量をαn、補正画素の画素値をpn、2つの隣接画素の画素値をen及びen+1としたとき、補正画素を復元した画素の画素値は、2pn(2/2−α0)から、αn(en+en+1)/(2(2−αn))を減算して生成する。
【0046】
さらに、請求項7に記載の補正映像信号復号装置は、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素を含んだ補正映像信号を、前記補正量を前記補正画素に対応付けて符号化した補正量埋め込み符号化データを復号する補正映像信号復号装置であって、前記補正量埋め込み符号化データから、前記補正量を抽出して前記補正映像信号を復号する復号手段と、この復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、を備える構成とした。
【0047】
かかる構成によれば、補正映像信号復号装置は、復号手段によって、補正量埋め込み符号化データから、補正量を抽出して補正映像信号を復号する。
そして、補正映像信号復号装置は、隣接画素演算手段によって、復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成し、対象画素復元手段によって、隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する。
【0048】
例えば、復号手段では、Motion−JPEG2000や、MPEG2等で復号を行う際に、予めMotion−JPEG2000や、MPEG2等の符号化方式によって補正量を埋め込まれた補正量埋め込み符号化データから、補正量を抽出する。これによって、補正映像信号復号装置は、対象画素復元手段により、補正映像信号を復元するときに、その補正映像信号の補正画素に対応する補正量を用いて復元を行う。
【0049】
また、請求項8に記載の補正映像信号復元方法は、インタレース信号として入力される映像信号において、画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素の画素位置毎に、その補正の度合いを示す補正量をαnとしたとき、前記補正対象画素を補正した補正画素の画素値pnをpn=αn(en+en+1)/4+(1−αn/2)onなる演算により生成した補正映像信号から、前記映像信号を復元する補正映像信号復元方法であって、画素位置毎に入力される前記補正量αnと、前記補正画素の画素値pnと、前記補正画素に隣接する前記隣接画素の画素値en及びen+1とに基づいて、前記補正画素を復元した復元画素の画素値qnをqn=−αn(en+en+1)/(2(2−αn))+2pn/(2−αn)により演算して、前記映像信号を復元することを特徴とする。
【0050】
この方法によれば、補正映像信号復元方法は、画素位置毎に入力される前記補正量をαn、補正画素の画素値をpn、補正画素に隣接する隣接画素の画素値をen及びen+1としたとき、復元画素の画素値qnを、2pn/(2−αn)から、αn(en+en+1)/(2(2−αn))を減算することで復元する。
【0051】
さらに、請求項9に記載の補正映像信号復元プログラムは、インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元するために、コンピュータを、以下の手段によって機能させる構成とした。
【0052】
すなわち、前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段、この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段、とした。
【0053】
かかる構成によれば、補正映像信号復元プログラムは、隣接画素演算手段によって、補正量と、隣接画素の画素値とに基づいて、補正画素の画素値を復元するための隣接画素補正量を演算し生成する。そして、補正映像信号復元プログラムは、対象画素復元手段によって、隣接画素演算手段で生成された隣接画素補正量と、補正量とに基づいて、補正画素の画素値を画素毎に復元する。
【0054】
例えば、映像信号における奇数フィールドのライン上の画素を補正画素としたとき、補正画素の画素値から、その補正画素と水平方向の位置が同一で、且つ表示位置において隣接する偶数フィールドにおける2つの隣接画素の画素値を、入力された補正量で定まる比率で減算することで、補正画素を復元した奇数フィールドの画素を生成する。
【0055】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
(第一の実施の形態:補正映像信号生成装置)
図1は、本発明における第一の実施の形態である補正映像信号生成装置1の構成を示すブロック図である。図1に示すように、補正映像信号生成装置1は、インタレース信号として入力される映像信号で、表示位置において垂直方向に隣接する偶数フィールド画素及び奇数フィールド画素と、外部から入力される補正の度合いを示す補正量とに基づいて、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を補正した補正映像信号を生成するものである。
【0056】
この補正映像信号生成装置1は、隣接画素演算手段11と、対象画素補正手段12と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド(第0フィールド)から始まっているものとする。フィールドの開始を第1フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【0057】
隣接画素演算手段11は、遅延部20(20a)と、加算部21(21a)と、乗算部23(23c)とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素(偶数フィールド画素)の画素値を加算し、対象画素補正手段12から出力される補正量αの1/4の値に基づいて、対象画素補正手段12で使用される隣接画素補正量を生成するものである。この隣接画素演算手段11で生成された隣接画素補正量は、対象画素補正手段12へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【0058】
対象画素補正手段12は、遅延部20(20b,20c)と、加算部21(21b)と、減算部22(22a)と、乗算部23(23b)と、除算部24(24a,24b)とを備え、入力された映像信号の奇数フィールド画素を、隣接画素演算手段11から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行った奇数フィールド補正画素を生成するものである。
【0059】
この隣接画素演算手段11及び対象画素補正手段12において、遅延部20は、入力された信号を一旦蓄積し、次の信号が入力された段階で、一旦蓄積した先に入力された信号を出力するものである。例えば、遅延部20aは、先に入力された偶数フィールド画素の画素値を一旦蓄積し、次の偶数フィールドの画素が入力された段階で、先に蓄積した画素値を出力する。
【0060】
また、加算部21は、入力された2つの信号を加算した新たな信号を生成するものである。例えば、加算部21aは、遅延部20aから出力される先に入力された偶数フィールド画素の画素値と、次に入力された偶数フィールド画素の画素値とを加算した画素値を出力する。
【0061】
さらに、減算部22は、入力された2つの信号の差分を新たな信号として生成するものである。例えば、減算部22aは、数値1から除算部24bの出力である補正量αを1/2倍した値(α/2)を減算した(1−α/2)の値を出力する。なお、この減算部22aは減算される数を1に固定したものである。
【0062】
また、乗算部23は、入力された2つの信号を乗算した新たな信号を生成するものである。例えば、乗算部23bは、遅延部20cから出力される奇数フィールド画素の画素値と、減算部22aから出力される(1−α/2)の値とを乗算した値を出力する。
【0063】
さらにまた、除算部24は、入力された2つの信号から、一方の信号を他方の信号で除算した信号を生成するものである。例えば、除算部24aは、遅延部20bから出力される補正量αを4で除算(1/4の乗算)した値を出力する。なお、この除算部24aは除数を4に固定したものである。
【0064】
[補正映像信号生成装置の動作]
次に、図1及び図6を参照して、補正映像信号生成装置1の動作について説明する。図6は、補正量を可変にした可変係数型のデ・インタレース化処理(図6(a))及びリ・インタフェース化処理(図6(b))の動作を模式的に示した模式図である。ここでは、図6(a)を参照して説明を行う。
【0065】
補正映像信号生成装置1は、偶数フィールドefのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドofのnラインめの画素(奇数フィールド画素)の画素値をon、奇数フィールドofの補正を行った画素(奇数フィールド補正画素)の画素値をpnとし、そのときの補正量をαnとすると、隣接画素演算手段11及び対象画素補正手段12によって、pnを下記の(4)式で算出した値として出力する。
【0066】
pn=αn(en+en+1)/4+(1−αn/2)on …(4)式
【0067】
例えば、奇数フィールドofの0ラインめの画素に対応する補間フレームhfにおける奇数フィールド補正画素の画素値p0は、偶数フィールドefの0ラインめの画素の画素値e0のα0/4倍と、偶数フィールドefの1ラインめの画素の画素値e1のα0/4倍と、奇数フィールドofの0ラインめの画素の画素値o0の(1−α0/2)倍とを加算した値となる。以下、奇数フィールドofの1ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて補正される。
【0068】
なお、(4)式において、(en+en+1)は、隣接画素演算手段11の加算部21aからの出力であり、αn(en+en+1)/4は、乗算部23aの出力である。また、(1−αn/2)onは、対象画素補正手段12の乗算部23bの出力であり、pnは、加算部21bから出力されることになる。
【0069】
また、図6(a)において、奇数フィールドofの最終ラインの画素には、隣接する偶数フィールドefの画素が1つしかないため、最終ラインの奇数フィールド補正画素を生成するには、偶数フィールドefの最終ラインの画素に掛かる係数を2倍にして算出することとする。
【0070】
すなわち、偶数フィールドefの最終ラインの画素値をem、奇数フィールドofの最終ラインの画素値をom、奇数フィールドofの補正を行った補間フレームhfの画素の画素値をpmとし、そのときの補正量をαmすると、pmは下記の(5)式で算出された値となる。
【0071】
pm=αmem/2+(1−αm/2)om …(5)式
【0072】
この場合、隣接画素演算手段11は、最終ラインを検出するカウンタ部(図示せず)によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段21aの2つの入力とすることで、偶数フィールド画素の画素値を2倍にして出力する。
【0073】
以上、説明したように補正映像信号生成装置1は、インタレース信号として入力される映像信号である奇数フィールド画素を、表示位置において垂直方向に隣接する偶数フィールド画素と、補正量とに基づいて補正を行った奇数フィールド補正画素を生成することができ、補正量を可変にしたデ・インターレス化処理を実現することができる。
【0074】
なお、補正映像信号生成装置1は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【0075】
(第二の実施の形態:補正映像信号生成装置)
次に、図2を参照して、本発明における第二の実施の形態である補正映像信号生成装置1Bについて説明する。図2は、補正映像信号生成装置1Bを含んだ補正映像信号符号化装置3の構成を示したブロック図である。図2に示すように補正映像信号生成装置1Bは、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を画素毎に可変な補正量(可変係数)により補正した補正映像信号を生成するものである。なお、図2では、補正映像信号生成装置1Bに、補正映像信号生成装置1Bで生成される補正映像信号を符号化する符号化手段2を付加した補正映像信号符号化装置3の構成例(第三の実施の形態)を示している。
【0076】
この補正映像信号生成装置1Bは、第一の実施の形態(図1)で説明した補正映像信号生成装置1に、櫛状歪検出手段10を付加して構成した。
櫛状歪検出手段10は、歪量検出部10aと、補正量変換部10bとを備え、映像信号の水平ライン上の櫛状歪を検出して、その歪を補正するための補正量(可変係数)を生成するものである。
【0077】
歪量検出部10aは、入力された映像信号から、映像信号の垂直方向のナイキスト周波数(垂直方向のサンプリング周波数の1/2の周波数)を最大利得としDC応答が0であるFIR(有限インパルスレスポンス)型高域フィルタによって櫛状歪を検出し、その櫛状歪の程度を表す量を補正量変換部10bへ出力するものである。
【0078】
例えば、FIR型高域フィルタをh(y)、映像信号のフレーム画像の画素位置(x,y)における画素値をI(x,y)と表し、I(x,y)に対してh(y)を施した結果のスカラ値をI(x,y)*h(y)(ただし「*」はI(x,y)とh(y)の畳み込み和を示す)、I(x,y)の自乗和の平方根を||I(x,y)||と表したとき、画素位置(x,y)における櫛状歪の程度を表す歪量β(x,y)を下記の(6)式で演算する。
【0079】
β(x,y)=|I(x,y)*h(y)|/||I(x,y)||…(6)式
【0080】
なお、このh(y)は、例えば垂直3タップフィルタ{−1/4,1/2,−1/4}を使用する。また、この櫛状歪を検出する技術は、本願出願人において「インターレース信号符号化方法及びその装置(特願2001−062593)」として開示されている技術を用いて実現することができる。
【0081】
補正量変換部10bは、歪量検出部10aから入力される歪量β(x,y)を、各画素を補正するための補正量に変換して、補正映像信号生成装置1へ出力するものである。また、符号化手段2で補正映像信号を符号化する際には、この補正量を符号化手段2へも出力するものとする。
【0082】
なお、この補正量変換部10bは、歪量β(x,y)を、0以上2未満の範囲の補正量αに変換する。例えば、補正量α(αn)=0とすると、(4)式においてpn=onとなり、デ・インターレス化処理において、補正映像信号は元の映像信号と同じものとなる。補正量α(αn)=1とすると、(4)式においてpn=(en+en+1)/4+on/2となり、中間的な補正を示すものになる。また、補正量α(αn)=2とすると、(4)式においてpn=(en+en+1)/2となり、奇数フィールド画素の情報が失われてしまう。このため、補正量αは0以上2未満の範囲とする。
【0083】
例えば、cを定数としたとき、cβ(x,y)が下記の(7)式を満たすように制限し、このcβ(x,y)を補正量αとする。
【0084】
0≦cβ(x,y)<2 …(7)式
【0085】
この定数cは、値が大きい程、補正量が大きくなるため、櫛状歪を低減する効果は大きいが、映像をぼかして動きの滑らかさをなくす方向に働くことになる。また、定数cの値が小さい程、補正量が小さくなり、櫛状歪を低減する効果を弱める方向に働くことになる。このため、定数cは、映像の性質(動きの多い映像、少ない映像等)や、映像の用途に応じて適宜設定する。
【0086】
また、例えば、予め閾値Tを設定しておいて、β(x,y)が閾値T未満の場合はα=0、閾値T以上の場合はα=1として2値化した値を補正量αとすることとしてもよい。この閾値Tも(7)式で説明した定数cと同様に、映像の性質(動きの多い映像、動きの少ない映像等)や、映像の用途に応じて適宜設定する。
【0087】
このように、補正映像信号生成装置1Bを、補正映像信号生成装置1に櫛状歪検出手段10を付加して構成することで、自動的に櫛状歪を検出してその歪量に基づいて、画素毎の補正量を設定することができるので、映像信号に動いている部分と静止している部分とが混在していても、映像毎に適した補正映像信号を生成することが可能になる。
【0088】
なお、補正映像信号生成装置1Bは、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号生成プログラムとして動作させることも可能である。
【0089】
(第三の実施の形態:補正映像信号符号化装置)
次に、本発明における第三の実施の形態である補正映像信号符号化装置3について説明する。図2に示すように補正映像信号符号化装置3は、インタレース信号として入力される映像信号から、映像オブジェクトの動き部分の周辺(エッジ部分)に発生する水平方向の櫛状成分(櫛状歪)を低減するように、映像信号の各画素を画素毎に可変な補正量(可変係数)により補正した補正映像信号を生成し、その補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【0090】
この補正映像信号符号化装置3は、第二の実施の形態で説明した補正映像信号生成装置1Bに、符号化手段2を付加して構成した。
符号化手段2は、映像信号符号化部2aと、補正量埋め込み部2bとを備え、補正映像信号生成装置1Bで生成される補正映像信号と、補正量とに基づいて、補正映像信号をエントロピ符号化する際に、画素毎の補正量を埋め込んだ補正量埋め込み符号化データを生成するものである。
【0091】
映像信号符号化部2aは、補正映像信号生成装置1Bで生成される補正映像信号を入力し、Motion−JPEG2000(以下、MJP2と略す)や、MPEG2等の一般的な符号化方式によってフレーム単位又はフィールド単位で符号化を行った符号化データを生成するものである。
【0092】
補正量埋め込み部2bは、補正映像信号生成装置1Bで生成される補正量を、映像信号符号化部2aで符号化した符号化データに埋め込んで、補正量埋め込み符号化データとして生成するものである。
【0093】
例えば、櫛状歪検出手段10の補正量変換部10bで補正量αを2値化した場合、MJP2符号化方式において、補正量を埋め込むためには、MJP2で規格化されているROI(Region Of Interest)符号化を用いて実現することができる。このROI符号化は、画像中の選択領域を他の領域よりも優先して符号化を行い、復号時の再生画質を高める機能である。このROI符号化で用いられるROI選択領域を、補正量α>0の適用領域として利用することで、補正量のビットマップを埋め込み、符号化することが可能になる。
【0094】
このように、補正映像信号符号化装置3を、補正映像信号生成装置1Bに符号化手段2を付加して構成することで、この補正映像信号符号化装置3で符号化された補正量埋め込み符号化データは、高ビットレートで復号を行う場合、この補正量を用いて元の映像信号を復元することが可能になる。
【0095】
なお、補正映像信号符号化装置3は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号符号化プログラムとして動作させることも可能である。
【0096】
(第四の実施の形態:補正映像信号復元装置の構成)
次に、図3を参照して、本発明における第四の実施の形態である補正映像信号復元装置について説明する。図3は補正映像信号復元装置の構成を示すブロック図である。図3に示すように、補正映像信号復元装置5は、補正映像信号生成装置1(図1参照)で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置1B(図2参照)で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するものである。
【0097】
この補正映像信号復元装置5は、隣接画素演算手段13と、対象画素復元手段14と、を備える構成とした。
なお、ここではフレームのフィールドが偶数フィールド(第0フィールド)から始まっているものとする。フィールドの開始を第1フィールドから数える場合は、偶数フィールド及び奇数フィールドを適宜読み替えるものとする。
【0098】
隣接画素演算手段13は、遅延部20(20d)と、加算部21(21c)と、乗算部23(23c)とを備え、入力された映像信号の偶数フィールドの中で垂直方向に隣接し水平方向の位置が同一の画素(偶数フィールド画素)の画素値を加算し、対象画素復元手段14から出力される補正量αの1/4の値に基づいて、対象画素復元手段14で使用される隣接画素補正量を生成するものである。この隣接画素演算手段13で生成された隣接画素補正量は、対象画素復元手段14へ出力される。また、先に入力された偶数フィールド画素はそのまま外部に出力される。
【0099】
対象画素復元手段14は、遅延部20(20e,20f)と、減算部22(22b,22c)と、除算部24(24c,24d)とを備え、入力された映像信号の奇数フィールド画素(奇数フィールド補正画素)を、隣接画素演算手段13から入力される隣接画素補正量と、外部から入力される補正量とに基づいて、補正を行う前の奇数フィールド画素を復元するものである。
【0100】
この隣接画素演算手段13及び対象画素復元手段14における遅延部20、加算部21、減算部22、乗算部23及び除算部24は、図1で説明したものと同一であるので個々の説明は省略する。
【0101】
[補正映像信号復元装置の動作]
次に、図3及び図6(b)を参照して、補正映像信号復元装置5の動作について説明する。図6(b)は、補正量を可変にした可変係数型のリ・インタフェース化処理の動作を模式的に示した模式図である。
【0102】
補正映像信号復元装置5は、偶数フィールドのnラインめの画素(偶数フィールド画素)の画素値をen、奇数フィールドのnラインめの画素(奇数フィールド補正画素)の画素値をpn、奇数フィールド補正画素の復元を行った画素(奇数フィールド画素)の画素値をqnとし、そのときの補正量をαnとすると、隣接画素演算手段13及び対象画素復元手段14によって、qnを下記の(8)式で算出した値として出力する。
【0103】
【0104】
例えば、奇数フィールドofの0ラインめの画素の画素値q0は、補間フレームhfの奇数フィールドの0ラインめの画素の画素値p0の2/(2−α0)倍から、補間フレームhfの偶数フィールドの0ラインめの画素の画素値e0のα0/(2(2−α0))倍と、補間フレームhfの偶数フィールドの1ラインめの画素の画素値e1のα0/(2(2−α0))倍とを加算した値を減算した値となる。以下、奇数フィールドofの1ラインめ以降の画素の画素値も同様に隣接する偶数フィールドの画素の画素値に基づいて算出される。
なお、補正映像信号復元装置5は、(8)式を変形した下記の(9)式に基づいて動作するように構成したものである。
【0105】
【0106】
この(9)式において、(en+en+1)は隣接画素演算手段13の加算部21cからの出力であり、αn(e0+en+1)/4は乗算部23cの出力であり、(−(αn(e0+en+1)/4)+pn)は対象画素復元手段14の減算部22cの出力である。そして、qnは除算部24eにおいて、減算部22cの出力を減算部22bの出力である(1−αn/2)で除算することで得られる。
【0107】
また、図6(b)における映像信号である補間フィールドhfの最終ラインの画素は、図6(a)における奇数フィールドofの最終ラインの画素と偶数フィールドefの最終ラインの画素との2画素から生成されている。そこで、図6(b)において復元される奇数フィールドofの最終ラインの画素は、補間フレームhfにおける最終ラインの1ライン前の画素に掛かる係数を2倍にして算出することとする。
【0108】
すなわち、図6(b)の補間フレームhfにおける最終ラインの画素の画素値をqm、その1ライン前の画素の画素値をemとし、そのときの補正量をαmとすると、最終ラインの奇数フィールド補正画素の復元を行った画素の画素値qmは、下記の(10)式で算出された値となる。
【0109】
qm=(−αmem/2+pm)/(1−αm/2) …(10)式
【0110】
この場合、隣接画素演算手段13は、最終ラインを検出するカウンタ部(図示せず)によって最終ラインを検出し、最終ラインを検出したときに、偶数フィールド画素の画素値を加算手段21cの2つの入力とすることで、偶数フィールド画素の画素値を2倍にして出力する。
【0111】
ここで、補正映像信号生成装置1(図1参照)で説明した(4)式で生成された奇数フィールド補正画素が、(8)式によって、画素毎に異なる補正量に関らず元の奇数フィールド画素に復元(完全再構成)されることを以下の数式で示す。
(8)式のpnに(4)式のpnを代入すると、(8)式は下記の(11)式のように変形することができる。
【0112】
【0113】
この(11)式に示すように、(4)式で生成された奇数フィールド補正画素の画素値qnは(8)式によって、元の奇数フィールド画素の画素値onに復元される。
【0114】
以上、説明したように補正映像信号復元装置5は、補正映像信号生成装置1(図1参照)で生成された補正映像信号及びそこで使用された補正量、又は補正映像信号生成装置1B(図2参照)で生成された補正映像信号及び補正量に基づいて、補正を行う前の映像信号を復元するリ・インターレス化処理を実現することができる。
【0115】
なお、補正映像信号復元装置5は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復元プログラムとして動作させることも可能である。
【0116】
(第五の実施の形態:補正映像信号復号装置)
次に、図4を参照して、本発明における第五の実施の形態である補正映像信号復号装置6について説明する。図4は、補正映像信号復号装置6の構成を示したブロック図である。図4に示すように補正映像信号復号装置6は、補正映像信号符号化装置3(図2参照)で符号化された補正量埋め込み符号化データを映像信号に復号するものである。
この補正映像信号復号装置6は、第四の実施の形態で説明した補正映像信号復元装置5(図3参照)に、復号手段4を付加して構成した。
【0117】
復号手段4は、補正量抽出部4aと、符号化データ復号部4bとを備え、補正映像信号符号化装置3で符号化された補正量埋め込み符号化データから、補正量を抽出するとともに、デ・インタレース化処理によって補正された補正映像信号を復号するものである。
【0118】
補正量抽出部4aは、入力された補正量埋め込み符号化データから画素毎の補正量を抽出するものである。例えば、補正量埋め込み符号化データがMJP2符号化方式で符号化され、その符号化されたデータの中にROI選択領域として、補正量のビットマップが埋め込まれている場合は、その補正量を優先して復号し抽出を行う。この補正量は、補正映像信号復元装置5に出力される。
【0119】
符号化データ復号部4bは、入力された補正量埋め込み符号化データを、補正映像信号符号化装置3で用いた符号化方式の復号手順に基づいて補正映像信号に復号するもである。例えば、補正量埋め込み符号化データが、MJP2で符号化されたデータである場合は、符号化データ復号部4bはMJP2の復号を行うものとする。MJP2の復号については、すでに一般的な技術であるのでここでは説明を省略する。ここで復号された補正映像信号は、補正映像信号復元装置5に出力される。
【0120】
このように、補正映像信号復号装置6を、補正映像信号復元装置5に、復号手段4を付加して構成することで、補正量埋め込み符号化データから補正を行う前の映像信号を復元することが可能になる。
【0121】
以上説明したように、本発明に係る補正映像信号符号化装置3と、補正映像信号復号装置6とを用いて、符号化された映像信号を低ビットレートで復号する場合は、映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)を低減し、高ビットレートで復号を行う場合は、元の映像信号を復元することが可能な映像信号伝送システムを構成することが可能になる。
【0122】
なお、補正映像信号復号装置6は、コンピュータにおいて、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して補正映像信号復号プログラムとして動作させることも可能である。
【0123】
[映像信号伝送システム]
ここで、図5を参照して、補正映像信号符号化装置3と、補正映像信号復号装置6とを用いて実現した映像信号伝送システム7の構成例について説明する。図5に示すように、映像信号を符号化する側(符号化側)の装置を、補正映像信号生成装置1Bと、符号化手段2とを備えた補正映像信号符号化装置3とする。また、符号化された映像信号(補正量埋め込み符号化データ)を復号する側(復号側)の装置は、携帯端末のような低ビットレートで復号を行う低ビットレート復号部DLを備えた装置、あるいは、高ビットレートで復号を行う復号手段4と、補正映像信号復元装置5とを備えた補正映像信号復号装置6とする。
【0124】
この映像信号伝送システム7は、補正映像信号符号化装置3によってデ・インタレース化処理を行い補正量を付加した補正量埋め込み符号化データを、図示していない送信装置から通信回線を介して送信したり、図示していない書き込み装置を用いてDVD等の記録メディアに記録する。
【0125】
そして、復号側では、例えば低ビットレートでしか復号できない携帯端末では、低ビットレート復号部DLにおいて、補正量埋め込み符号化データを通常の復号(補正量は無視する)を行うことで、低品質ではあるが映像オブジェクトのエッジ部分に目障りなちらつき(櫛状歪)を低減した映像信号(低品質映像信号)を復号することができる。
【0126】
また、高ビットレートで復号を行う装置として、補正映像信号復号装置6を用いることで、補正量埋め込み符号化データは、復号手段4によって、補正映像信号と補正量とに復号され、補正映像信号復元装置5によって、元の映像信号である高品質な映像信号に復元される。
【0127】
このように、映像信号伝送システム7では、低ビットレートで映像信号の復号を行う装置に負荷を与えずに櫛状歪を低減することができ、さらに高ビットレートで映像信号の復号を行う装置では、映像信号の完全再構成が可能になる。
【0128】
【発明の効果】
以上説明したとおり、本発明に係る補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置では、以下に示す優れた効果を奏する。
【0129】
請求項1又は請求項5に記載の発明によれば、補正量を画素毎に可変にすることができ、インタレース信号として入力される映像信号から、静止画部分では補正量を少なくすることで、解像度を保持しつつ、動き部分では補正量を多くすることで、水平方向の櫛状部分(櫛状歪)を抑制した映像信号を生成することが可能になる。
【0130】
請求項2に記載の発明によれば、映像信号から自動的に水平方向の櫛状歪量を検出することが可能になり、その検出量(櫛状歪量)に基づいて、自動的に補正量を変化させることで、静止画部分では補正量を少なくし解像度を保持することができ、動き部分では補正量を多くし水平方向の櫛状部分(櫛状歪)を抑制することが可能になる。
【0131】
請求項3に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行った画素毎の補正量を、符号化データに埋め込んだ補正量埋め込み符号化データを生成するので、復号側でその補正量を抽出することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0132】
請求項4に記載の発明によれば、完全再構成が可能なデ・インタレース化処理を行うため、高ビットレートで復号を行う装置では、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0133】
請求項6、請求項8又は請求項9に記載の発明によれば、隣接画素によって補正された補正画素を、補正量によって元の画素に復元することができる。これによって、完全再構成が可能なデ・インタレース化処理を行った補正画素と、補正量を入力することで、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【0134】
請求項7に記載の発明によれば、デ・インタレース化処理を行った補正映像信号を符号化する際に補正量を埋め込んだ補正量埋め込み符号化データから、補正量を検出することができるので、リ・インタレース化処理によって、画質を保持して映像信号を再生することが可能になる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態に係る補正映像信号生成装置の構成を示すブロック図である。
【図2】本発明の第二の実施の形態に係る補正映像信号生成装置を含んだ第三の実施の形態に係る補正映像信号符号化装置の構成を示すブロック図である。
【図3】本発明の第四の実施の形態に係る補正映像信号復元装置の構成を示すブロック図である。
【図4】本発明の第五の実施の形態に係る補正映像信号復号装置の構成を示すブロック図である。
【図5】本発明の補正映像信号符号化装置と補正映像信号復号装置とで構成した映像信号伝送システムの構成を示すブロック図である。
【図6】本発明の可変係数型デ・インタレース化処理及び可変係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図7】従来の映像信号伝送システムの構成を示すブロック図である。
【図8】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理の動作を模式的に示した模式図である。
【図9】従来の固定係数型デ・インタレース化処理及び固定係数型リ・インタフェース化処理による映像信号伝送システムの構成を示すブロック図である。
【符号の説明】
1、1B……補正映像信号生成装置
2……符号化手段
3……補正映像信号符号化装置
4……復号手段
5……補正映像信号復元装置
6……補正映像信号復号装置
10……櫛状歪検出手段
11……隣接画素演算手段
12……対象画素補正手段
13……隣接画素演算手段
14……対象画素復元手段
Claims (9)
- インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成装置であって、
補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、
を備えたことを特徴とする補正映像信号生成装置。 - 前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、前記補正量を生成する櫛状歪検出手段、
を備えたことを特徴とする請求項1に記載の補正映像信号生成装置。 - インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成し、符号化を行う補正映像信号符号化装置であって、
前記映像信号における映像オブジェクトのエッジ部分に発生する水平ライン上の櫛状歪を検出して、補正の対象となる補正対象画素の補正の度合いを示す補正量を生成する櫛状歪検出手段と、
この櫛状歪検出手段で生成した前記補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段と、
この対象画素補正手段で補正された補正画素と、前記隣接画素とを含む前記補正映像信号を、前記補正画素と前記補正量とを対応付けて符号化を行う符号化手段と、
を備えたことを特徴とする補正映像信号符号化装置。 - インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成する補正映像信号生成方法であって、
前記画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素を補正した補正画素の画素値をpnとしたとき、画素位置毎に可変な補正量αnによって、pn=αn(en+en+1)/4+(1−αn/2)onなる演算により、前記画素毎の補正を行った前記補正映像信号を生成することを特徴とする補正映像信号生成方法。 - インタレース信号として入力される映像信号から、その映像信号のフィールド間の歪を画素毎に補正した補正映像信号を生成するために、コンピュータを、
補正の対象となる補正対象画素の補正の度合いを示す補正量と、前記補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値とに基づいて、前記補正対象画素の画素値を補正するための隣接画素補正量を演算し生成する隣接画素演算手段、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正対象画素の画素値を画素毎に補正する対象画素補正手段、
として機能させることを特徴とする補正映像信号生成プログラム。 - インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元する補正映像信号復元装置であって、
前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、
を備えたことを特徴とする補正映像信号復元装置。 - インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素を含んだ補正映像信号を、前記補正量を前記補正画素に対応付けて符号化した補正量埋め込み符号化データを復号する補正映像信号復号装置であって、
前記補正量埋め込み符号化データから、前記補正量を抽出して前記補正映像信号を復号する復号手段と、
この復号手段で抽出した前記補正量と、前記補正映像信号における隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段と、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段と、
を備えたことを特徴とする補正映像信号復号装置。 - インタレース信号として入力される映像信号において、画素毎の補正の対象となる補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素の画素値をen及びen+1とし、前記補正対象画素の画素値をonとし、前記補正対象画素の画素位置毎に、その補正の度合いを示す補正量をαnとしたとき、前記補正対象画素を補正した補正画素の画素値pnをpn=αn(en+en+1)/4+(1−αn/2)onなる演算により生成した補正映像信号から、前記映像信号を復元する補正映像信号復元方法であって、
画素位置毎に入力される前記補正量αnと、前記補正画素の画素値pnと、前記補正画素に隣接する前記隣接画素の画素値en及びen+1とに基づいて、前記補正画素を復元した復元画素の画素値qnをqn=−αn(en+en+1)/(2(2−αn))+2pn/(2−αn)により演算して、前記映像信号を復元することを特徴とする補正映像信号復元方法。 - インタレース信号として入力される映像信号において、その映像信号のフィールド間の歪を画素毎に補正する補正対象画素を含むフィールドの前又は後のフィールドにおける前記補正対象画素と水平方向の位置が同一で、且つ表示位置において前記補正対象画素と垂直方向に隣接する隣接画素と、前記補正対象画素における画素位置毎の補正の度合いを示す補正量とに基づいて、前記補正対象画素を補正した補正画素から、前記映像信号を復元するために、コンピュータを、
前記補正量と、前記隣接画素の画素値とに基づいて、前記補正画素の画素値を復元するための隣接画素補正量を演算し生成する隣接画素演算手段、
この隣接画素演算手段で生成された前記隣接画素補正量と、前記補正量とに基づいて、前記補正画素の画素値を画素毎に復元する対象画素復元手段、
として機能させることを特徴とする補正映像信号復元プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186534A JP2004032413A (ja) | 2002-06-26 | 2002-06-26 | 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186534A JP2004032413A (ja) | 2002-06-26 | 2002-06-26 | 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004032413A true JP2004032413A (ja) | 2004-01-29 |
Family
ID=31181857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002186534A Pending JP2004032413A (ja) | 2002-06-26 | 2002-06-26 | 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004032413A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010103593A1 (ja) * | 2009-03-13 | 2010-09-16 | シャープ株式会社 | 画像表示方法及び画像表示装置 |
JP2011120168A (ja) * | 2009-12-07 | 2011-06-16 | Kyocera Corp | 通信装置 |
-
2002
- 2002-06-26 JP JP2002186534A patent/JP2004032413A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010103593A1 (ja) * | 2009-03-13 | 2010-09-16 | シャープ株式会社 | 画像表示方法及び画像表示装置 |
JP2011120168A (ja) * | 2009-12-07 | 2011-06-16 | Kyocera Corp | 通信装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4266389B2 (ja) | フィルムでないソースの高品質の再生のための動き信号を用いる汎用ビデオディスク記録および再生 | |
JP4263516B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法、コンピュータソフトウェア及び記憶媒体 | |
JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
JPH1118059A (ja) | プログレッシブビデオ信号をインタレースビデオ信号に変換するコンバータおよびその方法 | |
EP0933942B1 (en) | Progressive image signal transmitter, progressive image signal receiver and, medium | |
JP2007306152A (ja) | 画像復号化装置及び画像復号化方法 | |
US20080095239A1 (en) | Method for video frame rate conversion | |
WO1998058497A1 (en) | Image processing device and method, and transmission medium, transmission method and image format | |
JPH03276988A (ja) | フィールド間予測符号化装置及び復号化装置 | |
JP3540447B2 (ja) | 動画像符号化装置及び復号装置 | |
US7724825B2 (en) | Video data processing method by calculating a DCT of the concatenated data set | |
JP2007531450A (ja) | デジタルビデオ信号処理方法、デジタルビデオ信号処理システム | |
JP3111028B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP2004032413A (ja) | 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 | |
JP4909592B2 (ja) | 動画像再生方法及び装置並びにプログラム | |
KR100228684B1 (ko) | 움직임 추정에 기초한 시간예측 오류 은폐방법 및 장치 | |
JP2011129979A (ja) | 画像処理装置 | |
GB2341032A (en) | Motion-dependent scanning frequency conversion | |
JP3946177B2 (ja) | 動画像符号化装置及び復号装置 | |
CN1235409C (zh) | 压缩编码视频的解压缩 | |
US6366324B1 (en) | Transmitting sequentially scanned images through a channel intended for interlaced images | |
JP4356468B2 (ja) | 映像信号処理装置 | |
JP4102620B2 (ja) | 映像方式変換装置 | |
US7593063B1 (en) | Method of detecting a format type of an incoming video signal and source format detector thereof | |
JPH10271363A (ja) | 映像信号処理装置およびそれを用いた符号化映像信号復号装置およびディジタル放送受信・復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061220 |