JP2009088792A - 映像信号変換方法及び映像信号変換装置 - Google Patents

Abstract

【課題】視聴者の垂直解像度不足感やＳ／Ｎの悪化感を防止して良好な画像表示を可能にする映像信号変換方法及び映像信号変換装置を提供する。
【解決手段】飛越走査の入力映像信号から補間映像信号を生成し、入力映像信号及び補間映像信号を相互に間挿することにより、飛越走査の映像信号を順次走査の映像信号に変換し、フィールド内補間処理による第１の補間処理映像信号とフィールド間補間処理による第２の補間処理映像信号とを混合して、入力映像信号の各走査線間に内挿すべき補間走査線に対応した補間映像信号を生成し、その混合比を飛越走査の映像信号の画像の動き情報と、順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報と、に応じて設定する。
【選択図】図１

Description

本発明は、飛越し走査された映像信号を順次走査の映像信号に変換する際の補間走査線部分の映像信号を生成する映像信号変換方法及び映像信号変換装置に関する。

飛越し走査された映像信号を順次走査の映像信号に変換する際、飛越し走査された映像信号のフィールドは、飛越し走査によって走査線が１本おきに間引かれているので、この間引かれた走査線に対応した映像信号を補間によって追加する必要がある。このような補間を行う場合、静止画像に対してはフィールド間補間処理により、例えば時間的に隣接するフィールドの対応する走査線の画素又はその平均値でその間引かれた走査線の値を補間し、動画像に対してはフィールド内補間処理により、例えば同一フィールド内で上下に隣接する走査線の画素の平均値でその間引かれた走査線の値を補間する方法が知られている。

また、順次のフィールド間での画像の動き情報を求め、この動き情報に応じた混合比で上述のフィールド内補間処理により得られた第１の補間処理映像信号とフィールド間補間処理により得られた第２の補間処理映像信号を加算して間引かれた走査線についての補間映像信号を得る方法についても数多くの提案がなされている（例えば、特許文献１参照）。
特許第３８２００２６号公報

しかしながら、従来のように、動き情報のみに応じた混合比でフィールド内補間処理により得られた第１の補間処理映像信号とフィールド間補間処理により得られた第２の補間処理映像信号を加算して間引かれた走査線についての補間映像信号を用いて順次走査の映像信号を生成しても、その順次走査の映像信号による表示映像は第１の補間処理映像信号成分が多いと視聴者に視覚的に垂直解像度不足を与えることになり、一方、第２の補間処理映像信号成分が多いと画像に櫛歯状の妨害が発生してＳ／Ｎの悪化を感じさせることになるという欠点があった。

本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、視聴者の垂直解像度不足感やＳ／Ｎの悪化感を防止して良好な画像表示を可能にする映像信号変換方法及び映像信号変換装置を提供することが本発明の目的である。

請求項１に係る発明の映像信号変換方法は、飛越走査の入力映像信号から補間映像信号を生成し、前記入力映像信号及び前記補間映像信号を相互に間挿することにより、前記飛越走査の映像信号を順次走査の映像信号に変換し、その変換の際にフィールド内補間処理による第１の補間処理映像信号とフィールド間補間処理による第２の補間処理映像信号を各々生成し、前記入力映像信号の各走査線間に内挿すべき補間走査線に対応した前記補間映像信号を、前記第１及び第２の補間処理映像信号を混合して生成する映像信号変換方法であって、前記第１及び第２の補間処理映像信号の混合比は前記飛越走査の映像信号の画像の動き情報と、前記順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報と、に応じて設定されることを特徴としている。

請求項５に係る発明の映像信号変換装置は、飛越走査の入力映像信号を順次走査の映像信号に変換する映像信号変換装置であって、前記入力映像信号に対してフィールド内補間処理を施して第１の補間処理映像信号を生成するフィールド内補間処理手段と、前記入力映像信号に対してフィールド間補間処理を施して第２の補間処理映像信号を生成するフィールド間補間処理手段と、前記第１の補間処理映像信号と前記第２の補間処理映像信号とを混合して補間映像信号を生成する混合手段と、前記入力映像信号及び前記補間映像信号を相互に間挿することにより前記順次走査の映像信号を生成する手段と、を備え、前記混合手段は、前記入力映像信号の各走査線間に内挿すべき補間走査線に対応した前記補間映像信号を、前記第１及び第２の補間処理映像信号を混合して生成する手段と、前記第１及び第２の補間処理映像信号の混合比を前記飛越走査の映像信号の画像の動き情報、及び前記順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報に応じて設定する手段と、を有することを特徴としている。

請求項１に係る発明の映像信号変換方法及び請求項５に係る発明の映像信号変換装置においては、フィールド内補間処理による第１の補間処理映像信号とフィールド間補間処理による第２の補間処理映像信号とを混合して、入力映像信号の各走査線間に内挿すべき補間走査線に対応した補間映像信号を生成し、その混合比は飛越走査の映像信号の画像の動き情報と、順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報と、に応じて設定されるので、視聴距離が小となる程、フィールド間補間処理による第２の補間処理映像信号の混合割合を大となるように設定し、視聴距離が大となる程、フィールド内補間処理による第１の補間処理映像信号の混合割合を大となるように設定することができる。よって、視聴距離が小の場合には、フィールド間補間処理による第２の補間処理映像信号の混合割合を高めることより人間の視覚感度特性から精細感に対する感度が高いことに対処することができ、解像度悪化を防いだ画像を表示することができる。視聴距離が大の場合には、フィールド内補間処理による第１の補間処理映像信号の混合割合を高めることより人間の視感度特性から精細感に対する感度が低いことに対処することができ、Ｓ／Ｎの良い画像を表示することができる。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は、本発明の映像信号変換方法が適用された映像信号変換装置を示している。この映像信号変換装置は、飛越し走査された映像信号を順次走査の映像信号に変換する装置であり、１フィールド遅延回路１、フィールド内補間処理回路２、フィールド間補間処理回路３、動き検出回路４、混合回路５、時間軸変換回路６、及び視聴距離−係数変換回路７を備えている。

１フィールド遅延回路１、フィールド間補間処理回路３、及び動き検出回路４には、映像信号が入力される。入力映像信号は、標準テレビジョン信号である飛越し走査（インタレース）された映像信号のＮＴＳＣテレビジョン信号、又はコンピュータディスプレイ等で用いられる順次走査（ノンインタレース）の映像信号である。例えば、ＮＴＳＣテレビジョン信号は、一般的に用いられている走査線数５２５本、フィールド周波数６０Ｈｚ、インタレース比２：１の信号であり、コンピュータディスプレイ等で用いられる映像信号は、例えばＶＧＡ等の表示ドット数６４０×４８０（１６７７０色）の順次走査（ノンインタレース）信号である。

１フィールド遅延回路１は、入力映像信号を１フィールド期間だけ遅延させる。１フィールド遅延回路１の出力はフィールド内補間処理回路２及び時間軸変換回路６に接続されている。

フィールド内補間処理回路２は、１フィールド遅延回路１によって遅延された映像信号に対してフィールド内補間処理を施して第１の補間処理映像信号を生成する。

フィールド内補間処理回路２は、具体的には図２に示すように、第１及び第２の微分値検出回路１０，１６、１Ｈ遅延回路１５、単位遅延回路２１，２２、混合比設定回路２３及び混合回路２４を備えている。第１の微分値検出回路１０は単位遅延回路１１，１２、減算回路１３及び絶対値回路１４からなり、入力の１フィールド遅延映像信号とその２単位遅延信号の差分信号（微分値）の絶対値を第１の微分値として混合比設定回路２３に供給する。第２の微分値検出回路１６は単位遅延回路１７，１８、減算回路１９及び絶対値回路２０からなり、１Ｈ遅延回路１５によって１Ｈ（１水平走査期間）だけ遅延された１フィールド遅延映像信号とその２単位遅延信号の差分信号（微分値）の絶対値を第２の微分値として混合比設定回路２３に供給する。単位遅延回路１１，１２，１７，１８，２１，２２各々による単位遅延時間は例えば、１画素分に相当する時間であるが１Ｈに相当する時間でも良い。

ここで、単位遅延回路１１，１２各々を１画素分の遅延を与える回路とした場合には、第１の微分値検出回路１０は、１フィールド遅延された映像信号の走査線のうちの第１の画素（単位遅延回路２２から出力される画素）と同一走査線上でその第１の画素の左右に隣接する２つの画素（第３の画素及び第４の画素）の値の差分信号の絶対値を第１の画素の第１の微分値（水平微分値）として出力する。同様に、単位遅延回路１７，１８各々を１画素分の遅延を与える回路とした場合には、第２の微分値検出回路１６は、上記の第１の画素の上側に隣接する走査線上の第２の画素（単位遅延回路２１から出力される画素）と同一走査線上でその第２の画素の左右に隣接する２つの画素（第５の画素及び第６の画素）の値の差分信号の絶対値を第２の画素の第２の微分値（水平微分値）として出力する。

混合比設定回路２３は、入力される第１の画素の第１の微分値及び第２の画素の第２の微分値に従って上下に隣接する第１及び第２の画素の各々の値の混合比率を算出する。例えば、第１の微分値検出回路１０の出力である第１の微分値の方が、第２の微分値検出回路１６の出力である第２の微分値よりも大きい場合には、第２の画素の混合比率Ｋ２を０．５＜Ｋ２≦１の範囲に設定し、逆に第２の微分値の方が、第１の微分値よりも大きい場合には、第２の画素の混合比率Ｋ２ を０≦Ｋ２＜０．５の範囲に設定する。また、第１及び第２の微分値が略等しい場合、第２の画素の混合比率Ｋ２を０．５程度に設定する。

このように、混合比設定回路２３は、微分値の絶対値の小さい方の混合割合が大きくなるように、換言すれば微分値の絶対値の大きい方の混合割合が小さくなるように、第１の画素の混合比率（１−Ｋ２）、第２の画素の混合比率Ｋ２を設定する。

１Ｈ遅延回路１５の出力（第５の画素の値）は、位相合わせ用の単位遅延回路２１を介して（第２の画素の値）、また、入力信号（第３の画素の値）は位相合わせ用の単位遅延回路２２を介して（第１の画素の値）混合回路２４に各々供給される。

混合回路２４では混合比設定回路２３の出力に応じて単位遅延回路２１から供給される信号（第２の画素の値）にＫ２を、単位遅延回路２２から供給される信号（第１の画素の値）に（１−Ｋ２）を各々乗じた後、加算した信号を第１の補間処理映像信号として出力する。すなわち、１フィールド遅延された映像信号の１走査線に対応した映像信号（第１の画素の値）とその１Ｈ前の映像信号（第２の画素の値）とは、微分値の絶対値の小さい方の混合割合が大きくなるように、換言すれば微分値の絶対値の大きい方の混合割合が小さくなるように、重み付け加算されて第１の補間処理映像信号となる。

フィールド間補間処理回路３は、入力映像信号に対してフィールド間補間処理を施して第２の補間処理映像信号を生成する。

フィールド間補間処理回路３は、具体的には図３に示すように、第３及び第４の微分値検出回路３０，３６、１フレーム遅延回路３５、単位遅延回路４１，４２、混合比設定回路４３及び混合回路４４を備えている。第３の微分値検出回路３０は単位遅延回路３１，３２、減算回路３３及び絶対値回路３４からなり、入力映像信号とその２単位遅延信号の差分信号（微分値）の絶対値を第３の微分値として混合比設定回路４３に供給する。第４の微分値検出回路３６は単位遅延回路３７，３８、減算回路３９及び絶対値回路４０からなり、１フレーム遅延回路３５によって１フレーム期間（２フィールド期間）だけ遅延された入力映像信号とその２単位遅延信号の差分信号（微分値）の絶対値を第３の微分値として混合比設定回路２３に供給する。単位遅延回路３１，３２，３７，３８，４１，４２各々による単位遅延時間は例えば、１画素分に相当する時間であるが１Ｈに相当する時間でも良い。

ここで、単位遅延回路３１，３２各々を１画素分の遅延を与える回路とした場合には、第３の微分値検出回路３０は、入力映像信号のフィールドの走査線のうちの第７の画素（単位遅延回路４２から出力される画素）と同一走査線上で左右に隣接する２つの画素（第９の画素及び第１０の画素）の値の差分信号の絶対値を第７の画素の第３の微分値（水平微分値）として出力する。同様に、単位遅延回路３７，３８各々を１画素分の遅延を与える回路とした場合には、第４の微分値検出回路３６は、入力映像信号のフィールドに対して２フィールド前のフィールドの走査線と対応する１フレーム前の走査線上の第８の画素（単位遅延回路４１から出力される画素）と同一走査線上で左右に隣接する２つの画素（第１１の画素及び第１２の画素）の値の差分信号の絶対値を第８の画素の第４の微分値（水平微分値）として出力する。

混合比設定回路４３は、入力される第７の画素の第３の微分値及び第８の画素の第４の微分値に従って時間的に隣接するフィールドの対応する各走査線において隣接する第７及び第８の画素の各々の値の混合比率を算出する。例えば、第３の微分値検出回路３０の出力である第３の微分値の方が、第４の微分値検出回路３６の出力である第４の微分値よりも大きい場合、第８の画素の混合比率Ｋ３を０．５＜Ｋ３≦１の範囲に設定し、逆に第４の微分値の方が、第３の微分値よりも大きい場合、第８の画素の混合比率Ｋ３を０≦Ｋ３＜０．５の範囲に設定する。また、第３及び第４の微分値が略等しい場合、第８の画素の混合比率Ｋ３を０．５程度に設定する。

すなわち、混合比設定回路４３は、微分値の小さい方の混合割合が大きくなるように、換言すれば微分値の大きい方の混合割合が小さくなるように、第７の画素の混合比率（１−Ｋ３）、第８の画素の混合比率Ｋ３を設定する。

１フレーム遅延回路３５の出力（第１１の画素の値）は、位相合わせ用の単位遅延回路４１を介して（第８の画素の値）、また、入力信号（第９の画素の値）は位相合わせ用の単位遅延回路４２を介して（第７の画素の値）混合回路４４に各々供給される。

混合回路４４では混合比設定回路４３の出力に応じて単位遅延回路４１から供給される信号（第８の画素の値）にＫ３を、単位遅延回路４２から供給される信号（第７の画素の値）に（１−Ｋ３）を各々乗じた後、加算した信号を第２の補間処理映像信号として出力する。

このように、フィールド内補間処理回路２によって生成された第１の補間処理映像信号及びフィールド間補間処理回路３によって生成された第２の補間処理映像信号は、混合回路５に供給される。なお、フィールド内補間処理回路２及びフィールド間補間処理回路３については上記の特許文献１に示されている。

動き検出回路４は、入力映像信号のフィールド間の動き量Ｍｑを検出し、その動き量Ｍｑに対応した出力信号（係数Ｋ１）を混合回路５の制御入力として供給する。この動き量Ｍｑの算出は例えば、前後フィールドの入力画素データの差分値を演算する。この差分値が動き量Ｍｑとなる。動き量Ｍｑと係数Ｋ１との関係は図４に示すように、動き量Ｍｑが大となる程、係数Ｋ１が大きくなるように設定されている。すなわち、動き量Ｍｑが大となる程、２次元変換処理（フィールド内補間処理）による混合割合が３次元変換処理（フィールド間補間処理）のそれよりも大となるように係数Ｋ１が設定されている。また、視聴距離−係数変換回路７から入力されるα値に応じて、図４の傾きαが補正される。これにより、同じ動き量Ｍｑであっても、αが大となる程、係数Ｋ１が大きくなる。すなわち、同じ動き量Ｍｑであっても、αが大となる程、２次元変換処理による混合割合が大となるように係数Ｋ１が設定されている。動画像の場合、動き量Ｍｑに応じてＫ１は、０＜Ｋ１≦１の値をとる。静止画像の場合、フィールド相関が最大となるのでＫ１＝０とされる。

混合回路５は、第１の補間処理映像信号に係数Ｋ1 を乗じ、第２の補間処理映像信号に係数（１−Ｋ１）を乗じて混合して補間映像信号として出力する。例えば静止画像の場合、上記のようにＫ１＝０であり、第２の補間処理映像信号が補間映像信号として出力される。

時間軸変換回路６は、１フィールド遅延回路１で１フィールド遅延された映像信号と混合回路５からの補間映像信号を相互に間挿し、飛越し走査の映像信号を順次走査の映像信号に変換して出力する。すなわち、１フィールド遅延された映像信号の走査線間に補間映像信号による補間走査線を挿入形成するように１フィールド遅延された映像信号と補間映像信号とを組み合わせて順次走査の映像信号を生成することが行われる。

視聴距離−係数変換回路７には、視聴距離Ｌｅが視聴距離測定部８から入力される。この視聴距離Ｌｅは、視聴距離測定部８において例えば、視聴者が操作するリモコン（図示せず）から発せられる信号をこの映像信号変換装置を備えた表示装置が受信することにより測定される。ただし、視聴距離Ｌｅの測定方法についてはこれに限定されることはなく、他の測定方法を用いても良い。視聴距離−係数変換回路７は視聴距離Ｌｅとαとの関係を図５に示すように、視聴距離Ｌｅが大きくなる程、αが大きくなるように設定する。

すなわち、動き検出回路４と視聴距離−係数変換回路７の処理にて、同じ動き量Ｍｑであっても、視聴距離Ｌｅが大となる程、２次元変換処理による第１の補間処理映像信号の混合割合が大となるように処理されるのである。

かかる映像信号変換装置においては、２次元変換処理であるフィールド内補間処理された補間画像の場合には、１フィールド内の垂直相関のみで処理されるため垂直方向の解像度が不足した視覚感を与える。一方、３次元変換処理であるフィールド間補間処理された補間画像の場合、この垂直方向の解像度の不足は目立たなくなるが、動画像を表示する場合において、画像に櫛歯状の妨害が発生しＳ／Ｎが悪化する視覚感がある。

本発明による映像信号変換方法によれば、視聴距離Ｌｅが小となる程、３次元変換処理による第２の補間処理映像信号の混合割合が大となるように処理される一方、視聴距離Ｌｅが大となる程、２次元変換処理による第１の補間処理映像信号の混合割合が大となるように処理される。

視聴距離Ｌｅが小の場合には、人間の視覚感度特性から精細感に対する感度が高い特性がある。よって、精細感を向上されるため、３次元変換処理による第２の補間処理映像信号の混合割合を高めることにより、解像度悪化を防いだ画像を表示することができる。一方、視聴距離Ｌｅが大の場合には、人間の視感度特性から精細感に対する感度が低い特性がある。よって、精細感よりも視覚的にＳ／Ｎが向上される為、２次元変換処理による第１の補間処理映像信号の混合割合を高めることにより、Ｓ／Ｎの良い画像を表示することができる。

上記した実施例において、動き検出回路４は図４に示す如き動き量Ｍｑ−係数Ｋ１特性で係数Ｋ１を設定し、視聴距離−係数変換回路７は図５に示す如き視聴距離Ｌｅ−α値特性でα値を設定しているが、動き検出回路４は図６に示す如き動き量Ｍｑ−係数Ｋ１特性で係数Ｋ１を設定し、視聴距離−係数変換回路７は図７に示す如き視聴距離Ｌｅ−β値特性でβ値を設定しても良い。

このように図６及び図７の特性を用いる場合には、動き検出回路４では、動き量Ｍｑがβ以上ではＫ１＝１として処理され、動き量Ｍｑ未満ではＫ１＝０として処理されるようになっている。すなわち、動き量Ｍｑ≧βの場合には２次元変換処理（フィールド内補間処理）による補間データのみを用い、動き量Ｍｑ＜βの場合には３次元変換処理（フィールド間補間処理）による第２の補間処理映像信号のみを用いる処理が行われる。視聴距離−係数変換回路７では、視聴距離Ｌｅが大となる程、βの値が小となるように設定される。よって、動き検出回路４と視聴距離−係数変換回路７の処理によって、視聴距離Ｌｅが大ほど２次元変換処理で行われる範囲が多くなる。よって、この実施例においても図４及び図５の特性を用いた場合と同様の作用効果を得ることができる。

また、この図６及び図７の特性を用いた実施例においては、動画・静止画判定の処理とすることができる。その場合、視聴距離Ｌｅが大きくなる程、動画像と判定される範囲が大きくなるように閾値βをシフト補正し、動き量Ｍｑと閾値βを比較した上で、Ｍｑ≧βの場合には動画と判断して２次元変換処理による第１の補間処理映像信号のみを用い、動き量Ｍｑ＜βの時には静止画と判断して３次元変換処理による第２の補間処理映像信号のみを用いることになる。

本発明の映像信号変換方法が適用された映像信号変換装置を示すブロック図である。 図１の装置中のフィールド内補間処理回路の内部構成を示すブロック図である。 図１の装置中のフィールド間補間処理回路の内部構成を示すブロック図である。 動き量Ｍｑ−係数Ｋ１特性を示す図である。 視聴距離Ｌｅ−α値特性を示す図である。 動き量Ｍｑ−係数Ｋ１特性を示す図である。 視聴距離Ｌｅ−β値特性を示す図である。

主要部分の符号の説明

１ １フィールド遅延回路
２ フィールド内補間処理回路
３ フィールド間補間処理回路
４ 動き検出回路
６ 時間軸変換回路
７ 視聴距離−係数変換回路

Claims (5)

1. 飛越走査の入力映像信号から補間映像信号を生成し、前記入力映像信号及び前記補間映像信号を相互に間挿することにより、前記飛越走査の映像信号を順次走査の映像信号に変換し、その変換の際にフィールド内補間処理による第１の補間処理映像信号とフィールド間補間処理による第２の補間処理映像信号を各々生成し、前記入力映像信号の各走査線間に内挿すべき補間走査線に対応した前記補間映像信号を、前記第１及び第２の補間処理映像信号を混合して生成する映像信号変換方法であって、
   前記第１及び第２の補間処理映像信号の混合比は前記飛越走査の映像信号の画像の動き情報と、前記順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報と、に応じて設定されることを特徴とする映像信号変換方法。
2. 前記第１及び第２の補間処理映像信号の混合は前記第１及び第２の補間処理映像信号を重み付け加算して行われることを特徴とする請求項１記載の映像信号変換方法。
3. 前記動き情報が大となる程、前記第１の補間処理映像信号の前記第２の補間処理映像信号に対する混合割合が大となるように前記混合比が設定されることを特徴とする請求項１記載の映像信号変換方法。
4. 前記視聴距離情報が大となる程、前記第１の補間処理映像信号の前記第２の補間処理映像信号に対する混合割合が大となるように前記混合比が設定されることを特徴とする請求項１記載の映像信号変換方法。
5. 飛越走査の入力映像信号を順次走査の映像信号に変換する映像信号変換装置であって、
   前記入力映像信号に対してフィールド内補間処理を施して第１の補間処理映像信号を生成するフィールド内補間処理手段と、
   前記入力映像信号に対してフィールド間補間処理を施して第２の補間処理映像信号を生成するフィールド間補間処理手段と、
   前記第１の補間処理映像信号と前記第２の補間処理映像信号とを混合して補間映像信号を生成する混合手段と、
   前記入力映像信号及び前記補間映像信号を相互に間挿することにより前記順次走査の映像信号を生成する手段と、を備え、
   前記混合手段は、前記入力映像信号の各走査線間に内挿すべき補間走査線に対応した前記補間映像信号を、前記第１及び第２の補間処理映像信号を混合して生成する手段と、
   前記第１及び第２の補間処理映像信号の混合比を前記飛越走査の映像信号の画像の動き情報、及び前記順次走査の映像信号を表示する表示手段と視聴者との距離である視聴距離情報に応じて設定する手段と、を有することを特徴とする映像信号変換装置。

Images