JP2006203286A - 映像出力装置および映像出力方法 - Google Patents

Abstract

【課題】映像の速度を変えて出画する映像の間引き方法は、ピクチャ単位の間引きであるので、通常速度とあまり変わらない、微妙な速度変化では映像がカクカクと出画されてしまう。
【解決手段】フィールド補正手段により、フィールド単位の映像を補正しながら、映像間引き手段でフィールド映像を間引く、もしくは映像リピート手段でフィールド映像をリピートすることにより、映像の出画速度が変わったときでも、滑らかな出画をすることができることとなる。
【選択図】図１

Description

本発明は、蓄積メディアからの映像データをテレビジョンに出画する際に、映像出力レートを時間的に変化させる映像出力装置に関するものである。

従来技術における、映像出力レートを時間的に変化させる映像出力装置に関しては、例えば特許文献１に記載されている。

同公報によれば、映像の出力レートを変える際に、Ｉ，Ｐ，ＢのピクチャのうちのＩピクチャのみを出力することにより、音声などのシステムレートに比較して、映像を早いレートで出力している。つまり、Ｉ，Ｐ，Ｂピクチャのうち、Ｐピクチャ、Ｂピクチャをピクチャ単位、すなわちフレーム単位で間引くことにより、システムのレートに比較して早いレートで映像を出力している。

かかる引用文献に記載の映像出力装置の構成とその動作について説明する。なお説明の便宜上、速度を変えて映像を出力する動作について、引用文献とは異なる図面を用いて説明する。

図２は、従来例の映像出力装置の構成を示すブロック図である。図２において、１０は音声デコード手段であり、１２は映像のデコード手段である。音声は、音声出力手段１１によって音声出力されるが、映像デコード手段１２でデコードされた映像は、同期手段１３によって、時間的に音声とあった映像が映像出力手段１５によって出力される。

映像は、映像間引き手段１４によって、表示するフレームを取捨選択して、映像出力手段により出力している。このように、映像間引き手段によって、表示するフレームを選択し、それ以外を表示させない、いわゆる間引きを行うことにより、映像の表示レートを変えながら、音声に合わせた映像を、出力することができることとなる。
特開平１１−１６４２４９号公報

しかしながら、従来の映像出力装置による映像の間引き方法は、ピクチャ単位の間引きであるので、通常速度とあまり変わらない、微妙な速度変化では映像がカクカクと出画されてしまうという課題を有していた。

本発明では、かかる課題を解決し、再生速度が変わっても、なめらかな出画が可能となる、映像出力装置を提供することを目的とする。

本発明における映像出力装置では、インタレース映像の飛び越し走査の間の映像信号を補間により作成するフィールド補間手段を備え、所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を出画することにより、なめらかな出画とすることができることとなる。

本発明によれば、フィールド補正手段により、フィールド単位の映像を補正しながら、映像間引き手段でフィールド映像を間引く、もしくは映像リピート手段でフィールド映像をリピートすることにより、映像の出画速度が変わったときでも、滑らかな出画をすることができることとなる。

図１は、本発明の実施の形態１における映像出力装置の構成を示すブロック図である。図１において、１０は音声デコーダであり、圧縮された音声をデコードする。１２は映像のデコーダであり、ＭＰＥＧ圧縮された映像データをデコードする。１３は同期手段であり、映像デコーダ１２の出力をシステムクロックに同期させることにより、音声デコード１０の出力と同期を取るものである。具体的には、映像の出力時間を決める時計の役割をしており、システムクロックをもとに、カウンタでカウントしたクロックをもちいて、映像の出力時間を決めている。

４は映像出力手段であり、同期手段１３のクロックに応じて、映像を送り出す働きをしている。映像出力手段４は、映像間引き手段２と、フィールド補間手段１およびＰＩ変換手段３から構成された、フィールド補正手段５によって構成されている。この出画制御は、各ブロックを制御するマイクロコンピュータ（図示せず）によって制御されている。

映像デコーダ１２によってデコードされた映像は、同期手段１３の時間に従って、映像間引き手段２によって、映像を間引くことによって、出画のレートを変えて出画することができる。映像レートと、出画のタイミングは、出画速度に応じて、出画シーケンスを記載したメモリのテーブルを用意しており、このテーブルの値を元に、出画の順番を制御している。

フィールド補間手段１は、デコードされたインタレース映像が飛び越し映像である場合に、飛び越したラインを、飛び越していない画素もしくは前後のフィールドから補間生成して作成する、いわゆるインタレース・プログレッシブ変換手段、（ＩＰ変換手段と呼ぶ）である。デコードされたインタレース映像は、フィールド補間手段１で補間されるので、映像間引き手段２によって間引かれる映像は、フィールド単位の映像となる。

３はＰＩ変換手段であり、プログレッシブ・インタレース変換を行うものである。映像間引き手段２によって間引かれたフィールド単位の映像をプログレッシブ・インタレース変換することにより、フィールド単位に間引いた映像を再びインタレース映像として出画することができることとなる。

このように構成された映像信号処理装置に関して、次に動作を説明する。

図３は実施の形態１における映像の出力順を示す動作図である。図３は、４／３倍速度の時の映像出力の方法を示している。また図１４に動作のフローを示す。

図３において、デコードされた映像フレーム（ａ）を１ラインおきに取ると、映像フィールド（ｂ）に分離することができる。この映像フィールドをＴｏｐ映像という意味でＴを付けて表し、Ｂｏｔｔｏｍ映像という意味でＢを付けて表している。これらの映像フィールドをフィールド補間手段１に入力することにより、ＩＰ変換後の映像フレーム（ｃ）を得ることができる（Ｓ１）。すなわち、ＩＰ変換後の映像フレーム（ｃ）は、デコード映像フィールド（ｂ）のライン間を補間して作成したフレーム映像であり、この映像をさらにＰＩ変換手段３によって１ラインごとにとって並べると、ＰＩ変換後のフィールド映像（ｄ）となる（Ｓ２）。表示フィールド（ｅ）は、このＰＩ変換後の映像フィールドを映像間引き手段２によって、間引く（Ｓ３）ことによって、出画速度に合った映像を出画することができることとなる（Ｓ４）。

このように、映像をライン補間して、プログレッシブ化して、その映像を間引き出力することによって、なめらかな出画映像を得ることができることとなる。

さて、映像の出画の順番に関しては、次のようにすることにより、滑らかな出画をすることができる。

図３は、実施の形態１における映像の出画方法を示す説明図である。図３のような、４／３倍速の時には、４フィールドの中から３フィールド出せばいいので、４フィールドごとに、１フィールドを間引いて出画すればよい。

この様子を図１５を用いてさらに説明する。図１５は３／２倍速の処理を説明する別の模式図である。図１５において、（ａ）〜（ｅ）は図３における（ａ）〜（ｅ）に対応している。（ａ）は映像デコーダ１２の出力である映像フレームを示している。各映像フレームに付している数字は映像フレーム番号である。（ｂ）はデコードされた映像フレームに基づく映像フィールドを示しており、映像フレーム１から映像フィールド１Ｔおよび１Ｂが生成される。（ｃ）はフィールド補間された映像フレームを示している。（ｂ）に示されるフィールド映像に基づいて、フィールド補間手段により生成される。（ｄ）はＰＩ変換後のフィールド映像を示しており、図中、黒で示しているフィールドは、映像間引き手段２により間引かれる映像フィールドである。（ｅ）は間引き処理後、表示される映像フィールドを示している。

このように、図１６（ｂ）における４フィールドの映像が、図１６（ｅ）では３フィールドに変換されており、４／３倍速が実現されている。

このように、ｎ／ｍ倍速で再生する場合には、ｎフィールドの中からｍフィールドのフィールド映像を出画する方法で行うことができる。このようにすると、時間軸方向に、一定の法則で映像をまびくために、出力は滑らかに出画されることとなる。

（実施の形態２）
次に実施の形態２における映像の出力順を説明する。構成は実施の形態１と同じであるが、３／２倍速で出画する場合の出画方法を説明する。

図４は、実施の形態２における映像の３／２倍速で出画する場合の説明図である。３／２倍速の場合には、１フレーム２フィールド単位の映像を３フィールド中２フィールド出画すればよいので、６フィールド中４フィールド出画すればよいこととなる。つまり、６フィールドの中の２フィールドを間引いて出画すればよいこととなる。

したがって、デコード映像のフィールド映像を、図３に示すように６フィールドに対して、２フィールド間引くことにより、動きのスムーズな出画をすることができることとなる。

（実施の形態３）
次に実施の形態３における映像の出力方法を説明する。図５は、実施の形態３における映像出力装置の構成図である。図５において、実施の形態１と異なる点は、映像出力手段４の映像間引き手段２の代わりに映像リピート手段２２を備えた点である。

映像リピート手段２２は、映像の出画レートが通常再生よりも遅い場合に、同じ映像を繰り返し出力することにより、滑らかな映像を得ている。このように構成された映像出力装置において、２／３倍速で出画する場合の動作を説明する。

図６はかかる映像出力装置において、２／３倍速で出画する場合の動作を示す説明図である。

２／３倍速の場合には、１フレーム２フィールド単位の映像を２フィールド中３フィールド出画すればよいので、４フィールド中６フィールド出画すればよいこととなる。つまり、４フィールドの中の２フィールドをリピート手段２２によって、リピートして出画すればよいこととなる。このようにフィールドをリピートして出画することにより、遅い出画レートでも滑らかな出画をすることができることとなる。

（実施の形態４）
次に実施の形態４における映像の出力方法を説明する。図７は実施の形態３と同じ構成の映像出力装置において、２／５倍速で出画する場合の動作を示す説明図である。

同じように、２／５倍速の場合には、１フレーム２フィールドの単位の映像を２フィールドごとに５フィールド出画することになるので、１フレーム２フィールドの単位の映像とすると、４フィールドごとに１０フィールド出画することになる。この場合、４フィールドをすべてリピートした８フィールドの映像をさらに２フィールド、リピートして出画すればよいことになる。

（実施の形態５）
次に実施の形態５における映像の出力方法を説明する。図８は実施の形態５における映像出力装置の構成図である。図８において、実施の形態１と異なる点は、実施の形態１では、フィールド補正手段５を、フィールド補間手段１および、ＰＩ変換手段３によって構成し、その間に映像間引き手段２による映像の間引きを行っているが、実施の形態５の構成図８の構成では、映像間引き手段２の後にフィールド重心補正手段２３によってフィールド補正を行っている。

フィールド重心補正手段２３は、入力映像フィールドに垂直フィルタをかけながら、フィールドの極性を変えることのできるもので、Ｔｏｐフィールドの映像をＢｏｔｔｏｍフィールド映像のライン重心位置に変換することや、逆にＢｏｔｔｏｍフィールドの映像をＴｏｐフィールドの映像にライン重心位置に変換することが可能で、そのままのフィールドで出力することも可能である。

同期手段１３の時間に従って、映像間引き手段２によって、フィールド映像を間引くことによって、出画のレートを変えたフィールド映像を得ることが可能で、さらに、フィールド重心補正手段２３によってライン重心位置に変換することにより、フィールドの極性を合わせて出画することができる。

なお、映像間引き手段２は、実施の形態３の図５に示したものと同じように、映像リピート手段２２に置き換えることも可能であり、その場合には、映像の出画レートが遅い場合に対応できる。

さて、このように構成された実施の形態５における映像出力装置の動作について、図９を参照しながら説明する。図９は、本発明の実施の形態５における映像出力装置の動作を示す説明図である。図９は、本発明の実施の形態５における映像出力装置によって、４／３倍速で出画する時の動作を示している。

４／３倍速の場合、４フィールドの映像から３フィールドを出画すればよいので、すなわち、８フィールドの映像から６フィールド出画している。このとき、デコード映像フィールドから表示フィールドへは、間引き手段２により、８フィールド中２フィールドの映像を間引いており、フィールド重心補正手段２３により、ライン重心補正を行ったうえで、所定のフィールド極性に出力している。このように、間引き手段２により、フィールド映像を間引くまたは、映像リピート手段により、フィールド映像を挿入リピートした後に、フィールド重心補正手段２３により、ライン重心補正を行ったうえで、所定のフィールド極性で出力することで、出画レートによらず滑らかな映像を得ることができる。

なお、デコード映像がプログレッシブ素材の場合、フィールド極性によって時間差がないため、図１０のＰ点Ｑ点Ｒ点に示すように、フィールド映像の前後を逆転させて出画しても、映像の滑らかさを保つことができ、さらに、フィールド補正によるライン重心補正のための垂直フィルタをかけなくてよいために、解像度のよい鮮明な映像を得ることができる。

デコード映像がプログレッシブかインタレースかによって、図９と図１０の出画方法を選択切り換えしてもよいし、さらには、プログレッシブでなくても、映像のフレーム内での動きが少ない時に図１０のように出画し、動きの多い時には図９のように、フィールド補正して出画するとしてもよい。この場合、フィールド間の映像の動きを検出する動き検出手段が必要となったり、出画方法を切り換える手段が必要となるが、時間的に滑らかでかつ、解像度のよい鮮明な映像を得ることができることとなる。

（実施の形態６）
次に実施の形態６における映像の出力方法を説明する。図１１は実施の形態５と同じ構成の映像出力装置において、映画素材のような、２４ｐの映像を３／２倍で出画する場合の動作を示す説明図である。

映画素材のような、２４ｐの映像は、１秒間に２４枚のプログレッシブフレームの映像から構成されているので、通常速度での再生は、１フレームを２フィールドまたは３フィールドに分けて２フィールド、３フィールドと交互に出画している。つまり、５フィールドを一つの単位として出画するものである。このような２４ｐ素材を３／２倍速で出画する場合には、３フィールド中２フィールドを出画することになるが、映像の出画単位が５フィールドなので、５倍して、１５フィールド中１０フィールド出画することによって、滑らかな出画を実現することができる。
つまり、１５フィールド中５フィールドのフィールド映像を間引くことにより、滑らかな出画を行うことができることができることとなる。

２４ｐの場合、元がプログレッシブの映像であるから、図１０の出画方法と同様に、フィールド極性にあった映像を選択することで時間的に戻ることがないので、所定のフィールドで出画することができることとなる。

以上のように、映像のｎフィールドごとに、ｍフィールドの出画を行なうことで、ｎ／ｍ倍速の出画を滑らかに行うことができることとなる。通常の６０ｉの映像のように通常速度の出画単位が２フィールドの場合には、２ｎフィールドごとに、２ｍフィールドの出画を行うことで、ｎ／ｍ倍速の出画を滑らかに行うことができ、２４ｐのように、通常速度の出画単位が５フィールドの場合には、５ｎフィールドごとに、５ｍフィールドの出画を行なうことで、滑らかな出画を行うことができることとなる。

（実施の形態７）
次に実施の形態７における映像の出力方法を説明する。図１２は実施の形態５と同じ構成の映像出力装置において、インタレース映像を４／３倍速で出画する場合の動作を示す説明図である。実施の形態５と異なる点は、実施の形態５で説明した図９では、Ｐ点Ｑ点Ｒ点で、デコード映像のフィールド極性と逆の極性の映像をフィールド重心補正手段２３によって補正して出画しているが、実施の形態７の説明図、図１２では、Ｑ点、Ｒ点を破線で示す本来の出画フィールドに対して、１フィールド後にずらして出画している。

すなわち、Ｐ点のように、一度デコードと出画でフィールド極性の異なる映像を出画した場合には、次の映像から、１フィールド飛ばして、１フィールド後の映像から出力するようにしたものである。このようにすると、フィールド極性の異なる出画を少なくすることができるので、フィールド重心補正手段２３によるライン重心補正用のフィルタをかけた映像の出画少なくできるので、解像度の良い鮮明な映像を出力することができることとなる。

なお、実施の形態５と同じ構成の映像出力装置による出画方法について説明したが、実施の形態１や実施の形態３の映像出力装置でも同等で、デコードフィールドと出画フィールドの極性の異なる時にその次のフィールドから出画フィールドを合わせることにより、鮮明な映像を出力することができる。

また、図１３に示すように、デコード素材がプログレッシブの場合には、フィールド極性の合ったフレーム内のフィールドを選択しながら、１フィールド飛ばして、１フィールド後の映像から出力するようにすることも可能であり、インタレース映像とプログレッシブ映像で切り換えたり、映像の動き量に応じて変えたりすることができることは、実施の形態５で述べたことと同じである。

本発明にかかる映像出力装置は、フィールド補正手段によりフィールド単位の映像を補正しながら映像間引き手段でフィールド映像を間引くことにより、また映像リピート手段でフィールド映像をリピートすることにより、映像の出画速度が変わったときでも、滑らかな出画をすることができることとなるので、映像出力レートを時間的に変化させる映像出力装置等に有用である。

実施の形態１における映像出力装置の構成図 従来例の構成図 ４／３倍速再生の動作説明図 ３／２倍速再生の動作説明図 実施の形態３における映像出力装置の構成図 ２／３倍速再生の動作説明図 ２／５倍速再生の動作説明図 実施の形態５における映像出力装置の構成図 実施の形態５における４／３倍速再生の動作説明図 実施の形態５における４／３倍速再生の第２の動作説明図 ２４ｐにおける３／２倍速再生の動作説明図 実施の形態７における４／３倍速再生の動作説明図 実施の形態７における４／３倍速再生の第２の動作説明図 実施の形態１における映像出力装置の動作を示すフローチャート 実施の形態１における４／３倍速再生の第２の動作説明図

符号の説明

１ フィールド補間手段
２ 映像間引き手段
３ ＰＩ変換手段
４ 映像出力手段
５ フィールド補正手段
１０ 音声デコーダ
１１ 音声出力手段
１２ 映像デコーダ
１３ 同期手段
１４ 映像間引き手段
１５ 映像出力手段
２２ 映像リピート手段
２３ フィールド重心補正手段

Claims (7)

1. インタレース映像の飛び越し走査の間の映像信号を補間により作成するフィールド補間手段と、
   所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を出画する出画手段を有する映像出力装置であって、
   前記出画手段の出力するフィールド映像と、出力するシンクの極性が異なる時には、前記フィールド補間手段によって補間された映像を出画する出画手段を有する映像出力装置
2. インタレース映像の飛び越し走査の間の信号を補間により作成し、飛び越し走査のないフレーム映像を生成する変換器を有し、
   所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を出画する出画手段を有する映像出力装置
3. インタレース映像の飛び越し走査の間の信号を補間により作成し、飛び越し走査のないフレーム映像を生成する変換器を有し、
   所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を飛び越し走査して出力することを特徴とする映像出力装置
4. インタレース映像の飛び越し走査の間の映像信号を補間により作成するフィールド補間手段と、
   所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を出画する出画手段を有する映像信号処理装置において、
   前記出画手段の出力するフィールド映像と、出力するシンクの極性が異なる時には、前記フィールド補間手段によって補間された映像を出画する映像出力方法
5. インタレース映像の飛び越し走査の間の映像信号を補間により作成するフィールド補間手段と、
   所定の間引き情報をもとに、映像信号をフィールド単位で時間的に間引いた映像、または、時間的に繰り返す映像を出画する出画手段を有する映像信号処理装置において、
   時間的に間引いた映像を出画する際、前記出画手段の出力するフィールド映像と、出力するシンクの極性が異なる時には、前記フィールド補間手段によって補間された映像を出画し、前記補間された映像を出画した次のフィールドは、１フィールド後のフィールド映像を出画することを特徴とする映像出力方法
6. インタレース映像を入力とし、前記インタフェース映像をプログレッシブ映像に変換するフィールド補間手段と、
   前記フィールド補間手段から出力されたプログレッシブ映像をインタレース映像に変換するＰＩ変換手段と、
   前記ＰＩ変換手段から出力されたインタレース映像を所定の間引き情報に基づいて間引き処理を行う映像間引き手段と、
   前記映像間引き手段により間引き処理された映像を出画する出画手段とを備えた映像出力装置。
7. インタレース映像を入力とし、前記インタフェース映像をプログレッシブ映像に変換するフィールド補間手段と、
   前記フィールド補間手段から出力されたプログレッシブ映像をインタレース映像に変換するＰＩ変換手段と、
   前記ＰＩ変換手段から出力されたインタレース映像を所定の情報に基づいて繰り返し出力する映像リピート手段と、
   前記映像リピート手段から出力された映像を出画する出画手段とを備えた映像出力装置。

Images