JP2009296410A - 高解像度の映像再生装置 - Google Patents

Abstract

【課題】従来の超解像処理に対応した映像再生装置では、複数の低解像度のコンテンツを同時に超解像処理するためには、複数の超解像プロセッサを搭載する必要があり、装置のコスト、消費電力の増大という課題があった。
【解決手段】映像データを高解像度な映像に変換して表示する映像再生装置であって、複数の映像データのフレームを合成し、合成したフレームに対して、高解像度変換処理を施す。この場合に、超解像プロセッサの入力フレームを、複数のエリアに分割し、別々の映像データのフレームを合成し、超解像後に分割することによって、単一の超解像プロセッサを用いた複数映像データの同時超解像を行う。
【選択図】図２

Description

本発明は、ＴＶ、ホームサーバ、ＨＤＤレコーダを含む映像再生装置全般に関するものである。特に、高解像度対応の超解像プロセッサを用いて、複数の低解像度の映像を同時に超解像処理する超解像映像再生システムに関するものである。

映像表示装置の改善により、高画素数での表示が可能となっている。例えば、横１９２０画素、縦１０８０画素の画像を表示可能な表示装置が存在する。一方、放送局から送出される映像の大きさは、横７２０画素、縦４８０画素程度のものが多い。また、市販されているＤＶＤから再生可能な映像のサイズも、最大で縦７２０画素、横４８０画素である。このように、多くの一般的な映像の大きさより、表示装置が表示可能な画素数の方が大きいという状態が生じている。このため、画素数が少ない映像から画素数が大きい映像を生成する技術への要求が高まっている。

その解決策として、非特許文献１に記載されているように、超解像と呼ばれる技術が知られている。超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。

複数の画像から、高解像度の画像を生成する技術の一般的な動作原理は、
１）複数のフレーム（の被写体）を正確に位置合わせして１枚の画像に合成し、
２）画素の微小な位置ずれ（位相差）を利用して、高精細化を実現する、こと
である。

例えば、下記のとおり時間的に連続した４つのフレームがあり、フレーム４に対して超解像を適用して高解像にする場合、超解像に必要なフレームが３の場合には、フレーム２，３，４の画像を使って処理を行う。

フレーム１ フレーム２ フレーム３ フレーム４ …、また、フレームを二枚使用してフレーム４を超解像処理する場合は、例えば、フレーム４とフレーム３を使用することが考えられる。フレームは時間的に連続して逐次準備されるため、フレームｎの処理後、フレームｎを記憶しておき、フレームｎ＋１処理の際に、記憶しておいたフレームｎを使用して超解像処理を行うのが一般的である。なお、超解像に使用するフレームの組の選択は自由であるが、超解像処理は画素の微小な位置ずれを利用するため、時間的に遠いフレーム同士では、超解像の効果が得られないことがある。また、フレーム間で位置ずれを探索するときは、画素の近傍エリアを探索することが一般的である。

また、映像データの解像度（縦横ドット数）が、超解像処理の想定する入力サイズと異なる場合、元の映像データを、超解像処理が想定する解像度までスケールしたフレームを作成したのち、超解像処理を行うのが一般的である。

また、特許文献１には、複数のチューナーおよび複数のデコーダを用いて、放送を同時にデコードする例が示されている。
特開２００１−９４８９２号公報 青木伸："複数のデジタル画像データによる超解像処理"，Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ｐｐ．１９−２５，Ｎｏ．２４， Ｎｏｖｅｍｂｅｒ，１９９８．

本発明が解決しようとする問題点は、複数の超解像プロセッサを用いて、複数動画データを同時に超解像することによるコスト、消費電力の増大である。また、入力動画が超解像処理チップの想定する画像サイズより小さかった場合に、超解像処理チップの性能を有効に活用することである。

本発明の映像再生装置は、映像データを高解像度な映像に変換して表示する映像再生装置であって、複数の映像データのフレームを合成し、合成したフレームに対して、高解像度変換処理を施すことを特徴とする。具体的には、超解像プロセッサへの入力フレームを、複数のスロットに分割し、入力動画のサイズが、入力フレームより小さい場合に、複数の動画に、あるいは、単一動画の複数フレーム処理に割り当てて超解像変換処理を施す。

単一の超解像プロセッサで複数の動画の超解像を、同時並行して行うことができるため、実装コストの増大、処理消費電力の増大を低減できる。また、入力動画が低解像度であった場合の超解像プロセッサの処理能力を最大限活用することが出来る。

以下、本発明の実施の形態について図面を用いて説明する。

超解像プロセッサへの入力フレームを複数のスロットに分割し、スロット単位で複数の映像データや、単一映像データの複数フレーム処理に割り当てる。本例では、超解像プロセッサは、８００×６００ドットのフレームを入力として、１６００×１２００ドットの超解像フレームを出力する能力をもつものとする。そして、入力の８００×６００ドットのフレームを、４つのエリア（スロット）に分割し、それぞれ、独立した映像データの再生、または、単一映像データの高度処理に使用する例を示す。また、本実施の形態では、二枚のフレームを用いた超解像処理を例示する。

図１は、本発明の映像再生装置である超解像再生装置１および超解像再生装置１を含むシステムの全体構成図である。超解像再生装置１は、ネットワーク装置１０１、メインメモリ１０２、ＣＰＵ１０３、出力装置１０４、二次記憶装置１０７、超解像プロセッサ１０６、および複数のデコーダ１０５からなり、それぞれ内部バス４で結合されている。
また、超解像再生装置１は、ネットワーク３を通じて外部モニタ２と画面データを送受信可能である。ネットワーク３とは、たとえば、広帯域無線などである。

また、二次記憶装置１０７には、制御プログラム、フレーム合成プログラム、分割送出プログラムが記憶されており、これらはメインメモリ１０２にアップロードされ、ＣＰＵ１０３がこれらのプログラムに従って動作し、図２に示される超解像再生装置１の制御部２０９、フレーム合成部２０６、分割送出部２０８として機能する。

図２の超解像処理の例および図３の超解像処理の処理フローを用いて、複数の映像データ２０５を同時に超解像処理し、複数の外部モニタ２に、それぞれの映像データ２０５を超解像した出力フレーム２０４を送信する例を示す。複数の映像データ２０５がデコーダ１０５に入力され、圧縮された映像データ２０５が伸張されて、時系列に画像データ（以下、「元フレーム２０１」という。）が生成される。図２は、異なる映像データ２０５について、２つ同時に画像データを生成している例である。

図３のステップＳ３０１において、フレーム合成部２０６は、制御部２０９からの指示に応じて、合成フレーム２０２中のエリア（スロット）に元フレーム２０１を合成して合成フレーム２０２を生成する。ステップＳ３０２において、超解像プロセッサ１０６は、合成フレーム２０２に対して超解像処理を行い、超解像後フレーム２０３を生成する。ステップＳ３０３において、フレーム分割送出部２０８は、超解像後フレーム２０３の各エリア（スロット）の出力フレーム２０４を切り出し、それぞれの映像データ２０５の送信先に応じた外部モニタ２に送出する。上記のステップＳ３０１からステップＳ３０３の処理を規定のフレームレートで繰り返し処理を行って終了する。

図４は、フレーム合成処理の詳細例を示す。本実施例における超解像プロセッサ１０６は、８００×６００ドットサイズの入力された合成フレーム２０２を、１６００×１２００ドットの超解像後フレーム２０３に高解像度化して出力する能力を持つ。

これに対して、２つの入力映像データ２０５の解像度は、いずれも、３２０×２４０ドット（ＱＶＧＡ：Quarter Video Graphic Arrayサイズ）であり、フレーム合成部２０６は、それぞれの映像データ２０５のある時点での元フレーム２０１を１つずつ、左上、右上に合成する。図４では、元フレーム２０１をＱ１、Ｑ２と表現している。合成の際、映像データ２０５の各元フレーム２０１は互いに無関係であるため、超解像処理において、それぞれのフレームの影響を抑えるために、隙間（黒十字枠）を空けて配置する。黒十字枠以外の部分は、左上、右上、左上、左下の４つのスロットを構成している。

元フレームＱ１は３２０×２４０ドットのバイト列を構成し、元フレームＱ２も３２０×２４０ドットのバイト列を構成している。元フレームＱ１を左上のスロットに配置し、元フレームＱ２を右上のスロットに配置するには、例えば、まず、Ｑ１の最初の３２０ドットと黒枠の１６０ドットとＱ２の最初の３２０ドットとを並べて８００ドットを一行分のバイト列とする。次の行についても同様に一行分のバイト列とし、これを２４０回繰り返す。次いで、黒枠として、８００ドットの“０”の行を１２０回繰り返す。更に、次の２４０行については、３２０ドットの“１”のバイト列と１６０ドットの“０”のバイト列と３２０ドットの“１“のバイト列を一行分のバイト列として、これを２４０回繰り返す。

なお、各スロットの大きさ、黒枠の幅等は、超解像処理プロセッサの性能、元フレームＱ１，Ｑ２のフレームの大きさ、などに応じて適宜、設定変更することができる。また、元フレームＱ１，Ｑ２のドット数が異なる場合には、一方を圧縮または拡大して、Ｑ１，Ｑ２のドット数を揃えることもできる。

合成フレーム２０２を超解像プロセッサ１０６は従来の方法で超解像することで、１６００×１２００ドットの高解像度化された超解像後フレーム２０３を生成する。超解像後フレーム２０３の左上、右上は（図中のＶ１、Ｖ２のスロット）、元フレーム２０１（Ｑ１、Ｑ２）を超解像処理した６４０×４８０ドット（ＶＧＡ：Video Graphic Arrayサイズ）のフレームとなる。

以後、ぞれぞれの映像データの時間方向の元フレーム２０１は、合成時に毎回同じスロットに配置することで、超解像で利用する時間方向のフレーム関係が保たれる。

図５のフローチャートは、映像データ２０５の再生が指定された場合の処理を示す。あらたに再生が指示された場合は、ステップＳ５０１において、既に再生処理されている映像データ２０５に割り当てられているスロット以外の空きスロット数を確認する。

空きスロットが４つ以上ある場合は、ステップＳ５０２において、４スロットすべてを使って、冗長再生処理による再生処理を開始する。ステップＳ５０１において、空きスロット数が１〜３の場合は、通常再生処理を開始する。

ステップＳ５０１において、空きスロットがなく、かつ、ステップＳ５０４において、２スロット以上使っている映像データ２０５がある場合は、ステップＳ５０５において、その映像データ２０５を、１スロットしか使わない再生モードに変更してから、ステップＳ５０３において、通常再生処理を開始する。

スロットに空きが出ない場合は、ステップＳ５０６において、再生処理を断念する、あるいは、超解像プロセッサ１０６を使用しない再生処理を開始する。

図６のフローチャートは、再生中の映像データ２０５の早送り処理が指定された場合の処理を示す。ステップＳ６０１において、すでに確保しているスロット以外の空きスロットを確認し、空きスロットがない場合は、ステップＳ６０３において、通常早送り処理を開始する。空きスロットがある場合は、ステップＳ６０２において、冗長早送り処理を開始する。通常早送り処理と冗長早送り処理の内容についてs後述する。

図７のフローチャートは、１スロットのみで再生を行う通常再生処理および通常早送り処理を示す。αは、早送り倍数であり、α＝１の場合が通常再生処理である。図８は、通常再生処理および通常早送り処理における、入力される合成フレーム２０２および超解像後フレーム２０３の時間的流れを示す。

図８における各スロット中の番号は、入力映像の元フレーム２０１に対して、説明のために便宜上番号付けしたものであり、映像データ２０５の開始フレームを１とし、以後、１ずつ増加するものとする。超解像後フレーム２０３の各スロット中の「’」付きの番号は、入力映像の元フレーム２０１に対応した超解像処理に成功した各スロットを示している。

図７のステップＳ７０１において、フレーム合成部２０６は、ある時間において、デコーダ１０５からフレームｎを取得し、ステップＳ７０２において、その映像データ２０５に対する割り当てスロット（右上、右下、左上、左下）に応じた場所にフレームｎを配置する。ステップＳ７０３において、超解像プロセッサ１０６が超解像処理を行う。

ステップＳ７０３において、超解像後フレーム２０３に対して、分割送出部２０８が、割り当てスロット位置の画像を切り出し、切り出したフレームｎ’を対応する外部モニタ２に送信する。次に、ステップＳ７０４において、取得する元フレーム２０１は、ｎ＋αである。この処理を再生終了、あるいは、早送り終了まで繰り返し行う。

通常早送り処理では、超解像プロセッサ１０６に入力される元フレーム２０１と、その直前に入力された元フレーム２０１の間隔が広いため、超解像処理が成功しないことがある。

図９のフローチャートは、２スロットを用いて早送り処理（整数倍）をおこなう冗長早送り処理の手順を示す。αは、早送り倍数である。図１０は、冗長早送り処理における、入力される合成フレーム２０２および超解像後フレーム２０３の時間的流れを示す。図１０における超解像後フレーム２０３の各スロット中で、下線を施したフレームが、再生に採用する出力フレーム２０４である。

図９のステップＳ９０１において、フレーム合成部２０６は、ある時間において、デコーダ１０５からフレームｎおよびフレームｎ＋α−１を取得する。ステップＳ９０２において、前回フレームｎ−１を右上に配置した場合は、ステップＳ９０３において、合成フレーム２０２の２つの割り当てスロットの一方（例えば左上）にフレームｎを配置し、ステップＳ９０４において、もう一方（例えば右上）にフレームｎ＋α−１を配置する。前回フレームｎを左上に配置した場合は、逆に配置する。

ステップＳ３０２において、超解像プロセッサ１０６が合成フレーム２０２に対して超解像処理を行う。ステップＳ９０７において、超解像後フレーム２０３に対して、分割送出部２０８は、合成フレーム２０２中で、元フレームｎを入力した方のスロット位置に対応する画像を切り出し、切り出したフレームｎ’を対応する外部モニタ２に送信する。ステップＳ９０８において、次に取得する元フレーム２０１は、ｎ＋αである。以下、早送り終了まで繰り返し行う。

図１１は、冗長早送り処理について、１．５倍速を実現する例について、入力される合成フレーム２０２および超解像後フレーム２０３の時間的流れを示す。図１１における超解像後フレーム２０３の各スロットにおいて、下線を施したフレームが、再生に採用する候補となる出力フレーム２０４である。図１１−（ｂ）は、再生状態が、フレーム番号でｎの時点およびその数フレーム後の入出力の様子を示す。

冗長早送り処理では、超解像したい元フレーム２０１と直前に入力された元フレーム２０１の差分が、αに関係なく、フレーム番号差で１であることが保証されるため、超解像処理の成功の可能性が高まる。

図１２は、冗長再生処理における、入力される合成フレーム２０２および超解像後フレーム２０３の時間的流れを示す。図１２における超解像後フレーム２０３の各スロットにおいて、下線を施したフレームが、再生に採用する候補となる出力フレーム２０４である。図１２−（ｂ）は、再生状態が、フレーム番号でｎの時点およびその数フレーム後の入出力の様子を示す。

冗長再生処理では、スロットを４つ使用し、フレームｎにおける処理時に、その前後のフレームを配置することで、いくつかのフレームの掛け合わせ候補ｎ’，ｎ’’，ｎ’’’を出力し、分割送信部２０８が、超解像処理がもっとも有効に働いたと判断できるスロットの画像を、出力画像とする。超解像の有効度は、例えば、画像内部で、超解像できたエリア数を、それぞれのスロット分、超解像プロセッサ１０６に出力させることで、判別できる。

冗長再生処理を用いることで、複数のスロットを有効に活用し、掛け合わせる２枚のフレームの組み合わせをいくつか同時に処理し、もっともよい結果フレームを採用することができる。

なお、本発明の実施例では、高解像度変換処理として、時間方向の解像度を用いて空間方向の解像度を補完する超解像処理の技術を用いて説明したが、超解像処理技術に限定されることなく、空間方向の解像度を補完する高解像度変換処理技術を用いることにより、複数の映像データをフレーム内の各スロットに独立に配置して合成し、高解像度変換処理後のフレームから高解像度の映像データを得ることができる。

本発明によれば、高機能な超解像プロセッサを用いて、低解像度の動画を複数同時並行して、超解像処理行うことができる。また、超解像プロセッサに入力するフレームの空きスロットを有効利用することで、トリックプレイ、冗長化が可能である。本発明は、宅内に映像を配信するホームサーバや超解像機能つきデジタルＴＶに適用可能である。

図１は本発明の一実施例の全体構成図である。 図２は本発明の超解像処理の一例を示す図である。 図３は超解像処理の処理フローを示す図である。 図４は超解像処理の入力フレームおよび出力フレームの構成例である。 図５は再生開始処理の処理フローを示す図である。 図６は早送り開始処理の処理フローを示す図である。 図７は通常再生処理および通常早送り処理の処理フローを示す図である。 図８は通常再生処理および通常早送り処理の際の入出力フレームの時系列変化を示す図である。 図９は冗長早送り処理の処理フローを示す図である。 図１０は冗長早送り処理（整数倍）の際の入出力フレームの時系列変化を示す図である。 図１１は冗長早送り処理（１．５倍）の際の入出力フレームの時系列変化を示す図である。 図１２は冗長再生処理の際の入出力フレームの時系列変化を示す図である。

符号の説明

１ 超解像再生装置
２ 外部モニタ
３ ネットワーク
４ 内部バス
１０１ ネットワーク装置
１０２ メインメモリ
１０３ ＣＰＵ
１０４ 出力装置
１０５ デコーダ
１０６ 超解像プロセッサ
１０７ 二次記憶装置
２０１ 元フレーム
２０２ 合成フレーム
２０３ 超解像後フレーム
２０４ 出力フレーム
２０５ 映像データ
２０６ フレーム合成部
２０８ 分割送出部
２０９ 制御部

Claims (13)

1. 映像データを高解像度な映像に変換して表示する映像再生装置であって、複数の映像データのフレームを合成する合成部と、合成したフレームに対して、高解像度変換処理を施す変換処理部と、これらを制御する制御部とを備えていることを特徴とする映像再生装置。
2. 請求項１記載の映像再生装置において、前記高解像度変換処理を施されたフレームから高解像度の複数の映像データを切り出す分割送出部を備えていることを特徴とする映像再生装置。
3. 請求項１記載の映像再生装置において、前記合成部は、映像データの時間方向の各フレームを合成し、前記変換処理部は、合成した時間方向の各フレームに対して、高解像度変換処理を施すことを特徴とする映像再生装置。
4. 請求項３記載の映像再生装置において、前記高解像度変換処理を施された時間方向の各フレームから高解像度の複数の時間方向の映像データを切り出す分割送出部を備えていることを特徴とする映像再生装置。
5. 請求項１ないし請求項４のいずれかに記載の映像再生装置において、前記制御部は、入力する複数の映像データの再生状況に応じて、各フレームの合成方法を変更することを特徴とする映像再生装置。
6. 請求項５記載の映像再生装置において、前記制御部は、前記再生状況が、映像データの早送り開始、又は、再生開始であることに応じて各フレームの合成方法を変更することを特徴とする映像再生装置。
7. 請求項５記載の映像再生装置において、前記制御部は、前記各フレームの合成方法を、通常再生処理、冗長再生処理、通常早送り処理、または、冗長早送り処理のいずれかに変更することを特徴とする映像再生装置。
8. 請求項７記載の映像再生装置において、前記通常再生処理では、前記フレームの複数のスロットのうち１スロットのみを用いて、フレーム数を１ずつ増加して、高解像度変換処理を施し、再生を行うことを特徴とする映像再生装置。
9. 請求項７記載の映像再生装置において、前記通常早送り処理では、前記フレームの複数のスロットのうち、１スロットのみを用いて、フレーム数を複数ずつ増加して高解像度変換処理を施し、再生を行うことを特徴とする映像再生装置。
10. 請求項７記載の映像再生装置において、前記冗長早送り処理では、前記１つの映像データの時間方向の各フレームを、フレーム数を１ずつ増加して、前記複数の異なるスロットに交互に配置して合成し、高解像度変換処理を施して再生することを特徴とする映像再生装置。
11. 請求項７記載の映像再生装置において、前記冗長早送り処理では、前記１つの映像データの時間方向の各フレームを、フレーム数を複数増加して、前記複数の異なるスロットに交互に配置して合成し、高解像度変換処理を施し、再生することを特徴とする映像再生装置。
12. 請求項７記載の映像再生装置において、前記冗長早送り処理では、前記１つの映像データの時間方向の各フレームを、フレーム数を１ずつ増加して、前記異なるスロットの双方、または、前記異なるスロットの一方に配置して合成し、高解像度変換処理を施し、再生することを特徴とする映像再生装置。
13. 請求項７記載の映像再生装置において、前記冗長再生処理では、前記フレームの複数のスロットの全体を用いて、１つの映像データの時間方向の各フレームを前記複数のスロットのうちの複数の異なるスロットに配置して合成し、前記１つの映像データの時間方向の前後のフレームに対して高解像度変換処理を施して各フレームの複数の掛け合わせ候補を出力し、前記複数の掛け合わせ候補の出力のうち、前記高解像度変換処理が有効であると判断された出力画像を再生することを特徴とする映像再生装置。

Images