JP2009010796A - 高解像度化情報送受信システム - Google Patents

Abstract

【課題】超解像処理の恩恵を、比較的安価なハードウェアでの享受可能とするとともに、動きが無い部分の解像度向上も図る。
【解決手段】放送または記録媒体から再生する映像を、ネットワーク経由で取得する映像補助情報を用いて高解像度化して表示する。超解像処理の動きベクトル生成部分をサーバで、高解像度画像生成のみを端末側で、それぞれ実行する構成とすることで、比較的安価なハードウェアでも、超解像の映像を表示可能とする。さらに、サーバから高解像度な静止画部分を送信し、超解像処理で高解像度化きない部分も高解像度化可能にする。
【選択図】図１

Description

技術分野は、画像の高解像度化に関する。特に、高解像度化する情報を送信又は／及び受信する装置、システム、方法などに関する。

上記技術分野に関し、特許文献１には「画像解像拡張処理にかかる演算量を軽減しつつ、画像間の動き検出の精度を向上させる。」ことを課題とし、その解決手段として「画像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、補助データを受信し復号して補助動き情報を得る補助データ復号手段と、補助データ復号手段により得られた補助動き情報に基づいて、複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルとビデオデータ復号手段により得られた複数の再生画像とを用いて、複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段とを備える。」ことが記載されている。

特開２００６−１７４４１５号公報

映像表示装置の改善により、高画素数での表示が可能となっている。例えば、横１９２０画素、縦１０８０画素の画像を表示可能な表示装置が存在する。一方、放送局から送出される映像の大きさは、横７２０画素、縦４８０画素程度のものが多い。また、市販されているＤＶＤから再生可能な映像のサイズも、最大で縦７２０画素、横４８０画素である。このように、多くの一般的な映像の大きさより、表示装置が表示可能な画素数の方が大きいという状態が生じている。この状態は例示した画素数には限定されずより大きな画素の表示装置が登場した場合に、放送される又は記録から再生される映像が表示装置の画素よりも小さければ将来的にも継続しうる状態である。

このため、画素数が少ない映像から画素数が大きい映像を生成する技術が検討されている。一つの手段として、超解像と呼ばれる技術が開発されている。超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。

この超解像処理は、大きく分けると二つの段階に分けられる。第一段階は動きベクトルを生成する処理であり、第二段階は動きベクトルを利用し高解像度の画像を生成する処理である。第一段階の動きベクトル生成処理では、高解像度化する画像フレームと前後数枚の画像フレームを比較し、画素毎に動きベクトルを計算する。動きベクトルは、小数点単位で計算される。画素周辺のマッチング処理が必要であるため、動きベクトルの算出には多大な計算を必要とする。そのため、この第一段階は専用のハードウェアで実現することが検討されている。

一方で第二段階の高解像度映像生成処理では、第一段階で生成された画素毎の動きベクトルを用いて、画像フレームから高解像度の画像を生成する。第二段階は、第一段階と比較すれば単純な計算で済むため、比較的小規模なハードウェアや、ソフトウェアのみで実現できる可能性もある。

特許文献１では、超解像処理の第一段階と、第二段階を、別個の装置で実現することで、第二段階のみ実行する映像視聴装置で必要な演算量を少なくする方法を検討している。

しかし、超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。すなわち、連続する複数の画像フレームから、画素ごとの微小な小数点単位の動きを計算し、その動きベクトルに基づき、高解像度画像を生成する。したがって、動きがない静止部分（映像中の静止した領域）については、超解像処理では高解像度化することができない。

そこで、本出願では、サーバで計算された動きベクトルと静止部分を高画質化する情報とを、映像を高解像度化するための映像補足情報としてネットワーク経由で送信及び／又は受信し、それを用いて高解像度映像を生成する技術を提供する。

上記手段によれば、高解像度映像を比較的低性能な端末で実現しつつ、さらに静止部分の高解像度化を可能とする。

本発明に好適な実施形態の例（実施例）を説明する。ただし本発明は、本実施例に限定されない。例えば、以下の説明では、放送波またはＤＶＤから入力する映像信号は、横７２０画素、縦４８０画素の解像度であり、高解像度化した後の映像の解像度は、横１９２０画素、縦１０８０画素とする。また、放送波またはＤＶＤから入力する映像信号のフレームレートと、高解像度化した後の映像のフレームレートは、同一であると仮定する。しかし、本解像度には限定されない。

図１は、装置およびシステムの全体構成の例を示すブロック図である。超解像映像情報サーバ１１００（以下「情報サーバ」と略）は、超解像映像視聴装置１２００（以下「視聴装置」と略）からの要求に応え、視聴装置で視聴が試みられている映像を、高解像度化して視聴するために必要な、映像補足情報（以下「補足情報」と略）を送出する。情報サーバ１１００は、視聴装置からの要求があった時点で映像補足情報を生成しても良いし、視聴装置１２００からの要求の有無に関わらずあらかじめ映像補足情報を生成しておいても良い。視聴装置１２００は、利用者が視聴する映像を、情報サーバ１１００からの映像補足情報を用いて高解像度化する。

＜送信側＞
図１における情報サーバ１１００の処理を説明する。サーバ側チューナ１１０１は、放送波を受信する機能単位である。放送波は、例えばＭＰＥＧ−２などの方式でコード化されている。ＤＶＤは、映像情報が記録された記録媒体であり、サーバ側ＤＶＤ読取装置１１０２を介して、記録された映像信号が読み出される。ＤＶＤからの映像信号は、放送波と同じくＭＰＥＧ−２などの方式でコード化されている。

サーバ側デコーダ１１０３は、放送波およびサーバ側チューナ１１０１、またはＤＶＤおよびサーバ側ＤＶＤ読取装置１１０２から入力された映像信号を復号し、映像、すなわち連続する画像フレームを再現する機能単位である。

簡単のため、全ての映像には、一意に特定可能な映像ＩＤが付与されているものとする。映像ＩＤは、数字または文字列であり、流通している全ての映像信号を特定可能な、一意な識別子であるものとする。映像ＩＤは、サーバ側デコーダ１１０３によって映像信号から抽出され、情報サーバ１１００内では、映像補足情報生成部１１１２に送出される。

サーバ側デコーダ１１０３から出力される画像フレームは、フレームを特定するためのフレームＩＤと、画像データからなる。ここでは説明を単純にするため、放送波またはＤＶＤから得られる映像と、元映像データ１１０８から得られる映像のフレームレートは同一であり、対応するフレームには、同じフレームＩＤが付けられているものと仮定する。また、同じく説明を単純にするため、画像データは横が７２０画素、縦が４８０画素であり、各画素のＲＧＢ成分がそれぞれ８ビットであると仮定する。

図２に画像フレーム情報の一例を示す。画像フレーム情報は、フレームＩＤ２００１、フレーム画像２００２からなる。フレーム画像２００２は、横７２０画素、縦４８０画素で、各画素はＲＧＢ成分それぞれ８ビットで表現される。ただし、データ量削減のため、適宜圧縮されていても良い。

サーバ側デコーダ１１０３から出力された画像フレームは、サーバ側画像フレームバッファ１１０４に格納される。サーバ側画像フレームバッファ１１０４に格納された画像フレームは、動きベクトル生成部１１０５によって読み出される。画像フレームバッファ中で、不要になった画像フレームは、動きベクトル生成部１１０５によって、サーバ側画像フレームバッファ１１０４から削除される。

動きベクトル生成部１１０５は、超解像処理を構成する二つの段階の前段であり、サーバ側デコーダ１１０３が生成した画像フレームの列を処理し、画素ごとの動きベクトルを計算し、画像フレーム毎に全ての画素に対する動きベクトルを生成する。この処理は、例えば前出の
などに記載されている。動きベクトルの生成には、サーバ側画像フレームバッファ１１０４に格納されている画像フレームが利用される。フレーム動きベクトル情報は、フレームＩＤと、全画素に対する動きベクトルを含む。動きベクトル情報の生成の含むか含まないかは問わず、動きベクトル情報を取得するユニットを動きベクトル情報取得部とも呼ぶ。

図３にこの様子を示す。動きベクトル情報は、フレーム画像の解像度と同じく、横７２０画素、縦４８０画素であり、各画素に対する動きベクトルは、水平方向の動き、垂直方向の動きで表され、例えば各８ビットで表現される。もちろん、動きベクトルはデータ量削減のために適宜圧縮されていても良い。また、フレーム動きベクトル情報には、フレームを特定するためのフレームＩＤ２００１が付加されている。

動きベクトル生成部１１０５により生成されたフレーム動きベクトル情報は、動きベクトルバッファ１１０６に格納される。動きベクトルバッファ１１０６に格納されたフレーム動きベクトル情報は、補足情報生成部１１１２および静止部分補足情報生成部１１１０から読み出されて利用される。

元映像データ１１０７は、放送波またはＤＶＤから得られる映像よりも、高解像度の映像情報である。例えば、放送用またはＤＶＤ作成用に加工される以前の映像情報が、元映像データ１１０７に相当する。そのような、加工される以前の映像情報が入手できない場合には、放送波またはＤＶＤから得られる映像を、画像処理技術を用いて高解像度処理したものを、元映像データ１１０７としても良い。このような画像処理技術として、例えば共三次内挿法（Bicubic Interpolation Method）などがある。元映像データ１１０７の形式は、一般的には定められていないので、元映像でコーダ１１０７は、元映像データ１１０７から元画像フレームを生成するため、元映像データ１１０７の形式に合わせた復号アルゴリズムを実装する必要がある。ここでは、元映像データ１１０７をデコードして得られる画像のサイズは、横１９２０画素、縦１０８０画素であると仮定する。

静止部分補足情報生成部１１１０は、元映像データ１１０７から得られた高解像度な元画像フレームから、静止している領域を抽出し、その部分の画像を切り出す。静止部分とは、動きベクトルがゼロであった部分である。したがって、静止部分の検出には、動きベクトル生成部１１０５から出力された動きベクトルを参考にできる。超解像処理では、静止部分を高解像度化することはできない。高解像度な元映像データ１１０７から切り出した静止部分は、超解像処理で高解像度化できない部分を、高解像度化するために利用される。なお静止部分補足情報を静止画情報とも呼ぶ。また静止画情報を含むか含まないかは問わず、静止画情報を取得するユニットを動きベクトル情報取得部とも呼ぶ。

静止部分補足情報生成部１１１０は、全ての静止部分について、それを包含する画像を切り出す必要がある。したがって、同じフレーム中に、静止部分が複数存在しても良い。簡単のため、静止部分は矩形領域とする。静止部分補足情報生成部１１１０の動作は、後に図８を用いて説明する。

全ての静止部分を含む矩形の集合を生成する最も簡単な方法は、画面を所定の方法であらかじめ複数の領域、例えば縦横４分割で合計１６個の矩形領域に分けておき、静止部分が含まれる矩形領域を全て静止領域と判定することである。

図４にこの領域分割の例を示す。図４では、放送波またはＤＶＤから得られた画像を、縦横４分割し、１６個の矩形領域に分割している。画面を１６分割する場合、一つの矩形領域に対する高解像度画像情報のサイズは、横４８０画素（１９２０画素の４分の１）、縦２７０画素（１０８０画素の４分の１）である。

図５の（ａ）にこの様子を示す。図５の例では、静止領域の位置、大きさ、画像情報の有無を表すために、５つの要素からなる静止矩形ヘッダ５００１を設けている。ヘッダの５つの要素は、高解像度化した後の横位置（ｘ）、縦位置（ｙ）、幅（ｗ）、高さ（ｈ）、それに画像データが前フレームと同一であるかどうかを示す同一フラグ（ｆ）である。静止矩形の画像は、静止矩形画像５００２であり、各画素はＲＧＢそれぞれ８ビットで表現されると仮定する。もちろん、適宜圧縮してあっても良い。

なお、静止部分を高解像度化するための静止画情報は、２枚目以降は前フレームと同じものが利用できるため、フレームごとに実際の画像データを埋め込む必要はない。その静止部分が現れる２枚目以降のフレームに対しては、フレーム補足情報中の静止画情報として「前フレームと同じ」という情報が書き込まれる。すなわち、前述の静止矩形ヘッダ５００１に含まれる、同一フラグが１に設定され、画像データは省略される。この様子を、図５（ｂ）に示す。

図５（ａ）および（ｂ）の様に、一つの静止した矩形領域に対応するデータを、静止矩形データと呼ぶ。同一フレーム中の全ての静止矩形データを集めたものは、フレーム静止部分情報と呼ぶ。フレーム静止部分情報の一例を、図５（ｃ）に示す。フレーム静止部分情報は、フレームを特定するためのフレームＩＤ２００１と、そのフレームに含まれる０個以上の静止矩形データから成る。

この図５（ｃ）に示したフレーム静止部分情報は、後に映像補足情報の一部として超解像映像視聴装置１２００に送信され、超解像映像視聴装置１２００が、フレームＩＤ２００１で特定されるフレーム中にある全ての静止部分を高解像度化するために用いられる。

静止部分補足情報生成部１１１０が生成したフレーム静止部分情報は、静止部分補足情報バッファ１１１１に格納され、補足情報生成部１１１２によって利用される。

静止部分を全て含む矩形領域の集合を生成する方法は、生成される補足情報の大きさが小さくなるよう、さらに工夫されてもよい。シンプルな工夫は、画面の分割を例えば６４分割とするなど細かくすることである。また、矩形領域中の静止画素の数が、所定の数より小さい場合には、高解像度化の効果が小さいと考え、静止画情報を送るのを省略するなどの方法が考えられる。

なお、放送波またはＤＶＤから得られる映像に対応する元映像データが利用できない場合は、元映像データからの高解像度画像の切り出しは実行できない。その場合は、静止した部分は高解像度化できない。

映像補足情報生成部１１１２は、動きベクトルバッファ１１０６、および静止部分補足情報バッファ１１１１から、フレームＩＤが付与されたデータを受け取り、それらを一つにまとめたフレーム補足情報を生成する。動きベクトルバッファ１１０６からは、図３に示したフレーム動きベクトル情報を受け取り、静止部分補足情報バッファ１１１１からは、図５（ｃ）に示したフレーム静止部分情報を受け取る。

図６に、映像補助情報生成部１１１２が生成するフレーム補足情報の一例を示す。フレーム補足情報は、映像中でフレームを特定するためのフレームＩＤ２００１、動きベクトル情報３００１、０個以上の静止矩形データから成る。動きベクトル情報３００１は、図３に示したフレーム動きベクトル情報から取り出し、静止矩形データは、図５（ｃ）に示したフレーム静止部分情報から取り出す。静止矩形データは、静止矩形ヘッダ５００１および静止矩形画像５００２で構成される。前述のように（図５（ｂ）の説明で述べたように）、静止矩形画像５００２は、省略されることもある。

図６に示したフレーム補足情報は、後に映像補足情報の一部として、超解像映像視聴装置１２００に送信され、超解像映像視聴装置１２００が、フレームＩＤ２００１で特定されるフレームを高解像度化するために用いられる。

映像補足情報生成部１１１２は、映像に含まれる全ての画像フレームについてフレーム補足情報を生成したら、それらをまとめて映像補足情報を生成し、映像補足情報ＤＢ１１１３に格納する。

図７に、映像補足情報の一例を示す。映像補足情報は、映像を特定するための映像ＩＤ７０１、映像に含まれる全てのフレームについてのフレーム補足情報から成る。

配信管理部１１１４は、ネットワーク接続を有し、ネットワーク１３００経由で受信する映像補足情報への要求に対し、映像補足情報ＤＢ１１１３を検索し、要求元に映像補足情報を送出する。配信管理部１１１４は、映像補足情報を送出する際に、要求元に関する認証処理を実行してもよい。また、配信管理部１１１４は、要求元までのネットワーク帯域に応じて、映像補足情報の送出可否、または送出すべき映像補足情報の質を判断しても良い。さらに、配信管理部１１１４は、要求された映像補足情報が映像補足情報ＤＢ１１１３に格納されていない場合に、映像補足情報の生成を指示しても良い。

図８は、情報サーバ１１００の静止部分補足情報生成部１１１０が、対象フレーム中にある静止矩形データを生成する処理例を示すフロー図である。

ステップ８０００で処理を開始する時点では、静止部分補足情報生成部１１１０は、動きベクトルバッファ１１１６からフレーム動きベクトル情報を読み込んでいるものとする。また、静止部分補足情報生成部１１１０は、元画像フレームバッファ１１０９から、対象フレームの高解像度な元画像を読み込んでいるものとする。

本実施例では、図４に示したように、画面を１６分割して静止矩形を定める方式としたので、各矩形領域が静止部分を含むかどうかを判定する処理は、１６回繰り返せばよい。そのループを制御する部分が、ステップ８００１、ステップ８００２、ステップ８００７である。ステップ８００１でカウンタを０にセットし、ステップ８００２では、カウンタが１６より小さいかどうかを判定する。カウンタが１６を超えていたら、ステップ８９９９に進み、静止矩形データの生成処理は終了である。カウンタが１６より小さい場合は、注目している矩形領域が静止部分を含むかに応じて処理を実行し、ステップ８００７に至って、カウンタを１増やし、再びステップ８００２の判定処理に戻る。

図８に示すステップ８００３以降が、各矩形領域に対する処理である。まずは、ステップ８００３で、注目している矩形領域に静止画素があるかどうかを判定する。静止画素が無ければ、静止矩形データは生成せず、ステップ８００７へ進み、繰り返しの先頭に戻る。ステップ８００３で、注目している矩形領域に静止画素があると判定されたら、静止矩形データを生成する必要があるため、ステップ８００４へ移行する。

ステップ８００４では、注目している矩形領域に含まれる全ての静止画素が、直前のフレームでも静止していたかどうかを判定する。もし、全ての静止画素が、直前のフレームでも静止していた場合は、ステップ８００６に進み、静止矩形データの静止矩形ヘッダ５００１に静止矩形の位置およびサイズを書き込むとともに、静止矩形ヘッダの同一フラグに１を書き込む。この場合は、静止矩形データに、矩形領域の画像データを入れる必要はない。

ステップ８００４で、注目しているフレーム中の静止画素で、直前のフレームでは静止していなかった画素があると判定された場合には、その画素の部分を高解像度化するために必要な画像データを静止矩形データに入れる必要がある。ステップ８００５がこの処理に相当する。静止部分補足情報生成部１１１０は、元画像フレームバッファ１００９から読み込んでおいた、高解像度な画像から、該当部分のデータを切り出し、静止矩形データに書き込む。この際、静止矩形ヘッダには、静止矩形の位置およびサイズを書き込むとともに、同一フラグには０を書き込む。

以上で、各画像フレームに対する静止矩形データが生成される。生成された静止矩形データの構成例は、図５（ａ）（ｂ）に示したとおりである。一つのフレームに対する静止矩形データを集めて、フレームＩＤを付与したものが、図５（ｃ）に示したフレーム静止部分情報であり、静止部分補足情報バッファ１１１１に格納されるものである。

＜受信側＞
再び図１に戻り、超解像映像視聴装置（視聴装置）１２００の構成要素を説明する。

チューナ１２０１は、放送波を受信する機能単位である。放送波は、例えばＭＰＥＧ−２などの方式でコード化されている。ＤＶＤは、映像情報が記録された記録媒体であり、ＤＶＤ読取装置１２０２を解して、記録された映像信号が読み出される。映像信号は、放送波と同じくＭＰＥＧ−２などの方式でコード化されている。

デコーダ１２０３は、放送波およびチューナ１２０１、またはＤＶＤおよびＤＶＤ読取装置１２０２から入力された映像信号を復号し、元の映像、すなわち連続する画像フレームを再現する機能単位である。デコーダ１２０３から出力される画像フレームは、サーバ側デコーダ１１０３から出力されるものと同じ形式であり、その構成は図２に示した通りである。デコーダ１２０３から出力された画像フレームは、画像フレームバッファ１２０４に溜められる。また、デコーダ１２０３は、映像信号に含まれる映像ＩＤを復号し、後述する補足情報受信部１２０６に送出する。

補足情報受信部１２０６は、デコーダ１２０３から受け取った映像ＩＤを元に、ネットワーク１３００経由で、情報サーバ１１００の配信管理部１１１４に、映像補足情報を要求する。配信管理部１１１４は、補足情報受信部１２０６から渡された映像ＩＤで、補足情報ＤＢ１１１３を検索し、その映像ＩＤに対応する映像補足情報を送出する。

補足情報管理部１２０６は、情報サーバ１１００の配信管理部１１１４から送出された映像補足情報を受信し、そこに含まれるフレーム補足情報を、補足情報バッファ１２０７に格納する。映像補足情報の形式、およびフレーム補足情報の形式は、それぞれ図７および図６に示したとおりである。ただし、ネットワーク１３００を介して送るデータの量を削減するため、それぞれの情報は適宜圧縮伸張されても良い。

画像フレームバッファ１２０４に溜められた画像フレーム、および補足情報バッファ１２０７に溜められたフレーム補足情報は、高解像度画像生成部１２０５により読み出される。高解像度画像生成部１２０５は、まず、画像フレームバッファ１２０４から読み込んだ画像フレームのフレームＩＤを読み、次いで、そのフレームＩＤと同一のフレームＩＤを持つフレーム補足情報を、補足情報バッファ１２０７から読み出す。高解像度画像生成部１２０５は、画像フレームおよびフレーム補足情報を用い、高解像度の画像を生成する。この処理の内容は、図９を用いて後述する。

高解像度画像生成部１２０５が生成した高解像度画像は、画質調整部１２０８に送られ、表示部の特性に合わせて画質、例えば輝度や色合いなどが調整される。画質調整された画像は、表示部に送られ、利用者に提示される。

図９は、超解像映像視聴装置１２００の高解像度画像生成部１２０５が、高解像度の画像を生成する処理例を示すフロー図である。

ステップ９０００の開始時点では、すでに映像の視聴は開始され、画像フレームバッファ１２０４にはある程度の枚数の画像フレームが蓄積され、補助方法バッファ１２０７にはある程度の枚数のフレーム補足情報が蓄積されている状態であるとする。画像フレームのデータ形式は図２に示したものと同様であり、フレーム補足情報のデータ形式は図６に示したものと同様である。

ここで、画像フレームの大きさは横７２０画素、縦４８０画素であり、目的とする高解像度画像の大きさは横１９２０画素、縦１０８０画素である。目的とする高解像度画像は、横１９２０画素、縦１０８０画素の目的画像メモリに書き込み、画質調整部１２０８に渡すこととする。

高解像度画像生成部１２０５は、ステップ９００１で、画像フレームバッファ１２０４から、未処理の画像フレームを読み込む。次にステップ９００２で、読み込んだ画像フレームと同一のフレームＩＤを持つフレーム補足情報を、補足情報バッファ１２０７から読み込む。同一のフレームＩＤを持つフレーム補足情報が存在しなかった場合は、ステップ９００３の判定によりステップ９００４に進み、超解像ではない処理で画像サイズを変換して目的画像メモリに書き込む。ステップ９００５で、目的画像メモリの内容を画質調整部に渡す。負荷はかかるが補足情報を用いずに超解像処理してもよい。

ステップ９００３の判定処理で、読み込んだ画像フレームに対するフレーム補足情報が存在すると判定された場合は、ステップ９００７に進む。ステップ９００７では、フレーム補足情報に、未処理の静止矩形データが存在するかどうかを判定する。静止矩形データが最初から存在しない、あるいは全ての静止矩形データを処理し終わった場合は、静止部分を高解像度化する処理は終了であり、ステップ９０１１に進む。

処理すべき静止矩形データが存在する場合は、ステップ９００８へ進む。ステップ９００８では、処理すべき静止矩形データを読み込んでいる。静止矩形データのデータ形式は、図５（ａ）または（ｂ）に示したとおりである。次にステップ９００９では、静止矩形データの静止矩形ヘッダ５００１中の同一フラグを調べる。同一フラグが１である場合は、その静止矩形データには画像データが入っておらず、前フレームを高解像度化した結果として目的画像メモリに残っている画像をそのまま使用できる。したがって何もせずにステップ９００７に戻る。一方、同一フラグが０であった場合は、静止矩形データには静止矩形画像５００２が含まれる。ステップ９０１０に進み、静止矩形画像を目的画像メモリの対応する位置に転写する。転写が終了したら、その静止矩形データの処理は終わりであり、ステップ９００７に戻る。

処理すべき静止矩形データが無くなったら、ステップ９０１１に進み、動きベクトル情報を用いた超解像処理を実行する。ステップ９０１１では、動きベクトルが０でない画素で、未処理のものが無いかを判定している。

動きベクトルが０でない未処理の画素があった場合、ステップ９０１２へ進み、その画素について超解像処理により高解像度化を実施する。この超解像処理には、例えば同じ出願人による特願２００６−１５０８７５号や特願２００６−２５９８８６号に記載の技術を用いることができる。次にステップ９０１３に進み、前ステップで計算された結果を、目的画像メモリに書き込む。これで動きベクトルが０でない一つの画素についての処理は終了であり、ステップ９０１１の判定処理に戻る。

ステップ９０１１の判定で、未処理の画素が無くなれば、超解像処理は終了であり、ステップ９００５に進み、目的画像メモリの内容を画質調整部１２０８に渡す。

以上のように、本実施例の映像視聴装置は、サーバで生成された映像補足情報をネットワーク経由で受信し、それを用いて高解像度映像を生成する。したがって、映像補足情報に含まれる動きベクトル生成のためのハードウェアを端末側に持つ必要が無く、高解像度映像を比較的安価に実現可能であるという利点がある。映像視聴装置側で必要な高解像度映像の生成は、比較的安価な専用ハードウェアで実現することも可能であるが、視聴装置の性能がある程度高ければ、ソフトウェアのみで実現することも可能である。したがって、パーソナルコンピュータやゲーム機などでも、映像表示ソフトウェアを改造するのみで、超解像映像を表示可能となる可能性がある。また、サーバから送出される映像補足情報に含まれる、静止画部分を高解像度化する情報を利用し、超解像処理のみでは高解像度化できない静止部分も高解像度化可能である。

本実施例によれば、超解像処理で時間が掛かる部分をサーバ側で実行することで、各端末の負荷を軽減可能となる。したがって端末側は、安価なハードウェアの追加またはソフトウェアの改造のみで、超解像映像を表示可能となる。テレビ放送受像機のみでなく、パーソナルコンピュータやゲーム機で映像を視聴する際にも適用可能である。さらに、サーバ側から静止部分を高解像度化する情報も送出することで、超解像処理では高解像度化できない部分も高解像度化可能とできる。本実施例は、比較的安価な映像視聴装置で、映像を高解像度化して視聴する際の、端末およびサーバに適用可能である。

システムの構成例を示す。 画像フレーム情報の構成例を示す。 フレーム動きベクトル情報の構成例を示す。 画像の分割の一例を示す。 フレーム静止部分情報の一例を示す。 図２、３、５の情報を含むフレーム補足情報の一例を示す。 図６のフレーム補足情報を複数含む映像補足情報の一例を示す。 フレーム静止部分情報を生成する処理例を示す。 高解像度画像を生成する処理例を示す。

符号の説明

１１００ 超解像映像情報サーバ
１１０１ サーバ側チューナ
１１０２ サーバ側ＤＶＤ読取装置
１１０３ サーバ側デコーダ
１１０４ サーバ側画像フレームバッファ
１１０５ 動きベクトル生成部
１１０６ 動きベクトルバッファ
１１０７ 元映像データ
１１０８ 元映像デコーダ
１１０９ 元画像フレームバッファ
１１１０ 静止部分補足情報生成部
１１１１ 静止部分補足情報バッファ
１１１２ 映像補足情報生成部
１１１３ 映像補足情報ＤＢ
１１１４ 配信管理部
１２００ 超解像映像視聴装置
１２０１ チューナ
１２０２ ＤＶＤ読取装置
１２０３ デコーダ
１２０４ 画像フレームバッファ
１２０５ 高解像度画像生成部
１２０６ 補足情報受信部
１２０７ 補足情報バッファ
１２０８ 画質調整部
１２０９ 表示部
２００１ フレームＩＤ
２００２ フレーム画像
３００１ 動きベクトル情報
５００１ 静止矩形ヘッダ
５００２ 静止矩形画像
７００１ 映像ＩＤ

Claims (8)

1. 第１の解像度の映像から動きベクトルの情報を取得する動きベクトル取得部と、
   前記第１の解像度よりも解像度が高い第２の解像度の静止画情報を取得する静止画情報取得部と、
   前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とを送信する送信部とを有する高解像度化情報送信装置。
2. 請求項１の高解像度化情報送信装置であって、
   前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とを、映像に含まれるフレーム毎に対応付ける補足情報生成部を有する高解像度化情報送信装置。
3. 請求項２の高解像度化情報送信装置であって、
   前記静止画情報取得部は、映像に含まれるフレームの一つを分割した所定の矩形の単位に静止画情報を取得し、
   補足情報生成部は、フレーム毎に複数の静止画情報を含ませる高解像度化情報送信装置。
4. 請求項１の高解像度化情報送信装置であって、
   前記静止画情報取得部は、映像に含まれ、第１のフレームに連続する第２のフレームについて静止画情報を取得するとき、前記第１のフレームと同じ内容を示す静止画情報であるかを判断し、同じ内容を示すときには同一フラグを取得し、異なる内容を示すときには前記第２のフレームの静止画の少なくとも色情報を取得する高解像度化情報送信装置。
5. 請求項１の高解像度化情報送信装置であって、
   前記送信部は、前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とに、前記第１の解像度の映像を対応付けて送信する高解像度化情報送信装置。
6. 第１の解像度の映像から動きベクトル情報と、第１の解像度よりも高い第２の解像度の静止画情報とを受信する受信部と、
   前記受信部で受信した動きベクトル情報と静止画情報とに基づいて、第１の解像度の映像を第２の解像度に高解像度化する画像生成部とを有する高解像度化情報受信装置。
7. 請求項６の高解像度化情報受信装置であって、
   前記画像生成部は、第１の解像度の映像に含まれるフレーム毎に、前記受信部で受信した動きベクトル情報と静止画情報とを用いて高解像度化する高解像度化情報受信装置。
8. 請求項７の高解像度化情報受信装置であって、
   前記画像生成部は、前記受信部で取得した静止画情報が、映像に含まれる前のフレームと同じであることを示しているときは前のフレームの静止画情報を用いる高解像度化情報受信装置。

Images