JP2006196960A - 動画データ受信装置 - Google Patents

Abstract

【課題】送信側に特殊な仕組みを用意することなく、伝送路でエラーの生じた画像を短い処理時間で補間することが可能な動画データ受信装置を提供すること。
【解決手段】符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を１画面分保存しておく画像バッファ手段と、画像バッファ手段内の画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量に応じて算出に用いた画像よりも後に送られてきた画像のエラーに対して画像前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを含んで動画データ受信装置を構成する。
【選択図】図１

Description

本発明は、符号化された動画像情報をリアルタイムに受信して復号する動画像受信復号装置において、伝送システムにおけるデータ誤りや欠落等に起因した画像品質の低下を、受信装置で改善する機能を持つ動画データ受信装置に関する。

インターネット等のネットワークシステムを利用して、動画像をリアルタイムに伝送するためのアプリケーションプロトコルとして、ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）がある。ＲＴＰでリアルタイムに低遅延でデータを伝送するためには、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いるのが一般的である。ＵＤＰでは、ネットワーク上で起きるパケットデータの欠落、遅延による廃棄、順序逆転等について関知しないため、アプリケーションにその処理を任せられる。動画像伝送においてデータの欠落や廃棄が起きた場合は、受信装置側で画像の時間的・空間的な類似性等を利用して補間処理が行われる（例えば、特許文献１参照）。

ＵＤＰ上で廃棄されたパケットを受信装置側の画像処理で補間処理するだけでは画質が低下するため、冗長度を上げて多少のエラーを訂正可能なＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）と、データ再送要求処理であるＡＲＱ（Ａｕｔｏ Ｒｅｐｅａｔ ｒｅＱｕｅｓｔ）を動的に切り替えて制御するシステムも提案されている（例えば、特許文献２参照）。

又、画像を領域分割し、領域毎に階層符号化の解像度を変えて伝送することにより、パケット廃棄による画像劣化を低減するシステムも提案されている（例えば、特許文献３参照）。

又、送信側でエラー時の補間処理方法を判定し、ヘッダーに補間方法の識別情報を付加して動画像を送信することにより、画像に応じて補間方法を切り替えるシステムも提案されている（例えば、特許文献４参照）。

特開平０７−１１１６５４号公報（第５〜６頁、図１） 特開２００３−１７９５８０号公報（第１９〜２１頁、図１４） 特開２００４−０９６３０９号公報（第５〜７頁、図２） 特開２００２−２８１５０７号公報（第３〜４頁、図１〜図３）

上記特許文献１の例では、画像を受け取った後に複数の補間方法を実行し、周囲との類似度が高いものを選択するという処理であるため、処理に時間が掛かるという問題がある。

特許文献２の例では、回線の状況に応じてエラー訂正方法を動的に切り替えるもので、画像の内容によって処理方法を変えるものではない。

特許文献３の例では、画像の領域毎に符号化方法を変化させる方法が採られているが、この方法は送信機器側で符号化処理を領域毎に切り替える特殊処理が必要なため、一般的なコンテンツ送信サーバーからの画像データ受信の際には適用できないという問題がある。

特許文献４の例では、特許文献３の例と同様に送信サーバー側に特殊な処理が必要であり、送信データのユーザーエリアに識別情報の付加も必要とするので汎用性が低い。

本発明は上記技術的課題に鑑みてなされたもので、その目的とする処は、リアルタイム伝送される動画像データを表示する動画データ受信装置において、伝送路で生じたエラー画像を、送信側に特殊な仕組みを用意することなく、短い処理時間で補間することができる動画データ受信装置を提供することにある。

上記目的を達成するため、請求項１記載の発明は、符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を１画面分保存しておく画像バッファ手段と、画像バッファ手段内の画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量に応じて算出に用いた画像よりも後に送られてきた画像のエラーに対して画像前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを含んで動画データ受信装置を構成したことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記特徴量算出手段は、領域内の輝度値を積算し、閾値と比較することを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記特徴量算出手段は、領域内のコントラストを算出し、閾値と比較することを特徴とする。

請求項４記載の発明は、請求項１記載の発明において、前記補間処理切り替え手段は、重要度の低い領域では前フレームの同一位置の画像データ、重要度の高い領域では動きベクトルを算出して動き補償された位置の画像データを各々用いて補間処理することを特徴とする。

請求項５記載の発明は、請求項１記載の発明において、前記補間処理切り替え手段は、重要度の高い領域では送信側に対して再送要求を行うことを特徴とする。

本発明によれば、リアルタイム伝送される動画像データを表示する動画データ受信装置において、送信側に特殊な仕組みを用意することなく、伝送路でエラーの生じた画像を短い処理時間で補間することが可能な動画データ受信装置を実現することが可能となる。

以下に本発明の実施の形態を添付図面に基づいて説明する。

＜実施の形態１＞
図１は本発明の第１の実施形態に係る動画データ受信装置の概略構成を示すブロック図である。

図１において、１００は無線接続された通信インターフェースであり、リアルタイムに送信されてくる符号化された動画像データを受信する。ここでの動画像データは、ＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）規格によって圧縮され、ＵＤＰを用いたＲＴＰのパケットとして送信されてくるものとする。又、通信データは、パケットエラー等に対応するエラー訂正手法として、ＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）が使用され、多少のパケットエラー等は訂正が可能である。このＦＥＣによるエラー訂正及び付加されている冗長データの削除を行うのがＦＥＣデコード処理部１１０である。

ＦＥＣデコード処理部１１０の出力は、画像デコード処理部１３０に送られると共に、エラー検出部１２０にも送られる。エラー検出部１２０では、ＦＥＣデコード処理部１１０でエラー訂正し切れなかったエラーを検出する。ここでのエラーは、通信路上でのデータ破壊以外に、遅延時間が規定よりも長過ぎるものも含む。

画像デコード処理部１３０では、ＭＰＥＧ４圧縮された画像データをデコードする。デコードされた結果は、現フレームバッファ１４０に逐次格納される。このとき、付属情報として、動きベクトルデータも同時に書き込まれる。現フレームバッファ１４０の内容は、次のフレームのデータのデコードが開始される前に、前フレームバッファ１５０にコピーされる。

領域判定部１６０は、前フレームバッファ１５０の内容に基づいて、ブロック分割した領域毎に次のフレームでエラーとなったときの補間方法を決定し、補間方法テーブル１７０に書き込む。領域判定部１６０の詳細な処理については図を用いて後述する。

画像補間処理部１８０は、エラー検出部１２０からエラー位置情報を受け取り、補間方法テーブルの該当位置の情報に従って、現フレーム１４０及び前フレーム１５０の内容を用いて補間処理を行い、現フレーム１４０の該当位置に書き込む。画像補間処理部１８０の詳細な処理については、図を用いて後述する。

画像デコード処理部１３０によるデコード及び画像補間処理部１８０による補間処理が終了した後、現フレームバッファ１４０の内容が表示制御部１９０によって、表示パネル１９１に表示される。

図２は領域判定部１６０の内部構成を表した図、図３は実際の画像及び処理結果を示す図である。

ブロック切り出し部２００では、前フレームバッファ１５０の画像をブロックに切り出しながら読み出す。この分割ブロックの単位は、ＭＰＥＧ４における処理単位であるマクロブロックよりも大きく設定されている。ブロック切り出し部２００で切り出した様子を図３の（ａ）に示す。図３の（ａ）において、ブロック３０，３１，３２，３３の順に読み出されていく。

ブロック切り出し部２００で切り出されたデータは、輝度値積分部２１０、コントラスト算出部２２０、ランレングス計測部２３０に送られ、特徴量が算出される。

輝度値積分部２１０では、ブロックを更に小領域に分割し、ブロック内の輝度値を積算していく処理を行う。

コントラスト算出部２２０では、ブロックを更に小領域に分割し、小領域内の最大濃度差を累積していく処理を行う。

ランレングス計測部２３０では、同一色の連続するランレングスを、縦・横・斜め方向で計測する。

ブロック分類部２４０では、輝度値積分部２１０、コントラスト算出部２２０、ランレングス計測部２３０の情報に基づいて輝度値が一定以上で、コントラストが高く、又、短いランが多数ある領域を文字領域と判定し、「１」を出力し、輝度値が一定以下か、コントラストが低い領域を、重要性の低い目立たない領域と判定して「３」を出力し、その他の領域に対しては「２」を出力し、補間テーブル１７０の該当位置に書き込む。この判定結果の例を図３の（ｂ）に示す。

図４は画像補間部１８０の内部構成を表した図である。

動きベクトル算出部４００では、エラー検出部１２０からエラー位置情報を受け取り、その位置情報に基づいて現フレームバッファ１４０からエラー位置周辺のエラーしていないマクロブロックの動きベクトル情報を読み取り、エラー位置の動きベクトルを算出する。動きベクトルの算出は、周囲の動きベクトルの重み付き平均を取ることで行う。

マッチング検索部４１０では、動きベクトル算出部４００で算出された動きベクトルを基に現フレームバッファ１４０内のエラー位置周辺の画像データと、前フレームバッファ１５０内の動きベクトルで示される位置周辺の画像を比較し、最も類似度が高い位置を探索する。

セレクタ４２０は、補間方法テーブル１７０におけるエラー位置の含まれるブロックの補間方法選択情報を示す値に応じて、「３」の場合はエラー検出部１２０からのエラー位置情報、「２」の場合は動きベクトル算出部４００からの位置情報、「１」の場合はマッチング探索部からの位置情報が選択される。又、この補間方法選択情報を示す値に応じて、「３」の時は動きベクトル算出部４００とマッチング検索部４１０がディセーブルされ、「２」の時はマッチング検索部４１０がディセーブルされる。

ブロック転送部４３０では、セレクタ４２０から出力される位置情報に応じて、前フレームバッファ１５０から画像データが読み出され、現フレームデータ１４０の該当エラー位置に書き込む。

この結果、重要性の低い目立たない領域「３」では、エラー位置と同じ位置、通常の領域「２」では、算出された動きベクトルで示される位置、文字領域「１」では、算出された動きベクトル周辺でマッチング処理によって検出された位置の前フレームバッファ１５０の画像で補間処理が行われる。

＜実施の形態２＞
本実施の形態は、実施の形態１と比較して、再送要求処理部５００が追加されている。この再送要求処理部５００は、補間方法テーブル１７０における、エラー位置の含まれるブロックの補間方法選択情報を示す値に応じて、文字領域「１」の場合は、送信機器に対してエラー情報の再送要求を行う。このとき、実施の形態１同様、画像補間部１８０による補間も同時に行われ、再送されたデータが、表示制御部１９０の表示タイミングに間に合う場合には、再送されたデータに置き換えられる。

本実施形態では、再送処理をエラー情報の再送要求を文字領域「１」に含まれる場合に限定することにより、補間によって違和感の起き易い領域のエラーを低減することができる。

＜その他の実施の形態＞
上記実施の形態で説明した動画データ受信装置では、動画像はＭＰＥＧ４で圧縮されているものとしたが、ＭＰＥＧ２、Ｈ．２６４、ＭｏｔｉｏｎＪＰＥＧ等、他の圧縮形式を用いた場合にも同様の効果が得られる。

又、動画データの通信手段としては無線による通信としているが、有線接続や、光接続等による通信としても良く、通信のプロトコルもＲＴＰ、ＵＤＰに限定されるものではない。

画像補間処理に関しても、周囲のデータの周波数成分から補間する方法等の様々な方式が知られており、本発明の効果を損なうことなく、他の補間方式に置き換えることも可能である。

本発明の実施の形態１に係る動画データ受信装置の概略構成を示すブロック図である。 本発明の実施の形態１に係る動画データ受信装置の領域判定手段の構成を示すブロック図である。 本発明の実施の形態１に係る動画データ受信装置の領域判定処理結果の例を示す図である。 本発明の実施の形態１に係る動画データ受信装置の画像補間手段の構成を示すブロック図である。 本発明の実施の形態２に係る動画データ受信装置の概略構成を示すブロック図である。

符号の説明

１００ 通信部
１１０ ＦＥＣデコード処理部
１２０ エラー検出部
１３０ 画像デコード部
１５０ 前フレームバッファ
１６０ 領域判定部
１７０ 補間方法テーブル
１８０ 画像補間処理部
２００ ブロック切り出し部
２１０，２２０，２３０ 特徴量算出部
２４０ 領域検出部
４１０ マッチング探索部
４２０ 補間方法切り替え部
５００ 再送要求部

Claims (5)

1. 符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を１画面分保存しておく画像バッファ手段と、画像バッファ手段内の画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量に応じて算出に用いた画像よりも後に送られてきた画像のエラーに対して画像前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを有することを特徴とする動画データ受信装置。
2. 前記特徴量算出手段は、領域内の輝度値を積算し、閾値と比較することを特徴とする請求項１記載の動画データ受信装置。
3. 前記特徴量算出手段は、領域内のコントラストを算出し、閾値と比較することを特徴とする請求項１記載の動画データ受信装置。
4. 前記補間処理切り替え手段は、重要度の低い領域では前フレームの同一位置の画像データ、重要度の高い領域では動きベクトルを算出して動き補償された位置の画像データを各々用いて補間処理することを特徴とする請求項１記載の動画データ受信装置。
5. 前記補間処理切り替え手段は、重要度の高い領域では送信側に対して再送要求を行うことを特徴とする請求項１記載の動画データ受信装置。

Images