JP2012009997A - 動画像表示装置及び方法 - Google Patents

Abstract

【課題】動画像表示装置において、映像情報に欠損部分が生じた場合に、条件に応じた適切な補完処理を行う。
【解決手段】動画像表示装置は、同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力手段（１１０）と、第１映像符号に応じた映像を出力する出力手段（１７０）と、第１映像符号における映像フレームの欠落を検出する欠落検出手段（１４０）と、欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定手段（１４０）と、欠落した映像フレームが参照フレームと判定された場合に、第２映像符号に基づいて、欠落した映像フレームの映像性質を判定する映像性質判定手段（１５０）と、映像性質に応じて、欠落した映像フレームによる影響を小さくする所定の処理を実行する実行手段（１６０）とを備える。
【選択図】図１

Description

本発明は、例えば地上デジタル放送等の映像信号を受信して動画像を表示する動画像表示装置、及び動画像表示方法に関する。

この種の動画像表示装置として、例えば自動車等の車内での視聴を可能とする車載用のものが知られている。このような車載用の装置では、走行しながら映像信号の受信を行うので、受信状態が一時的に悪化し、映像の乱れや音切れが頻繁に発生するおそれがある。このため、例えば特許文献１では、固定受信向けサービス（例えば、１２セグ放送）の映像データに欠損部分が生じた場合に、部分受信向けサービス（例えば、ワンセグ放送）の映像データを用いて補完するという技術が提案されている。

特開２００６−３４００８６号公報

しかしながら、上述したような技術では、映像データの欠損部分に対して他の映像データを補間する処理が行われるだけである。従って、映像フレーム中の映像データの欠損はないが、映像データの欠損の影響を受けて乱れてしまった映像フレームは、そのまま出力されてしまう。例えば、エラーの性質や割合、映像の性質（例えば、静止画やシーンチェンジ等）によっては、映像フレーム中の映像データの欠損がなくても映像フレームの表示を更新しない方が、より適切な映像を表示できる場合がある。このように、映像フレーム中の映像データの欠損はないが、映像データの欠損の影響を受けて乱れてしまった映像フレームは、適切な映像出力制御を行うことができない。よって、映像の乱れを効果的に抑制できないおそれがあるという技術的問題点がある。

本発明は、例えば上述した問題点に鑑みなされたものであり、映像データの欠損の影響を受けて乱れてしまった映像フレームに対して、条件に応じた適切な映像出力制御を行うことが可能な動画像表示装置及び方法を提供することを課題とする。

本発明の動画像表示装置は上記課題を解決するために、同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力手段と、前記第１映像符号に応じた映像を出力する出力手段と、前記第１映像符号における映像フレームの欠落を検出する欠落検出手段と、前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定手段と、前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定手段と、前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行手段とを備える。

本発明の動画像表示方法は上記課題を解決するために、同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力工程と、前記第１映像符号に応じた映像を出力する出力工程と、前記第１映像符号における映像フレームの欠落を検出する欠落検出工程と、前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定工程と、前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定工程と、前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行工程とを備える。

本発明の作用及び利得は次に説明する発明を実施するための形態から明らかにされる。

実施例に係る動画像表示装置の全体構成を示すブロック図である。 実施例に係る動画像表示装置の動作を示すフローチャートである。 １２セグ映像の映像フレームをデコード順及び表示順で示す概念図である。 欠落した映像フレームの検出方法を示す概念図である。 欠落した映像フレームが他の映像フレームに及ぼす影響の伝播を示す概念図である。 欠落した映像フレームの映像性質の判定方法を示す概念図である。 欠落した映像フレームが静止画である場合の補完処理を示す概念図である。 欠落した映像フレームが静止画でない場合の補完処理を示す概念図である。

本実施形態に係る動画像表示装置は、同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力手段と、前記第１映像符号に応じた映像を出力する出力手段と、前記第１映像符号における映像フレームの欠落を検出する欠落検出手段と、前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定手段と、前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定手段と、前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行手段とを備える。

本実施形態に係る動画像表示装置によれば、その動作時に、同一の映像コンテンツから生成される第１映像符号及び第２映像符号が入力される。第１映像符号は、例えば１２セグ放送等の固定受信向けサービスであり、第２映像符号は、例えばワンセグ放送等の部分受信向けサービスである。尚、ここでの「同一」とは、完全に同じものを指すだけではなく、後述する所定の処理に利用できる程度に、第１映像符号及び第２映像符号の生成元が互いに近いものである場合をも含む広い概念である。

第１映像符号及び第２映像符号が入力されると、第１映像符号に応じた映像が出力され、例えばモニタ等において表示される。尚、本実施形態に係る出力手段は、第１映像符号に応じた映像だけではなく、第２映像符号に応じた映像も出力可能とされてもよい。

本実施形態に係る動画像表示装置は特に、第１映像符号における映像フレームに欠落が生じた場合に、欠落した映像フレームによる影響を小さくする所定の処理を実行するように構成されている。即ち、映像フレームが欠落することによる映像の乱れ等を抑制するような処理が実行される。以下では、所定の処理の実行方法について説明する。

第１映像符号における映像フレームの欠落は、欠落検出手段において検出される。映像フレームの欠落が検出されると、参照フレーム判定手段において、欠落した映像フレームが他の映像フレームから参照される参照フレームであるか否かが判定される。即ち、欠落した映像フレームが、他の映像フレームにまで影響を与えるものであるか否かが判定される。

欠落した映像フレームが参照フレームと判定された場合、映像性質判定手段において、欠落した映像フレームの映像性質が判定される。ここで特に、欠落した映像フレームの映像性質は、第２映像符号に基づいて判定される。尚、ここでの「映像性質」とは、他のフレームへの影響を推定できるような性質であり、例えば動きのない静止画や画面が切り替わるシーンチェンジ等のようなものが挙げられる。

第１映像符号及び第２映像符号は、上述したように、同一の映像コンテンツから生成されている。よって、仮に第１映像符号の映像フレームが欠落したとしても、欠落した映像フレームに対応する第２映像符号の映像フレームを利用すれば、欠落した映像フレームの映像性質を判定することができる。

映像性質が判定されると、この映像性質に応じて、所定の処理が実行される。例えば、複数種類用意された所定の処理から、映像性質に応じたもの（即ち、より効果的に欠落した映像フレームによる影響を抑制できる処理）が選択され実行される。従って、より適切な映像を表示させることが可能となる。尚、どのような映像性質に対して、どのような所定の処理を行うかは、予め設定され、実行手段が有するメモリ等に記憶されている。所定の処理の具体例としては、例えば映像フレームの補完や、第１映像符号に応じた映像から第２映像符号に応じた映像への切替え、映像フレームの表示の更新停止等が挙げられる。

以上説明したように、本実施形態に係る動画像表示装置によれば、映像データの欠損の影響を受けて乱れてしまった映像フレームに対して、条件に応じた適切な映像出力制御を行うことが可能である。

本実施形態に係る動画像表示装置の他の態様では、前記実行手段は、前記所定の処理として、前記欠落した映像フレームの直前の映像フレームを用いた前記欠落した映像フレームの補完を実行する。

この態様によれば、欠落した映像フレームが、直前の映像フレームを用いて補完される。具体的には、例えば欠落した映像フレームが、直前の映像フレームと置き換えられることで、欠落した映像フレームが補完される。尚、ここでの「直前のフレーム」とは、欠落した映像フレームの１フレーム前の映像フレームを意味するだけでなく、補完に用いることができる程度に映像の差が小さければ数フレーム或いは十数フレーム前の映像フレームであってもよい。また、直前の映像フレームは、映像フレームが欠落したことによる影響を受けない参照フレームであることが望ましい。

このような補完処理を行えば、欠落した映像フレームが存在すべきであった位置に、代わりとなるような映像フレームが存在することになる。よって、映像フレームの欠落に起因する映像の乱れ等を、極めて好適に低減させることが可能である。

本実施形態に係る動画像表示装置の一態様では、前記実行手段は、前記映像性質が静止画である場合、前記所定の処理として、前記欠落した映像フレームの直前の映像フレームを用いた前記欠落した映像フレームの補完を実行する。

この態様によれば、欠落した映像フレームが静止画である場合（即ち、動きの比較的少ないフレームの場合）には、欠落した映像フレームが、直前の映像フレームを用いて補完される。即ち、欠落した映像フレームに対して必ず補完処理が実行される訳ではなく、映像性質判定手段において映像性質が静止画であると判定された場合に、所定の処理として補完処理が実行される。

欠落した映像フレームの映像性質が静止画である場合、欠落した映像フレームの直前の画像は、欠落した映像フレームとの差が比較的小さいと考えられる。よって、上述したような映像フレームの置き換え処理を行うことによって、容易且つ適切に映像フレームの補完が行える。

本実施形態に係る動画像表示装置の他の態様では、前記実行手段は、前記所定の処理として、前記映像フレームの表示の更新停止を実行する。

この態様によれば、映像フレームが欠落した場合、映像フレームの表示の更新が停止される。即ち、それまで表示されていた映像フレームが表示され続けることになる。尚、映像フレームの更新停止は、正常な映像フレーム、すなわち映像フレームの欠落の影響を受けていなく、乱れが無い映像フレームが入力されると共に解除される。

映像フレームが欠落した場合には、典型的には、欠落した映像フレームを補完するような処理が行われることが好ましいが、エラーの性質や割合、映像の性質等によっては、映像フレームの表示を更新しない方が、より適切な映像を表示できる場合がある。

本態様では、映像性質判定手段において判定された映像性質に応じて映像フレームの表示の更新停止が実行されるため、映像フレームの欠落に起因する映像の乱れ等を、極めて好適に低減させることが可能である。

本実施形態に係る動画像表示装置の他の態様では、前記実行手段は、前記映像性質が静止画である場合、前記所定の処理として、前記映像フレームの表示の更新停止を実行する。

この態様によれば、欠落した映像フレームが静止画である場合には、映像フレームの表示の更新が停止される。即ち、映像フレームが欠落した場合に必ず映像フレームの更新停止処理が実行される訳ではなく、映像性質判定手段において映像性質が静止画であると判定された場合に、所定の処理として映像フレームの更新停止処理が実行される。

欠落した映像フレームの映像性質が静止画である場合、欠落した映像フレームに続く映像フレームも、動きが比較的小さいものである考えられる。よって、映像フレームの表示の更新を停止させたとしても、視聴者が違和感を覚えてしまう可能性は少ない。従って、映像フレームが欠落したことによる影響を、効果的に小さくすることができる。

本実施形態に係る動画像表示装置の他の態様では、前記出力手段は、前記第１映像符号に応じた映像に代えて、前記第２映像符号に応じた映像を出力可能であり、前記実行手段は、前記映像性質が静止画でない場合、前記所定の処理として、前記第１映像符号に応じた映像を前記第２映像符号に応じた映像に切替えるように前記出力手段の制御を実行する。

この態様によれば、出力手段は、第１映像符号に応じた映像だけではなく、第２映像符号に応じた映像も出力可能とされている。そして、欠落した映像フレームの映像性質が静止画でない場合（即ち、シーンチェンジ等の動きがあるフレームの場合）には、第１映像符号の映像が、一時的に第２映像符号の映像に切替えられる。尚、第２映像符号に応じた映像は、典型的には、第１映像符号の映像を正常に表示可能となった時点で、元の第１映像符号の映像へと切替えられる。

欠落した映像フレームの映像性質が静止画でない場合、欠落した映像フレームの直前或いは直後の画像は、欠落した映像フレームとの差が比較的大きいと考えられる。よって、例えば第１位映像符号における他の映像フレームとの置き換え処理では、映像フレームによる欠落の影響を小さくできないおそれがある。

これに対し、第２映像符号に応じた映像への切替え処理によれば、欠落した映像フレームを持たない第２映像符号による表示が行われる。このため、第１映像符号における欠落した映像フレームによる影響を抑制しつつ、好適に映像を表示させることが可能である。

本実施形態に係る動画像表示装置の他の態様では、前記実行手段は、前記欠落した映像フレームに加えて、前記欠落した映像フレームを参照する映像フレームを補完する。

この態様によれば、欠落した映像フレームだけでなく、欠落した映像フレームを参照する映像フレーム（即ち、欠落した映像フレームによる影響を受ける映像フレーム）についても補完が行われる。よって、参照フレームが欠落した場合において、極めて好適に映像フレームを補完することが可能である。

本実施形態に係る動画像表示装置の他の態様では、前記参照フレーム判定手段は、前記欠落した映像フレームの提示時間情報または復号時刻情報及びピクチャタイプを用いて、前記欠落した映像フレームが前記参照フレームであるか否かを判定する。

この態様によれば、映像フレームが参照フレームであるか否かは、映像フレームの提示時間情報又は復号時刻情報及びピクチャタイプを用いて判定される。提示時間情報及び復号時刻情報は、典型的には、いずれか一方を用いれば済むが、両方が用いられても構わない。尚、ここでの「提示時間情報」とは、映像フレームがどのタイミングで映像として表示されるかを示す情報である。また、「復号時間情報」とは、映像フレームがどのタイミングで復号されるかを示す情報である。また「ピクチャタイプ」とは、映像フレームの種別を示す情報であり、例えばＩピクチャ、Ｐピクチャ及びＢピクチャ等がある。

映像フレームは、映像として表示される順番と、復号される順番とが互いに異なる場合がある。よって、仮に復号される順番で参照フレームであるか否かを判定しようとすると、間違った判定結果が出てしまう場合がある。これに対し、提示時間情報または復号時刻情報を用いれば、正確な映像フレームの順番を確実に知ることができる。よって、提示時間情報又は復号時刻情報及びピクチャタイプを用いれば、参照フレームであるか否かの判定を好適に行うことができる。

本実施形態に係る動画像表示方法は、同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力工程と、前記第１映像符号に応じた映像を出力する出力工程と、前記第１映像符号における映像フレームの欠落を検出する欠落検出工程と、前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定工程と、前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定工程と、前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行工程とを備える。

本実施形態に係る動画像表示方法によれば、上述した本発明の動画像表示装置の場合と同様に、第１映像符号の参照フレームが欠落した場合に、第２映像符号に基づいて、欠落した映像フレームの映像性質が判定される。そして、判定された映像性質に応じて、所定の処理が実行される。従って、映像データの欠損の影響を受けて乱れてしまった映像フレームに対して、条件に応じた適切な映像出力制御を行うことが可能である。

尚、本発明の動画像表示方法においても、上述した本発明の動画像表示装置における各種態様と同様の各種態様を採ることが可能である。

本発明の動画像表示装置及び方法に係る各種実施形態の作用及び他の利得については、以下に示す実施例において、より詳細に説明する。

以下では、図面を参照して、本発明の実施例について詳細に説明する。

先ず、本実施例に係る動画像表示装置の構成について、図１を参照して説明する。ここに図１は、本実施例に係る動画像表示装置の全体構成を示すブロック図である。

図１において、本実施例に係る動画像表示装置は、入力部１１０と、第１復号部１２１及び第２復号部１２２と、第１フレームバッファ１３１及び第２フレームバッファ１３２と、参照フレーム欠落検出部１４０と、映像性質判定部１５０と、補完部１６０と、出力切替部１７０とを備えて構成されている。

入力部１１０は、本発明の「入力手段」の一例であり、同一の映像コンテンツから生成される２種類の映像信号を入力可能に構成されている。入力部１１０は、入力された映像信号を第１復号部１２１及び第２復号部１２２に出力する。また入力部１１０は、参照フレーム欠落検出部１４０に対して提示時間情報（以下、適宜「ＰＴＳ」と称する）を出力可能に構成されている。また第１復号部１２１は、参照フレーム欠落検出部１４０に対してピクチャタイプを出力可能に構成されている。以下では、本発明の「第１映像符号」の一例として１２セグ映像、「第２映像符号」の一例としてワンセグ映像が入力される場合を例にとり説明する。

第１復号部１２１及び第２復号部１２２は、入力部１１０において入力された映像信号を復号するデコーダーとして機能する。第１復号部１２１は、入力された１２セグ映像を復号する。第２復号部１２２は、入力されたワンセグ映像を復号する。

第１フレームバッファ１３１及び第２フレームバッファ１３２は、復号された映像を一時的に記憶可能に構成されている。第１フレームバッファ１３１は、第１復号部１２１において復号された１２セグ映像を記憶する。第２フレームバッファ１３２は、第２復号部１２２において復号されたワンセグ映像を記憶する。

参照フレーム欠落検出部１４０は、復号された１２セグ映像における映像フレームの欠落を検出すると共に、欠落した映像フレームが参照フレームであるか否かを判定する。即ち、参照フレーム欠落検出部１４０は、本発明の「欠落検出手段」及び「参照フレーム判定手段」の一例である。参照フレーム欠落検出部１４０の具体的な動作については、後に詳述する。

映像性質判定部１５０は、本発明の「映像性質判定手段」の一例であり、１２セグ映像における欠落した映像フレームの映像性質を、ワンセグ映像の映像フレームを用いて判定する。映像性質判定部１５０は、欠落した映像フレームが、他の映像フレームにどの程度の影響を与えるかを推定するために映像性質を判定する。具体的な映像性質としては、例えば静止画等の動きのないフレームであるといったものや、シーンチェンジ等の動きの大きいフレームであるといったものが挙げられる。

補完部１６０は、本発明の「実行手段」の一例であり、映像性質判定部１５０において判定された映像性質に応じて、１２セグ映像の欠落した映像フレームを補完する。また、映像フレームの表示の更新停止や、後述する出力切替部の制御を行うことが可能とされている。即ち、映像フレームが欠落することによる映像の乱れを低減させるような処理を行う。補完部１６０の具体的な動作については、後に詳述する。

出力切替部１７０は、本発明の「出力手段」の一例であり、第１フレームバッファ１３１に記憶された１２セグ映像と、第２フレームバッファ１３２に記憶されたワンセグ映像とを選択的に出力可能に構成されている。

次に、本実施例に係る動画像表示の動作について、図１に加えて図２から図８を参照して説明する。ここに図２は、本実施例に係る動画像表示装置の動作を示すフローチャートである。また図３は、１２セグ映像の映像フレームをデコード順及び表示順で示す概念図である。

図２において、本実施例に係る動画像表示装置の動作時には、先ず入力部１１０から入力された１２セグ映像及びワンセグ映像を、第１復号部１２１及び第２復号部１２２が夫々復号する（ステップＳ０１）。

図３に示すように、１２セグ映像は、Ｉピクチャ、Ｐピクチャ及びＢピクチャの３種類の映像フレームからなる。Ｉピクチャは、他の映像フレームから参照されるが、自らが他の映像フレームを参照しないフレームである。Ｐピクチャは、他の映像フレームから参照されると共に、自らも他の映像フレームを参照するフレームである。Ｂピクチャは、他の映像フレームからは参照されないが、自らが他の映像フレームを参照するフレームである。Ｉピクチャ、Ｐピクチャ及びＢピクチャは、所定の規則に従って並んでいる。Ｉピクチャ、Ｐピクチャ及びＢピクチャの並びは、図に示すように、デコード時と表示時で異なる順序となる。

図２に戻り、映像信号が復号されると、参照フレーム欠落検出部１４０が、１２セグ映像における参照フレームの欠落を検出する（ステップＳ０２）。即ち、１２セグ映像におけるＩピクチャ又はＰピクチャの欠落が検出される。ここで図４を参照して、欠落した映像フレームの検出方法について詳細に説明する。図４は、欠落した映像フレームの検出方法を示す概念図である。

図４において、１２セグ映像のフレームレートが２９．９７Ｈｚであるとすると、９０ＨｚでカウントされるＰＴＳは、表示順で“３００３”間隔となる。ところが、図に示すように、Ｐ＃４フレームが欠落した場合には、ＰＴＳの間隔が倍の“６００６”となってしまう部分が存在することになる。参照フレーム欠落検出部１４０は、このＰＴＳの間隔の違い及びピクチャタイプを利用して、映像フレームの欠落を検出する。即ち、ＰＴＳの間隔が通常より大きくなった場合に、中間の映像フレームが欠落していることを検出する。

尚、上述したＰＴＳは、復号時刻情報（即ち、映像フレームがどのタイミングで復号されるかを示す情報）に代えることも可能である。即ち、復号時刻情報及びピクチャタイプを利用して映像フレームの欠落を検出することが可能である。

参照フレームは、他の映像フレームから参照されるフレームであるので、仮に欠落してしまったとすると、他の映像フレームにまで悪影響が及んでしまう。即ち、他の映像フレームも正常な状態ではなくなってしまう。以下では、参照フレームの欠落による影響の伝播について、図５を参照して説明する。ここに図５は、欠落した映像フレームが他の映像フレームに及ぼす影響の伝播を示す概念図である。

図５において、参照フレームであるＰ＃４フレームが欠落した場合を考えると、Ｐ＃４フレームを参照するＢ＃５フレーム、Ｂ＃６フレーム及びＰ＃７フレームが、その影響を受けることになる。また、Ｐ＃７フレームが影響を受けると、Ｐ＃７フレームを参照するＢ＃８フレーム、Ｂ＃９フレーム及びＰ＃１０フレームが、その影響を受けることになる。そして更に、Ｐ＃１０フレームが影響を受けると、Ｐ＃１０フレームを参照するＢ＃１１フレーム及びＢ＃１２フレームが、その影響を受けることになる。このように、１つの参照フレームが欠落してしまうだけでも、その影響は他の映像フレームに伝播し、全体的な影響は非常に大きなものとなってしまう。

図２に戻り、参照フレームの欠落が検出されると（ステップＳ０２：ＹＥＳ）、映像性質判定部１５０は、欠落した映像フレームの映像性質を判定する（ステップＳ０３）。映像性質の判定は、ワンセグ映像を用いて行われる。以下では、映像性質の判定方法について、図６を参照して説明する。ここに図６は、欠落した映像フレームの映像性質の判定方法を示す概念図である。

図６において、１２セグ映像及びワンセグ映像は、サイマル放送で出力タイミングが同期されているとする。ここで図に示すように、１２セグ映像におけるＰ＃４フレームからＢ＃６フレームでの映像フレームの欠落が発生したとすると、映像性質判定部１５０は、ワンセグ映像におけるＰ’＃２フレーム、Ｐ’＃３フレーム及びＰ’＃４フレームを使用して映像性質の判定を行う。即ち、欠落したＰ＃４フレームからＢ＃６フレームに時間的に対応するＰ’＃２フレーム、Ｐ’＃３フレーム及びＰ’＃４フレームを使用して映像性質が判定される。

１２セグ映像及びワンセグ映像は、同一の映像コンテンツから生成されているのが一般的である。よって、仮に１２セグ映像の映像フレームが部分的に欠落したとしても、欠落した映像フレームに対応するワンセグ映像の映像フレームを利用すれば、欠落した映像フレームの映像性質を判定することができる。

図２に戻り、本実施例では特に、映像性質が静止画であるか否かを判定する（ステップＳ０４）。静止画であるか否かは、時間軸で前後の映像データを比較して、所定の閾値以上、互いの映像が一致していたら静止画であると判定する。言い換えれば、完全な静止画でなくとも、動きが極めて少ない場合は、静止画と判定しても構わない。

欠落した映像フレームの映像性質が判定されると、補完部１６０は、欠落した映像フレームの補完処理を実行する。補完処理は、映像性質判定部１５０において判定された映像性質に応じて行われる。以下では、具体的な補完処理について、図７及び図８を参照して説明する。ここに図７は、欠落した映像フレームが静止画である場合の補完処理を示す概念図であり、図８は、欠落した映像フレームが静止画でない場合の補完処理を示す概念図である。

欠落した映像フレームの映像性質が静止画である場合（ステップＳ０４：ＹＥＳ）、欠落した映像フレームが、以前に復号された映像フレームに置き換えられる（ステップＳ０５）。

図７に示すように、仮にＰ＃４フレームが欠落したとすると、本来Ｐ＃４フレームが表示される位置に、直前の参照フレームであるＩ＃１フレームがコピーされる。欠落した映像フレームの映像性質が静止画である場合、欠落した映像フレームの直前或いは直後の画像は、欠落した映像フレームとの差が比較的小さいと考えられる。よって、上述したような映像フレームの置き換え処理を行うことによって、容易且つ適切に映像フレームの補完が行える。但し、ＭＰＥＧ２ビデオ等では、上述したようにデコード順と表示順が異なるため、映像の動きが戻ったりしないように考慮して、置き換える映像フレームを選択することが好ましい。

尚、ここでの図示は省略しているが、補完部１６０は、上述した補完処理に代えて、映像フレームの表示の更新を停止させてもよい。この場合、それまで表示されていた映像フレームが表示され続けることになる。しかしながら、欠落した映像フレームの映像性質が静止画である場合、欠落した映像フレームに続く映像フレームも、動きが比較的小さいものである考えられる。よって、映像フレームの表示の更新を停止させたとしても、視聴者が違和感を覚えてしまう可能性は少ない。従って、補完処理を行う場合と同様に、映像フレームが欠落したことによる影響を、効果的に小さくすることができる。

一方、欠落した映像フレームの映像性質が静止画でない場合（ステップＳ０４：ＮＯ）、欠落した映像フレームが、ワンセグ映像の映像フレームに置き換えられる（ステップＳ０６）。

図８に示すように、仮にＰ＃４フレームが欠落したとすると、Ｐ＃４フレームの影響はＢ＃５からＢ＃１２まで伝播すると考えられる（図５参照）。よって、映像性質が静止画であった場合のように、直前の映像フレームとの置き換えでは、適切な補完処理が行えないおそれがある。このため、本実施例に係る動画像表示装置では、欠落したＰ＃４フレームの位置に、欠落した映像フレームを持たないワンセグ映像の映像フレームがコピーされる。従って、欠落した映像フレームによる影響を抑制しつつ、好適に映像を表示させることが可能である。

また、上述したワンセグ映像の映像フレームのコピー処理は、出力切替部１７０における切替処理に代えることもできる。即ち、１２セグ映像の映像フレームにワンセグ映像の映像フレームをコピーするのではなく、出力される映像自体をワンセグ映像のものとしても構わない。

一旦ワンセグ映像へと表示が切替えられた場合には、単独で復号されるＩピクチャ、そしてＩピクチャを参照して復号されたＰピクチャの２つの参照フレームが揃った際に、１２セグ映像へと復帰する。但し、Ｂピクチャを有しない映像の場合（即ち、Ｉピクチャ及びＰピクチャのみで構成される場合）は、１つの参照フレームが揃った際に復帰可能である。

尚、映像性質が静止画でない場合であっても、上述した映像フレームの補完や映像フレームの表示の更新停止が行われるようにしてもよい。具体的には、１２セグ映像をワンセグ映像へと切替えるよりも、映像フレームの補完処理や更新停止処理を行った方が映像の乱れを小さくできると判断できるような場合には、ワンセグ映像への切替えを行わずに、映像フレームの補完処理や更新停止処理を行っても構わない。

図２に戻り、補完処理が終了すると、出力切替部１７０から映像が出力される（ステップＳ７）。ここで出力される映像は、例えば車載テレビ等として表示される。本実施例に係る動画像表示装置は、映像信号の受信状態が頻繁に変化するような状況において、顕著に効果を発揮できる。

以上説明したように、本実施例に係る動画像表示装置によれば、映像データの欠損の影響を受けて乱れてしまった映像フレームに対して、条件に応じた適切な映像出力制御を行うことが可能である。従って、映像の表示品質の低下を極めて効果的に防止することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う動画像表示装置及び方法もまた本発明の技術的範囲に含まれるものである。

１１０…入力部、１２１…第１復号部、１２２…第２復号部、１３１…第１フレームバッファ、１３２…第２フレームバッファ、１４０…参照フレーム欠落検出部、１５０…映像性質判定部、１６０…補完部、１７０…出力切替部

Claims (9)

1. 同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力手段と、
   前記第１映像符号に応じた映像を出力する出力手段と、
   前記第１映像符号における映像フレームの欠落を検出する欠落検出手段と、
   前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定手段と、
   前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定手段と、
   前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行手段と
   を備えることを特徴とする動画像表示装置。
2. 前記実行手段は、前記所定の処理として、前記欠落した映像フレームの直前の参照フレームを用いた前記欠落した映像フレームの補完を実行することを特徴とする請求項１に記載の動画像表示装置。
3. 前記実行手段は、前記映像性質が静止画である場合、前記所定の処理として、前記欠落した映像フレームの直前の参照フレームを用いた前記欠落した映像フレームの補完を実行することを特徴とする請求項２に記載の動画像表示装置。
4. 前記実行手段は、前記所定の処理として、前記映像フレームの表示の更新停止を実行することを特徴とする請求項１から３のいずれか一項に記載の動画像表示装置。
5. 前記実行手段は、前記映像性質が静止画である場合、前記所定の処理として、前記映像フレームの表示の更新停止を実行することを特徴とする請求項４に記載の動画像表示装置。
6. 前記出力手段は、前記第１映像符号に応じた映像に代えて、前記第２映像符号に応じた映像を出力可能であり、
   前記実行手段は、前記映像性質が静止画でない場合、前記所定の処理として、前記第１映像符号に応じた映像を前記第２映像符号に応じた映像に切替えるように前記出力手段の制御を実行する
   ことを特徴とする請求項１から５のいずれか一項に記載の動画像表示装置。
7. 前記実行手段は、前記欠落した映像フレームに加えて、前記欠落した映像フレームを参照する映像フレームを補完することを特徴とする請求項２又は３に記載の動画像表示装置。
8. 前記参照フレーム判定手段は、前記欠落した映像フレームの提示時間情報または復号時刻情報及びピクチャタイプを用いて、前記欠落した映像フレームが前記参照フレームであるか否かを判定することを特徴とする請求項１から７のいずれか一項に記載の動画像表示装置。
9. 同一の映像コンテンツから生成される第１映像符号及び第２映像符号を入力する入力工程と、
   前記第１映像符号に応じた映像を出力する出力工程と、
   前記第１映像符号における映像フレームの欠落を検出する欠落検出工程と、
   前記欠落した映像フレームが、他の映像フレームから参照される参照フレームであるか否かを判定する参照フレーム判定工程と、
   前記欠落した映像フレームが前記参照フレームと判定された場合に、前記第２映像符号に基づいて、前記欠落した映像フレームの映像性質を判定する映像性質判定工程と、
   前記映像性質に応じて、前記欠落した映像フレームによる影響を小さくする所定の処理を実行する実行工程と
   を備えることを特徴とする動画像表示方法。

Images