JP2011205567A - 動画出力装置、動画出力方法及びプログラム - Google Patents

Abstract

【課題】滑らかな動画再生を行いつつ、表示のずれの調整を行うことが可能な動画出力装置、動画出力方法及びプログラムを提供する。
【解決手段】動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力手段と、複数のフレームごとに、フレーム出力手段により出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出手段と、動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出手段と、を有し、フレーム出力手段は、シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、フレームの出力の調整を行い、表示ずれ検出手段により検出されたずれを解消する。
【選択図】図６

Description

本発明は、動画データを出力する動画出力装置、動画出力方法及びプログラムに関する。

音声を伴った動画を再生する際、動画データは液晶ディスプレイなどの表示装置により表示され、音声データはスピーカなどの音声出力装置により出力される。つまり、動画データと音声データとでは出力される装置が異なる。このため、表示される動画データと出力される音声データとの同期が取れないことがある。

そこで、例えば、特許文献１には、表示される動画データと出力される音声データを同期させる画像出力制御装置が開示されている。特許文献１により開示された画像出力制御装置は、音声データを構成するフレームそれぞれに、そのフレームが動画データを構成するフレームのうちのどのフレームに対応するかを特定するための情報を付加する機能と、表示装置からフレームが出力されたかを音声出力装置に通知する機能と、を備えている。そして、この画像出力制御装置は、通知された情報と音声データのフレームに付加された情報とに基づき、表示装置から出力されたフレームに対応する音声データのフレームを特定し、この特定された音声データを音声出力装置から出力することにより、表示される動画データと出力される音声データとの同期を実現している。

表示装置による動画データの表示のタイミングが、その動画データが本来表示されるべきタイミングとずれることがある。このようなとき、特許文献１に開示された方法により、動画データと音声データとの同期を行うと、音声出力装置が正確なタイミングで出力できるときであっても、音声データの出力のタイミングにずれが生じてしまうことになる。

そこで、動画データの表示のタイミングが遅れたときには、フレームを間引くことにより、動画データの出力のタイミングが早まっているときには、同一フレームを複数回連続出力することにより、動画データの表示のタイミングのずれを解消する方法が用いられている。

特開２０１０−５７０９６号公報

しかしながら、上記の方法でずれの調整を行った場合、フレームが間引かれた部分において、フレーム間の画像が不連続になる。また、同一フレームを複数回連続出力された部分において、動画が間延びする。このため、再生された動画は、これらの部分において、不連続な変化や間延びが生じ、滑らかに画像が変化しないことになる。つまり、上記の方法によるずれの調整では、滑らかな動画再生を行うことができない。

そこで本発明は、上記問題点に鑑みてなされたもので、滑らかな動画再生を行いつつ、表示のずれの調整を行うことが可能な動画出力装置、動画出力方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明における動画出力装置は、動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力手段と、前記複数のフレームごとに、前記フレーム出力手段により出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出手段と、前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出手段と、を有し、前記フレーム出力手段は、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出手段により検出されたずれを解消することを特徴とする。

また、本発明における動画出力方法は、動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力ステップと、前記複数のフレームごとに、前記フレーム出力ステップにより出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出ステップと、前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出ステップと、前記シーンチェンジ検出ステップにより検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出ステップにより検出されたずれを解消する出力調整ステップと、有することを特徴とする。

また、本発明におけるプログラムは、動画出力装置を、動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力手段と、前記複数のフレームごとに、前記フレーム出力手段により出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出手段と、前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出手段として機能させ、前記フレーム出力手段は、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出手段により検出されたずれを解消することを特徴とする。

本発明により、滑らかな動画再生を行いつつ、表示のずれの調整を行うことが可能になる。

本発明の実施形態に係る動画出力装置１００の構成例を示す図である。 表示のずれを説明する図である。 本発明の実施形態に係る動画出力装置１００における表示のずれの調整を説明する図である。 本発明の実施形態に係る動画出力装置１００における表示のずれの調整を説明する図である。 本発明の実施形態に係る動画出力装置１００における表示のずれの調整を説明する図である。 本発明の実施形態に係る動画出力装置１００における表示のずれの調整を説明する図である。 本発明の実施形態に係る動画出力装置１００における表示のずれの調整を説明する図である。 本発明の実施形態に係る動画出力装置１００における処理動作を示す図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。

＜動画出力装置１００の構成例＞
図１は、本発明の実施形態に係る動画出力装置１００の構成例を示す図である。本実施形態に係る動画出力装置１００は、動画データを記憶する記憶装置２００と、デコードされた動画データを表示する表示装置３００と、に接続している。そして、動画出力装置１００は、記憶装置２００に記憶された動画データを、その動画データを構成するフレームごとにデコードし、表示装置３００から出力される信号（例えば、垂直同期信号）にあわせて、デコードされたフレームを表示装置３００に出力する。なお、動画出力装置１００は、記憶装置２００に記憶された動画データの他に、いわゆるストリーミング配信により配信される動画データをデコードし、表示装置３００に出力するようにしても良い。

本実施形態に係る動画出力装置１００は、デコード部１１０と、フレーム出力部１２０と、時間計測部１３０と、表示ずれ検出部１４０と、シーンチェンジ検出部１５０と、を有して構成される。

デコード部１１０は、記憶装置２００に記憶された動画データなどを、その動画データを構成するフレームごとにデコードする。つまり、フレーム出力部１１０は、記憶装置２００に記憶された動画データなどを、表示装置３００に表示できる形式に変換する。

そして、フレーム出力部１２０は、表示装置３００から出力される信号（例えば、垂直同期信号）を受けたときに、デコード部１１０によりデコードされたフレームをデコードされた順に出力する。なお、動画出力装置１００は、デコードされたフレームを、表示装置３００に出力するまでの間、一時保存する手段を備えるようにすると良い。

通常、液晶ディスプレイなどの表示装置３００は、動画出力装置１００に対してフレームの出力を要求する垂直同期信号を、リフレッシュレート（垂直同期周波数）に基づいた周期で出力する。リフレッシュレートは、表示装置２００ごとに決められており、例えば、６０Ｈｚである。つまり、表示装置３００は、１／６０秒ごとに、動画出力装置１００に対して垂直同期信号を出力する。

そこで、リフレッシュレートが６０Ｈｚである表示装置３００により再生される動画データは、その動画データを構成するフレームが１／６０秒ごとに表示されることに想定して作成されている。また、例えば、リフレッシュレートが１２０Ｈｚである表示装置３００により再生される動画データは、その動画データを構成するフレームが１／１２０秒ごとに表示されることに想定して作成されている。つまり、各フレームは、表示装置３００により表示されるタイミングが決まっており、各フレームのデータには、自らがどのタイミングで表示されるフレームであるのかを示す情報が含まれている。例えば、各フレームのデータには、そのフレームが動画データの再生開始からどれくらい時間が経過してから表示されるべきであるかを示す情報が含まれている。

表示装置３００は、リフレッシュレートの周期で垂直同期信号を出力するように設計はされているが、実際には、設定されたリフレッシュレートとずれたタイミングで垂直同期信号を出力されることがある。また、動画データによっては、デコードの処理に時間がかかってしまい、動画出力装置１００が垂直同期信号を受けたにも関わらず、次のフレームを表示装置３００に出力できないことがある。

このようなとき、表示装置３００による動画データの表示のタイミングにずれが生じることになる。このような表示のタイミングのずれが生じると、動画データは、本来想定していた通りに表示されないことになる。このとき、例えば、音声を伴った動画を再生している際であれば、表示装置３００により表示された動画データと、スピーカなどの音声出力装置から出力された音声データと、がずれてしまうことになる。

そこで、本実施形態は、時間を計測する時間計測部１２０と、表示のタイミングのずれを検出する表示ずれ検出部１３０を備えている。表示ずれ検出部１３０は、各フレームが表示されるべきタイミングと、実際に表示装置３００に出力されたタイミングと、のずれ、つまり、表示装置３００における表示のずれを、時刻計測部１２０により計測される時間を使用して検出する。上述したように、各フレームが表示されるべきタイミングは、各フレームのデータ内に記載されている。表示ずれ検出部１３０は、この記載されているタイミングと、時間計測部１２０により計測された実際に表示装置３００に出力されたタイミングと、を比較することにより、表示のずれを検出する。

そして、フレーム出力部１２０は、この表示ずれ検出部１３０により検出された表示のずれが所定の値を超えたときには、この表示のずれの調整を行う。

通常、音声の出力と画像の出力とが、３００ミリ秒ずれると、視聴者にはずれが気になってくる。そこで、例えば、フレーム出力部１２０は、表示ずれ検出部１３０により検出された表示のずれが１００ミリ秒以上ずれたときに、このずれを解消するように、表示のずれの調整を行うようにすると良い。

例えば、図２は、表示装置３００による垂直同期信号出力のタイミングがリフレッシュレートより遅いために、表示のタイミングが遅れており、表示のずれが生じる場合を示している。

このような場合、例えば、フレーム出力部１２０は、表示ずれ検出部１３０により検出された表示のずれが１００ミリ秒なったときに、１つのフレームをスキップする。つまり、フレーム出力部１２０は、１つのフレームを表示装置３００に出力せず、このフレームの次のフレームを表示装置３００に出力する。例えば、リフレッシュレートが６０Ｈｚの表示装置３００に動画データを出力する場合は、図３に示すように、表示のずれが１００ミリ秒、つまり、６フレーム分になったときに、１つのフレームをスキップする。これにより、１フレーム分の表示のずれが解消する。そして、フレーム出力部１２０は、この１フレームのスキップを６回行い、１００ミリ秒の表示のずれを解消する。

動画データのデコードの処理に時間がかかり、フレームの出力が遅れるようなときも、表示のずれが生じ、表示のタイミングが遅れる。このようなときも、図３に示した方法と同様な方法で、表示のずれを解消する。

また、表示のタイミングが速いときには、例えば、図４に示すように、同じフレームを二度出力するなどし、表示のずれを解消する。

しかし、図３に示したような調整では、表示されるべきフレームが表示されないことになるため、本来は動画として連続に変化する部分であるにも関わらず、不連続に変化してしまう部分がでてきてしまう。このため、再生される動画は、この部分において、ガタついた表示になってしまう。図３に示した調整では、このガタつきをできる限り押さえるために、スキップするフレームを１度の調整で１フレームにし、これを６回行うことで、表示のずれを解消しているが、画像が不連続に変化する部分が６箇所できてしまうことには変わりなく、表示のガタつきは解消されない。

そこで、本実施形態では、シーンチェンジ検出部１４０を備える。シーンチェンジ検出部１４０は、動画データ中において、シーンが変化する部分を検出する。つまり、シーンチェンジ検出部１４０は、動画データ中のうち、画像が不連続に変化する部分を検出する。

シーンが変化する部分を検出する方法としては、様々な方法が実用化されている。

通常、シーンが変化する部分では、無音であることが多い。そこで、例えば、音声データを使用し、その音声データの無音部分を検出することにより、シーンの変化部分を検出する方法が実用化されている。シーンチェンジ検出部１４０は、例えば、この方法のように、音声データ中の無音部分を検出し、この無音部分に対応するフレーム部分を、シーンが変化する部分に対応するフレーム部分として検出するようにしても良い。

また、シーンが変化する部分、シーンとシーンとの間には、黒一色のフレームや白一色のフレームなどが挿入されることが多い。そこで、シーンチェンジ検出部１４０は、シーンとシーンとの間に挿入された単色のフレームを検出するようにし、この挿入された単色のフレーム部分を、シーンが変化する部分に対応するフレーム部分として検出するようにしても良い。

そして、フレーム出力部１２０は、シーンチェンジ検出部１４０によりシーンが変化する部分が検出されたときに、このシーンが変化する部分において、表示のずれの調整を行う。

シーンの変化する部分は、もともと画像が不連続に変化する部分である。よって、本実施形態のように、このシーンが変化する部分、つまり、画像が不連続に変化する部分で、上記のように、表示のずれを調整することにより、画像が連続に変化する部分の再生に影響を与えることなく、表示のずれの調整を行うことが可能になる。よって、滑らかな動画再生を行いつつ、表示のずれの調整を行うことが可能になる。

また、シーンの変化する部分は、もともと画像が不連続に変化する部分であるため、表示のずれを調整するとき、上述したような１フレームずつの調整をする必要はない。つまり、例えば、表示のタイミングが遅れているときには、図５に示すように、一度に複数のフレームをスキップしたとしても、表示の連続性に影響はない。よって、本実施形態により表示のずれの調整を行うことにより、一度の調整により表示のずれを解消することができるようになる。

また、フレーム出力部１２０は、このシーンが変化する部分で行う表示のずれの調整において、実際の表示のずれより大きめに調整を行っても良い。

表示のずれは、表示のタイミングが速いか遅いかのどちらかである。表示のタイミングが速いのか遅いのかは、動画再生からある程度の経過がすれば、表示ずれ検出部１３０の検出によりわかる。

そこで、フレーム出力部１２０は、表示ずれ検出部１３０による検出により表示のタイミングが遅れていると判明したときは、シーンが変化する部分において、表示ずれ検出部１３０により検出された表示のずれの分のフレームに加え、所定の時間分のフレームもスキップするようにする。つまり、例えば、フレーム出力部１２０は、シーンが変化する部分において、これらのフレームを表示装置３００に出力せず、これらのフレームの次のフレームを表示装置３００に出力するようにする。例えば、リフレッシュレートが６０Ｈｚの表示装置３００に動画データを出力する場合は、図６に示すように、９フレームだけスキップする。

また、フレーム出力部１２０は、表示ずれ検出部１３０による検出により表示のタイミングが速く進んでいると判明したときは、シーンが変化する部分において、所定の時間分のフレームだけ遅れた表示になるように、同一のフレームを連続して表示装置３００に出力する。つまり、このとき、例えば、シーンの変化する部分が、黒一色のフレームにより構成されているときは、フレーム出力部１２０は、表示のずれの分のフレームと所定の時間分のフレームとして、この黒一色のフレームを表示装置３００に出力する。例えば、リフレッシュレートが６０Ｈｚの表示装置３００に動画データを出力する場合は、図７に示すように、同じ黒一色のフレームを、８フレームだけ連続出力する。

このようにすることにより、シーンが変化する部分以外で調整される表示のずれをできる限り減らすことが可能になり、滑らかな動画再生を行いつつ、表示のずれの調整を行うことが可能になる。

＜動画出力装置１００による処理動作＞
図８は、動画再生中に、本発明の実施形態に係る動画出力装置１００が表示のずれを調整するために行う処理動作を示す図である。

フレーム出力部１２０は、表示のずれが所定の値を超える前に（Ｓ１０１、Ｙｅｓ）、シーンチェンジ部によりシーンが変化する部分が検出されたときは（Ｓ１０２、Ｙｅｓ）、シーンが変化する部分における表示のずれの調整を行う（Ｓ１０３）。

フレーム出力部１２０は、表示のずれが所定の値を超えたときには（Ｓ１０１、Ｎｏ）、画像の変化が連続である部分における表示のずれの調整を行う（Ｓ１０４）。つまり、上述した１フレームずつの調整を行う。

このようにすることにより、できる限り、シーンが変化する部分、つまり、もともと画像の変化が不連続である部分で表示のずれを解消することができるようになる。よって、表示のずれが生じるような場合であっても、滑らかな動画再生が可能になる。また、シーンの変化の少ない動画に対しても、表示のずれを解消しつつ、動画再生を行うことができるようになる。

上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭ（Read Only Memory）から、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等の光ディスク、ＭＯ（Magneto Optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。

このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

また、本発明における動画出力装置は、前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより遅れている場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記表示ずれ検出手段により検出されたずれの分のフレームをスキップすることにより、前記フレームの出力の調整を行うようにしても良い。

また、本発明における動画出力装置は、前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより遅れている場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記表示ずれ検出手段により検出されたずれの分より多くのフレームをスキップすることにより、前記フレームの出力の調整を行うようにしても良い。

また、本発明における動画出力装置は、前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより速い場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分以後、同一のフレームを前記表示ずれ検出手段により検出されたずれの分だけ連続して出力することにより、前記フレームの出力の調整を行うようにしても良い。

また、本発明における動画出力装置は、前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより速い場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分以後、同一のフレームを前記表示ずれ検出手段により検出されたずれの分より多く連続して出力することにより、前記フレームの出力の調整を行うようにしても良い。

また、本発明における動画出力装置は、前記フレーム出力手段は、前記表示ずれ手段により検出されたずれが所定の値より大きくなったときに、前記フレームの出力の調整を行い、当該ずれを解消するようにしても良い。

１００ 動画出力装置
１１０ デコード部
１２０ フレーム出力部
１３０ 時間計測部
１４０ 表示ずれ検出部
１５０ シーンチェンジ部
２００ 記憶装置
３００ 表示装置

Claims (8)

1. 動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力手段と、
   前記複数のフレームごとに、前記フレーム出力手段により出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出手段と、
   前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出手段と、を有し、
   前記フレーム出力手段は、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出手段により検出されたずれを解消することを特徴とする動画出力装置。
2. 前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより遅れている場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記表示ずれ検出手段により検出されたずれの分のフレームをスキップすることにより、前記フレームの出力の調整を行うことを特徴とする請求項１に記載の動画出力装置。
3. 前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより遅れている場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記表示ずれ検出手段により検出されたずれの分より多くのフレームをスキップすることにより、前記フレームの出力の調整を行うことを特徴とする請求項１に記載の動画出力装置。
4. 前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより速い場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分以後、同一のフレームを前記表示ずれ検出手段により検出されたずれの分だけ連続して出力することにより、前記フレームの出力の調整を行うことを特徴とする請求項１から３のいずれか１項に記載の動画出力装置。
5. 前記フレーム出力手段は、前記フレーム出力手段により出力されるタイミングが、前記本来出力されるべきタイミングより速い場合、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分以後、同一のフレームを前記表示ずれ検出手段により検出されたずれの分より多く連続して出力することにより、前記フレームの出力の調整を行うことを特徴とする請求項１から３のいずれか１項に記載の動画出力装置。
6. 前記フレーム出力手段は、前記表示ずれ手段により検出されたずれが所定の値より大きくなったときに、前記フレームの出力の調整を行い、当該ずれを解消することを特徴とする請求項１から５のいずれか１項に記載の動画出力装置。
7. 動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力ステップと、
   前記複数のフレームごとに、前記フレーム出力ステップにより出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出ステップと、
   前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出ステップと、
   前記シーンチェンジ検出ステップにより検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出ステップにより検出されたずれを解消する出力調整ステップと、有することを特徴とする動画出力方法。
8. 動画出力装置を、
   動画データを構成する複数のフレームを表示装置に順次出力するフレーム出力手段と、
   前記複数のフレームごとに、前記フレーム出力手段により出力されたタイミングと、本来出力されるべきタイミングと、のずれを検出する表示ずれ検出手段と、
   前記動画データのうちから、シーンが変化するフレーム部分を検出するシーンチェンジ検出手段として機能させ、
   前記フレーム出力手段は、前記シーンチェンジ検出手段により検出されたシーンが変化するフレーム部分において、前記フレームの出力の調整を行い、前記表示ずれ検出手段により検出されたずれを解消することを特徴とするプログラム。

Images