JP2011107246A - 動画像再生装置及び動画像再生方法並びにプログラム - Google Patents

Abstract

【課題】汎用端末装置による動画像再生の品質を高める。
【解決手段】ＰＣなどの汎用端末装置により実現される動画像再生装置１００において、タイミング調整部１０４は、画像供給部１０２からの出力タイミングと、該出力タイミングに最も近い表示更新タイミングとの差が所定の閾値より小さい近接フレーム画像に対して、画像表示部１０６への入力タイミングが、上記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも上記所定の閾値以上離れたタイミングになるように調整を行う。
【選択図】図１

Description

本発明は、動画像の再生技術、特にパーソナルコンピュータなどの汎用端末装置で動画像を再生する技術に関する。

動画像の符号化と復号化について、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が標準化したＨ．２６１、Ｈ．２６３や、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが国際標準規格として広く用いられている。また、近年ＩＴＵとＩＳＯが共同で規格化を行なったＨ．２６４もある。Ｈ．２６４は従来の動画像符号化技術に比べ、さらなる圧縮効率向上、画質向上を実現できることが知られている。これら以外にも、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＶＣ−１などの動画像符号化の国際標準規格が策定されている。また、標準規格ではないものとして、Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ Ｍｅｄｉａ ＶｉｄｅｏやＯｎ２ Ｔｅｃｈｎｏｌｏｇｉｅｓ社のＶＰ６、ＶＰ７、ＶＰ８など、メーカ独自方式の動画像圧縮技術も開発されて利用されている。

これらの動画像符号化技術の発展により、高品質な動画像を少ない情報量に圧縮符号化することが可能になり、放送、光学ディスク等の媒体による頒布、インターネットやイントラネット経由での映像配信やＴＶ会議、ＴＶ電話等の映像通信など広範な用途に動画像が利用されるようになった。動画像や、動画像を含む映像を利用する際に、再生品質を高める種々の試みがなされている。

例えば、動画像を再生する際にフレーム補間してフレーム数を増やすことにより物体の移動をスムーズに表示する手法が知られている。特許文献１には、このフレーム補間を高精度に行うことにより確実に動画像の再生品質を高める手法が開示されている。

また、特許文献２には、２４Ｈｚのフレーム周波数の映像信号を５０Ｈｚのフィールド周波数で表示される際に、映像信号に含まれるビデオ信号（動画像信号）のフレームを適応的に反復させることにより、オーディオ信号との同期ずれを解消する手法が開示されている。

動画像の配信サービスを利用する専用装置がある。例えば、デジタルテレビジョン受信機やＳＴＢ（セットトップブックス）などが知られている。これらの専用装置は、符号化された動画像の入力、復号、復号により得られたフレーム画像（フィールド画像を含む）の出力、表示などの一連の処理は動画像の視聴に最適に設計されているため、高品質な動画像視聴が可能である。例えば、表示部のフレーム周波数は、復号された映像信号に含まれる同期信号の周波数に同期するよう制御され、これによって動画像本来のフレームレートで表示される。

符号化された動画像信号がデジタルデータであるため、デジタル信号処理との親和性から、動画像の再生には、ＰＣ（パーソナルコンピュータ）や携帯電話機などの汎用端末装置も用いられている。

特開２００９−１２４６３７号公報 特表２００８−５３０８３９号公報

ところで、ＰＣなどの汎用端末装置の場合、必ずしも動画像視聴に最適化された構成とはなっていないため、専用装置と同様な動作はできない場合がある。

ＰＣなどの汎用端末装置で動画像を再生する際に、通常、入力された動画像データからフレーム毎の画像（フレーム画像）を生成してディスプレイなどの表示装置に順次出力する。表示装置は、画像の入力と非同期の、所定の表示更新周期に応じた表示更新タイミングで、表示する画像を更新するものである。図１８に示す動画像再生装置１０を参照して汎用端末装置により動画像再生を具体的に説明する。なお、以下において、誤解が生じない前提下で、「動画像データ」と「動画像」と「動画像信号」、および「フレーム画像」と「フレーム」をそれぞれ同じ意味で用いる。

図１８に示す動画像再生装置１０は、ＰＣなどの汎用端末装置が動画像を再生する際に実現する機能ブロックを示す。図示のように、動画像再生装置１０は、画像供給部１２と画像表示部１４を有する。

画像供給部１２は、ハードディスクや光ディスクなどの記録媒体やネットワークからの動画像信号に対して復号処理などを施してフレーム画像を得る。そして、得られたフレーム画像を画像表示部１４に出力する。画像表示部１４は、ディスプレイなどの表示装置に該当し、画像供給部１２からのフレーム画像を１つずつ表示する。

画像供給部１２は、動画像信号から得られるフレームレートや出力タイムスタンプなどに従ったタイミングでフレーム画像を出力する。以下、このタイミングを出力タイミングといい、出力されるフレーム画像のフレームレートを「出力更新周波数」ともいう。

画像表示部１４は、画像供給部１２からのフレーム画像を表示しながら、所定の周波数で表示するフレーム画像の更新を行う。以下、この周波数を「表示更新周波数」といい、表示更新周波数に従って画像表示部１４が表示を更新するタイミングを「表示更新タイミング」という。画像表示部１４は、表示更新タイミングで、表示する画像を、画像供給部１２から出力された最新のフレーム画像に更新する。なお、画像表示部１４の表示更新周波数は、そのスペックの範囲内で設定されたものであり、画像供給部１２に入力される動画像のフレームレート、すなわち画像供給部１２の出力更新周波数とは独立している。

図１９を参照して、図１８に示す動画像再生装置１０の１つの動作例を説明する。この例において、画像供給部１２に入力される動画像信号が２９．９７ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）のフレームレートの信号であり、画像表示部１４の表示更新周波数は、６０Ｈｚである。

画像供給部１２は、この場合、動画像信号のフレームレートに従って、「１／２９．９７」秒間隔で１フレームずつ画像表示部１４に出力する。すなわち、画像供給部１２の出力更新周波数は２９．９７Ｈｚである。

画像供給部１２から出力されたフレーム画像が画像供給部１２により表示される期間は、該フレーム画像が画像表示部１４に出力された後の１つ目の表示更新タイミングから、次のフレーム画像が画像表示部１４に出力された後の１つ目の表示更新タイミングまでである。

例えば、図１９に示すように、画像供給部１２がタイミングＡでフレーム１を出力し、「Ａ＋１／２９．９７秒」のタイミングでフレーム２を出力している。フレーム１は、その出力タイミングＡの後の１つ目の表示更新タイミングＢで、表示が開始される。２つ目の表示更新タイミング「Ｂ＋１／６０秒」において、画像表示部１４が表示画像の更新を行うが、フレーム１の出力後に、画像供給部１２から新しいフレームが出力されていないので、画像表示部１４において、フレーム１が表示され続ける。

その後、「Ａ＋１／２９．９７秒」のタイミングで画像供給部１２からフレーム１の次のフレーム（フレーム２）が出力される。しかし、フレーム２の出力タイミングから、フレーム２の出力タイミングの後の１つ目の表示更新タイミング「Ｂ＋２／６０秒」までは、表示の更新がなされず、相変わらずフレーム１が表示され続ける。

そして、フレーム２の出力タイミングの後の１つ目の表示更新タイミング「Ｂ＋２／６０秒」で、画像表示部１４において、表示されるフレーム画像は、フレーム１からフレーム２に切り替わる。

図１９に示すように、画像供給部１２によるフレーム画像の出力と、画像表示部１４による表示画像の更新とは非同期であるが、表示更新周波数が出力更新周波数のほぼ２倍であるため、各フレーム画像は、画像表示部１４による表示更新周期の２周期分の期間ずつ表示される。したがって、違和感の無い動画像再生を実現することができる。

動画像の再生開始タイミングなどによっては、画像供給部１２からフレームが出力されるタイミングと画像表示部１４の表示更新タイミングとが近接してしまう場合がある。図２０はこの場合における動画像再生装置１０の１つの動作例であり、画像供給部１２の出力更新周波数と画像表示部１４の表示更新周波数は、図１９に示す例と同様に、それぞれ２９．９７Ｈｚと６０Ｈｚである。

図１９の例と比べて、図２０に示す例において、画像供給部１２からの各フレームの出力タイミングは、該フレームの出力タイミングの後の１つ目の表示更新タイミングにかなり近接しているが、これらのフレームの表示開始タイミングと表示終了タイミングは、図１９に示す例の場合と同様である。

ところで、ＰＣなどの汎用端末装置では、動画像の再生以外の種々のプログラムも同時に動作しているため、動作タイミングはある程度の幅を持って揺らぐ場合がある。図２０に示すような、フレームの出力タイミングと、該出力タイミングの後の１つ目の表示更新タイミングとが近接している場合、画像供給部１２の動作タイミングの揺らぎにより、フレームの出力タイミングがずれてしまい、動画像の再生に影響を与えてしまう可能性が大きい。図２１を参照して説明する。

図２１は、図２０の例において、フレーム３の出力タイミングがずれて、表示更新タイミング「Ｂ＋４／６０秒」の後になってしまった場合の例である。

この場合、図２１から分かるように、フレーム３を除いた他のフレームも、正しいタイミングで表示が開始される。

しかし、フレーム３は、その表示が本来開始されるべき表示更新タイミング「Ｂ＋４／６０秒」の後にずれたため、フレーム２からフレーム３の切り換わりは、「Ｂ＋４／６０秒」の次の表示更新タイミング「Ｂ＋５／６０秒」でなされることになる。すなわち、正常の場合には、各フレームが「２／６０」秒間表示されるが、図２１の例では、フレーム２は「３／６０」秒間表示され、フレーム３は「１／６０」秒間のみ表示される。これでは、フレームの表示時間は、正常の場合の０．５倍〜１．５倍の揺らぎ幅を持ってしまい、視覚的に、ギクシャクしたシャダーが感じられてしまう。

また、図２１では、１つのフレームについてのみ画像供給部１２からの出力タイミングが揺らいだ例を示しているが、通常、ＰＣなどの汎用端末装置で動画像を再生する際に、フレームの出力タイミングと表示更新タイミングとが近接している場合、このような揺らぎは、多数のフレームについて発生し、動画像の再生品質を低下させる大きな要因となっている。
本願発明者は、この問題を知見すると共に、それを解決し、汎用端末装置でも高品質な動画像再生を実現する技術を確立した。

本発明の１つの態様は、動画像表示装置である。この動画像表示装置は、画像供給部と、画像表示部と、表示情報取得部と、タイミング調整部を備える。

画像供給部は、動画像を復号化して得た各フレーム画像を、該フレーム画像の表示されるべき時刻に応じた出力タイミングで順次出力する。

画像表示部は、画像の入力と非同期の、所定の表示更新周期に応じた表示更新タイミングで、表示する画像を更新するものである。

表示情報取得部は、画像供給部から出力されたフレーム画像の出力タイミングの直前の表示更新タイミングからの連続した３つの表示更新タイミングを導出しうる表示情報を取得する。

タイミング調整部は、表示情報取得部が取得した表示情報を用いて、画像供給部から出力されたフレーム画像の出力タイミングに対応する上記３つの表示更新タイミングを算出し、出力タイミングに最も近い表示更新タイミングと、該出力タイミングとの差が所定の閾値より小さいフレーム画像を近接フレーム画像に判定すると共に、近接フレーム画像に対して、画像表示部に入力するタイミングである入力タイミングを調整する。調整に際しては、近接フレーム画像の入力タイミングが、上記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも上記所定の閾値以上離れたタイミングになるように調整を行う。

なお、上記態様の装置を方法やシステムに置換えて表現したもの、コンピュータを該装置として動作せしめるプログラム、該プログラムを記録した記録媒体なども、本発明の態様としては有効である。

本発明にかかる技術によれば、ＰＣなどの汎用端末装置により動画像を再生する際の再生品質を高めることができる。

本発明の第１の実施の形態にかかる動画像再生装置を示す図である。 図１に示す動画像再生装置に用いられる表示情報および該表示情報に基づいた表示更新タイミングの算出を説明するための図である（その１）。 図１に示す動画像再生装置に用いられる表示情報および該表示情報に基づいた表示更新タイミングの算出を説明するための図である（その２）。 図１に示す動画像再生装置の動作例を示す図である（その１）。 図１に示す動画像再生装置の動作例を示す図である（その２）。 表示更新タイミングの揺らぎがあった場合に生じうる問題を説明するための図である。 図１に示す動画像再生装置の動作例を示す図である（その３）。 図１に示す動画像再生装置における処理の流れを示すフローチャートである。 本発明の第２の実施の形態にかかる動画像再生装置を示す図である。 図９に示す動画像再生装置における処理の流れを示すフローチャートである。 図９に示す動画像再生装置の動作例を示す図である（その１）。 図９に示す動画像再生装置の動作例を示す図である（その２）。 図９に示す動画像再生装置の動作例を示す図である（その３）。 本発明の第４の実施の形態にかかる動画像再生装置を示す図である。 映像信号を再生する際に生じうる動画像信号と音声信号の同期ずれを説明するための図である。 図１５に示す同期ずれを解消するために音声信号に対してリサンプリングを行う手法を説明するための図である。 図１４に示す動画像再生装置による同期ずれの解消を示す図である。 汎用端末装置により実現される動画像再生装置を示す図である。 図１８に示す動画像再生装置の動作例を示す図である（その１）。 図１８に示す動画像再生装置の動作例を示す図である（その２）。 図１８に示す動画像再生装置の動作例を示す図である（その３）。

説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、以下の図面に示す各動画像再生装置の構成は、例えば記憶装置に読み込まれたプログラムをコンピュータ（ＰＣや携帯端末装置等）上で実行することにより実現される。また、これらのプログラムは、ＣＤ−ＲＯＭや光ディスク等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
＜第１の実施の形態＞

図１は、本発明の第１の実施の形態にかかる動画像再生装置１００を示す。動画像再生装置１００は、画像供給部１０２、タイミング調整部１０４、画像表示部１０６、表示情報取得部１０８を備える。

画像供給部１０２は、ハードディスクや光ディスクなどの記録媒体、またはネットワークからの動画像に対して復号処理などを施してフレーム画像を得る。そして、得られた各フレーム画像を、該フレーム画像の表示されるべき時刻に応じた出力タイミングで順次タイミング調整部１０４に出力する。例えば、動画像のフレームレートと同様の出力レートで出力する。

タイミング調整部１０４は、画像供給部１０２からのフレーム画像に対して、後述する近接フレーム画像であるか否かを判定すると共に、近接フレーム画像に対して、画像表示部１０６に入力するタイミング（入力タイミング）を、画像供給部１０２から出力されたタイミング（出力タイミング）と異なるタイミングに調整する。近接フレーム画像以外のフレーム画像については、タイミング調整を行わずに画像表示部１０６に出力する。すなわち、近接フレーム画像以外のフレーム画像は、画像供給部１０２からの出力タイミングと画像表示部１０６への入力タイミングが同一である。タイミング調整部１０４の具体的な動作については、後述する。

画像表示部１０６は、ディスプレイなどの表示装置に該当し、タイミング調整部１０４からのフレーム画像を１つずつ順次表示する。なお、画像表示部１０６は、画像供給部１０２からの出力タイミングと非同期の表示更新タイミングで、表示する画像の更新を行うものである。すなわち、タイミング調整部１０４から入力されたフレーム画像は、その入力タイミングの後の１つ目の表示更新タイミングから、次のフレーム画像の入力タイミングの後の１つ目の表示更新タイミングまで表示される。

表示情報取得部１０８は、画像表示部１０６の表示情報を取得してタイミング調整部１０４に供する。なお、表示情報取得部１０８が取得する表示情報は、それに基づいて、画像供給部１０２から出力され、まだ画像表示部１０６に入力されていないフレーム画像の画像供給部１０２からの出力タイミングの直前の表示更新タイミングからの３つの表示更新タイミング（直前と直後の表示更新タイミング、および直後の表示更新タイミングの次の表示更新タイミング）を示すことができる、または導出することができるものであれば、いかなる情報であってもよい。ここで１つの例を説明する。

例えば、図２に示すように、画像表示部１０６は、表示画面が「０」番のラインから「Ｌ−１」番のラインまでのＬラインから構成され、画像の表示処理が画面の左上から右下に向けてラスタースキャン順で実行される。ここで、表示処理中のラインをスキャンラインと呼ぶ。

表示処理は画面上端すなわち「０」番のラインから始まって画面下方に向かって進行し、画面下端すなわち「Ｌ−１」番のラインに達すると１画面の表示処理が完了する。そして、画面上端に戻ってまたラスタースキャン動作を開始する。

図３は、スキャンライン番号の時系列変化を示す。通常、スキャンライン番号が「Ｌ−１」から「０」に戻るタイミングで画面に表示される内容が更新される。ｎ回目の表示更新が行なわれるタイミングをＴ（ｎ）とすると、Ｔ（ｎ＋１）−Ｔ（ｎ）が表示更新周期であり、表示更新周波数の逆数である。

図３に示すように、スキャンライン番号が規則的に変化するため、画像表示部１０６の１画面のライン総数と、現在のスキャンライン番号と、表示更新周波数が分かれば、将来時刻の表示更新タイミングを求めることができる。したがって、表示情報取得部１０８が画像表示部１０６の１画面のライス総数と、現在のスキャンライン番号と、表示更新周波数を取得してタイミング調整部１０４に提供すれば、タイミング調整部１０４は、これらの情報に基づいて、画像供給部１０２から出力されたフレーム画像の出力タイミングの上記３つの表示更新タイミングを求めることができる。なお、フレーム画像の出力タイミングの直前の表示更新タイミングが過去であるので、表示情報取得部１０８は、モニタリングなどによってそれを取得することも考えられる。

タイミング調整部１０４の動作を具体的に説明する。
前述したように、タイミング調整部１０４は、近接フレーム画像として判定されたフレーム画像の画像表示部１０６への入力タイミングを、該近接フレーム画像の画像供給部１０２からの出力タイミングとは異なるタイミングに調整する。「近接フレーム画像」は、画像供給部１０２からの出力タイミングと、該出力タイミングとが最も近い表示更新タイミングとの差が所定の閾値より小さいフレーム画像である。出力タイミングに最も近い表示更新タイミングは、該出力タイミングの直前の表示更新タイミングと直後の表示更新タイミングのいずれか一方である。

タイミング調整部１０４は、表示情報取得部１０８からの表示情報に基づいて、画像供給部１０２からのフレームの画像の出力タイミングの直前と直後の表示更新タイミング、及び直後の表示更新表示更新タイミングを求める。そして、出力タイミングを、直前の表示更新タイミング及び直後の表示更新タイミングとそれぞれ比較することにより近接フレーム画像を特定する。具体的には、直前の表示更新タイミングと直後の表示更新タイミングのいずれか一方と、フレーム画像の出力タイミングとの差が所定の閾値以下であるフレーム画像を近接フレーム画像として特定する。

タイミング調整部１０４は、近接フレーム画像に対して、画像表示部１０６への入力タイミングが、上記最も近い表示更新タイミングと、該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも上記所定の閾値以上離れたタイミングになるように調整し、調整した入力タイミングで該近接フレーム画像を画像表示部１０６に入力する。

近接フレーム画像を特定するための上記所定の閾値は、隣接する２つの表示更新タイミング間の長さ（すなわち表示更新周期）の１／２より小さい範囲内での固定値や設定可能な値であり、例えば、表示更新周期の１／３や１／４などの値とすることができる。

また、近接フレーム画像の画像表示部１０６への入力タイミングと、該入力タイミングを挟む２つの更新タイミングのいずれとも最大離れるように調整するために、入力タイミングは、該近接フレーム画像の画像供給部１０２からの出力タイミングに最も近い表示更新タイミングと、該表示更新タイミング次の表示更新タイミングとの中間時刻であることが好ましい。

図４に示す具体例を参照して図１に示す動画像再生装置１００の動作を詳細に説明する。画像供給部１０２の出力更新周波数と画像表示部１０６の表示更新周波数がそれぞれ２９．９７Ｈｚと６０Ｈｚであるとする。また、画像供給部１０２からの出力タイミングと画像表示部１０６の表示更新タイミングは、図２１に示す例と同様である。

図４に示す例において、フレーム画像１〜６は、出力タイミングと、該出力タイミングと最も近い表示更新タイミングとの差が所定の閾値（例えば表示更新周期の１／４）以下であるため、タイミング調整部１０４は、これらのフレーム画像を近接フレーム画像に特定する。例えば、フレーム１の出力タイミングＣと、出力タイミングＣに最も近い表示更新タイミングＢとの差が表示更新周期の１／４以下であるため、フレーム１は、近接フレーム画像として特定され、入力タイミングが、表示更新タイミングＢと表示更新タイミング「Ｂ＋１／６０秒」の中間に調整される。従って、フレーム１は、表示更新タイミング「Ｂ＋１／６０秒」で表示が開始される。

また、フレーム２の出力タイミング「Ｃ＋１／２９．９７秒」と、該出力タイミングに最も近い表示更新タイミング「Ｂ＋２／６０」との差が表示更新周期の１／４以下であるため、フレーム２は、近接フレーム画像として特定され、入力タイミングが、表示更新タイミング「Ｂ＋２／６０」と表示更新タイミング「Ｂ＋３／６０秒」の中間に調整される。従って、表示更新タイミング「Ｂ＋３／６０秒」で、画像表示部１０６の表示画像は、フレーム１からフレーム２に切り換わる。

図２１に示す例のときに説明したように、画像供給部１０２の動作タイミングの揺らぎにより、フレーム３は、本来の出力タイミング「Ｃ＋２／２９．９７」から遅れて、表示更新タイミング「Ｂ＋４／６０」の後になったため、画像表示部１０６において、フレーム２の表示期間が長くなり、フレーム３の表示期間が長くなる。そのため、知覚的に、ギクシャクしたシャダーが感じられてしまう。

それに対して、本実施の形態の動画像再生装置１００において、フレーム３は、近接フレーム画像として特定されるため、その画像表示部１０６への入力タイミングは、出力タイミングに最も近い表示更新タイミング「Ｂ＋４／６０」と、「Ｂ＋４／６０」の次の表示更新タイミング「Ｂ＋５／６０」の中間に調整される。従って、表示更新タイミング「Ｂ＋５／６０」において、画像表示部１０６の表示画像は、フレーム２からフレーム３に切り換わる。

同様に、フレーム４〜６の入力タイミングも、該フレームの出力タイミングに最も近い表示更新タイミングと、該表示更新タイミングの次の表示更新タイミングの中間に調整される。

図４に示すように、タイミング調整部１０４の調整により、フレーム３の出力タイミングが遅れても、各フレームは、それぞれ２出力周期表示される。そのため、ギクシャクしたシャダーを回避し、高品質な動画像再生を実現する。

なお、図４は、フレーム画像の本来の出力タイミングが該出力タイミングに最も近い表示更新タイミングの前にあり、出力タイミングの揺らぎによりあるフレームの出力タイミングが、該出力更新タイミングに最も近い表示更新タイミングの後になった場合の例を示している。フレーム画像の本来の出力タイミングが該出力タイミングに最も近い表示更新タイミングの後にあり、出力タイミングの揺らぎによりあるフレームの出力タイミングが、該出力更新タイミングに最も近い表示更新タイミングの前になった場合にも、本実施の形態の動画像再生装置１００により、ギクシャクしたシャダーを回避することができる。図５を参照して説明する。

図５に示すように、フレーム４を除き、各フレームの出力タイミングに最も近い表示更新タイミングは、該出力タイミングの前にある。また、これらの出力タイミングと、該出力タイミングに最も近い表示更新タイミングとはかなり近接している。また、画像供給部１０２の動作タイミングの揺らぎにより、フレーム３の出力タイミングが早まり、表示更新タイミング「Ｂ＋４／６０秒」の前になってしまう。この場合、本実施の形態の動画像再生装置１００におけるタイミング調整部１０４による入力タイミングの調整が無ければ、表示更新タイミング「Ｂ＋４／６０秒」において、画像表示部１０６の表示画像がフレーム２からフレーム３に切り換わる。その結果、フレーム２の表示期間は１周期になり、フレーム３の表示期間は３周期になってしまう。

本実施の形態の動画像再生装置１００によれば、これらのフレームは近接フレーム画像として特定され、それらの入力タイミングは、出力タイミングに最も近い表示更新タイミングと、該表示更新タイミングの次の表示更新タイミングの中間に調整される。その結果、図５に示すように、各フレームは、正しく２周期ずつ表示される。

図４と図５は、画像供給部１０２からの出力タイミングが本来の出力タイミングからずれた場合の例を示しているが、動画像再生装置１００は、画像表示部１０６の表示更新タイミングが本来の表示更新タイミングからずれた場合にも、高品質な動画像再生を実現することができる。図６と図７を参照して説明する。

図６と図７に示す例では、画像供給部１０２から、各フレーム画像が本来の出力タイミングでタイミング調整部１０４に出力される。一方、画像表示部１０６において、本来、「Ｂ＋４／６０秒」で表示更新がなされるが、画像表示部１０６の動作タイミングの揺らぎにより、「Ｂ＋４／６０秒」の前のタイミングＥで表示更新がなされている。図６は、この場合において、本実施の形態の動画像再生装置１００におけるタイミング調整部１０４による入力タイミングの調整が無い場合の各フレーム画像の表示状況を示し、図７は、動画像再生装置１００により各フレーム画像の表示状況を示す。

図６に示すように、本実施の形態の動画像再生装置１００におけるタイミング調整部１０４による入力タイミングの調整が無い場合に、本来、「Ｂ＋４／６０秒」のタイミングで、表示画像がフレーム２からフレーム３に切り換わるべきであるが、このタイミングがタイミングＥにずれて、フレーム３の出力タイミング「Ｃ＋２／２９．９７」の前になったため、フレーム２からフレーム３に切り換わるタイミングは、「Ｂ＋４／６０秒」の次の表示更新タイミング「Ｂ＋５／６０秒」になる。その結果、フレーム２の表示期間は３周期になり、フレーム３の表示期間は１周期になってしまう。

一方、図７に示すように、動画像再生装置１００によれば、フレーム１〜６は、近接フレーム画像として特定され、それらの入力タイミングは、出力タイミングに最も近い表示更新タイミングと、該表示更新タイミングの次の表示更新タイミングの中間に調整される。例えば、近フレーム３の出力タイミングに最も近い表示更新タイミングがタイミングＥであるため、フレーム３の画像表示部１０６への入力タイミングは、タイミングＥと、タイミングＥの次の表示更新タイミング「Ｂ＋５／６０秒」の中間に調整される。他の各フレームも入力タイミングの調整がなされたので、その結果、各フレームは、正しく２周期ずつ表示される。

図８は、動画像再生装置１００における処理の流れを示すフローチャートである。図示のように、画像供給部１０２からタイミング調整部１０４へフレーム画像が出力されると（Ｓ１００）、表示情報取得部１０８は表示情報を取得し、タイミング調整部１０４は、表示情報取得部１０８が取得した表示情報から、該フレーム画像の出力タイミングの直前の表示更新タイミングと、出力タイミングの直後の表示更新タイミングと、該直後の表示更新タイミングの次の表示更新タイミングを算出する（Ｓ１０２、Ｓ１０４）。そして、上記出力タイミングを、直前の表示更新タイミングおよび直後の表示更新タイミングとそれぞれ比較し、該フレーム画像が近接フレーム画像であるか否かを判定する（Ｓ１０６）。出力タイミングが、直前と直後の表示更新タイミングのうちのいずれかとの差が所定の閾値以下である場合には、該フレーム画像を近接フレーム画像に判定して、該フレーム画像に対して画像表示部１０６への入力タイミングを調整する（Ｓ１０６：Ｙｅｓ、Ｓ１０８）。具体的には、出力タイミングが直前の表示更新タイミングとの差が所定の閾値以下である場合には、該直前の表示更新タイミングと、該直前の表示更新タイミングの次の表示更新タイミング（すなわち出力タイミングの直後の表示更新タイミング）との中間になるように入力タイミングを調整する。また、出力タイミングが直後の表示更新タイミングとの差が所定の閾値以下である場合には、該直後の表示更新タイミングと、該直後の表示更新タイミングの次の表示更新タイミングとの中間になるように入力タイミングを調整する。

そして、タイミング調整部１０４は、調整した入力タイミングで、該近接フレーム画像を画像表示部１０６に出力する（Ｓ１１０）

一方、ステップＳ１０６において、画像供給部１０２からのフレーム画像が近接フレーム画像ではないと判定した場合には、タイミング調整部１０４は、該フレーム画像に対して入力タイミングの調整を行わずに画像表示部１０６に出力する（Ｓ１０６：Ｎｏ、Ｓ１０）。

このように、本実施の形態の動画像再生装置１００において、フレーム画像の画像供給部１０２からの出力タイミングと画像表示部１０６の表示更新タイミングとが近接する場合に、タイミング調整部１０４は、画像表示部１０６への入力タイミングと画像表示部１０６の表示更新タイミングとが近接しないようにタイミング調整を行った上で該フレーム画像を画像表示部１０６に出力することで、画像表示部１０６へのフレーム画像の入力タイミングと表示更新タイミングに常に一定以上の時間差ができる。そのため、画像供給部１０２からの出力タイミングや画像表示部１０６の表示更新タイミングに揺らぎがあっても、画像表示部１０６において、フレーム画像の表示更新が本来の表示更新タイミングからずれる可能性を低減できる。これにより、各画像フレームの表示時間長にばらつきの無い、動きの滑らかな動画像再生が可能になる。
＜第２の実施の形態＞

図９は、本発明の第２の実施の形態にかかる動画像再生装置２００を示す。動画像再生装置２００は、画像供給部２０２、タイミング調整部２０４、画像表示部１０６、表示情報取得部１０８を有する。画像表示部１０６と表示情報取得部１０８は、図１に示す動画像再生装置１００における画像表示部１０６と表示情報取得部１０８とそれぞれ同じものである。また、画像供給部２０２は、再生情報をタイミング調整部２０４に出力する点を除き図１に示す動画像再生装置１００の画像供給部１０２と同様である。タイミング調整部２０４の動作については後述する。

画像供給部２０２からタイミング調整部２０４に出力される再生情報は、それに基づいて、フレーム画像の表示されるべき時刻を算出するできるものであればよい。例えば、動画像のフレームレート、再生開始時刻などの表示時刻制御情報と、該フレーム画像の位置を示しうる情報（例えば既にタイミング調整部２０４に出力したフレーム画像の枚数）などである。
以下、この「表示されるべき時刻」を「計算上の出力タイミング」という。

図１０は、動画像再生装置２００における処理の流れを示すフローチャートである。図示のように、画像供給部２０２からタイミング調整部２０４へフレーム画像と共に再生情報が出力されると（Ｓ１２０）、表示情報取得部１０８は表示情報を取得してタイミング調整部２０４に出力する（Ｓ１２２）。タイミング調整部２０４は、画像供給部２０２からの再生情報から該フレーム画像の計算上の出力タイミングを算出すると共に、表示情報取得部１０８からの表示情報から、該計算上の出力タイミングの直前と直後の表示更新タイミング、及び直後の表示更新タイミングの次の表示更新タイミングを算出する（Ｓ１２４）。そして、該フレーム画像の計算上の出力タイミングが、直前の表示更新タイミングと直後の表示更新タイミングの中間時刻であれば、該フレーム画像に対してタイミング調整を行わずに画像表示部１０６へ出力する（Ｓ１２６：Ｙｅｓ、Ｓ１３０）。

一方、フレーム画像の計算上の出力タイミングが直前と直後の表示更新タイミングの中間時刻ではなければ、タイミング調整部２０４は、該フレーム画像の入力タイミングを調整してから画像表示部１０６へ入力する（Ｓ１２６：Ｎｏ、Ｓ１２８、Ｓ１３０）。

ステップＳ１２８において、タイミング調整部２０４は、具体的には、下記のように調整を行う。まず、該フレーム画像の計算上の出力タイミングが直前の表示更新タイミング寄りか直後の表示更新タイミング寄りかを判定する。直前の表示更新タイミング寄りである場合には、直前の表示更新タイミングと直後の表示更新タイミングの中間時刻になるように入力タイミングを調整する。一方、直後の表示更新タイミングである場合には、直後の表示更新タイミングと、該直後の表示更新タイミングの次の表示更新タイミングとの中間時刻になるように入力タイミングを調整する。

図１１〜図１３を参照して、本実施の形態の動画像再生装置２００の動作例を説明する。
図１１は、図４が示す動画像再生装置１００の動作例に対応し、画像供給部２０２からの各フレーム画像の出力タイミングは、図４が示す画像供給部１０２からの各フレーム画像の出力タイミングと同様である。また、図１１における画像表示部１０６の表示更新タイミングも、図４が示す画像表示部１０６の表示更新タイミングと同様である。

図１１に示すように、フレーム３を除き、タイミング調整部２０４により算出された各フレーム画像の計算上の出力タイミングは、該フレーム画像が実際に画像供給部２０２から出力されたタイミングと同様である。フレーム３は、実際の出力タイミングが計算上の出力タイミングより後になっている。

この場合、フレーム１〜６について、計算上の出力タイミングが、該計算上の出力タイミングの直後の表示更新タイミング寄りであるため、入力タイミングは、直後の表示更新タイミングと、直後の表示更新タイミングの次の表示更新タイミングの中間時刻に調整される。例えば、フレーム１の計算上の出力タイミングが、直後の表示更新タイミングＢ寄りであるため、フレーム１の入力タイミングは、表示更新タイミングＢと、表示更新タイミングＢの次の表示更新タイミング「Ｂ＋１／６０秒」に調整される。フレーム２〜６についても同様である。その結果、フレーム３の出力タイミングが遅れても、各フレームは、それぞれ２出力周期表示される。

図１２は、図５が示す動画像再生装置１００の動作例に対応し、画像供給部２０２からの各フレーム画像の出力タイミングは、図５が示す画像供給部１０２からの各フレーム画像の出力タイミングと同様である。また、図１２における画像表示部１０６の表示更新タイミングも、図５が示す画像表示部１０６の表示更新タイミングと同様である。

図１２に示すように、フレーム３を除き、タイミング調整部２０４により算出された各フレーム画像の計算上の出力タイミングは、該フレーム画像が実際に画像供給部２０２から出力されたタイミングと同様である。フレーム３は、実際の出力タイミングが計算上の出力タイミングより前になっている。

この場合、フレーム１〜６について、計算上の出力タイミングが、該計算上の出力タイミングの直前の表示更新タイミング寄りであるため、入力タイミングは、直前の表示更新タイミングと、直後の表示更新タイミングとの中間時刻に調整される。例えば、フレーム１の計算上の出力タイミングが、直前の表示更新タイミングＢ寄りであるため、フレーム１の入力タイミングは、表示更新タイミングＢと、表示更新タイミングＢの次の表示更新タイミング「Ｂ＋１／６０秒」に調整される。フレーム２〜３についても同様である。その結果、フレーム３の出力タイミングが早まっても、各フレームは、それぞれ２出力周期表示される。

図１３は、図７が示す動画像再生装置１００の動作例に対応し、画像供給部２０２からの各フレーム画像の出力タイミングは、図７が示す画像供給部１０２からの各フレーム画像の出力タイミングと同様である。また、図１３における画像表示部１０６の表示更新タイミングも、図７が示す画像表示部１０６の表示更新タイミングと同様である。

図１３に示すように、各フレームについて、タイミング調整部２０４により算出された各フレーム画像の計算上の出力タイミングは、該フレーム画像が実際に画像供給部２０２から出力されたタイミングと同様である。しかし、画像表示部１０６において、本来、「Ｂ＋４／６０秒」で表示更新がなされるが、画像表示部１０６の動作タイミングの揺らぎにより、「Ｂ＋４／６０秒」の前のタイミングＥで表示更新がなされている。

この場合、フレーム３を除く各フレームについて、計算上の出力タイミングが、該計算上の出力タイミングの直後の表示更新タイミング寄りであるため、入力タイミングは、直後の表示更新タイミングと、直後の表示更新タイミングの次の表示更新タイミングとの中間時刻に調整される。例えば、フレーム１の計算上の出力タイミングが、直後の表示更新タイミングＢ寄りであるため、フレーム１の入力タイミングは、表示更新タイミングＢと、表示更新タイミングＢの次の表示更新タイミング「Ｂ＋１／６０秒」に調整される。フレーム２、４〜６についても同様である。フレーム３については、その計算上の出力タイミングが、直前の表示更新タイミングＥ寄りであるため、入力タイミングは、表示更新タイミングＥと、直後の表示更新タイミング「Ｂ＋５／６０秒」の中間時刻に調整される。このような調整の結果、画像表示部１０６の表示更新タイミングが揺らいでも、各フレームは、それぞれ２出力周期表示される。

フレーム画像の計算上の出力タイミングが、その直前と直後の表示更新タイミングの中間時刻であれば、該フレーム画像の画像供給部２０２からの実際の出力タイミングが多少揺らいでも、再生品質に影響を与えるほどではない。一方、計算上の出力タイミングが、その直前または直後の表示更新タイミングに近接していれば、実際の出力タイミングが揺らいだときに動画像の再生品質に影響を及ぼす可能性が大きい。本実施の形態の動画像再生装置２００は、この点に着目してなされたものであり、フレーム画像の計算上の出力タイミングと、該計算上の出力タイミングの直前および直後の表示更新タイミングとに基づいて上記調整を行うことにより、第１の実施の形態の動画像再生装置１００と同様な効果を得ることができる。
＜第３の実施の形態＞

本発明の第３の実施の形態も動画像再生装置である。この動画像再生装置は、動画像再生装置１００または動画像再生装置２００と同様の構成を有するが、表示情報取得部が取得する表示情報が動画像再生装置１００および動画像再生装置２００における表示情報と異なり、タイミング調整部による将来の表示更新タイミングの算出手法は、動画像再生装置１００および動画像再生装置２００の手法と異なる。

本実施の形態において、表示情報取得部は、画像表示部１０６における過去の表示更新タイミングを逐次取得して記憶し、表示情報としてタイミング調整部に供する。タイミング調整部は、画像表示部１０６から供された表示情報に基づいて、必要な将来の表示更新タイミングを算出する。この算出に、過去何回の表示更新タイミングを利用するか、どのような計算式を用いるかについては種々の方式を用いることができる。例えば、出力タイミングまたは計算上の出力タイミングの直前２回の表示更新タイミングが時間的に早い順にＴ（ｎ−２）、Ｔ（ｎ−１）である場合に、今後の表示更新タイミングを早い順に、「Ｔ（ｎ−１）×２−Ｔ（ｎ−２）」、「Ｔ（ｎ−１）×３−Ｔ（ｎ−２）×２」と算出する。なお、直前の表示更新タイミングＴ（ｎ−１）のみを用いる場合に、表示情報取得部がさらに画像表示部１０６の表示更新周波数を取得し、タイミング調整部は、今後の表示更新タイミングを早い順に、「Ｔ（ｎ−１）＋１／表示更新周波数」、「Ｔ（ｎ−１）＋２／表示更新周波数」と算出すればよい。

本第３の実施の形態の動画像再生装置によれば、画像表示部１０６のライン総数やスキャンライン番号などを正しく取得できない場合にも、動画像再生装置１００または動画像再生装置２００と同様の効果を得ることができる。
＜第４の実施の形態＞

図１４は、本発明の第４の実施の形態にかかる動画像再生装置４００を示す。動画像再生装置４００は、画像供給部４１０、タイミング調整部１０４、画像表示部１０６を備える。画像供給部４１０を除き、動画像再生装置４００の各構成要素は、図１に示す動画像再生装置１００における相対応の構成要素と同じである。図１４において、これらの構成要素について、図１の動画像再生装置１００における該構成要素と同じ符号を付与している。

画像供給部４１０は、復号部４２０、フレーム数調整部４３０、画像解析部４４０、画像情報記憶部４５０を備える。復号部４２０は、動画像再生装置１００における画像供給部１０２の機能を有し、動画像を復号してフレーム画像を得て順次出力する。画像供給部４１０の他の構成要素については、後述する。

画像供給部４１０の詳細な説明の前に、まず、ＰＣなどの汎用端末装置により、送信側が同期にして送信した動画像信号と音声信号を受信して再生する際の問題点を説明する。例として、動画像のフレームレート、音声信号の伝送レートおよび再生レート、ＰＣなどの汎用端末装置における画像表示部の表示更新周波数がそれぞれ２９．９７ｆｐｓ（２９．９７Ｈｚ）、４８Ｈｚ、６０Ｈｚであるとする。

前述したように、この場合、２９．９７ｆｐｓの動画像の各フレームは、表示更新周期の２周期分ずつ表示される。すなわち、表示される際のフレームレートが３０ｆｐｓになっており、元のフレームレートから０．１％のずれがある。このため、長時間に動画像を表示する場合には再生時間が本来よりも短くなる。

図１５は、送信側と受信側が１時間通信を行った場合に再生時間が本来より短くなった態様を示す。図１５に示すように、１時間の通信中、送信側は２９．９７ｆｐｓのフレームレートで１０７８９２フレーム分の動画像を受信側に伝送する。この１０７８９２フレーム分の動画像は、受信側で１０７８９２フレームに復号されて表示される。しかし、表示される際のフレームレートが３０ｆｐｓになっているため、この１時間分（３６００秒
）の動画像は、３５９６．４秒で表示が完了される。

一方、動画像と同期に送信される音声信号について、１時間の間、送信側から伝送された１７２８０００００サンプルは、受信側で伝送レートと同様の再生レートで再生されるため、１時間で再生が完了される。

すなわち、同期にして送信された動画像信号と音声信号の再生時に、同期ずれが生じてしまうという問題がある。

この問題を解決するための手法として、動画像の再生時間長の変化に合わせ、音声信号のリサンプリング処理を行なって音声信号の再生時間長を動画像の再生時間長に合致させる技術が知られている。図１６は、この技術を適用することにより上述問題を解決する態様を示す。

図１６に示すように、１時間の間に送信側から４８Ｈｚの伝送レートで送出された１７２８０００００サンプルを、１７２６２７３７３サンプルにリサンプリングすれば、この１７２６２７３７３サンプルは、受信側において４８Ｈｚの再生レートで再生されるため、１時間の動画像信号の再生完了と同時の３５９６．４秒で再生が完了される。

しかし、テレビ会議などリアルタイムの通信が要求される場合には、上記手法を適用すると、送信側からのデータ送信時間長に対して受信側の受信／再生時間長が短くなってしまうため、違和感を与えてしまうという問題がある。したがって、音声のリサンプリングによる手法は、適用する用途が限定されている。

そこで、例えば特許文献２の手法を利用して、動画像の一部のフレーム画像を繰り返し表示させることが考えられる。すなわち、表示されフレーム画像の枚数を増やすことにより、動画像の再生時間を本来の再生時間に合致させる。

特許文献２の手法は、規則的な３−２プルダウン処理を行うのではなく、２４Ｈｚのフレーム周波数の映像などのコンテンツ中の動画像を５０Ｈｚのフィールド周波数で再生するような、補正比率が大きい場合に、フレーム画像の反復または音声信号のいずれかが知覚されにくい処理を適応的に行うものである。また、反復に適した位置を予め動画像の中でフラグなどにより記録しておき、再生側が負荷を増やされることなく再生ができるようにしたものである。そのため、テレビ会議などのようにリアルタイムで動画像データの生成、再生が行われる用途に適用することは難しい。

また、特許文献１に記載されたように、連続するフレーム画像の間で補間を行うことによりフレーム画像を増やす手法も考えられる。この手法は、常に一定の比率でフレーム画像を増加させる用途に適合しているが、上述した説明の中で例示したような、０．１％程度の比率でフレーム数を調整する用途に適用した場合には、処理負荷が大きく、また過剰な品質になる場合も多い。

図１４に示す本発明の第４の実施の形態の動画像再生装置４００は、動画像のフレーム画像数を増やすことにより動画像信号と音声信号の再生時の同期ずれを解消すると共に、滑らかな動画像再生を実現する。同期ずれの解消については、上述した従来の手法より処理負荷を小さくできると共に、リアルタイムの用途にも適用できる。

ここで、画像供給部４１０に重点を置いて動画像再生装置４００を説明する。
画像供給部４１０は、送信側から伝送されてきた動画像を復号して得たフレーム画像をタイミング調整部１０４に出力する際に、適正な頻度で同じフレームを繰り返し出力する。フレームを繰り返し出力する処理を以下「フレーム繰返し」という。

例えば、図１７に示す例のように、２９．９７Ｈｚの動画像に対して、１時間あたりに１０８回のフレーム繰返しを行うことにより、タイミング調整部１０４を介して画像表示部１０６に入力されるフレームの数を元の「１０７８９２」から「１０７８９２＋１０８」に増やしている。この「１０７８９２＋１０８」枚のフレームは、表示更新周波数が６０Ｈｚである画像表示部１０６で表示更新周期の２周期長ずつ表示される結果、音声信号と同様に、３６００秒で再生が完了される。

画像供給部４１０の各部の処理を具体的に説明する。
復号部４２０は、前述したように、動画像再生装置１００の画像供給部１０２と同様に動作し、動画像を復号して各フレーム画像を順次出力する。これらのフレーム画像は、フレーム数調整部４３０に出力される。

フレーム数調整部４３０は、復号部４２０からのフレーム画像を順次タイミング調整部１０４に出力が、画像解析部４４０から供される解析結果に従って、フレーム繰返しの対象となるフレーム画像を繰返しタイミング調整部１０４に出力する。

画像解析部４４０は、フレーム繰返しの対象となるフレーム画像の特定と、フレーム繰返しの頻度の算出を行う。フレーム繰返しの対象となるフレーム画像の特定については、画像供給部４１０から出力されたフレーム画像と、画像情報記憶部４５０に記憶された該フレーム画像より前のフレーム画像を用いる。具体的には、フレーム繰返しを行っても動きの不自然さが生じないように、フレーム繰返しがなされるフレーム画像を特定する。

例えば、画像解析部４４０は、画像供給部４１０から出力されたフレーム画像と、画像情報記憶部４５０に記憶された該フレーム画像の直前のフレーム画像との、画素値差分の平均値を算出し、該平均値と閾値とを比較する。平均値が閾値以下である場合には、フレーム画像間で変化が少なく動きが少ないとして、直前のフレーム画像をフレーム繰返しの対象画像として判定する。一方、上記平均値が閾値を超えていれば、直前のフレーム画像がフレーム繰返しの対象画像ではないと判定する。

また、画像解析部４４０は、フレームレートの調整率（動画像のフレームレートと、画像表示部１０６での表示レートとの比）に合致するように、フレーム繰返しの頻度を算出する。算出した頻度に応じて、フレーム繰返しの対象画像の出力回数を決定する。この際、フレーム繰返しが集中的に行われるのではなく、時間軸に分散して行われるように決定する。

フレーム数調整部４３０は、画像解析部４４０によりフレーム繰返しの対象と判定されたフレーム画像を、画像解析部４４０により決定された回数を繰返し出力する。フレーム繰返しの対象ではないと判定されたフレーム画像に対しては、１回のみ出力する。

画像供給部４１０から、より具体的にはフレーム数調整部４３０からタイミング調整部１０４に出力されたフレーム画像は、タイミング調整部１０４を介して画像表示部１０６に入力され、表示される。タイミング調整部１０４が入力タイミングの調整を行う際に、画像供給部４１０からフレーム画像が出力されるタイミングではなく、フレーム数調整部４３０からフレーム画像が出力されるタイミングを出力タイミングとして用いる点を除き、動画像再生装置１００におけるタイミング調整部１０４と同様である。

本実施の形態の動画像再生装置４００によれば、動画像のフレーム数を増やすことにより、動画像の再生時間を本来の再生時間に合致させることができると共に、タイミング調整部１０４による画像表示部１０６への入力タイミングの調整により、フレーム数調整部４３０からの出力タイミングの揺らぎ、または画像表示部１０６における表示更新タイミングの揺らぎがあっても、滑らかな動画像再生を実現することができる。

＜第５の実施の形態＞
本発明の第５の実施の形態も動画像再生装置である。この動画像再生装置は、動画像再生装置４００と同じ構成を有するが、その画像解析部によるフレーム繰返し対象のフレーム画像の特定手法が異なる。前述したように、第４の実施の形態の動画像再生装置４００において、画像解析部４４０は、現在出力されたフレーム画像と直前のフレーム画像の画素値の差分の平均値に基づいてフレーム繰返しの可否を判定している。本第５の実施の形態において、画像解析部は、フレーム間予測を用いた符号化により符号化された動画像のフレーム間予測に用いられた一部のパラメータを用いて、フレーム繰返しの可否を判定する。この一部のパラメータは、動画像の復号時に得られる。

例えば、動き補償に用いられる動きベクトルを用いることができる。この場合、画像解析部は、現在出力されたフレーム画像の動きベクトル長の平均値と分散を求め、この平均値と分散が共に所定の閾値以下であるときにフレーム繰返し可と判定する。

また、上記一部のパラメータとして、フレームの平均量子化ステップサイズＱＦとフレームの符号量Ｂを用いてもよい。この場合、画像解析部は、例えば「ＱＦ×Ｂ」によってフレームの複雑度を算出し、該複雑度がフレームの符号化タイプ（Ｉ／Ｐ／Ｂ）に応じた所定の閾値以下であれば、フレーム繰返し可と判定する。なお、これらの閾値は、固定値であってもよいし、過去のフレームに対して算出した複雑度を履歴として記憶しておき、履歴に基づいて閾値を調整するようにしてもよい。

本第５の実施の形態の動画像再生装置は、第４の実施の形態の動画像再生装置４００の効果を得ることができる。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上述した各実施の形態について、動画像のフレームレートが２９．９７Ｈｚであり、画像表示部の表示更新周波数が６０Ｈｚである場合を例にして説明したが、本発明にかかる技術は、この例に限らず、様々な組合せのフレームレートと表示更新周波数に適用することができる。また、表示情報の種類、表示情報から表示更新タイミングを算出する手法、計算上の出力タイミングの算出手法、フレーム繰返し可否の判定手法なども、上述した実施の形態の説明時に例示したものに限られることが無い。

本発明にかかる技術は、動画像の再生、特にＰＣなどの汎用端末装置による動画像の再生に利用できる。

１０ 動画像再生装置
１２ 画像供給部
１４ 画像表示部
１００ 動画像再生装置
１０２ 画像供給部
１０４ タイミング調整部
１０６ 画像表示部
１０８ 表示情報取得部
２００ 動画像再生装置
２０２ 画像供給部
２０４ タイミング調整部
４００ 動画像再生装置
４１０ 画像供給部
４２０ 復号部
４３０ フレーム数調整部
４４０ 画像解析部
４５０ 画像情報記憶部

Claims (25)

1. 動画像を復号化して得た各フレーム画像を、該フレーム画像の表示されるべき時刻に応じた出力タイミングで順次出力する画像供給部と、
   画像の入力と非同期の、所定の表示更新周期に応じた表示更新タイミングで、表示する画像を更新する画像表示部と、
   前記画像供給部から出力されたフレーム画像の前記出力タイミングの直前の表示更新タイミングからの連続した３つの表示更新タイミングを導出しうる表示情報を取得する表示情報取得部と、
   該表示情報取得部が取得した表示情報を用いて、前記画像供給部から出力されたフレーム画像の出力タイミングに対応する前記３つの表示更新タイミングを算出し、前記出力タイミングに最も近い表示更新タイミングと、該出力タイミングとの差が所定の閾値より小さいフレーム画像を近接フレーム画像に判定すると共に、前記近接フレーム画像に対して、前記画像表示部に入力するタイミングである入力タイミングを調整するタイミング調整部とを備え、
   該タイミング調整部は、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも前記所定の閾値以上離れたタイミングになるように調整を行うことを特徴とする動画像再生装置。
2. 前記タイミング調整部は、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの中間時刻になるように調整を行うことを特徴とする請求項１に記載の動画像再生装置。
3. 前記タイミング調整部は、さらに、前記画像供給部から出力されたフレーム画像の表示されるべき時刻を取得し、
   前記３つの表示更新タイミングと、前記近接フレーム画像の判定に際して、該フレーム画像の表示されるべき時刻を前記出力タイミングの代わりに用い、
   前記表示情報取得部は、前記表示されるべき時刻に対応する表示情報を取得するものであることを特徴とする請求項１または２に記載の動画像再生装置。
4. 前記タイミング調整部は、前記動画像に含まれる表示時刻制御情報を取得し、該表示時刻制御情報から、前記画像供給部が出力したフレーム画像の表示されるべき時刻を算出することを特徴とする請求項３に記載の動画像再生装置。
5. 前記表示情報取得部は、前記画像表示部の総ライン数と、表示更新周期と、表示処理中のラインの位置とを示す情報を前記表示情報として取得し、
   前記タイミング調整部は、前記表示情報から前記３つの表示更新タイミングを算出することを特徴とする請求項１から４のいずれか１項に記載の動画像再生装置。
6. 前記表示情報取得部は、過去の表示更新タイミングを表示情報として取得して記憶し、
   前記タイミング調整部は、前記表示情報取得部に記憶された過去の複数の表示更新タイミングから前記３つの表示更新タイミングのうちの後の２つを推定することを特徴とする請求項１から４のいずれか１項に記載の動画像再生装置。
7. 前記画像供給部は、
   動画像の各フレーム画像の表示されるべき時刻と、前記画像表示部の表示更新タイミングとの非同期に起因する前記動画像の再生時間の不足が補償される頻度で、前記動画像を復号して得た各フレーム画像のうちの一部のフレーム画像を繰返し出力するフレーム数調整部をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の動画像再生装置。
8. 前記画像供給部は、前記動画像における動きの少ない時間位置を特定する画像解析部をさらに備え、
   前記フレーム数調整部は、前記画像解析部により特定された各時間位置のフレーム画像を繰返し出力することを特徴とする請求項７に記載の動画像再生装置。
9. 前記画像解析部は、前後のフレーム画像間の画素値の差の平均値を求め、該平均値と閾値との比較により前記時間位置の特定をすることを特徴とする請求項８に記載の動画像再生装置。
10. 前記動画像は、フレーム間予測を用いた符号化により符号化されたものであり、
    前記画像解析部は、前記フレーム間予測に用いられた一部の符号化情報で前記時間位置の特定をすることを特徴とする請求項８に記載の動画像再生装置。
11. 画像の入力と非同期の、所定の表示更新周期に応じた表示更新タイミングで、表示する画像を更新する画像表示装置により動画像を再生する動画像再生方法において、
    動画像を復号化して得た各フレーム画像を、該フレーム画像の表示されるべき時刻に応じた出力タイミングで順次出力する画像供給工程と、
    前記画像供給工程により出力されたフレーム画像の前記出力タイミングの直前の表示更新タイミングからの連続した３つの表示更新タイミングを導出しうる表示情報を取得する表示情報取得工程と、
    該表示情報取得工程により取得した表示情報を用いて、前記画像供給工程において出力されたフレーム画像の出力タイミングに対応する前記３つの表示更新タイミングを算出し、前記出力タイミングに最も近い表示更新タイミングと、該出力タイミングとの差が所定の閾値より小さいフレーム画像を近接フレーム画像に判定すると共に、前記近接フレーム画像に対して、前記画像表示部に入力するタイミングである入力タイミングを調整するタイミング調整工程とを有し、
    該タイミング調整工程において、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも前記所定の閾値以上離れたタイミングになるように調整を行うことを特徴とする動画像再生方法。
12. 前記タイミング調整工程において、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの中間時刻になるように調整を行うことを特徴とする請求項１１に記載の動画像再生方法。
13. 前記タイミング調整工程において、さらに、前記画像供給工程において出力されたフレーム画像の表示されるべき時刻を取得し、
    前記３つの表示更新タイミングと、前記近接フレーム画像の判定に際して、該フレーム画像の表示されるべき時刻を前記出力タイミングの代わりに用い、
    前記表示情報取得工程は、前記表示されるべき時刻に対応する表示情報を取得するものであることを特徴とする請求項１１または１２に記載の動画像再生方法。
14. 前記タイミング調整工程において、前記動画像に含まれる表示時刻制御情報を取得し、該表示時刻制御情報から、前記画像供給工程において出力されたフレーム画像の表示されるべき時刻を算出することを特徴とする請求項１３に記載の動画像再生方法。
15. 前記表示情報取得工程において、前記画像表示部の総ライン数と、表示更新周期と、表示処理中のラインの位置とを示す情報を前記表示情報として取得し、
    前記タイミング調整工程において、前記表示情報から前記３つの表示更新タイミングを算出することを特徴とする請求項１１から１４のいずれか１項に記載の動画像再生方法。
16. 前記表示情報取得工程において、過去の表示更新タイミングを表示情報として取得して記憶し、
    前記タイミング調整工程において、前記表示情報取得工程により記憶された過去の複数の表示更新タイミングから前記３つの表示更新タイミングのうちの後の２つを推定することを特徴とする請求項１１から１４のいずれか１項に記載の動画像再生方法。
17. 前記画像供給工程は、
    動画像の各フレーム画像の表示されるべき時刻と、前記画像表示部の表示更新タイミングとの非同期に起因する前記動画像の再生時間の不足が補償される頻度で、前記動画像を復号して得た各フレーム画像のうちの一部のフレーム画像を繰返し出力するフレーム数調整工程をさらに有することを特徴とする請求項１１から１６のいずれか１項に記載の動画像再生方法。
18. 前記画像供給工程は、前記動画像における動きの少ない時間位置を特定する画像解析工程をさらに有し、
    前記フレーム数調整工程において、前記画像解析工程により特定された各時間位置のフレーム画像を繰返し出力することを特徴とする請求項１７に記載の動画像再生方法。
19. 前記画像解析工程において、前後のフレーム画像間の画素値の差の平均値を求め、該平均値と閾値との比較により前記時間位置の特定をすることを特徴とする請求項１８に記載の動画像再生方法。
20. 前記動画像は、フレーム間予測を用いた符号化により符号化されたものであり、
    前記画像解析工程において、前記フレーム間予測に用いられた一部の符号化情報で前記時間位置の特定をすることを特徴とする請求項１８に記載の動画像再生方法。
21. 画像の入力と非同期の、所定の表示更新周期に応じた表示更新タイミングで、表示する画像を更新する画像表示装置により動画像を再生する動画像再生処理をコンピュータに実行せしめるプログラムであって、
    前記動画像再生処理は、
    動画像を復号化して得た各フレーム画像を、該フレーム画像の表示されるべき時刻に応じた出力タイミングで順次出力する画像供給工程と、
    前記画像供給工程により出力されたフレーム画像の前記出力タイミングの直前の表示更新タイミングからの連続した３つの表示更新タイミングを導出しうる表示情報を取得する表示情報取得工程と、
    該表示情報取得工程により取得した表示情報を用いて、前記画像供給工程において出力されたフレーム画像の出力タイミングに対応する前記３つの表示更新タイミングを算出し、前記出力タイミングに最も近い表示更新タイミングと、該出力タイミングとの差が所定の閾値より小さいフレーム画像を近接フレーム画像に判定すると共に、前記近接フレーム画像に対して、前記画像表示部に入力するタイミングである入力タイミングを調整するタイミング調整工程とを有し、
    該タイミング調整工程において、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの間の、該２つの表示更新タイミングのいずれからも前記所定の閾値以上離れたタイミングになるように調整を行うことを特徴とするプログラム。
22. 前記タイミング調整工程において、前記近接フレーム画像の入力タイミングが、前記最も近い表示更新タイミングと該表示更新タイミングの次の表示更新タイミングとの中間時刻になるように調整を行うことを特徴とする請求項２１に記載のプログラム。
23. 前記タイミング調整工程において、さらに、前記画像供給工程において出力されたフレーム画像の表示されるべき時刻を取得し、
    前記３つの表示更新タイミングと、前記近接フレーム画像の判定に際して、該フレーム画像の表示されるべき時刻を前記出力タイミングの代わりに用い、
    前記表示情報取得工程において、前記表示されるべき時刻に対応する表示情報を取得することを特徴とする請求項２１または２２に記載のプログラム。
24. 前記画像供給工程は、
    動画像の各フレーム画像の表示されるべき時刻と、前記画像表示部の表示更新タイミングとの非同期に起因する前記動画像の再生時間の不足が補償される頻度で、前記動画像を復号して得た各フレーム画像のうちの一部のフレーム画像を繰返し出力するフレーム数調整工程を有することを特徴とする請求項２１から２３のいずれか１項に記載のプログラム。
25. 前記画像供給工程は、前記動画像における動きの少ない時間位置を特定する画像解析工程をさらに有し、
    前記フレーム数調整工程において、前記画像解析工程により特定された各時間位置のフレーム画像を繰返し出力することを特徴とする請求項２４に記載のプログラム。

Images