JP2003169296A

JP2003169296A - 動画像の再生方法

Info

Publication number: JP2003169296A
Application number: JP2001364067A
Authority: JP
Inventors: Makoto Yasuda; 誠安田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-11-29
Filing date: 2001-11-29
Publication date: 2003-06-13

Abstract

(57)【要約】【課題】動きのある画像でも、画像スキップや画像フ
リーズが発生するような、画像が音声に対して進みすぎ
及び遅れすぎの状態でも、動画像のぎくつきの目立たな
い滑らかな再生画像を実現する。【解決手段】画像処理手段１２は、画像スキップや画
像フリーズの際に、単純にフレーム間引きや繰り返し表
示を行うのでなく、画像フリーズ及び画像スキップする
画像近傍の複数のフィールドを用いて新たに出力画像を
合成し生成して表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、蓄積記憶装置に格
納された動画像を再生する際に用いる動画像の再生方法
に関するものである。

【０００２】

【従来の技術】近年、情報化社会の急速な進展に伴い、
時間や距離の壁を越え動画像を他者に伝えたいという要
望が高まっている。ディジタル技術の本格的な実用化の
時代を迎え、動画像を記録再生装置、パソコンやホーム
サーバーといった装置で記録・再生したり、インターネ
ットをはじめとする通信網を用いて遠距離間を伝送する
ことが可能になってきた。また、放送の分野において
も、テレビジョンをはじめとする動画像に対して、ディ
ジタル技術を用いた伝送及び符号化方式の採用が行われ
ている。

【０００３】ディジタル信号の動画像や音声信号は、ア
ナログ信号のまま処理する場合と比較して、柔軟な処理
形態が採用できるため、高品質化、高信頼性化が実現で
きるという特長がある一方で、ディジタル化したそのま
まの状態では一般に符号量が膨大になるため、効率よく
記録および伝送するためには、高能率符号化技術の利用
が必須とされており、符号化装置や復号化装置がすでに
実用に供されている。

【０００４】このような高能率符号化技術として、通称
ＭＰＥＧ規格(Moving Picture Experts Group)と呼ばれ
る「インフォメーション・テクノロジージェネリック
・コーディング・オブ・ムービング・ピクチャーズ・ア
ンド・アソシエーティッド・オーディオ・フォー・ディ
ジタル・インフォメーション」（Information technol
ogy - Generic coding of moving pictures and associ
ated audio for digital information（ISO/IEC13818-
2））に記述の方法に準じた方法が用いられることがあ
る。

【０００５】ＣＤ（コンパクト・ディスク）に動画像を
記録したビデオＣＤや、ビデオＣＤよりもより高画質で
長時間の動画像を記録したＤＶＤは、その応用例のひと
つである。

【０００６】一般に、動画像の復号化装置では、単に動
画像を逐次復号して提示するだけでなく、予め決められ
た基準時間軸に沿って、画像の遅れ・進みを微調整し、
適正な出力時間に画像を提示する、いわゆる同期再生の
機能が必須である。

【０００７】その一例として、音声と同一のビットスト
リーム中に多重化された動画像を、復号したのち順次出
力する際に、音声と同期して出力する、いわゆる「リッ
プ・シンク(lip sync)」がある。この場合、基準時間は
音声信号の出力時間とし、動画像をそれに合わせて、出
力時間を調整することが多く、従来例として、特開平８
−２５１５４３号公報に開示された方法がある。

【０００８】以下、上述の方法を用いた従来の動画像の
再生方法について説明する。

【０００９】はじめに、対象となる動画像としてＭＰＥ
Ｇ規格を想定し、その動画像の符号化方法及びビットス
トリームの構造について説明する。

【００１０】ＭＰＥＧ規格では、図８に示すように、動
画像は一続きのフレーム７００から構成されると想定
し、（Ａ）に示すように、シーケンスと呼ばれる一連の
フレーム群５００を符号化する。シーケンスは、グルー
プ・オブ・ピクチャーズと呼ばれる、通常０．５秒程度
ごとの一連の画像フレーム群６００に分割して符号化さ
れている。

【００１１】ＧＯＰは、一例として（Ｂ）に模式的に示
すように、自分自身のフレームのみのデータを用いて符
号化したＩ(intra)フレーム、時間的に前のフレーム
（Ｉフレーム及びＰフレーム）のデータから予測符号化
が可能なＰ(predictive)フレーム、時間的に前及び後ろ
のＩフレーム及びＰフレームから内挿予測符号化が可能
なＢ(bi-directionally predictive)フレームから構成
される。

【００１２】尚、各フレームはピクチャと呼ばれ、Ｉ、
ＰおよびＢの種別は、ピクチャタイプと呼ばれる。ピク
チャタイプに付属する数字は、フレーム番号でそのＧＯ
Ｐ内の表示順番を表している。

【００１３】各フレーム内の構造を（Ｄ）に示す。ピク
チャは、１個以上のスライスと呼ばれる画面上で帯状の
一続きの領域から構成され、さらにスライスは、１個以
上のマクロブロックと呼ばれる横１６画素＊縦１６ライ
ンの画像ブロック８００から構成される。

【００１４】マクロブロックは、（Ｅ）及び（Ｆ）に示
すようにブロックと呼ばれる横８画素＊縦８ラインの画
像ブロック複数個から成り、一例として輝度信号(Ｙ)の
ブロック４個と、２系統の色信号(Cb,Cr)それぞれ１個
のブロックから構成される。この場合、色信号は原画像
を縦、横ともに輝度信号に対して半分の解像度でサンプ
リングされている。

【００１５】マクロブロック以下の階層では、符号化時
に選択されたマクロブックの予測モード情報、動き補償
予測に用いる動きベクトル、符号化されたＤＣＴ係数情
報などの情報が存在する。これらのマクロブロック層以
下の各情報の符号化には、可変長符号が用いられてお
り、出現頻度が高いものほど短い符号を割り当てること
で、ビットストリームの大半を占めるマクロブロック層
の情報を効率的に符号化している。

【００１６】以上のように、構成された全階層の情報
は、（Ｃ）に示すように、復号化装置側で順番に正しく
デコードできるように符号化順に並び変えられて、各フ
レームに各階層の符号化情報を保持するヘッダやエクス
テンションと呼ばれる階層情報とともに配置され、ビッ
トストリームを構成する。

【００１７】次に、ＭＰＥＧビットストリームにおけ
る、同期再生を実現する動画像の再生方法について、図
６、図７を用いて説明する。

【００１８】図６は、従来の動画像の再生方法を用いた
再生装置の構成を示すブロック図である。ここで、１０
は入力端子、１１は分離手段、１２は画像処理手段、１
３は音声処理手段、１４は制御手段、１５及び１６は出
力端子である。

【００１９】最初に、入力端子１０にＭＰＥＧ規格を用
いて符号化された音声と動画像を多重化したビットスト
リーム（以下、プログラムストリームと呼ぶ。）が入力
されると、分離手段１１において、画像用ビットストリ
ームと音声用ビットストリームに分離され、それぞれ画
像処理手段１２と音声処理手段１３に入力される。

【００２０】この際、分離手段１１から出力される画像
用ストリームと音声用ビットストリームは、それぞれ画
像のみ及び音声のみの符号データをストリーム中に含む
単一のビットストリームで、その中に画像及び音声の出
力時間に関する時刻情報ＰＴＳ(Presentation Time Sta
mp)が通常周期的にヘッダとして埋め込まれている。

【００２１】ＰＴＳは、画像や音声の再生時の提示時間
を表し、それが挿入されたビットストリーム内位置の近
傍のデータが復号後実際に出力されるべき時間を表し、
値が増加する方向が、時間軸上で未来方向に対応する。
以下では、特に画像のＰＴＳをＶＰＴＳ(Video PTS)、
音声のＰＴＳをＡＰＴＳ(Audio PTS)と区別して記す。

【００２２】１個のＶＰＴＳは、１フレームに対して規
定されているが、一般には、ＶＰＴＳは０．５秒程度毎
に１個出現するのみであるため、通常全てのフレームに
ＶＰＴＳが付いていることはなく、その結果、ＶＰＴＳ
が存在しないフレームが存在する可能性が高い。これら
のフレームについては、ＶＰＴＳが確定したフレームを
起点として、動画像のフレームレートに対応した１フレ
ーム時間だけ増えて行くように外挿して求め、ＶＰＴＳ
として確定する。以上のことは、音声についても同様な
ことが多い。

【００２３】画像処理手段１２では、ＭＰＥＧビデオ規
格で符号化された符号データが復号されて、出力端子１
５から動画像が出力されると同時に、復号化された画像
のVPTSが内部で計算され、ＶＰＴＳが出力される。

【００２４】音声処理手段１３では、ＭＰＥＧオーディ
オ規格で符号化された符号データが復号されて、出力端
子１６から音声データが出力されると同時に、復号され
た音声のＡＰＴＳが内部で計算され、ＡＰＴＳが出力さ
れる。

【００２５】制御手段１４では、画像処理手段１２で求
められたＶＰＴＳと音声処理手段１３で求められたＡＰ
ＴＳを入力とし、それらを後述する方法で画像処理手段
１２に対して、必要に応じて画像スキップまたは画像フ
リーズを指示する。

【００２６】次に、制御手段１４における処理内容を、
図７を用いて説明する。図７は、表示における１フレー
ム処理ごとの処理フローを示している。

【００２７】まず、各フレームの処理ごとに、ＶＰＴＳ
とＡＰＴＳの差分が、ある決められた閾値Ｎと比較され
る（処理７０）。これは、動画像と音声のずれが時間Ｎ
より大きいかどうかの比較であり、大きくなければ終了
となる。これは、画像と音声の同期再生が順調に行われ
ている状態であって、とりわけ時間合わせのための措置
を行う必要がない状態に対応する。

【００２８】一方、処理７０の結果、ＶＰＴＳとＡＰＴ
Ｓの差分が時間Ｎ以上の場合は、画像と音声の同期再生
がうまく行われていない状態に対応する。そこで、次に
ＶＰＴＳとＡＰＴＳが比較され（処理７１）、ＶＰＴＳ
の方が大きければ、画像が進み過ぎていると判断され、
画像処理手段１２に画像フリーズが指示されて（処理７
２)、終了となる。

【００２９】画像フリーズとは、同じ画像を複数回繰り
返して表示することであり、当然画像は次に進まず、そ
の結果、ＶＰＴＳは一定値を保つこととなり、その間Ａ
ＰＴＳが増加することが期待され、画像が音声より進み
すぎている状態が解消される機会が与えられることにな
る。

【００３０】また、処理７１の結果、ＶＰＴＳの方が小
さければ画像が遅れ過ぎていると判断され、次に、現在
のフレームのピクチャタイプが取得される（処理７
３）。このピクチャタイプの結果が判定されて（処理７
４）、Ｂフレームであれば、画像処理手段１２に画像ス
キップが指示されて（処理７５）、終了となる。

【００３１】処理７４の結果、IまたはPフレームであれ
ば、終了する。

【００３２】この場合、画像スキップとは、現在処理中
の画像を再生画像として表示せず、次のフレームの再生
処理に移行することであり、その結果、当然画像は次に
進むため、ＶＰＴＳはその進んだフレームの時間分だけ
増加することとなり、ＶＰＴＳがＡＰＴＳよりも速い速
度で増加することが期待され、画像が音声より遅れすぎ
ている状態が解消される機会が与えられることになる。

【００３３】以上のようにして、時間Ｎ、ＶＰＴＳとＡ
ＰＴＳの大小関係、ピクチャタイプを参照して、画像フ
リーズ及び画像スキップを指示することで、動画像と音
声の同期再生を実現している。

【００３４】

【発明が解決しようとする課題】しかしながら、上記従
来の構成では、画像が音声より進みすぎている状態を解
消するために、一連の画像の中で画像のフリーズ状態が
発生するが、元の動画像に動きがある場合、一連のフレ
ームの中で唯一静止する箇所ができるため、その静止画
像の前後において動きの連続性が失われる結果、ぎくつ
きが目立ち、なめらかな動画像が得られない、という課
題があった。

【００３５】また、以上の構成では、通常再生の際に、
画像が音声より遅れすぎている状態を解消するために画
像スキップが発生するが、元の動画像に動きがある場
合、一連の画像の中から少なくとも１枚のフレームが完
全に欠落する結果、その欠落した画像の前後において動
きの連続性が失われ、ぎくつきが目立ち、なめらかな動
画像が得られない、という課題があった。

【００３６】本発明は、かかる点に鑑み、動きのある動
画像においても、再生画像のぎくつきの目立たない、な
めらかな動画像を得ることができる動画像の再生方法を
提供することを目的とする。

【００３７】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、少なくとも、動画像を連続した複数の画
像群に分割し、前記画像群ごとに画像符号化処理して得
た第１の符号列と、音声を符号化処理して得た第２の符
号列を多重化した第３の符号列を入力とし、前記第３の
符号列を復号処理して復号画像を得る動画像の再生方法
であって、前記動画像の出力時刻を表す画像出力時刻情
報と前記音声の出力時刻を表す音声出力時刻情報を計算
し、前記画像出力時刻情報が前記音声出力時刻情報に比
較して所定量以上進んでいる場合、前記動画像の現復号
画像と前記現復号画像に表示順で隣接する２画像を平均
化して得た合成画像を出力することを特徴とする。

【００３８】また、本発明は、少なくとも、動画像を連
続した複数の画像群に分割し、前記画像群ごとに画像符
号化処理して得た第１の符号列と、音声を符号化処理し
て得た第２の符号列を多重化した第３の符号列を入力と
し、前記第３の符号列を復号処理して復号画像を得る動
画像の再生方法であって、前記動画像の出力時刻を表す
画像出力時刻情報と前記音声の出力時刻を表す音声出力
時刻情報を計算し、前記画像出力時刻情報が前記音声出
力時刻情報に比較して所定量以上遅れている場合、前記
動画像の現復号画像に表示順で隣接する隣接画像は出力
しない代わりに前記隣接画像と前記現復号画像を平均化
して得た合成画像を出力することを特徴とする。

【００３９】また、本発明は、少なくとも、動画像を連
続した複数の画像群に分割し、前記画像群ごとに画像符
号化処理して得た第１の符号列と、音声を符号化処理し
て得た第２の符号列を多重化した第３の符号列を入力と
し、前記第３の符号列を復号処理して復号画像を得る動
画像の再生方法であって、前記動画像の出力時刻を表す
画像出力時刻情報と前記音声の出力時刻を表す音声出力
時刻情報を計算し、前記画像出力時刻情報が前記音声出
力時刻情報に比較して所定量以上遅れている場合、前記
動画像の現復号画像に表示順で時間的に過去方向に隣接
する前方隣接画像と未来方向に隣接する後方隣接画像よ
り選択した得たフィールド画像を組み合わせて得た合成
画像を出力することを特徴とする。

【００４０】また、本発明は、少なくとも、動画像を連
続した複数の画像群に分割し、前記画像群ごとに画像符
号化処理して得た第１の符号列と、音声を符号化処理し
て得た第２の符号列を多重化した第３の符号列を入力と
し、前記第３の符号列を復号処理して復号画像を得る動
画像の再生方法であって、前記動画像の出力時刻を表す
画像出力時刻情報と前記音声の出力時刻を表す音声出力
時刻情報を計算し、前記画像出力時刻情報が前記音声出
力時刻情報に比較して所定量以上進んでいる場合は、前
記動画像の現復号画像と前記現復号画像に隣接する２画
像を平均化して得た合成画像を出力し、遅れている場合
は、前記動画像の現復号画像に表示順で隣接する隣接画
像は出力しない代わりに前記隣接画像と前記現復号画像
を平均化して得た合成画像を出力することを特徴とす
る。

【００４１】また、本発明は、少なくとも、動画像を連
続した複数の画像群に分割し、前記画像群ごとに画像符
号化処理して得た第１の符号列と、音声を符号化処理し
て得た第２の符号列を多重化した第３の符号列を入力と
し、前記第３の符号列を復号処理して復号画像を得る動
画像の再生方法であって、前記動画像の出力時刻を表す
画像出力時刻情報と前記音声の出力時刻を表す音声出力
時刻情報を計算し、前記画像出力時刻情報が前記音声出
力時刻情報に比較して所定量以上進んでいる場合は、前
記動画像の現復号画像と前記現復号画像に隣接する２画
像を平均化して得た合成画像を出力し、遅れている場合
は、前記動画像の現復号画像に表示順で時間的に過去方
向に隣接する前方隣接画像と未来方向に隣接する後方隣
接画像より選択した得たフィールド画像を組み合わせて
得た合成画像を出力することを特徴とする。

【００４２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。なお、以下の各図において
同一部には同一符号を付して詳細な説明は省略する。

【００４３】（第１の実施の形態）図１は、本発明の第
１の実施の形態に係る再生装置の構成を示すブロック図
である。図１において、図６と異なるのは、制御手段１
４が制御手段１７に置き換えられている点であり、他は
同じものとする。以下、第１の実施の形態の動作を説明
する。

【００４４】最初に、入力端子１０にプログラムストリ
ームが入力されると、分離手段１１において、画像用ビ
ットストリームと音声用ビットストリームに分離され、
それぞれ画像処理手段１２と音声処理手段１３に入力さ
れる。

【００４５】画像処理手段１２では、ＭＰＥＧビデオ規
格で符号化された符号データが復号されて、出力端子１
５から動画像が出力されると同時に、復号された画像の
ＶＰＴＳが内部で計算され、ＶＰＴＳが出力される。

【００４６】音声処理手段１３では、ＭＰＥＧオーディ
オ規格で符号化された符号データが復号されて、出力端
子１６から音声データが出力されると同時に、復号され
た音声のＡＰＴＳが内部で計算され、ＡＰＴＳが出力さ
れる。

【００４７】画像処理手段１２で求められたＶＰＴＳ
と、音声処理手段１３で求められたＡＰＴＳは、制御手
段１７に入力され、後述するように画像処理手段１２に
指示する。

【００４８】図２を用いて、制御手段１７における処理
内容を説明する。図２は、表示における１フレーム処理
ごとの処理フローを示している。

【００４９】まず、フレームの処理ごとに、ＶＰＴＳと
ＡＰＴＳの差分が、ある決められた閾値Ｎと比較される
(処理２０)。これは、画像と音声のずれが時間Ｎ以上よ
り大きいかどうかの比較であり、大きくなければ終了と
なる。これは、画像と音声の同期再生が順調に行われて
いる状態であって、とりわけ時間合わせのための措置を
行う必要がない状態に対応する。

【００５０】時間Ｎとしては、一例として、動画像のフ
レームレートより求まる１フレームの出力時間、すなわ
ちＮＴＳＣテレビ方式であれば、１／２９.９７Hz＝０.
０３３秒とする。また、すぐに同期状態に引き込みを開
始しないようにあそびを持たせる目的で、それより大き
い値を採用してもよい。

【００５１】処理２０の結果、ＶＰＴＳとＡＰＴＳの差
分が時間Ｎの場合は、画像と音声の同期再生がうまく行
われていない状態に対応する。そこで、次にＶＰＴＳと
ＡＰＴＳが比較され（処理２１）、ＶＰＴＳの方が大き
ければ、画像が進み過ぎていると判断され、画像処理手
段１２に対して後述する画像フリーズ用合成フレームの
作成を指示する（処理２２）。その後、表示順で、前の
フレーム、合成フレーム、現在のフレームの順に画像表
示を行うように画像処理手段１２に指示し（処理２
３）、終了となる。

【００５２】一方、処理２１の結果、ＶＰＴＳの方が小
さければ、画像が遅れ過ぎていると判断され、画像処理
手段１２に、後述する画像スキップ用合成フレームの作
成を指示する（処理２４）。その後、合成フレームの画
像表示は行うが、前後の画像については表示を行わない
ように、画像処理手段１２に指示し（処理２５）、終了
となる。

【００５３】ここで、画像フリーズ用合成フレーム及び
画像スキップ用合成フレームと呼ぶものは、現在処理中
のフレームとその近傍のフレームについて、それらを構
成するフィールドを用いて新たに合成して生成したフレ
ームを指しており、以下にてそれらの詳細を説明する。

【００５４】最初に、フレームを構成するフィールドに
ついて、図３を用いて説明する。図３において、(Ａ)に
示すように、フレーム２００は、ｍライン（ｍは偶数）
から成る画像とする。１つのフレームは、２つのフィー
ルドから成る。

【００５５】すなわち、(Ｂ)に示すように、トップフィ
ールド画像２１０とボトムフィールド画像２２０から成
り、どちらも（ｍ／２）ラインから成る。ここで、図中
のハッチングのかかった部分が、そのフィールドに含ま
れる有効なデータである。

【００５６】すなわち、トップフィールド画像２１０
は、空間的にボトムフィールド画像よりも１ライン上か
ら始まり、上から１,３,５,..., (ｍ−１)番目のライン
の画像データを含み、ボトムフィールド画像２２０は、
同様に、２,４,６,...,ｍ番目のラインの画像データを
含む。

【００５７】次に、フレームの表示出力順序について２
種類あることを説明する。一般に、通常のＮＴＳＣテレ
ビ放送受像機のようなインターレース表示装置では、１
フレームを一時にスクリーンに表示することはできず、
１フィールドずつ順に提示しており、当然フィールドの
表示出力順序として、２種類存在することになる。

【００５８】ここでは、最初に出力される方を第１フィ
ールドと呼び、次に出力される方を第２フィールドと呼
ぶことにする。注意を要するのは、トップかボトムかと
いう区別は、空間的な位置に関して着目したものであ
り、第１フィールドか第２フィールドかという区別は、
フィールドの出力順序に関して着目したものであること
である。

【００５９】以上のように、フレームの出力の仕方とし
て、トップフィールドが第１フィールドであるトップフ
ィールドファースト（以下、ＴＦＦと記す。）と、ボト
ムフィールドが第１フィールドであるボトムフィールド
ファースト（以下、ＢＦＦと記す。）の２種類が存在す
ることになる。

【００６０】図３では、それらを模式的に記しており、
図中の(Ｄ)に示すような丸印が各フィールドを表し、傾
斜して配置・記載されることにより、２つのうちどちら
のフィールドが先に出力されるか（すなわち、どちらが
第１フィールドか）を表している。この２つのフィール
ドを含んでいる囲み線は、これらの２つのフィールドが
同一のフレームに属することを表している。

【００６１】以上のことを踏まえて、以下では、画像フ
リーズ用合成フレーム及び画像スキップ用合成フレーム
について、図４を用いて説明する。まず、画像が音声に
対して進んでいる場合について説明する。

【００６２】図４において、(Ａ)は、ＴＦＦのフレーム
が連続するシーケンスの例であり、図中で１ａ,１ｂ,１
ｃ,１ｄは、復号化して得た表示順で連続するＴＦＦの
フレーム群を表す。

【００６３】現在処理中のフレームを１ｃとすると、処
理２２において画像フリーズ用合成フレームの作成が指
示された場合、フレーム１ｂの第１フィールドとフレー
ム１ｃの第１フィールドを平均化したものを第１フィー
ルドとし、フレーム１ｂの第２フィールドとフレーム１
ｃの第２フィールドを平均化したものを第２フィールド
となるように組み合わせて合成した、新たなフレーム
（フレーム１１ｅ）を生成する。そして、表示順で画像
フレーム１ｂ,１１ｅ,１ｃとなるように表示する（処理
２３にて行われる）。

【００６４】尚、（Ｂ）は、ＢＦＦのフレームが連続す
るシーケンスの例であり、現在処理中のフレームを１ｃ
とすると、画像フリーズ用合成フレームとしてフレーム
１２ｅが作成されるのは、(Ａ)のＴＦＦの場合と同様で
ある。

【００６５】すなわち、フレーム１ｃを１枚表示する代
わりに、合成フレーム１１ｅの１枚とその前後のフレー
ムの合計３枚を表示することで、画像が進んでいる状態
を解消する方向に作用させることができる。ここで、画
像が進んでいる場合に作成する合成フレームを、画像フ
リーズ用合成画像フレームと呼んでいる。

【００６６】次に、画像が音声に対して遅れている場合
について説明する。図４において、(Ｃ)は、ＴＦＦのフ
レームが連続するシーケンスの例であり、現在処理中の
フレームを１ｃとすると、処理２４において画像スキッ
プ用合成フレームの作成が指示された場合、フレーム１
ｂの第１フィールドとフレーム１ｃの第２フィールド
を、それぞれ新たなフレームの第１フィールドと第２フ
ィールドとなるように組み合わせて合成し(画像フレー
ム２１ｅ)、それを表示する（処理２５）。

【００６７】すなわち、画像フレーム１ｂ及び１ｃの合
計２枚を表示する代わりに、合成フレーム２１ｅを１枚
表示することで、画像が遅れている状態を解消する方向
に作用させることができる。ここで、画像が遅れている
場合に作成する合成フレームを、画像スキップ用合成フ
レームと呼んでいる。

【００６８】尚、（Ｄ)は、ＢＦＦのフレームが連続す
るシーケンスの例であり、１ａ,１ｂ,１ｃ,１ｄは、表
示順で連続するＢＦＦのフレーム群を表し、現在処理中
のフレームを１ｃとすると、画像スキップ用合成フレー
ムとしてフレーム２１ｅが作成されるのは、(Ｃ)のＴＦ
Ｆの場合と同様である。

【００６９】以上のようにして、時間Ｎ、ＶＰＴＳとＡ
ＰＴＳの大小関係を参照して、制御手段１７が画像処理
手段１２に対して、画像フリーズ用合成フレーム及び画
像スキップ用合成フレームの作成と表示を指示すること
で、画像と音声の同期再生を実現する。

【００７０】以上で述べたように、画像が音声に対して
進みすぎている場合、元の動画像に動きがある場合で
も、表示順で隣接する２枚の異なるフレームを構成する
フィールドを用いて平均化して得た２フィールドから成
る新たなフレームを生成し、合成フレームとして表示す
るため、元の動画像において静止する箇所がなくなり、
画像のぎくつきが目立たず、滑らかな動画像が得られる
という効果が得られる。

【００７１】また、画像が音声に対して遅れすぎている
場合、元の動画像に動きがある場合でも、表示順で隣接
する２枚の異なるフレームを構成するフィールドより２
フィールドを組み合わせて合成して新たな合成フレーム
として表示するため、元の動画像においてどの１フレー
ムに含まれる動きも完全に欠落することがなくなり、画
像のぎくつきが目立たず、滑らかな動画像が得られると
いう効果が得られる。

【００７２】（第２の実施の形態）次に、本発明の第２
の実施の形態であるが、第１の実施の形態と異なるの
は、制御手段１７の動作が異なる点であり、その処理フ
ローを図５に示す。図５における符号は、図２と同様で
あるが、唯一処理２４が処理５０に置き換わる点が異な
る。以下では、処理５０について説明する。

【００７３】画像が音声に対して進んでいる場合につい
ては、第１の実施の形態の場合と変わりはないが、画像
が音声に対して遅れている場合については動作が異な
る。

【００７４】図４において、(Ｅ)は、ＴＦＦのフレーム
が連続するシーケンスの例であり、現在処理中のフレー
ムを１ｃとすると、処理５０において作成される画像ス
キップ用合成フレーム３１ｅが、（Ａ）における合成フ
レーム１１ｅと同様に平均化されたものである点が異な
る。

【００７５】この場合でも、画像フレーム１ｂ及び１ｃ
の合計２枚を表示する代わりに、合成フレーム３１ｅを
１枚表示することで、画像が遅れている状態を解消する
方向に作用させることができる。

【００７６】同様に、(Ｆ)は、ＢＦＦのフレームが連続
するシーケンスの例であり、現在処理中のフレームを１
ｃとすると、処理５０において作成される画像スキップ
用合成フレーム３２ｅが、（Ａ）における合成フレーム
１２ｅと同様に平均化されたものである点が異なる。

【００７７】以上のようにして、時間Ｎ、ＶＰＴＳとＡ
ＰＴＳの大小関係を参照して、制御手段１７が画像処理
手段１２に対して、画像フリーズ用合成フレーム及び画
像スキップ用合成フレームの作成と表示を指示すること
で、画像と音声の同期再生を実現する。

【００７８】以上で述べたように、画像が音声に対して
遅れすぎている場合、元の動画像に動きがある場合で
も、表示順で隣接する２枚の異なるフレームを構成する
フィールドを用いて平均化して得た２フィールドから成
る新たなフレームを生成し、合成フレームとして表示す
るため、元の動画像においてどの１フレームに含まれる
動きも完全に欠落することがなく画像のぎくつきが目立
たず、滑らかな動画像が得られるという効果が得られ
る。

【００７９】また、画像が音声に対して進みすぎている
場合、元の動画像に動きがある場合でも、表示順で隣接
する２枚の異なるフレームを構成するフィールドを用い
て平均化して得た２フィールドから成る新たなフレーム
を生成し、合成フレームとして表示するため、元の動画
像において静止する箇所がなくなり、画像のぎくつきが
目立たず、滑らかな動画像が得られるという効果が得ら
れる点は、第１の実施の形態と同様である。

【００８０】尚、以上のすべての実施の形態において、
画像ビットストリームの符号化方法として、ＭＰＥＧ規
格の下位規格である国際標準規格「インフォメーション
・テクノロジーコーディング・オブ・ムービング・ピ
クチャーズ・アンド・アソシエーティッド・オーディオ
・フォー・ディジタル・ストレージ・メディア・アット
・アップ・トゥ・アバウト・１.５Mbits」（Informatio
n Technology -Codingof moving pictures and associa
ted audio for digital storage media at upto about
1,5Mbits/s（ISO/IEC11172-2））や、上位規格である国
際標準規格「インフォメーション・テクノロジーコー
ディング・オブ・オーディオビジュアル・オブジェク
ツ」（Information Technology -Coding of audio-visu
al objects (ISO/IEC14496-2)）を採用した復号化方法
にも適用できる。

【００８１】尚、以上のすべての実施の形態において、
動画像がＭＰＥＧ規格にて符号化されたものに限定する
ものでなく、ある決められたアルゴリズムにしたがって
復号処理して画像データを得る符号化方式に適用でき
る。

【００８２】また、以上のすべての実施の形態におい
て、音声がＭＰＥＧ規格にて符号化されたものに限定す
るものでなく、ある決められたアルゴリズムにしたがっ
て復号処理して音声データを得る符号化方式に適用でき
る。

【００８３】また、以上のすべての実施の形態におい
て、画像と音声は、ＭＰＥＧ規格にて多重化されたもの
に限定するものでなく、ある決められたアルゴリズムに
したがって多重化処理する符号化方式に適用できる。

【００８４】

【発明の効果】以上のように、本発明によれば、画像が
音声に対して進みすぎている場合、元の動画像に動きが
ある場合でも、表示順で隣接する２枚の異なるフレーム
を構成するフィールドを用いて平均化して得た２フィー
ルドから成る新たなフレームを生成し、合成フレームと
して表示するため、元の動画像において静止する箇所が
なくなり、画像のぎくつきが目立たず、滑らかな動画像
が得られる、という効果を奏することができる。

【００８５】また、本発明によれば、画像が音声に対し
て遅れすぎている場合、元の動画像に動きがある場合で
も、表示順で隣接する２枚の異なるフレームを構成する
フィールドより２フィールドを組み合わせて合成して新
たな合成フレームとして表示するため、元の動画像にお
いてどの１フレームに含まれる動きも完全に欠落するこ
とがなくなり、画像のぎくつきが目立たず、滑らかな動
画像が得られる、という効果を奏することができる。

【００８６】また、本発明によれば、画像が音声に対し
て遅れすぎている場合、元の動画像に動きがある場合で
も、表示順で隣接する２枚の異なるフレームを構成する
フィールドを用いて平均化して得た２フィールドから成
る新たなフレームを生成し、合成フレームとして表示す
るため、元の動画像においてどの１フレームに含まれる
動きも完全に欠落することがなくなり、画像のぎくつき
が目立たず、滑らかな動画像が得られる、という効果を
奏することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態による動画像の再生
方法を用いた再生装置を示すブロック図

【図２】本実施の形態の動作を示すフローチャート

【図３】（Ａ）〜（Ｄ）フレーム及びフィールドを示す
図

【図４】（Ａ）〜（Ｆ）本実施の形態による画像フリー
ズ用合成フレーム及び画像スキップ用合成フレームを示
す図

【図５】本発明の第２の実施の形態の動作を示すフロー
チャート

【図６】従来の動画像の再生方法を用いた再生装置を示
すブロック図

【図７】従来の動画像の再生方法の動作を示すフローチ
ャート

【図８】（Ａ）〜（Ｆ）ＭＰＥＧ規格のビットストリー
ムを示す図

【符号の説明】

１０入力端子１１分離手段１２画像処理手段１３音声処理手段１５出力端子１６出力端子１７制御手段２００フレーム２１０トップフィールド画像２２０ボトムフィールド画像

Claims

【特許請求の範囲】

【請求項１】少なくとも、動画像を連続した複数の画像
群に分割し、前記画像群ごとに画像符号化処理して得た
第１の符号列と、音声を符号化処理して得た第２の符号
列を多重化した第３の符号列を入力とし、前記第３の符
号列を復号処理して復号画像を得る動画像の再生方法で
あって、前記動画像の出力時刻を表す画像出力時刻情報と前記音
声の出力時刻を表す音声出力時刻情報を計算し、前記画
像出力時刻情報が前記音声出力時刻情報に比較して所定
量以上進んでいる場合、前記動画像の現復号画像と前記
現復号画像に表示順で隣接する２画像を平均化して得た
合成画像を出力することを特徴とする動画像の再生方
法。
【請求項２】少なくとも、動画像を連続した複数の画像
群に分割し、前記画像群ごとに画像符号化処理して得た
第１の符号列と、音声を符号化処理して得た第２の符号
列を多重化した第３の符号列を入力とし、前記第３の符
号列を復号処理して復号画像を得る動画像の再生方法で
あって、前記動画像の出力時刻を表す画像出力時刻情報と前記音
声の出力時刻を表す音声出力時刻情報を計算し、前記画
像出力時刻情報が前記音声出力時刻情報に比較して所定
量以上遅れている場合、前記動画像の現復号画像に表示
順で隣接する隣接画像は出力しない代わりに前記隣接画
像と前記現復号画像を平均化して得た合成画像を出力す
ることを特徴とする動画像の再生方法。
【請求項３】少なくとも、動画像を連続した複数の画像
群に分割し、前記画像群ごとに画像符号化処理して得た
第１の符号列と、音声を符号化処理して得た第２の符号
列を多重化した第３の符号列を入力とし、前記第３の符
号列を復号処理して復号画像を得る動画像の再生方法で
あって、前記動画像の出力時刻を表す画像出力時刻情報と前記音
声の出力時刻を表す音声出力時刻情報を計算し、前記画
像出力時刻情報が前記音声出力時刻情報に比較して所定
量以上遅れている場合、前記動画像の現復号画像に表示
順で時間的に過去方向に隣接する前方隣接画像と未来方
向に隣接する後方隣接画像より選択した得たフィールド
画像を組み合わせて得た合成画像を出力することを特徴
とする動画像の再生方法。
【請求項４】少なくとも、動画像を連続した複数の画像
群に分割し、前記画像群ごとに画像符号化処理して得た
第１の符号列と、音声を符号化処理して得た第２の符号
列を多重化した第３の符号列を入力とし、前記第３の符
号列を復号処理して復号画像を得る動画像の再生方法で
あって、前記動画像の出力時刻を表す画像出力時刻情報と前記音
声の出力時刻を表す音声出力時刻情報を計算し、前記画
像出力時刻情報が前記音声出力時刻情報に比較して所定
量以上進んでいる場合は、前記動画像の現復号画像と前
記現復号画像に隣接する２画像を平均化して得た合成画
像を出力し、遅れている場合は、前記動画像の現復号画
像に表示順で隣接する隣接画像は出力しない代わりに前
記隣接画像と前記現復号画像を平均化して得た合成画像
を出力することを特徴とする動画像の再生方法。
【請求項５】少なくとも、動画像を連続した複数の画像
群に分割し、前記画像群ごとに画像符号化処理して得た
第１の符号列と、音声を符号化処理して得た第２の符号
列を多重化した第３の符号列を入力とし、前記第３の符
号列を復号処理して復号画像を得る動画像の再生方法で
あって、前記動画像の出力時刻を表す画像出力時刻情報と前記音
声の出力時刻を表す音声出力時刻情報を計算し、前記画
像出力時刻情報が前記音声出力時刻情報に比較して所定
量以上進んでいる場合は、前記動画像の現復号画像と前
記現復号画像に隣接する２画像を平均化して得た合成画
像を出力し、遅れている場合は、前記動画像の現復号画
像に表示順で時間的に過去方向に隣接する前方隣接画像
と未来方向に隣接する後方隣接画像より選択した得たフ
ィールド画像を組み合わせて得た合成画像を出力するこ
とを特徴とする動画像の再生方法。
【請求項６】画像スキップや画像フリーズの際に、フレ
ーム間引きや繰り返し表示を行うのでなく、画像フリー
ズ及び画像スキップする画像近傍の複数のフィールドを
用いて新たに出力画像を合成することを特徴とする画像
合成方法。