JP2002077810A - 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体 - Google Patents

圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体

Info

Publication number
JP2002077810A
JP2002077810A JP2000254331A JP2000254331A JP2002077810A JP 2002077810 A JP2002077810 A JP 2002077810A JP 2000254331 A JP2000254331 A JP 2000254331A JP 2000254331 A JP2000254331 A JP 2000254331A JP 2002077810 A JP2002077810 A JP 2002077810A
Authority
JP
Japan
Prior art keywords
image
speed
decoded
weighting coefficient
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000254331A
Other languages
English (en)
Inventor
Goichi Otomo
友 吾 一 大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000254331A priority Critical patent/JP2002077810A/ja
Publication of JP2002077810A publication Critical patent/JP2002077810A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 複数ピクチャを構成する画素に重付けして合
成した1枚の画像を時間軸上で連続的に表示することに
よりスムーズな流れの高速再生動画像を得る。 【解決手段】 圧縮符号化動画像の高速再生装置1は、
圧縮符号を入力して高速再生出力動画像を出力するまで
のを制御する制御手段2と、圧縮符号化動画像をフレー
ム毎に記憶可能な記憶手段3と、入力圧縮符号化動画像
を連続する複数のフレーム画像に復号する圧縮符号復号
手段4と、復号手段4により復号された複数のフレーム
画像を構成する複数の画素のそれぞれに対する重付け係
数を生成する重付け係数生成手段5と、この生成手段5
により生成された重付け係数に基づいて前記複数のフレ
ーム画像を構成する全画素に基づいて高速再生用の1枚
の合成画像を生成すると共に、制御手段2の制御により
この合成画像を時間軸上で連続再生して高速再生号動画
像を出力する映像合成手段6と、を備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、圧縮符号化された
動画像を複数の連続するフレームに復号化すると共に複
数のフレームに基づいて1枚のフレームを高速再生する
圧縮符号化動画像の高速再生装置および方法に係り、特
に複数の復号化フレームのフレーム間またはフレーム内
における画像に対して重付け処理して1枚の高速再生フ
レーム画像を形成するようにしてスムーズな高速再生を
実現できるようにした圧縮符号化動画像の高速再生装置
および方法に関するものである。
【0002】
【従来の技術】動画像専門家グループ(以下、MPEG
―Moving Picture Experts Group―という。)基準によ
る動画像などに代表される圧縮符号化された動画像は、
図10に示すようなフレーム内符号化のみで実現される
Iピクチャ(I-Picture)とフレーム間符号化が用いら
れるPピクチャ(P-Picture)およびBピクチャ(B-P
icture)で構成されている。Pピクチャは、表示順序で
は直前のIピクチャまたはPピクチャを参照画像とし
て、Bピクチャは表示順序で直前および直後のIピクチ
ャまたはPピクチャを参照画像として復号化される。こ
のように、IピクチャおよびPピクチャはフレーム間復
号化における参照画像となる。
【0003】図11は、通常の動画像再生方法における
MPEGの符号列(Bitstream)の復号化(Decode)と
表示(Display)との関係を示している。参照画像とな
るI/Pピクチャの処理順序は、表示順序とは異なって
両者の間に位置するBピクチャよりも先に復号化されて
いる。図11に示すように、I02,B00,B01,
P05,B03,B04,…の順で1フレーム期間で1
枚の画像が復号化されて、B00,B01,I02,B
03,B04,P05,…の表示順序に従って1フレー
ム期間で1枚の画像が表示されることになる(ここで、
符号の最初のアルファベットI,P,Bは上述した画像
の属性であり、添えられた数字は表示の順番を表してい
る)。
【0004】このように圧縮符号化された動画像を図1
1に示すように通常速度で再生するのではなくて高速で
再生する場合には、従来は大きく分けて以下に説明する
3つの方法が用いられている。第1の従来例は、Iピク
チャのみを復号化して再生する方法である。図12
(a)はIピクチャのみを復号化することによって実現
される高速再生の動作原理を示した図である。この方法
では、Iピクチャが前後の画像(Pictures)を復号しな
くてもその画像のみで復号化できることを利用し、P/
Bピクチャを復号化しないことにより高速化を実現して
いる。このとき、復号化しない画像の符号列は破棄また
はスキップされている。
【0005】図12(a)に示される第1の従来例の場
合、N=15(NはIピクチャの現れるフレーム周
期),M=3(MはI/Pピクチャが現れるフレーム周
期)の符号列に対して、I02,I17,I32,I4
7,I62,I77,…のように15ピクチャに対して
14ピクチャの割合でスキップしながら1フレーム期間
に1つのピクチャ(1Picture)を復号化し、1フレーム
期間に1ピクチャを表示することにより15倍速を実現
していることになる。
【0006】高速再生における第2の従来例は、Iピク
チャおよびPピクチャを復号化して再生する方法であ
る。図12(b)は、IピクチャおよびPピクチャを復
号化することによって実現される高速再生の第2の従来
例における動作原理を示した図である。この第2の従来
例では、参照画像であるI/Pピクチャを復号化すれ
ば、次のI/Pピクチャを復号できることと、参照画像
ではないBピクチャを復号化しないことにより高速再生
を実現している。第1の従来例と同様に復号化しないピ
クチャの符号列(Bitstream )は破棄またはスキップさ
れている。
【0007】この図12(b)に示される第2の従来例
の場合には、N=15(Iピクチャのフレーム周期),
M=3(I/Pピクチャのフレーム周期)の符号列(ビ
ットストリーム)に対して、I02,P05,P08,
P11,P14,I17,…のように3つのピクチャに
つき2つのピクチャの割合でスキップしながら1フレー
ム期間に1つのピクチャを復号化し、1フレーム期間に
1ピクチャを表示することにより3倍速を実現している
ことになる。
【0008】高速再生における第3の従来例は、I/P
ピクチャに加え、必要に応じてBピクチャも復号化する
方法である。図12(c)はI/Pピクチャに加えて、
必要に応じてBピクチャをも復号化することによって実
現される高速再生の動作原理を示した図である。この第
3の従来例では高速化再生の速度に合わせた割合で参照
画像ではないBピクチャを復号化しないことにより高速
再生を実現している。この方法もまた、復号化しないピ
クチャの符号列(ビットストリーム)は破棄またはスキ
ップされている。図12(c)に示される例の場合で
は、N=15(Iピクチャのフレーム周期),M=3
(I/Pピクチャのフレーム周期)の符号列(ビットス
トリーム)に対してI02,B00,P05,P08,
B06,P11,P14,B12,…のように2つのピ
クチャに対して1つのピクチャの割合でスキップしなが
ら1フレーム期間に1つのピクチャを復号化し、1フレ
ーム期間に1ピクチャを表示することにより2倍速を実
現していることになる。
【0009】
【発明が解決しようとする課題】以上説明したように、
第1ないし第3の従来例においては、何れの高速再生方
法であっても、映像の時間的な連続性の間隔をおいて選
択された複数のピクチャにつき順次復号化して再生した
ものを連続して表示することにより高速再生を実現して
いた。そのため、映像の時間的な進み方としては確かに
高速再生になってはいるが、映像の時間的な連続性の間
隔が開いてしまい再生動画像にスムーズさがなくなると
いう問題があった。
【0010】また、動画像全体の流れや動き等の特徴を
高速再生動画像に反映させるという対策は全く講じられ
ていなかったために、通常速度の再生により表示される
動画像全体の感じや印象が、高速再生動画像の流れの中
では全く無視されてしまうことになり、オリジナルの動
画像の印象を高速再生では感じることができないという
問題もあった。
【0011】本発明は上記従来の問題を解決するために
なされたものであり、動画像を高速再生する際に連続し
ている複数のピクチャから1つのピクチャを合成し、合
成されたピクチャを時間軸上で連続的に表示することに
より高速再生動画像を生成するようにして、スムーズな
流れまたは動きを有する高速再生動画像を得ることがで
きる圧縮符号化動画像の高速再生装置、方法およびその
動作をコンピュータに実行させるためのプログラムを記
録した記録媒体を提供することを目的としている。
【0012】
【課題を解決するための手段】上記目的を達成するた
め、本発明の第1の基本構成に係る圧縮符号化動画像の
高速再生装置は、入力された圧縮符号化動画像を連続す
る複数のフレーム画像に復号する圧縮符号復号手段と、
前記圧縮符号復号手段により復号された前記複数のフレ
ーム画像を構成する複数の画素のそれぞれに対する重付
け係数を生成する重付け係数生成手段と、前記重付け係
数生成手段により生成された重付け係数に基づいて前記
連続する複数のフレーム画像から順次高速再生用の1枚
の合成画像を生成する映像合成手段と、前記圧縮符号復
号手段の動画像復号速度を制御し、前記重付け係数生成
手段による重付け係数の生成を制御すると共に、前記映
像合成手段により生成される合成画像を高速再生動画像
として順次所定の間隔で出力されるように制御する制御
手段と、を備えることを特徴としている。
【0013】また、上記第1の基本構成に係る圧縮符号
化動画像の高速再生装置において、前記重付け係数生成
手段は、復号されたフレーム画像の本来の表示時刻と、
復号されたフレーム画像における画素のフレーム内での
走査順を示す表示順序と、に従って、復号されたそれぞ
れのフレーム画像の全体を1枚の出力画像に反映させる
ような重付け係数を生成することを第1の付加的な特徴
としている。
【0014】また、上記第1の基本構成に係る圧縮符号
化動画像の高速再生装置において、前記重付け係数生成
手段は、復号されたフレーム画像の本来の表示時刻と、
復号されたフレーム画像における画素が有する動きベク
トル情報とに従って、復号されたそれぞれのフレーム画
像の全体を1枚の出力画像に反映させるような重付け係
数を生成することを第2の付加的な特徴としている。
【0015】また、上記第1の基本構成に係る圧縮符号
化動画像の高速再生装置において、前記重付け係数生成
手段は、復号されたフレーム画像の本来の表示時刻と、
復号されたフレーム画像における画素のフレーム内での
走査順を示す表示順序とに従って、復号されたそれぞれ
のフレーム画像の一部を1枚の出力画像に反映させるよ
うな重付け係数を生成することを第3の付加的な特徴と
している。
【0016】また、上記第1の基本構成に係る圧縮符号
化動画像の高速再生装置において、前記重付け係数生成
手段は、復号されたフレーム画像の本来の表示時刻と、
復号されたフレーム画像における画素が有する動きベク
トル情報とに従って、復号されたそれぞれのフレーム画
像の一部を1枚の出力画像に反映させるような重付け係
数を生成することを第4の付加的な特徴としている。
【0017】また、上記第3および第4の付加的な特徴
を備える圧縮符号化動画像の高速再生装置において、前
記制御手段は、前記圧縮符号復号手段が前記出力画像の
構築に不必要な部分を復号しないように制御することを
特徴とする。
【0018】また、上記第3および第4の付加的な特徴
を備える圧縮符号化動画像の高速再生装置において、前
記重付け係数生成手段が、それぞれの復号画像の境界で
画像を混合するような前記重付け係数を生成することを
特徴とする。
【0019】本発明の第2の基本構成に係る圧縮符号化
動画像の高速再生方法は、倍速度の決定に基づいて、復
号速度制御,重付け係数生成制御,合成画像間隔制御に
おけるそれぞれの制御量を決定するステップと、圧縮符
号化動画像を入力すると共に前記復号速度制御量に従っ
て入力された圧縮符号化動画像を連続する複数のフレー
ム画像に復号するステップと、前記重付け係数生成制御
量に従って前記複数のフレーム画像を構成する複数の画
素のそれぞれに対する重付け係数を生成するステップ
と、前記重付け係数を生成するステップで生成された前
記重付け係数と前記制御量を決定するステップで決定さ
れた合成画像間隔制御量とに基づいて、復号された前記
連続する複数のフレーム画像から順次高速再生用の1枚
の合成画像を生成し、この合成画像を所定の間隔で連続
して出力させるステップと、を備えることを特徴として
いる。
【0020】また、本発明の第3の基本構成に係る圧縮
符号化動画像の高速再生動作をコンピュータに実行させ
るためのプログラムを記録した記録媒体は、倍速度の決
定に基づいて、復号速度制御,重付け係数生成制御,合
成画像間隔制御におけるそれぞれの制御量を決定する手
順と、圧縮符号化動画像を入力すると共に前記復号速度
制御量に従って入力された圧縮符号化動画像を連続する
複数のフレーム画像に復号する手順と、前記重付け係数
生成制御量に従って前記複数のフレーム画像を構成する
複数の画素のそれぞれに対する重付け係数を生成する手
順と、前記重付け係数を生成する手順において生成され
た前記重付け係数と前記制御量を決定する手順において
決定された合成画像間隔制御量とに基づいて、復号され
た前記連続する複数のフレーム画像から順次高速再生用
の1枚の合成画像を生成し、この合成画像を所定の間隔
で連続して出力させる手順と、を備えることを特徴とし
ている。
【0021】上記第1ないし第3の基本構成の何れを適
用しても、圧縮符号化された動画像を高速再生したとき
の高速再生動画像はスムーズな流れや動きを有すること
になり、何れの従来例によっても達成できなかった滑ら
かな動きの高速再生動画像が得られることになる。
【0022】
【発明の実施の形態】以下、本発明に係る圧縮符号化動
画像の高速再生装置、方法およびその動作をコンピュー
タに実行させるためのプログラムを記録した記録媒体の
好適な実施形態について、添付図面を参照しながら詳細
に説明する。具体的な実施例の説明をする前に、図1を
参照しながら本発明の基本原理としての第1実施形態に
係る圧縮符号化動画像の高速再生装置について説明す
る。
【0023】図1において、第1実施形態に係る圧縮符
号化動画像の高速再生装置1は、圧縮符号化された動画
像を復号化すると共に連続する複数の復号化画像に基づ
いて1枚の出力画像を生成して出力することにより圧縮
符号化動画像を高速再生するものである。高速再生装置
1の基本的な構成としては、圧縮符号が入力されて復号
化処理および画像合成処理がなされ、高速再生用画像と
して出力されるまでの種々の制御を行なう制御プロセッ
サ2と、入力された圧縮符号化動画像を連続する複数の
フレーム画像に復号する圧縮符号復号回路(手段)4
と、この圧縮符号復号回路4により復号された画像をフ
レーム毎に記憶可能なフレームバッファ3と、前記圧縮
符号復号回路4により復号された前記複数のフレーム画
像を構成する複数の画素のそれぞれに対する重付け係数
を生成する重付け係数生成回路(手段)5と、この重付
け係数生成回路5により生成された重付け係数に基づい
て連続する前記複数のフレーム画像から高速再生用の1
枚の合成画像を生成する映像合成回路(手段)6と、を
備えている。
【0024】図1において、前記制御プロセッサ2は、
圧縮符号復号回路4の動画像復号速度を制御し、前記重
付け係数生成回路5による重付け係数の生成を制御する
と共に、前記映像合成回路6により生成される合成画像
が入力動画像の単位時間当たりのフレーム枚数に対して
所定の割合の枚数となるよう映像合成の制御をしてい
る。このように制御プロセッサ2は、圧縮符号化動画像
の高速再生装置1における高速再生動作を種々の局面で
制御する制御手段としての機能を備えている。
【0025】上記基本的構成を備える第1実施形態に係
る高速再生装置の動作について、信号の動きと共に簡単
に説明する。まず、圧縮符号が圧縮符号復号回路4に入
力されると、圧縮符号復号回路4は、この符号をフレー
ム単位で復号して復号画像をフレームバッファ3に格納
する。このとき、制御プロセッサ2は、圧縮符号復号回
路4に対して速度制御信号を出力すると共に、この復号
回路4から動きベクトル情報を受け取っている。制御プ
ロセッサ2は、復号回路4より受け取った動きベクトル
情報を用いて、出力合成画像としての高速再生画像がス
ムーズな動画像となるための重付け制御信号を生成し
て、重付け係数生成回路5に出力する。
【0026】重付け係数生成回路5は、制御プロセッサ
2から供給された重付け制御信号に基づいて、例えば周
囲の画素よりも動きの激しい画素等の重みを強調するよ
うな重付け係数を生成して、この重付け係数をフィルタ
係数として映像合成回路6に出力する。映像合成回路6
は、制御プロセッサ2から供給される映像合成制御信号
と、重付け係数生成回路5より供給されるフィルタ係数
とに基づいて、フレームバッファ3から読み出された連
続する複数の復号フレーム画像に対して重付け処理を行
ない、連続する複数のフレーム画像から連続する動きが
反映された1枚の高速再生用画像を合成して出力画像と
して出力する。
【0027】以上のようにして、重付け係数生成回路5
により生成されたフィルタ係数を用いて高速再生用画像
を合成することにより、上述した第1ないし第3の従来
例の高速再生動画像のように齣落としをしたような動画
像ではなく、高速再生用に複数のピクチャから合成した
ピクチャにより動画像を実現することができるので、動
きやシーンチェンジが滑らかな、スムーズな高速再生動
画像を得ることができるようになる。
【0028】以下、上記第1実施形態に係る高速再生装
置よりも、より具体的な第2ないし第5実施形態に係る
高速再生装置について図2ないし図7を参照しながら詳
細に説明する。
【0029】まず、図2(a)(b)を用いて本発明の
第2実施形態に係る圧縮符号化動画像の高速再生装置に
ついて説明する。図2(a)は、本発明の第2実施形態
に係る高速再生装置の構成を説明するためのブロック図
であり、図2(b)は第2実施形態の動作を説明するた
めの説明図である。
【0030】図2(a)に示すように、本発明の第2実
施形態に係る高速再生装置10は、1フレーム期間毎に
n枚の復号画像12を生成するn倍速圧縮符号復号手段
11と、順次入力されるそれぞれの復号画像12をα倍
(0<α<1)したものとフレームバッファ14に格納
されている累積画像を「(1−α)倍」したものとを加
算して合成画像を生成する映像混合手段13と、映像混
合手段13で生成された合成画像を累積画像として格納
するフレームバッファ14と、フレームバッファ14に
格納されている累積画像を1フレーム期間に1フレーム
分出力する映像出力手段15とにより構成されている。
なお、上記符号αは順次入力される復号画像に対する重
付けの割合であり、一定の定数またはフレーム内の各画
素毎に動きベクトルを反映させた関数の出力を意味して
いる。
【0031】上記構成を有する第2実施形態に係る高速
再生装置の動作について説明する。圧縮符号をn倍速で
復号化できる復号化手段11により、1フレーム期間に
nフレームの復号画像を得ることができる。画像混合手
段13は、順次入力されるn枚の復号画像12のそれぞ
れに対してα倍したものとフレームバッファ14に格納
されている累積画像を「(1−α)倍」したものとを加
算して合成画像を生成して次の累積画像としてフレーム
バッファ14に格納する。映像出力手段15は、フレー
ムバッファ14に格納されている累積画像を1フレーム
期間に1フレーム分出力する。
【0032】図2(b)は本発明の第2実施形態に係る
高速再生装置の高速用画像の合成について具体的に説明
する図である。図2(b)においては、図の最上部に記
載されている時間軸に沿ってフレーム同期信号により所
定のフレーム期間が設定されているものとする。圧縮符
号化画像信号が入力されると1フレーム期間に3枚分ず
つのピクチャが復号される。すなわち、最初のフレーム
期間ではI02,B00,B01の3つのピクチャが復
号される。
【0033】次のフレーム期間では、ピクチャP05,
B03,B04の3枚が復号されると共に、前のフレー
ム期間で復号された3枚のピクチャB00,B01,I
02が映像混合手段13によって表示時間順に順次混合
処理されて表示画像B00−I02として表示出力され
る。その次のフレーム期間ではピクチャP08,B0
6,B07の3枚が復号され、その前2つ分のフレーム
期間に復号されていたピクチャB00,B01,I0
2,B03,B04,P05の6枚分のピクチャが混合
処理された表示画像B00−P05が表示される。
【0034】以下、順次このように、圧縮符号化画像の
復号と混合処理された表示画像の表示出力とが行なわれ
る。このように、1フレーム期間に前のフレーム期間ま
でに復号した復号化映像を混合した表示画像を出力する
ことで、図2(b)に示す例では3倍速の高速再生を実
現している。このような重付け演算を行なって累積加算
した合成画像を連続的に表示することにより、高速再生
動画像が表示されることになる。
【0035】ここで、この第2実施形態においては、出
力映像全てに混合初期の古いフレームの影響が残ってい
るように表現されるが、以下詳細に説明するように、図
2(a)に示すαの値により、時間的に古いフレームの
映像が最新の混合画像に対して残像する影響の度合いは
変化させることができる。例えば、復号化手段11によ
り復号画像PからPまでのnフレームを復号し、映
像混合手段13においてnフレームの間のαの値を一定
にして混合された累積画像POは、 PO=(1−α)n−1・P+α(1−α)n−2
・P+……+α(1−α)・PN−1+α・P となる。この式が表しているように、累積画像(=出力
画像)POにはαが1に近い値であればあるほど時間
的に新しい復号画像が強く影響し、αが0に近い値であ
ればあるほど時間的に古い復号画像が累積画像PO
残像することになる。つまり、αの値を0から1の間で
どの程度の値とするかにより出力画像に対する複数の復
号画像の反映の仕方を変更できることが分かる。ここ
で、αの値は上述したような一定の値に限定する必要は
なく、例えば、復号画像が有する動きベクトルを反映さ
せた関数により表現しても良く、復号画像毎に、または
復号画像内で必要に応じて変化させるようにしても良
い。
【0036】以上のような構成および作用を有する第2
実施形態に係る高速再生装置の効果としては、1フレー
ム期間にnフレームを復号化し、1フレームを出力する
のでn倍速の高速再生が実現される。各出力画像は過去
の数フレームの内容が混合した映像となり、急激なシー
ンチェンジ等を避けたり強調したりすることにより全体
として自然な感じの高速再生動画像となる。
【0037】この第2実施形態に係る高速再生装置の場
合、n倍速の高速再生を行なうのにn倍速の復号化手段
を必要とする。近年、HD(High Definition―高品位
―)TV用のMPEG2ビットストリーム復号化器が実
現されており、この復号化器をSD(Standerd Definit
ion)TV用のMPEG2ビットストリーム(例えば、
DVD−Video)に用いれば、その画像サイズの比
はHDTVに対してSDTVでは1/6倍(1920×
1080@30Hzに対して720×480@30H
z)であるので、6倍速の高速再生が可能となる。ま
た、復号画像に施す倍率であるαを変更することによ
り、過去の復号画像の残像の影響の度合いを制御するこ
ともできる。
【0038】次に、図3(a)(b)および図4を用い
て、本発明の第3実施形態に係る圧縮符号化動画像の高
速再生装置について説明する。まず、図3(a)により
第3実施形態の高速再生装置20の構成について説明す
る。図3(a)に示す高速再生装置20は、第2実施形
態に係る高速再生装置10における映像混合手段13を
表示時刻・垂直位置関数手段21と映像混合手段22と
した構成となっている。第2実施形態と同一または相当
する構成要素には同一符号を付している。
【0039】図3(a)において、第3実施形態に係る
高速再生装置20は、1フレーム期間にn枚の復号画像
12を生成するn倍速圧縮符号復号手段11と、1フレ
ーム期間に順次入力されるn枚の復号画像12に対して
表示時刻(表示順)によって異なるフレーム内の垂直位
置毎の重付けを与えるような関数を施す表示時刻・垂直
位置関数手段21と、表示時刻・垂直関数手段21の出
力とフレームバッファ14に格納されている累積画像と
を加算して合成画像を生成する映像混合手段22と、映
像混合手段22で生成された合成画像を累積画像として
格納するフレームバッファ14と、フレームバッファ1
4に格納されている累積画像を1フレーム期間に1フレ
ーム分出力する映像出力手段15とにより構成されてい
る。
【0040】次に、第3実施形態に係る高速再生装置の
作用について説明する。圧縮符号をn倍速で復号化でき
る復号化手段11により、1フレーム期間にnフレーム
の復号画像12を得ることができる。表示時刻・垂直位
置関数手段21は、順次入力されるn枚の復号画像12
のそれぞれに対して、その復号画像の本来の表示時刻に
よって異なるフレーム内垂直位置毎の重付けを与えるよ
うな関数処理を施している。画像混合手段22は、表示
時刻・垂直位置関数手段21からの出力とフレームバッ
ファ14に格納されている累積画像とを加算した画像を
生成して合成画像を生成し、これを次の累積画像として
フレームバッファ14に格納する。なお、画像混合手段
22が、nフレーム分処理する毎にフレームバッファ1
4内の累積画像はクリアされる。映像出力手段15は、
第2実施形態に係る高速再生装置10と同様に、フレー
ムバッファに格納されている累積画像を1フレーム期間
に1フレーム分出力する。
【0041】図3(b)は本発明の第3実施形態に係る
高速再生装置における表示時刻・垂直位置と関数の例を
示したものである。図3(b)において、横軸はフレー
ム内垂直位置(走査順)であり、縦軸は同一のフレーム
期間に混合されるn枚(ここでは3枚)の復号されたピ
クチャの混合割合である。連続する2つのフレーム期間
のうち先のフレーム期間で復号された3枚のピクチャ、
例えば、B00,B01,I02が混合されて次のフレ
ーム期間に表示されるが、どのような割合で混合される
のかが、図3(b)には示されている。この例では、図
より明らかなように、フレーム内垂直位置上部(走査順
が早い垂直位置)では表示順が一番早いB00の混合割
合が大きくなり、フレーム内垂直位置中央部ではB00
に表示順が続くB01の混合割合が大きくなり、フレー
ム内垂直位置下部(走査順が遅い垂直位置)では走査順
が一番遅いI02の混合割合が大きくなるように、混合
割合が設定されており、フレーム内垂直位置の全ての位
置において混合割合の合計が1となるような曲線で示さ
れる関数の割合で画像が混合される。
【0042】このように、第3実施形態では、復号化さ
れた連続するn枚のピクチャの垂直走査方向のどの部分
をどの程度で重付けして用いるかについて、図3(b)
に示すように、合成画像を構築する映像群をその表示順
によってフレーム内垂直位置での重付けがフレーム内垂
直位置上部から下部へ向かって大きくなるような表示時
刻フレーム内垂直位置関数を用いて画像を合成すること
により、高速再生を実現している。
【0043】図4は本発明の第3実施形態に係る高速再
生装置での高速用画像の合成について具体的に説明した
図である。図4においては、1フレーム期間に3フレー
ム分の復号化映像を生成し、それらを混合した1フレー
ムを1フレーム期間に出力するという形で3倍速の高速
再生を実現している。すなわち図2(b)と同様に、最
初の1フレーム期間にI02,B00,B01の3枚の
ピクチャが復号化されて、この3枚のピクチャが図3
(b)を用いて説明したような混合割合で重付け処理さ
れて混合され、次のフレーム期間で合成画像B00−I
02として表示される。この画像B00−I02が表示
されているフレーム期間では次の3枚のピクチャB0
3,B04,P05の3枚の復号が行なわれ、この3枚
のピクチャも図3(b)に示すような混合割合の重付け
により1枚の合成画像B03−P05として生成され次
のフレーム期間に表示される。
【0044】次に、上述した構成および作用を有する本
発明の第3実施形態に係る高速再生装置の効果について
説明する。この第3実施形態においては、1フレーム期
間にnフレームを復号化し、nフレームから合成した1
枚のフレームを次のフレームで出力するのでn倍速の高
速再生が実現される。出力画像には、n倍速を実現する
ためにn枚の復号画像の内容が反映されており、さら
に、原画像を構成していた元の映像群の表示順序が、出
力される映像の走査順序(映像の上から下へ)に重付け
の割合として反映されているため、動画像として違和感
のないスムーズな高速再生出力映像となる。なお、この
第3実施形態に係る高速再生装置の場合も第2実施形態
の場合と同様に、n倍速の高速再生を行なうためには、
n倍速の復号化手段11を必要としている。
【0045】次に、図5(a)(b)を参照しながら、
本発明の第4実施形態に係る圧縮符号化動画像の高速再
生装置について説明する。まず、図5(a)を用いて第
4実施形態に係る高速再生装置の構成を説明する。図5
(a)において、本発明の第4実施形態に係る高速再生
装置25は、1フレーム期間にn/k枚である参照画像
の場合にはそのフレームの全てについて復号化すると共
に、1フレーム期間にn(k−1)/k枚の参照画像と
ならない画像である場合にはその画像の表示時刻に従っ
たフレーム内位置の1/n部分のみを復号化する(n+
k−1)/k倍速復号化手段26と、1フレーム期間に
nフレームの復号画像12のそれぞれ1/n部分をフレ
ームバッファ14に格納する映像混合手段27と、フレ
ームバッファ14に格納されている累積画像を1フレー
ム期間に1フレーム分出力する映像出力手段15とで構
成されている。図5(a)において図2(a)と同一符
号を付した構成要素は第2実施形態の高速再生装置と同
一または相当する構成要素を示している。
【0046】図5(a)に示す構成を有する第4実施形
態に係る高速再生装置の作用について説明する。圧縮符
号内の参照画像の現れるフレーム周期をkとすると、参
照画像となる画像はnフレーム中にn/k枚、参照画像
とならない画像はnフレーム中にn−n/k(=n(k
−1)/k)枚存在することになる。(n+k−1)/
k倍速の復号化手段26は、圧縮符号の中で参照画像と
なるピクチャについてはフレームの全てを復号化し、参
照画像とならないピクチャについては、その復号画像の
表示時刻に従った位置の1/n部分のみを復号化する。
つまり、 n/k×1+n(k−1)/k×1/n=(n+k−
1)/kフレーム分 の復号化を行なうことになる。
【0047】以上の動作により、ある復号画像は一部し
か復号化されないが、1フレーム期間にnフレーム分の
復号化処理が行なわれたことになる。また、映像混合手
段27は、(n+k−1)/k倍速の圧縮符号復号化手
段26の出力を原画像の表示時刻に従ったフレーム内垂
直位置に相当する1/n部分ずつフレームバッファ14
に格納する。映像出力手段15は、フレームバッファ1
4に格納されている累積画像を1フレーム期間に1フレ
ーム分だけ出力する。
【0048】図5(b)は本発明の第4実施形態の動作
を説明した図である。図5(b)では、第2,第3実施
形態と同様に1フレーム期間に3枚のピクチャ例えばB
00−I02の復号化が行なわれているが、フレーム内
符号化のみで実現されるIピクチャI02についてのみ
画面全体を復号化し、表示順序で直前および直後のIピ
クチャまたはPピクチャを参照画像として復号化される
Bピクチャについては表示画像で利用される部分のみを
復号化するようにしている。
【0049】すなわち、図5(b)の最初のフレーム期
間における復号化は、I02については画面全体を復号
化し、表示順で1番目のB00についてはI02を参照
画像として用いてフレーム内垂直位置上部の1/3のみ
復号化し、表示順で2番目のB01についてはやはりI
02を参照画像として用いてフレーム内垂直位置の真ん
中の1/3のみ復号化している。このように、Iピクチ
ャおよびPピクチャはBピクチャの復号化における参照
画像として用いられている。復号化されたI02のフレ
ーム内垂直位置下部1/3部分とB00の上1/3部分
とB01の真ん中1/3部分とが次のフレーム期間で合
成されて画像「B00|B01|I02」として表示さ
れる。
【0050】この画像「B00|B01|I02」が表
示されているフレーム期間に、B03,B04,P05
の3枚のピクチャが復号される。この復号でもBピクチ
ャの参照画像として用いられるP05は画面の全ての部
分が復号化され、このP05を参照画像として復号化さ
れるB03とB04に関しては映像の混合に用いられる
それぞれ上1/3部分と中1/3部分のみが復号化され
る。このフレーム期間で復号された3つのピクチャの各
部分はそれぞれの部分毎に重み1で混合されて画像「B
03|B04|P05」として次のフレーム期間に表示
される。このようにして、連続する3枚の画像の1枚目
の上1/3部分と2枚目の中央1/3部分と3枚目の下
1/3部分から出力映像を合成し、1フレーム期間に1
フレーム分を出力するという形で3倍速の高速再生を実
現している。
【0051】以上の構成および作用を有する第4実施形
態に係る高速再生装置の効果について説明する。この第
4実施形態に係る高速再生装置によれば、1フレーム期
間にnフレームを復号処理して1フレームを出力するよ
うにしているので、n倍速の高速再生を実現することが
できる。この出力画像にはn倍速を実現する際のn枚の
復号画像の内容が反映されており、さらに、元の映像群
の表示順序が出力映像の走査順序(映像における上から
下へ)に表現されているため、スムーズな高速再生出力
映像となる。
【0052】また、この第4実施形態の高速再生装置の
場合には、n倍速の高速再生を行なうに当たり、n倍速
の復号化手段を設ける必要はなく、(n+k−1)/k
倍速の復号化手段26を設けるようにすれば良い。例え
ば、M=3(=k)のMPEGビットストリームの場
合、3倍速の高速再生は (3+3−1)/3=1.67倍速 の復号化手段により実現でき、また、15倍速の高速再
生は (15+3−1)/3=5.67倍速 の復号化手段で実現できることになる。
【0053】次に、本発明の第5実施形態に係る圧縮符
号化動画像の高速再生装置について説明する。まず、図
6(a)を参照しながら本発明の第5実施形態に係る高
速再生装置28の構成について説明する。第5実施形態
に係る高速再生装置28は、1フレーム期間にn/k枚
の復号画像については画像全てを復号すると共に、n
(k−1)/k枚の復号画像はその復号画像については
その表示時刻に従った位置の1/n+β部分のみを復号
化する(n+(k−1)(1+nβ))/k倍速圧縮符
号復号化手段29と、1フレーム期間に順次入力される
n枚の1/n+β部分の復号画像の他と重なりあうβ部
分に対してその表示時刻(表示順)によって異なるフレ
ーム内垂直位置毎の重付けを与えるような関数を施す表
示時刻・垂直位置関数手段43と、表示時刻・垂直位置
関数手段43の出力とフレームバッファ14に格納され
ている累積画像とを加算して合成画像を生成する映像混
合手段44と、映像混合手段44により生成された合成
画像を累積画像として格納するフレームバッファ14
と、フレームバッファ14に格納されている累積画像を
1フレーム期間に1フレーム分だけ出力する映像出力手
段15とにより構成されている。なお、図6(a)にお
いて第2ないし第4実施形態に係る高速再生装置と同一
符号を用いた構成要素は各実施形態と同一または相当す
る構成要素を示している。
【0054】次に、上記構成を有する第5実施形態に係
る高速再生装置の作用について説明する。圧縮符号にお
ける参照画像が現れるフレーム周期をkとすると、参照
画像となる画像の枚数は、nフレーム中にn/k枚であ
り、参照画像とならない画像の枚数は、nフレーム中に
n−n/k(=n(k−1)/k)枚存在することにな
る。(n+(k−1)(1+nβ))/k倍速の圧縮符
号復号手段29は、圧縮符号の中で参照画像となるピク
チャはフレーム全てを復号化し、参照画像とならないピ
クチャについては、その復号画像の表示時刻に従った位
置の1/n+β部分のみを復号化する。
【0055】つまり、 n/k×1+n(k−1)/k×(1/n+β)=(n
+(k−1)(1+nβ))/kフレーム部分 の復号化を行なうことになる。
【0056】以上の動作により、ある復号画像は一部し
か復号化されないが、1フレーム期間にnフレーム分の
復号化処理が行なわれたことになる。表示時刻・垂直位
置関数手段43は、そのn枚の復号画像それぞれに対し
て、その復号画像の表示時刻によって異なるフレーム内
の垂直位置毎の重付け関数を施す。映像混合手段44
は、表示時刻・垂直位置関数手段の出力とフレームバッ
ファに格納されている累積画像を加算して合成画像を生
成し、これを次の累積画像としてフレームバッファ14
に格納する。なお、映像混合手段44が、nフレーム分
処理する毎にフレームバッファ14に格納されている累
積画像はクリアされる。映像出力手段15は、フレーム
バッファ14に格納されている累積画像を1フレーム期
間に1フレーム分を出力する。
【0057】図6(b)は、本発明の第5実施形態の高
速再生装置における表示時刻・垂直位置関数を表したも
のである。図6(b)において、縦軸は画像の混合割合
であり、横軸はフレーム内の垂直位置すなわち走査線の
数である。表示画像の混合割合は、例えば同じフレーム
期間で復号される3つのピクチャB00,B01,I0
2について考察すると、上1/3+β部分が表示画像に
用いられるピクチャB00については上1/3部分が重
み1で用いられ、その下のβ部分は、図示のように、重
み1から重み0へと反比例して変化する関数が重みとし
て用いられる。表示画像の真ん中の1/3+βで用いら
れるB01についてはB00との境界側のβ部分は重み
0から1へと正比例変化する関数にしたがって重付けが
なされ、真ん中の1/3−β部分では重み1で復号画像
が用いられ、下側のβ部分では重み1から0へと反比例
変化する関数により重付け処理された画像が用いられて
いる。
【0058】画面の下1/3部分が用いられるピクチャ
I02についてはB01との境界をなすβ部分は重み0
から重み1へと正比例変化する関数により重付け処理さ
れた画像が用いられ、下1/3部分は重み1でI01の
ピクチャが用いられる。したがって、各画素の境界とな
るβ部分では重付け処理により画像の切換えを徐々に行
なうことができ、原画像間で変化が大きい場合に発生す
る映像のギャップを軽減することができる。
【0059】次に、図7を用いて同一フレーム期間にお
ける復号の様子と混合された画像の表示の様子について
説明する。
【0060】図7では、1フレーム期間に3フレーム分
の復号化処理が行なわれている。参照画像となるピクチ
ャI02については、1つの画面全てを復号化し、表示
順で1番目のB00ピクチャについては上1/3+β部
分を復号し、表示順で2番目のB01ピクチャについて
は中央1/3+β部分を復号し、最後の表示順のI02
は参照画像となるのでフレーム全てを復号化している。
復号されたこれらの部分または全画面のピクチャ(復号
画像12)は、図6(b)で説明した原理で表示時刻・
垂直位置関数演算手段43により演算処理され、映像混
合手段44により混合された画像「B00−B01−I
02」として次のフレーム期間で表示される。つまり、
映像群の重なり合う部分(β部分)は混合処理が行なわ
れ、それ以外の部分は復号結果がそのまま重み1で出力
された画像が生成され、1フレーム期間に1フレーム分
出力するという形で3倍速の高速再生を実現している。
【0061】上記構成および作用を有する第5実施形態
に係る高速再生装置の効果について説明する。1フレー
ム期間にnフレームを復号処理し、1フレームを出力す
るのでn倍速の高速再生が実現される。出力画像にはn
倍速を実現する際の各復号画像の内容が反映されてお
り、さらに、元映像群の表示順が出力映像の走査順(映
像の上から下へ)に表現されているため、スムーズな高
速再生出力映像となる。さらに、第4実施形態と比較す
ると、出力映像における複数の元復号映像の境界を混合
処理することにより、元映像間で変化が大きい場合に発
生する映像のギャップを軽減することができる。
【0062】また、この第5実施形態の高速再生装置の
場合は、n倍速の高速再生を行なうにあたりn倍速の復
号化手段を設ける必要はなく、(n+(k−1)(1+
nβ))/k倍速の復号化手段を設けるようにすればよ
い。例えばM=3(=k)のMPEGビットストリーム
の場合、β=16/480(SDTVの垂直ライン数4
80に対して16ライン分の重なり)とすると3倍速の
高速再生は (3+(3−1)(1+3×16/480))/3=
1.73倍速 の復号化手段により実現することができ、15倍速の高
速再生は (15+(3−1)(1+15×16/480))/3
=6.00倍速 の復号化手段により実現できることになる。
【0063】本発明は、上述した第2ないし第5実施形
態に係る高速再生装置のみに限定されず、これらの高速
再生装置の動作の上位概念としての圧縮符号化された動
画像の高速再生方法であっても基本原理としての第1実
施形態に係る高速再生装置と同様の作用効果を得ること
ができる。図8は、本発明の第6実施形態に係る圧縮符
号化動画像の高速再生方法の処理ステップを示すフロー
チャートである。この第6実施形態に係る高速再生方法
は、圧縮符号化された動画像を復号化すると共に複数の
復号化画像の連続する複数のフレームに基づいて1枚の
出力画像を生成して出力することにより圧縮符号化動画
像を高速再生するものである。
【0064】図8において、第6実施形態に係る高速再
生方法は、入力された圧縮符号化動画像から高速再生す
べき出力画像の倍速度を決定するステップST1と、こ
のステップST1において決定された倍速度に基づいて
復号速度制御,重付け係数生成制御,合成画像間隔制御
におけるそれぞれの制御量を決定するステップST2
と、を備えている。このステップST2は、復号画像の
復号速度を制御する復号速度制御信号を生成するステッ
プST3と、復号画像における重付け係数生成を制御す
る制御信号を出力するステップST4と、高速再生用の
合成画像を連続的に出力するための合成間隔を制御する
制御信号を生成するステップST5と、を含んでいる。
これらの制御信号は倍速度が決定されることにより所定
の演算過程を経て生成されている。
【0065】ステップST3において生成された復号速
度制御信号に基づいて例えば図1の圧縮符号復号回路4
のような復号化手段により、ステップST6に示すよう
に、圧縮符号化された入力画像信号がフレーム画像に復
号される。一方、図1の係数生成回路5のような重付け
係数生成手段により重付け係数が生成される(ステップ
ST7)。ステップST8においては、ステップST7
で生成された重付け係数に基づいてステップST6で復
号されたフレーム画像から高速再生用の1枚の合成画像
を生成すると共に、この合成画像をステップST3で生
成された合成間隔制御信号に基づいて、高速再生用の合
成動画像を連続的に順次所定間隔で出力する。
【0066】なお、本発明に係る圧縮符号化動画像の高
速再生装置は、半導体チップの個別回路要素としてハー
ドウェアとして構成しても良いし、所定の演算素子の処
理プログラムとしてソフトウェア的に構成しても何れで
あっても実現可能である。ソフトウェア的に実現する場
合には、半導体装置の演算装置に所定の手順を記録した
記録媒体からプログラムを読み込ませることにより実現
することができる。
【0067】図9(a)および(b)は、本発明の第7
実施形態に係る圧縮符号化動画像の高速再生動作をコン
ピュータに実行させるためのプログラムを記録した記録
媒体から記録プログラムを読み出すためのコンピュータ
システムを示す斜視図およびブロック構成図である。図
9(a)および(b)を参照しながら、本発明の第7実
施形態に係る圧縮符号化動画像高速再生プログラムを記
録した記録媒体について説明する。
【0068】図9(a)において、コンピュータシステ
ム30は、CPUを含むコンピュータ本体31と、例え
ばCRT等の表示装置32と、キーボードやマウス等の
入力装置33と、印刷を実行するプリンタ34と、を備
えている。
【0069】コンピュータ本体31は、図9(b)に示
すように、RAMより構成される内部メモリ35と、内
蔵または外付け可能なメモリユニット36とを備えてお
り、メモリユニット36としてはフレキシブル又はフロ
ッピディスク(FD)ドライブ37,コンパクトディス
ク(CD)−ROMドライブ38,ハードディスクドラ
イブ(HD)ユニット39が搭載されている。図6に示
すように、これらのメモリユニット36に用いられる記
録媒体40としては、FDドライブ37のスロットに挿
入されて使用されるフレキシブル又はフロッピディスク
(FD)41と、CD−ROMドライブ38に用いられ
るコンパクトディスク(CD)−ROM42等が用いら
れる。
【0070】図9(a)および(b)では一般的なコン
ピュータシステムに用いられる記録媒体40としてのF
D41やCD−ROM42を例示したが、本発明は、上
記例示した記録媒体以外でも例えばプリンタ34に内蔵
させる不揮発性メモリとしてのROMチップに本発明の
第7実施形態に係る圧縮符号化動画像の高速再生処理プ
ログラムを記録させて、このROMチップを差し替えに
より交換するようにしても良い。
【0071】次に、第7実施形態に係る記録媒体40に
記録される圧縮符号化動画像の高速再生プログラムの具
体的な手順について説明する。この記録媒体に記録され
たプログラムは、圧縮符号化された動画像を復号化する
と共に複数の復号化画像の連続する複数のフレームに基
づいて1枚の出力画像を生成して出力することにより圧
縮符号化動画像を高速再生する圧縮符号化動画像の高速
再生動作をコンピュータに実行させるためのプログラム
である。このプログラムは、倍速度の決定に基づいて、
復号速度制御,重付け係数生成制御,合成画像間隔制御
におけるそれぞれの制御量を決定する手順と、圧縮符号
化動画像を入力すると共に前記復号速度制御量に従って
入力された圧縮符号化動画像を連続する複数のフレーム
画像に復号する手順と、前記重付け係数生成制御量に従
って前記複数のフレーム画像を構成する複数の画素のそ
れぞれに対する重付け係数を生成する手順と、前記重付
け係数を生成する手順において生成された前記重付け係
数と前記制御量を決定する手順において決定された合成
画像間隔制御量とに基づいて、復号された前記複数のフ
レーム画像から高速再生用の1枚の合成画像を生成し、
この合成画像を所定の間隔で連続して出力させる手順
と、を含んでいる。
【0072】以上、詳細に説明したように、本発明は圧
縮符号化動画像の高速再生装置によっても、高速再生方
法によっても、また、圧縮符号化動画像の高速再生動作
をコンピュータに実行させるために記録媒体に記録され
たプログラムによっても実現可能であり、何れのカテゴ
リーによっても同様の優れた効果を奏することが可能で
ある。
【0073】
【発明の効果】以上のように、本発明の請求項1に係る
圧縮符号化動画像の高速再生装置によれば、複数の復号
画像から高速再生用の出力画像を合成しているため、高
速再生動作と同時に出力動画像のスムーズさが実現され
る。
【図面の簡単な説明】
【図1】本発明の基本原理としての第1実施形態に係る
圧縮符号化動画像の高速再生装置の構成を示すブロック
図である。
【図2】本発明の第2実施形態に係る圧縮符号化動画像
の高速再生装置の(a)構成を示すブロック図と、
(b)動作を説明する説明図である。
【図3】本発明の第3実施形態に係る圧縮符号化動画像
の高速再生装置の(a)構成を示すブロック図と、
(b)表示時刻・垂直位置関数の説明図である。
【図4】本発明の第3実施形態に係る圧縮符号化動画像
の高速再生装置の動作を説明する説明図である。
【図5】本発明の第4実施形態に係る圧縮符号化動画像
の高速再生装置の(a)構成を示すブロック図と、
(b)動作を説明する説明図である。
【図6】本発明の第5実施形態に係る圧縮符号化動画像
の高速再生装置の(a)構成を示すブロック図と、
(b)表示時刻・垂直位置関数の説明図である。
【図7】本発明の第5実施形態に係る圧縮符号化動画像
の高速再生装置の動作を説明する説明図である。
【図8】本発明の第6実施形態に係る圧縮符号化された
動画像の高速再生方法の処理ステップを示すフローチャ
ートである。
【図9】本発明の第7実施形態に係る圧縮符号化された
動画像の高速再生動作を記録した記録媒体が用いられる
コンピュータシステムの(a)斜視図と、(b)ブロッ
ク図である。
【図10】MPEG動画圧縮符号化の原理を説明する説
明図である。
【図11】MPEG動画圧縮復号化を説明する説明図で
ある。
【図12】従来の圧縮符号化された動画像の高速再生の
(a)第1の従来例、(b)第2の従来例、(c)第3
の従来例をそれぞれ示す説明図である。
【符号の説明】
2 制御プロセッサ 3 フレームバッファ 4 圧縮符号復号手段(回路) 5 重付け係数生成手段(回路) 6 映像合成手段(回路) 11 n倍速復号化手段 13 映像混合手段 15 映像出力手段 21 表示時刻・垂直位置関数手段 22 映像混合手段 26 (n+k−1)/k倍速復号化手段 29 (n+(k−1)(1+nβ))/k倍速圧縮符
号復号化手段
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C052 AA01 AC01 AC05 CC01 CC11 DD04 5C053 FA14 FA21 GB04 GB05 GB06 GB37 HA21 HA24 HA40 JA01 JA24 KA30 LA06 5C059 KK36 KK37 KK39 NN01 PP04 SS11 SS12 SS20 TA00 TB04 TC00 TC11 TD00 UA05 UA32 UA39 UA40 5J064 AA03 BA01 BC01 BC02 BC08 BC09 BD03

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】入力された圧縮符号化動画像を連続する複
    数のフレーム画像に復号する圧縮符号復号手段と、 前記圧縮符号復号手段により復号された前記複数のフレ
    ーム画像を構成する複数の画素のそれぞれに対する重付
    け係数を生成する重付け係数生成手段と、 前記重付け係数生成手段により生成された重付け係数に
    基づいて前記連続する複数のフレーム画像から順次高速
    再生用の1枚の合成画像を生成する映像合成手段と、 前記圧縮符号復号手段の動画像復号速度を制御し、前記
    重付け係数生成手段による重付け係数の生成を制御する
    と共に、前記映像合成手段により生成される合成画像を
    高速再生動画像として順次所定の間隔で出力されるよう
    に制御する制御手段と、 を備えることを特徴とする圧縮符号化動画像の高速再生
    装置。
  2. 【請求項2】前記重付け係数生成手段は、復号されたフ
    レーム画像の本来の表示時刻と、復号されたフレーム画
    像における画素のフレーム内での走査順を示す表示順序
    と、に従って、復号されたそれぞれのフレーム画像の全
    体を1枚の出力画像に反映させるような重付け係数を生
    成することを特徴とする請求項1に記載された圧縮符号
    化動画像の高速再生装置。
  3. 【請求項3】前記重付け係数生成手段は、復号されたフ
    レーム画像の本来の表示時刻と、復号されたフレーム画
    像における画素が有する動きベクトル情報と、に従っ
    て、復号されたそれぞれのフレーム画像の全体を1枚の
    出力画像に反映させるような重付け係数を生成すること
    を特徴とする請求項1に記載された圧縮符号化動画像の
    高速再生装置。
  4. 【請求項4】前記重付け係数生成手段は、復号されたフ
    レーム画像の本来の表示時刻と、復号されたフレーム画
    像における画素のフレーム内での走査順を示す表示順序
    と、に従って、復号されたそれぞれのフレーム画像の一
    部を1枚の出力画像に反映させるような重付け係数を生
    成することを特徴とする請求項1に記載された圧縮符号
    化動画像の高速再生装置。
  5. 【請求項5】前記重付け係数生成手段は、復号されたフ
    レーム画像の本来の表示時刻と、復号されたフレーム画
    像における画素が有する動きベクトル情報と、に従っ
    て、復号されたそれぞれのフレーム画像の一部を1枚の
    出力画像に反映させるような重付け係数を生成すること
    を特徴とする請求項1に記載された圧縮符号化動画像の
    高速再生装置。
  6. 【請求項6】前記制御手段は、前記圧縮符号復号手段が
    前記出力画像の構築に不必要な部分を復号しないように
    制御することを特徴とする請求項4または5に記載され
    た圧縮符号化動画像の高速再生装置。
  7. 【請求項7】前記重付け係数生成手段は、それぞれの復
    号画像の境界で画像を混合するような前記重付け係数を
    生成することを特徴とする請求項4または5に記載され
    た圧縮符号化動画像の高速再生装置。
  8. 【請求項8】倍速度の決定に基づいて、復号速度制御,
    重付け係数生成制御,合成画像間隔制御におけるそれぞ
    れの制御量を決定するステップと、 圧縮符号化動画像を入力すると共に前記復号速度制御量
    に従って入力された圧縮符号化動画像を連続する複数の
    フレーム画像に復号するステップと、 前記重付け係数生成制御量に従って前記複数のフレーム
    画像を構成する複数の画素のそれぞれに対する重付け係
    数を生成するステップと、 前記重付け係数を生成するステップで生成された前記重
    付け係数と前記制御量を決定するステップで決定された
    合成画像間隔制御量とに基づいて、復号された前記連続
    する複数のフレーム画像から順次高速再生用の1枚の合
    成画像を生成して、この合成画像を所定の間隔で連続し
    て出力させるステップと、 を備えることを特徴とする圧縮符号化動画像の高速再生
    方法。
  9. 【請求項9】倍速度の決定に基づいて、復号速度制御,
    重付け係数生成制御,合成画像間隔制御におけるそれぞ
    れの制御量を決定する手順と、 圧縮符号化動画像を入力すると共に前記復号速度制御量
    に従って入力された圧縮符号化動画像を連続する複数の
    フレーム画像に復号する手順と、 前記重付け係数生成制御量に従って前記複数のフレーム
    画像を構成する複数の画素のそれぞれに対する重付け係
    数を生成する手順と、 前記重付け係数を生成する手順において生成された前記
    重付け係数と前記制御量を決定する手順において決定さ
    れた合成画像間隔制御量とに基づいて、復号された前記
    連続する複数のフレーム画像から順次高速再生用の1枚
    の合成画像を生成し、この合成画像を所定の間隔で連続
    して出力させる手順と、 を備えることを特徴とする圧縮符号化動画像の高速再生
    動作をコンピュータに実行させるためのプログラムを記
    録した記録媒体。
JP2000254331A 2000-08-24 2000-08-24 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体 Pending JP2002077810A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000254331A JP2002077810A (ja) 2000-08-24 2000-08-24 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000254331A JP2002077810A (ja) 2000-08-24 2000-08-24 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2002077810A true JP2002077810A (ja) 2002-03-15

Family

ID=18743297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000254331A Pending JP2002077810A (ja) 2000-08-24 2000-08-24 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2002077810A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111989A2 (en) * 2004-05-19 2005-11-24 Sony Computer Entertainment Inc. Image frame processing method and device for displaying moving images to a variety of displays
JP2012060671A (ja) * 2007-02-01 2012-03-22 Sony Corp 画像再生装置、画像再生方法および撮像装置
WO2013065242A1 (ja) * 2011-11-04 2013-05-10 株式会社ニコン 画像生成装置、撮像装置およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005111989A2 (en) * 2004-05-19 2005-11-24 Sony Computer Entertainment Inc. Image frame processing method and device for displaying moving images to a variety of displays
WO2005111989A3 (en) * 2004-05-19 2006-09-28 Sony Computer Entertainment Inc Image frame processing method and device for displaying moving images to a variety of displays
EP2309486A1 (en) * 2004-05-19 2011-04-13 Sony Computer Entertainment Inc. Image frame processing method and device for displaying moving images to a variety of displays
US8559798B2 (en) 2004-05-19 2013-10-15 Sony Corporation Image frame processing method and device for displaying moving images to a variety of displays
JP2012060671A (ja) * 2007-02-01 2012-03-22 Sony Corp 画像再生装置、画像再生方法および撮像装置
WO2013065242A1 (ja) * 2011-11-04 2013-05-10 株式会社ニコン 画像生成装置、撮像装置およびプログラム
JPWO2013065242A1 (ja) * 2011-11-04 2015-04-02 株式会社ニコン 画像生成装置、撮像装置およびプログラム

Similar Documents

Publication Publication Date Title
US7196731B2 (en) Method and apparatus of adaptive de-interlacing of dynamic image
US6297852B1 (en) Video display method and apparatus with synchronized video playback and weighted frame creation
US20060256238A1 (en) Frame interpolation and apparatus using frame interpolation
US20080247729A1 (en) Method and apparatus for normal reverse playback
US6414972B1 (en) Signal decoding method, signal decoding apparatus, signal multiplexing method, signal multiplexing apparatus, and recording medium
EP0989563A2 (en) Multimedia information coding apparatus, coding method of multimedia information, and recording media storing data coded by the same method
JP3189031B2 (ja) データレート変換方法及び装置
JPH1093920A (ja) Mpeg2スロー再生装置
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
JP2018067751A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP4633595B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP2002077810A (ja) 圧縮符号化動画像の高速再生装置、方法およびその動作をコンピュータに実行させるためのプログラムを記録した記録媒体
JPH0818888A (ja) 映像システム
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
JPH10336673A (ja) 映像信号符号化システムにおける縁部検出方法及びその装置
JPH11313339A (ja) 表示制御装置および動画/グラフィクス合成表示方法
JP2007158703A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
US20060233528A1 (en) Program, information processing device, information processing method, and recording medium
JP2002199349A (ja) 画像処理装置および方法
JPH1188845A (ja) 動画像走査変換装置
JP2007158706A (ja) 動画生成装置、動画生成方法、及びプログラム
JP2000341587A (ja) 画像処理装置及び方法
US20060274200A1 (en) Decoder and method for decoding bit stream
JP2012100162A (ja) 画像デコード装置及びデコードプログラム