JP2004343512A - Video reproducing method and device - Google Patents

Video reproducing method and device Download PDF

Info

Publication number
JP2004343512A
JP2004343512A JP2003138820A JP2003138820A JP2004343512A JP 2004343512 A JP2004343512 A JP 2004343512A JP 2003138820 A JP2003138820 A JP 2003138820A JP 2003138820 A JP2003138820 A JP 2003138820A JP 2004343512 A JP2004343512 A JP 2004343512A
Authority
JP
Japan
Prior art keywords
decoding
video
frame
speed
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003138820A
Other languages
Japanese (ja)
Other versions
JP3870930B2 (en
Inventor
Toshihiro Tanaka
俊啓 田中
Hiroshi Saito
浩 齋藤
Hideaki Mita
英明 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003138820A priority Critical patent/JP3870930B2/en
Publication of JP2004343512A publication Critical patent/JP2004343512A/en
Application granted granted Critical
Publication of JP3870930B2 publication Critical patent/JP3870930B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for realizing searching operations with high visibility for maximizing the decoding processing capability within a range wherein a video can smoothly be reproduced in high speed reproduction of a video signal subjected to inter-frame prediction coding. <P>SOLUTION: In the case of applying high speed reproduction to an MPEG stream 100 comprising an in-frame coded frame 101 and an inter-frame prediction coded frame 102, the stream is decoded while decreasing a decoding area 111 in a vertical direction on the basis of a value 110 according to the maximum value of a vector searching range in the vertical direction and a search speed / decoding processing capability, frame data 103 for updating the display are selected from slice data included in the decoding area 111 and displayed to attain high speed reproduction. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、フレーム間予測符号化された映像を光ディスク等の記録媒体から読み出して再生する映像再生方法において、実時間より高速な復号が可能な場合に、より視認性の高いサーチ映像を表示できる映像再生方法に関する。
【0002】
【従来の技術】
映像のディジタル記録・再生を利用した機器は、家庭用や業務用を問わず増加の一途をたどっている。限られた媒体の容量で長時間記録と高画質化を実現するのは相反する要素であるが、フレーム間符号化をベースとする一連のMPEG規格(Moving Pictures coding Experts Group:ISO/IEC11172−2,ISO/IEC13818−2,ISO/IEC14496−2)は圧縮率と画質におけるコストパフォーマンスが高く、ディジタルTV放送やDVD−Video、携帯電話など多くのアプリケーションで採用されている。
【0003】
MPEGに基づく映像符号化では、各フレームを図11(a)に示すような構成で符号化する。符号化タイプには、フレーム内符号化フレーム(以下、Iフレームと称す)、フレーム間符号化フレーム(以下、Pフレームと称す)およびフレーム内挿符号化フレーム(以下、Bフレームと称す)の3種類がある。Iフレームは、当該フレームのデータのみを用いて復号が可能なフレームである。また、Pフレームは、当該フレーム以前に復号されたIまたはPフレームのデータと当該フレームのデータのみを用いて復号が可能なフレームであり、Bフレームは時間的に前後する2枚のIまたはPフレームのデータと当該フレームのデータを用いて復号が可能なフレームである。Bフレームは表示順で後方のフレームを参照するので、図11(b)のように順を入れ替えて符号化する。符号化されたデータは、多くの場合Iフレームから始まるGOP(Group Of Pictures)の列として、順にビットストリーム(以下、ストリームと称す)として出力される。IフレームとPフレームのみ符号化する場合は、図12のようになり、符号化順と表示順は同じとなる。MPEGストリームの復号は、ストリームから符号化順でフレームを読込んだ後、符号化順に行われる。映像の出力は、表示順に行われる。
【0004】
MPEGのストリームを、特殊再生、特に高速再生する際には、大きな困難が伴う。例えば、図13のようなストリームを読込み、4倍速再生を行う場合を考える。現在がフレーム2のIフレームであるとして、フレームのインデックスが0〜14の範囲だけで考えると、フレーム2、6、10、14の4フレームを再生すれば、4倍速となる。しかし、図に示すように、各フレームを復号するには予測参照フレームを含めてそれぞれ1、4、5、5回の復号回数が必要である。これは、1フレーム時間(NTSCでは33msec,PALでは40msec)において、平均的には(1+4+5+5)/4=3.75フレームを復号しなければ滑らかな再生ができないこととなる。
【0005】
一方、LSI等の汎用のMPEGデコーダは、通常再生(1倍速再生)のためクロックと連動してリアルタイム動作するのが一般的であり、1フレーム時間に1フレームを復号する構成となっている。そのため、DVD−Video等の早送り再生機能は、Iフレームをコマ送りのように表示・更新するものにとどまっている。以上のことから、MPEGで符号化された映像を滑らかに高速再生するのは困難が伴うことがわかる。
【0006】
MPEGで符号化された映像を編集するアプリケーションは、放送やコンテンツ制作等の業務用はもとより、家庭用としても普及してきている。映像の編集作業で最も一般的であるカット編集を行う際、所望のシーンや対象となる人物や物などを素早く検索するため、再生速度の何倍速かで再生するサーチ操作が行われる。サーチ時の表示方法としては、倍速数に応じて何枚かのフレーム毎に1フレームを表示するのが一般的な方法である。しかし、飛ばされたフレームにのみ映っていた対象物はサーチ時に表示されないので、このような対象物に対する視認性は十分でない。さらに先に述べたように、MPEGストリームの高速再生は高い復号処理能力を必要とするため、復号処理能力が不足する場合には、フレームが1フレーム時間内に更新できず滑らかなサーチ動作が行えない。このように、MPEGストリームのサーチ動作をアプリケーションに適用するには、多くの課題があった。
【0007】
MPEGで符号化された映像に対してサーチ動作を行う従来の技術としては、多くの特許が出願されている。まず視認性を高める代表的な方法として、特許文献1がある。これは図14に示すように、n倍速(nは2以上の整数)の場合に、n分割したフレームの異なる部分を集めて1フレームとして表示するものである。これにより特定のあるフレームにしか存在しない対象物を表示できる確率は高まるが、n倍速の場合にn倍速で復号処理を行う、つまり必要な全てのフレームを復号することを前提としている。例えば4倍速の再生でも4倍の速度で復号処理を行わなければならず、特に解像度の高い高画質な映像など、復号処理負荷が大きいストリームの再生には適さない。
【0008】
前記の特許文献1のように、n分割したフレームの異なる部分を表示してかつ復号処理が小さくなる公知の技術として、MPEG2規格の非特許文献1におけるイントラスライスがある。スライスは、16x16画素のマクロブロックを水平方向に複数集めた単位であり、1フレーム内の同一の垂直位置には1スライスのみ配置するのが一般的である。イントラスライスは、スライス内のシンタックスに定義されたフラグに基づき、そのスライス内のマクロブロックは全てイントラマクロブロックとして符号化するモードである。イントラスライスを図14のように配置すれば、1フレーム分の復号処理のみでnフレームの情報を1フレームとして表示できる。イントラスライスの応用例としては、例えば特許文献2のように、符号長をオーバーヘッドデータに付加したものなどがある。しかし、イントラスライスによる特殊再生は、符号化の時点で特殊再生できるスライスの配置が決定されてしまうため再生倍速の柔軟な変化に対応できない点と、一般的に予測符号化に比べて符号化効率の悪いイントラ符号化を行うことによる画質劣化が起こる点に問題があった。
【0009】
【特許文献1】
特開2001−352524号公報(図6)
【特許文献2】
特許第3231833号公報(請求項1)
【非特許文献1】
ISO/IEC13818−2:Information Technology − Generic coding of moving pictures and associated audio information: Video(6.2.4 Slice)
【0010】
【発明が解決しようとする課題】
MPEGに代表されるフレーム間予測符号化された映像を記録した媒体に対してサーチ動作を行う場合、シーンを検索する際の対象物の視認性を高めながら、かつ復号処理能力を考慮して滑らかに映像を再生する方法は提案されていなかった。
【0011】
本発明は上記従来の問題点を解決するもので、フレーム間予測符号化された映像信号の高速再生において、滑らかに映像を再生できる範囲で、復号処理能力を最大限に生かした、視認性の高いサーチ動作を実現する方法を得ることを目的とする。
【0012】
【課題を解決するための手段】
上記目的を達成するために、本発明の映像再生方法は、フレーム内符号化フレームとフレーム間予測符号化フレームから成る映像信号を高速再生する際に、垂直方向のベクトル探索範囲の最大値とサーチ速度・復号処理能力により決まる値により復号領域を垂直方向に削減しながら復号し、復号領域に含まれるスライスデータから、表示を更新するスライスデータを選択して表示することで、高速再生を行う。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態について、図1から図10を用いて説明する。
【0014】
(実施の形態1)
図2は、本発明による映像再生方法を実現するためのブロック図である。図2において、420は、映像が記録された記録媒体、440は、ユーザが再生操作を行うための再生操作入力手段、450は本発明による映像再生が行われる映像再生手段、432は表示デバイスである。
【0015】
図2において、ユーザは再生操作入力手段440を操作し、再生操作を行う。再生操作により、スタートタイムコードTsと再生速度Vpが映像再生手段450に伝えられる。再生入力手段を実現するには多様な方法がある。再生・停止・早送り等のボタン類や、編集再生機に使われるジョグダイアル等、再生速度Vpを変化させて映像再生手段に伝えることのできる方法であれば良い。映像再生手段450は、記録媒体420に記録された映像を読み取り、スタートタイムコードTsから再生速度Vpで再生する。再生された映像は、表示デバイス432に表示される。記録媒体420としては、テープ、光ディスク、磁気ディスク、メモリ等のデバイスを用いることができる。
【0016】
図3に、本発明の映像再生方法における再生処理のフローチャートを示す。映像を再生する再生処理260において、スタートタイムコードTsに移動する処理261を行う。この処理により、記録媒体420上に記録された映像データからタイムコードTsがサーチされ、再生が開始できる状態になる。次に再生モードの設定処理272を行う。再生モードは、通常再生モードと高速再生モードの2つのモードの内、どちらかに設定される。再生速度|Vp|≦1なら通常再生モードを、|Vp|>1なら高速再生モードを設定する。ここで、Vp=1が、通常再生の速度(1倍速)を意味し、Vp=0は静止(停止)、Vp<0は逆再生を意味する。0<Vp<1は1倍速未満の低速順再生となるが、低速順再生は復号処理時間が通常再生より小さく、映像再生手段450から表示デバイス432へのフレーム送出を制御することで対処可能なため、通常再生モードとする。−1≦Vp<0は1倍速以下の低速逆再生となるが、映像再生手段450に復号したフレームを格納するメモリバッファを設けてGOP分のデータを先読みすることで、復号処理能力の中で対処することは可能であるため、本実施の形態では通常再生モードに含まれるとして説明する。
【0017】
再生モードの設定処理272が終了すると、再生モードの判定処理284を経て、通常再生モードの復号処理230、または高速再生モードの復号処理200が行われる。これらの処理では、再生モードの変化を検出するまで、その再生モードでフレームの復号処理を継続する。再生モードが変化すると停止の判定処理280が行われ、停止即ちVp=0でなければ再生モードの判定処理284に戻り、停止であれば290で再生処理を終了する。
【0018】
通常再生モードの復号処理230について、図4のフローチャートを用いて説明する。まず、フレームの通常復号240とフレームの出力241を行う。ステップ240は、MPEGストリームの一般的な復号処理であり、ストリーム中の次の符号化順のフレームを復号する。ステップ241は、復号されたフレームの中から、該当する次の時間順のフレームを出力する処理である。フレームの通常復号240とフレームの出力241を終了すると、1フレームの復号に要した時間が経過しているので、再生速度Vpがユーザの操作により変化したかどうかを検出する処理280と282を行う。ステップ280では、停止即ちVp=0でなければ次の判定に移り、Vp=0であれば250にて終了する。ステップ282では、高速再生モードに属する再生速度に変化したかどうかを検出する。|Vp|>1であれば高速再生モードを設定する処理271を行い、終了する。Vpがそれ以外の範囲であれば、通常再生モードが継続しているので、次のフレームの通常復号240に戻る。
【0019】
高速再生モードの復号処理200について、図5のフローチャートを用いて説明する。まず、再生速度Vpに対する復号領域の設定処理300を行う。これは、再生速度Vpと映像再生手段450における復号処理能力に応じて、現時点からある一定時間内で復号するフレームの領域を設定するものである。次に、設定された復号領域に対して、復号領域内のフレームの復号210を行う。復号領域内の復号されたデータに対して、再生速度Vpと視認性を考慮して、出力領域の選択211を行う。選択された領域は、フレームの出力241にて表示のため出力される。次に、再生モードが変化したかどうかを検出する処理280と281を行う。ステップ280では、再生速度がVp=0かを判定し、該当すれば停止であるので220にて終了する。ステップ281では、再生速度が|Vp|≦1であれば、通常再生モードであるので、ステップ270にて通常再生モードを設定して終了する。
【0020】
再生速度Vpに対する復号領域の設定300の概念について、図1を用いて説明する。MPEGストリーム100は、フレーム内符号化フレーム(Iフレーム)101と、フレーム間符号化フレーム(Pフレーム)102から構成される。ここで、フレーム間符号化フレーム102は、Bフレームを含んでいても良い。MPEGストリーム100において、GOPの先頭に位置するIフレームから開始して、垂直方向のベクトル探索範囲の最大値とサーチ速度・復号処理能力により決まる値110により領域を垂直方向に削減しながら、復号領域111を設定する。この時、復号領域111の面積が復号処理量に相当するので、映像再生手段450における復号処理能力の範囲に収まるように再生速度Vpにおける復号領域の面積を調節する。次のステップの出力領域の選択211では、この復号領域111に含まれるスライスデータから、表示を更新するフレームデータ103を選択することになる。
【0021】
垂直方向のベクトル探索範囲の最大値とサーチ速度・復号処理能力により決まる値110の算出方法について、図6の例を用いて説明する。図6(a)は、GOP長N=6でI、Pフレームのみから成るMPEGストリームである。フレームサイズは、縦480画素×横720画素を仮定する。各フレームを復号処理の観点で垂直方向に分割すると、スライス単位が最小の単位となる。縦480画素で、水平方向には1スライスしか存在しない一般的な場合、各フレームには30個のスライスが存在するため、30個のスライスに対して復号領域に入れるかどうかを各フレーム毎に設定することになる。図の例では、簡単のため、6個のスライスを結合して5個の分割領域を最小単位と仮定する。
【0022】
再生速度として4倍速再生つまりVp=4、復号処理能力として平均復号速度Vd=2を仮定する。Vd=2は、1フレーム時間に2フレームの復号が可能なことを意味する。通常の方法で全フレームを復号すると最小でVd=4が必要となるため、Vd=2では視認性が高くかつ滑らかな再生は行えない。この条件と垂直方向のベクトル探索範囲の最大値が96画素以下の条件の下で、図6(b)の設定例のように復号領域が設定できる。図の斜線領域が復号領域であり、面積は復号処理能力通り1フレーム時間当り2フレーム分となっている。また、視認性を高めるため、上方からの領域削減と下方からの領域削減を交互に行っている。
【0023】
垂直方向のベクトル探索範囲の最大値が96画素以下であることの意味は、前方フレームを参照する際、2つ以上離れた分割領域すなわち復号されていない領域を参照しないことを保証するためである。この点から、1フレーム毎に復号する分割領域を1個減らせば、復号は正常に行うことができる。また、ベクトルの探索範囲の値は、例えばMPEGのヘッダに含まれるf_codeの値を参照すれば算出可能である。この例では、1フレームで96画素以下としたが、通常の符号化ではここまで大きな範囲で動き探索は行わない。実際の運用ではスライス単位を基本とし、動きがスライス単位の16画素に収まらないフレームに対しては2スライス分の分割領域を削減するなどして、動的に復号領域を割当てることが可能である。
【0024】
再生速度Vpが変化した際の動作について、図7を用いて説明する。図7(a)に、図6(b)の復号領域の図を示す。図7(b)のように再生速度Vpが増加した場合は、図7(a)における1フレーム時間の幅が増加し、平均復号速度Vdは変化しないので、全面積に対する復号領域の面積の割合は低下することになる。逆に図7(c)のようにVpが減少した場合は、復号領域の面積の割合は増加する。いずれの例においても、復号処理速度はVd=2で一定である。このように、復号処理速度の範囲内で復号領域を設定する。
【0025】
出力領域の選択211について、図8を用いて説明する。図8(a)は、図6(b)で得られた復号領域を示している。各フレーム時間において、サーチ時の視認性を高めるよう、複数のフレームから分割領域を選択して、図8(b)の4倍速再生用の出力フレームを得ることができる。(a)で選択する分割領域は、各フレーム時間に含まれるかどうかに制限されず、視認性を良くする観点で自由に選択することが可能である。
【0026】
I、P、Bフレームから構成されるMPEGストリームに対する処理例を図9に示す。図6の例と同じく、再生速度Vp=4、平均復号速度Vd=2、GOP長N=6である。図6の例とは予測の順序が異なるため、I、P、Bフレームにおける予測の順序に従って分割領域を削減する。図9(a)に復号領域の設定例を示す。復号領域の面積は、1フレーム時間当り2フレーム分になっている。図9(b)に出力領域の選択例を示す。
【0027】
本実施の形態では順方向の高速再生を例にとって説明したが、逆方向の高速再生に対しても、GOP分のフレームを先読みし、メモリに復号したフレームを格納しておくことで、復号処理能力の点では同様の考え方で実現することが可能である。また本実施の形態では、復号処理の観点から分割領域の形状を水平方向のスライスとしたが、垂直方向に分割するなどその他の形状も可能である。復号領域の設定方法として、図6及び図9を例にとって示したが、再生速度と平均復号速度及びベクトルの探索範囲の情報に基づいて領域を設定する方法であれば、本実施の形態の例に制約されるものではない。
【0028】
以上の説明では2倍速の平均復号処理速度を仮定して示したが、n倍速(nは2以上の整数)の場合でも同様に適用できることは明らかである。また、例ではI、P、Bフレームの平均復号速度を同じとみなして説明したが、逆DCTや可変長復号等の共通の処理と、P、Bフレームに特有のベクトル・動き補償処理とマクロブロックのスキップ処理等を考慮に入れ、I、P、Bフレーム毎に平均復号速度を設定して復号領域の設定を行うことも可能である。さらに、GOP長NやGOPの構成などが可変であるストリームに対しても適用できることは明らかである。
【0029】
本発明の利点は、一般のMPEGストリームの高速再生に対して適用できる点である。つまり、高速再生用のイントラ符号化などは必要としない。また、再生速度に応じて復号処理能力の範囲内で復号領域を設定できるので、復号処理によりレスポンスが保てないなどの現象を引き起こすことなく、滑らかな再生が可能となる。以上説明したように本発明によれば、フレーム間予測符号化された映像信号の高速再生において、滑らかに映像を再生できる範囲で、復号処理能力を最大限に生かした、視認性の高いサーチ動作を実現することが可能となる。
【0030】
(実施の形態2)
本実施の形態は、実施の形態1を実現するための装置について説明する。
【0031】
図10は、本発明の映像再生装置を示す図である。図10の映像再生装置400において、410は符号化された映像であるストリームを復号するためのデコーダ、411は復号処理を行うためのCPU、412はストリームや復号されたフレームを記録しておくメモリ、413はCPU411を動作させるプログラムを初期状態で格納しておくためのROM、421はディスクを駆動するためのディスクコントローラ、422はストリームが記録されている光ディスクドライブ、431はディスクコントローラ421とデコーダ410を制御して最適な表示を行うための制御プロセッサ、432はモニタ等、映像を表示するための表示デバイスである。
【0032】
以上のように構成された映像再生装置において、以下その動作を説明する。まず、映像再生装置の起動前には、本発明による復号のためのプログラムがROM413に記録されている。本装置の起動操作により、ROM413からプログラムがCPU411にロードされ、CPU411はストリームの復号処理が可能となる。本発明による映像再生手段450における復号処理は、このプログラムで実現されている。再生前には、ストリームが記録された光ディスクが、光ディスクドライブ422に装填される。
【0033】
本発明による映像再生装置の再生動作を、図10を用いて説明する。ユーザからの再生コマンドが、バス433を介して制御プロセッサに与えられると、制御プロセッサ431はディスクコントローラ421を駆動し、光ディスクドライブ422から指定された時刻から始まるストリームを一定量読み出し、メモリ412に転送する。この一定量は、再生動作に障害が生じないように、例えば数GOP単位や数秒単位といった適切な長さとすることができる。同時に、メモリ412の割込み領域にCPUへの復号命令を書き込む。CPU411はメモリ412の割込み領域を監視しており、再生命令が与えられると、メモリ412からストリームを読み出し、復号処理を行って、メモリ412に復号されたフレームデータを書き込む。フレームデータがメモリ412に書き込まれると、制御プロセッサ431は、それを表示デバイス432に送り、映像が表示される。
【0034】
プログラムは、メモリ412上に復号されたフレームデータが存在するかどうかを示す復号データ存在フラグと、対応するフレームのインデックス(シーケンス内で一意に決まる通し番号)の表を持っており、常に最新の状態に保つ。この表は、フレームを復号してメモリ412に格納する際にフラグを更新することで、簡単に管理できる。メモリ412には、インデックスと対応するフレームデータを格納する。図10の制御プロセッサ431は、このメモリ412上のインデックスを確認することで、復号されたフレームデータがメモリ上に存在するかどうかを確認できる。以上のようにメモリを利用することで、GOP1個以上のデータを先読みして復号してメモリに記憶することができ、逆再生や逆方向の高速再生に対応することが可能となる。
【0035】
以上の映像再生装置の説明においては、光ディスクドライブを想定して説明したが、ハードディスクドライブやメモリなど、情報を記録する媒体であれば同じく実現が可能であるのは言うまでもない。また、デコーダとしてCPUとメモリを用いた例を示したが、これに限定するものではない。以上のように本実施の形態によれば、実施の形態1を装置として実現できる。
【0036】
【発明の効果】
以上の説明から明らかなように、本発明によれば、滑らかに映像を再生できる範囲で、復号処理能力を最大限に生かした、視認性の高いサーチ動作が実現できる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における映像再生方法を示す概念図
【図2】同実施の形態1における映像再生方法を実現する構成図
【図3】同実施の形態1における再生時の復号処理を示すフローチャート
【図4】同実施の形態1における通常再生モードの復号処理を示すフローチャート
【図5】同実施の形態1における高速再生モードの復号処理を示すフローチャート
【図6】同実施の形態1における復号領域の設定例を示す図
【図7】同実施の形態1における再生速度の変化に対する復号領域の設定例を示す図
【図8】同実施の形態1における出力領域の選択例を示す図
【図9】同実施の形態1における復号領域と出力領域の設定例を示す図
【図10】本発明の実施の形態2における映像再生装置の構成を示す図
【図11】従来のMPEGの符号化を説明する図
【図12】従来のMPEGのIフレームとPフレームのみの符号化を説明する図
【図13】従来のMPEGの4倍速再生を説明する図
【図14】従来のMPEGの視認性を高める方法を説明する図
【符号の説明】
100 MPEGストリーム
101 Iフレーム
102 Pフレーム
103 表示を更新するフレームデータ
110 垂直方向のベクトル探索範囲の最大値と、サーチ速度、復号処理能力により決まる値
111 復号領域
200 高速再生モードの復号処理
210 復号領域内のフレームの復号
211 出力領域の選択
220 高速再生モードの終了
230 通常再生モードの復号処理
240 フレームの通常復号
241 フレームの出力
250 通常再生モードの終了
260 再生処理
270 通常再生モードを設定
271 高速再生モードを設定
290 再生処理の終了
300 再生速度に対する復号領域の設定
400 映像再生装置
410 デコーダ
411 CPU
412 メモリ(RAM)
413 ROM
414 バス
415 CPUコア
416 プログラムキャッシュ
417 データキャッシュ
418 プログラムバス
419 データバス
420 記録媒体
421 ディスクコントローラ
422 光ディスクドライブ
431 制御プロセッサ
432 表示デバイス
433 バス
440 再生操作入力手段
450 映像再生手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a video reproducing method for reading and reproducing an inter-frame predictive-coded video from a recording medium such as an optical disk, and can display a search video with higher visibility when decoding at a higher speed than in real time is possible. It relates to a video playback method.
[0002]
[Prior art]
Devices using digital recording and reproduction of video are increasing irrespective of whether they are for home use or business use. Realizing long-time recording and high image quality with a limited medium capacity is a contradictory element, but a series of MPEG standards (Moving Pictures coding Experts Group: ISO / IEC 11172-2) based on inter-frame coding. , ISO / IEC13818-2 and ISO / IEC14496-2) have high cost performance in terms of compression ratio and image quality, and have been adopted in many applications such as digital TV broadcasting, DVD-Video, and mobile phones.
[0003]
In video coding based on MPEG, each frame is coded with a configuration as shown in FIG. The coding type includes three types of an intra-coded frame (hereinafter, referred to as an I frame), an inter-frame coded frame (hereinafter, referred to as a P frame), and a frame interpolation coded frame (hereinafter, referred to as a B frame). There are types. An I frame is a frame that can be decoded using only the data of the frame. The P frame is a frame that can be decoded using only the data of the I or P frame decoded before the frame and the data of the frame, and the B frame is the two I or P frames that are temporally adjacent to each other. This is a frame that can be decoded using the data of the frame and the data of the frame. Since the B frame refers to the subsequent frame in the display order, the B frame is coded by changing the order as shown in FIG. In many cases, the encoded data is sequentially output as a bit stream (hereinafter, referred to as a stream) as a sequence of GOPs (Group Of Pictures) starting from an I frame. When only the I frame and the P frame are coded, the result is as shown in FIG. 12, and the coding order and the display order are the same. Decoding of an MPEG stream is performed in the order of encoding after reading frames from the stream in the order of encoding. Video output is performed in the order of display.
[0004]
Special reproduction, particularly high-speed reproduction, of an MPEG stream involves great difficulty. For example, consider a case where a stream as shown in FIG. 13 is read and quadruple speed reproduction is performed. Assuming that the current frame is the I frame of frame 2 and considering only the frame index in the range of 0 to 14, the reproduction speed of four frames of frames 2, 6, 10, and 14 is quadruple speed. However, as shown in the figure, decoding of each frame requires 1, 4, 5, and 5 decoding times including the prediction reference frame. This means that in one frame time (33 msec for NTSC and 40 msec for PAL), smooth reproduction cannot be performed unless (1 + 4 + 5 + 5) /4=3.75 frames are decoded on average.
[0005]
On the other hand, a general-purpose MPEG decoder such as an LSI generally operates in real time in conjunction with a clock for normal reproduction (1 × speed reproduction), and has a configuration in which one frame is decoded in one frame time. For this reason, the fast-forward playback function of DVD-Video and the like merely displays and updates an I frame like frame advance. From the above, it can be seen that it is difficult to smoothly reproduce a video encoded by MPEG at high speed.
[0006]
Applications for editing MPEG-encoded video have become widespread not only for business such as broadcasting and content production, but also for home use. When performing cut editing, which is the most common in video editing work, a search operation for performing playback at several times the playback speed is performed in order to quickly search for a desired scene or a target person or object. As a display method at the time of search, it is a general method to display one frame for every several frames according to the double speed. However, an object that appears only in the skipped frame is not displayed at the time of the search, so that the visibility of such an object is not sufficient. Further, as described above, since high-speed reproduction of an MPEG stream requires high decoding processing capability, when the decoding processing capability is insufficient, a frame cannot be updated within one frame time and a smooth search operation can be performed. Absent. As described above, there are many problems in applying the search operation of the MPEG stream to the application.
[0007]
Many patents have been filed as a conventional technique for performing a search operation on a video encoded by MPEG. First, there is Patent Document 1 as a typical method for improving visibility. As shown in FIG. 14, in the case of n-times speed (n is an integer of 2 or more), different portions of n-divided frames are collected and displayed as one frame. This increases the probability that an object that exists only in a specific frame can be displayed. However, it is assumed that decoding processing is performed at n times speed in the case of n times speed, that is, all necessary frames are decoded. For example, even at 4 × speed playback, decoding processing must be performed at 4 × speed, which is not particularly suitable for playback of a stream having a large decoding processing load, such as high resolution video of high quality.
[0008]
As described in Patent Document 1, an intra slice in Non-Patent Document 1 of the MPEG2 standard is a known technique for displaying different portions of an n-divided frame and reducing decoding processing. A slice is a unit in which a plurality of 16 × 16 pixel macroblocks are gathered in the horizontal direction, and generally only one slice is arranged at the same vertical position in one frame. The intra slice is a mode in which all macro blocks in the slice are encoded as intra macro blocks based on a flag defined in the syntax in the slice. If the intra slices are arranged as shown in FIG. 14, information of n frames can be displayed as one frame only by decoding processing for one frame. As an application example of the intra slice, there is a technique in which a code length is added to overhead data as in Patent Document 2, for example. However, special reproduction using intra-slices cannot deal with flexible changes in reproduction speed because the arrangement of slices that can be specially reproduced is determined at the time of encoding. There is a problem in that the image quality is deteriorated due to the poor intra coding.
[0009]
[Patent Document 1]
JP 2001-352524 A (FIG. 6)
[Patent Document 2]
Japanese Patent No. 3231833 (Claim 1)
[Non-patent document 1]
ISO / IEC13818-2: Information Technology-Generic coding of moving pictures and associated audio information: Video (6.2.4 Slice)
[0010]
[Problems to be solved by the invention]
When a search operation is performed on a medium on which an interframe predictive encoded video typified by MPEG is recorded, a smooth operation is performed in consideration of the decoding processing capability while increasing the visibility of an object when searching for a scene. No method of reproducing the video has been proposed.
[0011]
SUMMARY OF THE INVENTION The present invention solves the above-mentioned conventional problems. In high-speed reproduction of an interframe predictive-encoded video signal, visibility is maximized by utilizing decoding processing capability within a range in which video can be smoothly reproduced. It is an object of the present invention to obtain a method for achieving a high search operation.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, a video reproducing method according to the present invention provides a method for reproducing a video signal composed of an intra-coded frame and an inter-frame predicted coded frame at a high speed and a maximum value of a vector search range in a vertical direction. High-speed playback is performed by decoding while reducing the decoding area in the vertical direction according to the value determined by the speed and decoding processing capacity, and selecting and displaying slice data for updating the display from the slice data included in the decoding area.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
[0014]
(Embodiment 1)
FIG. 2 is a block diagram for realizing the video reproducing method according to the present invention. In FIG. 2, reference numeral 420 denotes a recording medium on which a video is recorded, 440 denotes a reproduction operation input unit for a user to perform a reproduction operation, 450 denotes a video reproduction unit for performing video reproduction according to the present invention, and 432 denotes a display device. is there.
[0015]
In FIG. 2, the user operates the reproduction operation input unit 440 to perform a reproduction operation. By the reproduction operation, the start time code Ts and the reproduction speed Vp are transmitted to the video reproduction means 450. There are various methods for realizing the reproduction input means. Any method can be used as long as the playback speed Vp can be changed and transmitted to the video playback means, such as buttons for playback / stop / fast-forward and a jog dial used for an editing / playback machine. The video reproducing unit 450 reads the video recorded on the recording medium 420 and reproduces the video at the reproduction speed Vp from the start time code Ts. The reproduced video is displayed on the display device 432. As the recording medium 420, a device such as a tape, an optical disk, a magnetic disk, and a memory can be used.
[0016]
FIG. 3 shows a flowchart of a reproducing process in the video reproducing method of the present invention. In a reproduction process 260 for reproducing a video, a process 261 for moving to a start time code Ts is performed. By this process, the time code Ts is searched from the video data recorded on the recording medium 420, and the reproduction is started. Next, a reproduction mode setting process 272 is performed. The playback mode is set to one of two modes, a normal playback mode and a high-speed playback mode. If the reproduction speed | Vp | ≦ 1, the normal reproduction mode is set, and if | Vp |> 1, the high-speed reproduction mode is set. Here, Vp = 1 means normal playback speed (1 × speed), Vp = 0 means still (stop), and Vp <0 means reverse playback. 0 <Vp <1 indicates low-speed forward reproduction at less than 1 × speed, but low-speed forward reproduction is shorter in decoding processing time than normal reproduction, and can be dealt with by controlling frame transmission from the video reproduction means 450 to the display device 432. Therefore, the normal playback mode is set. Although -1 ≦ Vp <0 indicates low-speed reverse playback at 1 × speed or less, by providing a video buffer 450 with a memory buffer for storing decoded frames and prefetching data for GOPs, the decoding processing capacity can be improved. Since it is possible to deal with this, in the present embodiment, description will be made assuming that the normal playback mode is included.
[0017]
When the reproduction mode setting processing 272 is completed, the decoding processing 230 in the normal reproduction mode or the decoding processing 200 in the high-speed reproduction mode is performed through the reproduction mode determination processing 284. In these processes, the frame decoding process is continued in the playback mode until a change in the playback mode is detected. If the playback mode changes, stop determination processing 280 is performed. If the playback is not stopped, that is, if Vp = 0, the process returns to the playback mode determination processing 284. If the playback is stopped, the playback processing ends at 290.
[0018]
The decoding process 230 in the normal playback mode will be described with reference to the flowchart in FIG. First, normal decoding 240 of the frame and output 241 of the frame are performed. Step 240 is a general decoding process of the MPEG stream, and decodes the next frame in the encoding order in the stream. Step 241 is a process of outputting a corresponding next time-ordered frame from the decoded frames. When the normal decoding 240 of the frame and the output 241 of the frame are completed, since the time required for decoding one frame has elapsed, processes 280 and 282 for detecting whether or not the reproduction speed Vp has been changed by a user operation are performed. . In step 280, if not stopped, that is, if Vp = 0, the process proceeds to the next determination. If Vp = 0, the process ends at 250. In step 282, it is detected whether or not the reproduction speed has changed to the high-speed reproduction mode. If | Vp |> 1, the processing 271 for setting the high-speed reproduction mode is performed, and the processing ends. If Vp is outside the range, the normal reproduction mode is continued, and the process returns to the normal decoding 240 for the next frame.
[0019]
The decoding process 200 in the high-speed playback mode will be described with reference to the flowchart in FIG. First, a decoding area setting process 300 for the reproduction speed Vp is performed. This is to set an area of a frame to be decoded within a certain period of time from the present time according to the playback speed Vp and the decoding processing capability of the video playback unit 450. Next, decoding 210 of the frame in the decoding area is performed on the set decoding area. An output area selection 211 is performed on the decoded data in the decoding area in consideration of the reproduction speed Vp and the visibility. The selected area is output for display at the frame output 241. Next, processing 280 and 281 for detecting whether or not the reproduction mode has changed is performed. In step 280, it is determined whether the reproduction speed is Vp = 0. In step 281, if the reproduction speed is | Vp | ≦ 1, the normal reproduction mode is set. Therefore, in step 270, the normal reproduction mode is set and the processing ends.
[0020]
The concept of the setting 300 of the decoding area for the reproduction speed Vp will be described with reference to FIG. The MPEG stream 100 includes an intra-coded frame (I frame) 101 and an inter-coded frame (P frame) 102. Here, the inter-frame coded frame 102 may include a B frame. In the MPEG stream 100, starting from the I frame located at the head of the GOP, the decoding area is reduced in the vertical direction by the maximum value of the vector search range in the vertical direction and the value 110 determined by the search speed / decoding processing capacity. 111 is set. At this time, since the area of the decoding area 111 corresponds to the decoding processing amount, the area of the decoding area at the reproduction speed Vp is adjusted so as to fall within the range of the decoding processing capability of the video reproducing means 450. In the output area selection 211 in the next step, the frame data 103 whose display is to be updated is selected from the slice data included in the decoding area 111.
[0021]
A method of calculating the value 110 determined by the maximum value of the vector search range in the vertical direction and the search speed / decoding processing capability will be described using the example of FIG. FIG. 6A shows an MPEG stream composed of only I and P frames with GOP length N = 6. The frame size is assumed to be 480 pixels vertically × 720 pixels horizontally. When each frame is divided in the vertical direction from the viewpoint of decoding processing, the slice unit is the minimum unit. In a general case where there are only 480 pixels in the vertical direction and only one slice exists in the horizontal direction, since 30 slices exist in each frame, it is determined for each frame whether 30 slices are included in the decoding area. Will be set. In the example shown in the figure, for simplicity, it is assumed that six slices are combined and five divided regions are the minimum unit.
[0022]
It is assumed that the playback speed is quadruple speed playback, that is, Vp = 4, and the average decoding speed Vd = 2 as the decoding processing capability. Vd = 2 means that two frames can be decoded in one frame time. When all frames are decoded by a normal method, a minimum of Vd = 4 is required. Therefore, when Vd = 2, high visibility and smooth reproduction cannot be performed. Under this condition and the condition that the maximum value of the vector search range in the vertical direction is 96 pixels or less, a decoding area can be set as in the setting example of FIG. The shaded area in the figure is the decoding area, and the area is two frames per one frame time according to the decoding processing capacity. Further, in order to enhance the visibility, the area reduction from above and the area reduction from below are performed alternately.
[0023]
The reason why the maximum value of the vector search range in the vertical direction is 96 pixels or less is to ensure that, when referring to the preceding frame, a divided region that is separated by two or more, that is, a region that has not been decoded is not referenced. . From this point, if the number of divided regions to be decoded is reduced by one for each frame, decoding can be performed normally. Also, the value of the vector search range can be calculated by referring to the value of f_code included in the MPEG header, for example. In this example, the number of pixels is set to 96 pixels or less in one frame. However, in normal coding, motion search is not performed in such a large range. In an actual operation, a decoding unit can be dynamically allocated by, for example, reducing a divided region for two slices for a frame whose motion does not fit into 16 pixels in the slice unit, based on a slice unit. .
[0024]
The operation when the reproduction speed Vp changes will be described with reference to FIG. FIG. 7A shows a diagram of the decoding area in FIG. 6B. When the reproduction speed Vp increases as shown in FIG. 7B, the width of one frame time in FIG. 7A increases, and the average decoding speed Vd does not change. Will decrease. Conversely, when Vp decreases as shown in FIG. 7C, the ratio of the area of the decoding area increases. In any of the examples, the decoding processing speed is constant at Vd = 2. Thus, the decoding area is set within the range of the decoding processing speed.
[0025]
The output area selection 211 will be described with reference to FIG. FIG. 8A shows the decoding area obtained in FIG. 6B. At each frame time, a divided area is selected from a plurality of frames so as to enhance the visibility at the time of search, and an output frame for quadruple speed reproduction shown in FIG. 8B can be obtained. The divided area selected in (a) is not limited to whether or not it is included in each frame time, and can be freely selected from the viewpoint of improving visibility.
[0026]
FIG. 9 shows an example of processing on an MPEG stream composed of I, P, and B frames. As in the example of FIG. 6, the reproduction speed Vp = 4, the average decoding speed Vd = 2, and the GOP length N = 6. Since the order of prediction differs from that in the example of FIG. 6, the number of divided regions is reduced according to the order of prediction in the I, P, and B frames. FIG. 9A shows a setting example of the decoding area. The area of the decoding area is two frames per one frame time. FIG. 9B shows an example of selecting an output area.
[0027]
In the present embodiment, the fast forward reproduction in the forward direction has been described as an example. However, for the fast forward reproduction in the backward direction, the decoding process is performed by pre-reading the frames for the GOP and storing the decoded frames in the memory. In terms of capabilities, it can be realized with a similar concept. Further, in the present embodiment, the shape of the divided region is a horizontal slice from the viewpoint of decoding processing, but other shapes such as vertical division are also possible. FIGS. 6 and 9 show examples of the method of setting the decoding area. However, any method of setting the area based on the information on the reproduction speed, the average decoding speed, and the search range of the vector may be used. It is not restricted to.
[0028]
In the above description, the average decoding processing speed of 2 × speed is assumed, but it is apparent that the same can be applied to the case of n × speed (n is an integer of 2 or more). In the example, the average decoding speed of the I, P, and B frames is assumed to be the same. However, common processing such as inverse DCT and variable-length decoding, vector / motion compensation processing specific to the P and B frames, and macro It is also possible to set a decoding area by setting an average decoding speed for each of I, P, and B frames in consideration of block skip processing and the like. Further, it is apparent that the present invention can be applied to a stream in which the GOP length N and the configuration of the GOP are variable.
[0029]
An advantage of the present invention is that it can be applied to high-speed playback of general MPEG streams. That is, intra coding for high-speed reproduction is not required. In addition, since the decoding area can be set within the range of the decoding processing capability according to the reproduction speed, smooth reproduction can be performed without causing a phenomenon such as a response not being maintained by the decoding processing. As described above, according to the present invention, in a high-speed reproduction of a video signal subjected to inter-frame predictive coding, a search operation with high visibility that maximizes decoding processing capability within a range in which a video can be reproduced smoothly. Can be realized.
[0030]
(Embodiment 2)
In the present embodiment, an apparatus for implementing Embodiment 1 will be described.
[0031]
FIG. 10 is a diagram showing a video playback device of the present invention. In the video reproducing apparatus 400 of FIG. 10, reference numeral 410 denotes a decoder for decoding a stream which is an encoded video, 411 denotes a CPU for performing a decoding process, and 412 denotes a memory for recording the stream and the decoded frame. Reference numeral 413 denotes a ROM for storing a program for operating the CPU 411 in an initial state; 421, a disk controller for driving a disk; 422, an optical disk drive on which a stream is recorded; 431, a disk controller 421 and a decoder 410; Is a display device for displaying images, such as a monitor.
[0032]
The operation of the video reproducing apparatus configured as described above will be described below. First, before starting the video reproducing apparatus, a program for decoding according to the present invention is recorded in the ROM 413. By starting the apparatus, a program is loaded from the ROM 413 to the CPU 411, and the CPU 411 can perform stream decoding processing. The decoding process in the video reproducing means 450 according to the present invention is realized by this program. Before playback, the optical disk on which the stream is recorded is loaded into the optical disk drive 422.
[0033]
The playback operation of the video playback device according to the present invention will be described with reference to FIG. When a playback command from the user is given to the control processor via the bus 433, the control processor 431 drives the disk controller 421, reads a certain amount of streams starting from the specified time from the optical disk drive 422, and transfers them to the memory 412. I do. This fixed amount can be set to an appropriate length, for example, a unit of several GOPs or a unit of seconds so as not to cause a failure in the reproduction operation. At the same time, a decoding instruction to the CPU is written in the interrupt area of the memory 412. The CPU 411 monitors an interrupt area of the memory 412. When a reproduction command is given, the CPU 411 reads a stream from the memory 412, performs a decoding process, and writes the decoded frame data to the memory 412. When the frame data is written to the memory 412, the control processor 431 sends it to the display device 432, and the video is displayed.
[0034]
The program has a decoded data presence flag indicating whether or not the decoded frame data exists in the memory 412, and a table of the index (serial number uniquely determined in the sequence) of the corresponding frame. To keep. This table can be easily managed by updating the flag when the frame is decoded and stored in the memory 412. The memory 412 stores frame data corresponding to the index. The control processor 431 in FIG. 10 can check whether the decoded frame data exists in the memory by checking the index on the memory 412. By using the memory as described above, data of one or more GOPs can be pre-read, decoded, and stored in the memory, and it is possible to cope with reverse reproduction or reverse high-speed reproduction.
[0035]
In the above description of the video reproducing apparatus, the description has been made on the assumption that the optical disk drive is used. However, it is needless to say that the same can be realized with a medium for recording information such as a hard disk drive or a memory. Although an example using a CPU and a memory as a decoder has been described, the present invention is not limited to this. As described above, according to the present embodiment, Embodiment 1 can be realized as an apparatus.
[0036]
【The invention's effect】
As is clear from the above description, according to the present invention, a search operation with high visibility that maximizes the decoding processing capability can be realized within a range in which a video can be smoothly reproduced.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a video reproducing method according to Embodiment 1 of the present invention.
FIG. 2 is a configuration diagram for realizing a video reproduction method according to the first embodiment;
FIG. 3 is a flowchart showing decoding processing during reproduction according to the first embodiment;
FIG. 4 is a flowchart showing a decoding process in a normal reproduction mode according to the first embodiment;
FIG. 5 is a flowchart showing decoding processing in a high-speed playback mode according to the first embodiment;
FIG. 6 is a diagram showing a setting example of a decoding area according to the first embodiment;
FIG. 7 is a diagram showing a setting example of a decoding area with respect to a change in a reproduction speed in the first embodiment;
FIG. 8 is a diagram showing an example of selecting an output area according to the first embodiment;
FIG. 9 is a diagram showing a setting example of a decoding area and an output area in the first embodiment.
FIG. 10 is a diagram showing a configuration of a video playback device according to Embodiment 2 of the present invention.
FIG. 11 is a view for explaining conventional MPEG encoding.
FIG. 12 is a diagram illustrating encoding of only conventional MPEG I and P frames.
FIG. 13 is a view for explaining conventional 4 × speed reproduction of MPEG.
FIG. 14 is a view for explaining a conventional method for improving the visibility of MPEG.
[Explanation of symbols]
100 MPEG stream
101 I frame
102 P frame
103 Frame data for updating display
110 Maximum value of vector search range in vertical direction, value determined by search speed, decoding processing capacity
111 decoding area
200 High-speed playback mode decoding
210 Decoding frame in decoding area
211 Select output area
220 End of high-speed playback mode
230 Decoding process in normal playback mode
Normal decoding of 240 frames
Output of 241 frames
250 End of normal playback mode
260 Playback processing
270 Set normal playback mode
271 Set high-speed playback mode
290 End of playback processing
300 Decoding area setting for playback speed
400 video playback device
410 decoder
411 CPU
412 Memory (RAM)
413 ROM
414 bus
415 CPU core
416 Program Cache
417 Data Cache
418 Program bus
419 Data bus
420 recording medium
421 Disk Controller
422 Optical Disk Drive
431 control processor
432 Display device
433 bus
440 Reproduction operation input means
450 Video playback means

Claims (8)

符号化された映像を記録した記録媒体から映像を再生する映像再生方法であって、
フレームの復号に要する平均復号時間を算出し、現在から一定時間内に再生する少なくともn(nは1以上の整数)枚以上のフレームに対してフレームをk(kは2以上の整数)個の領域に分割し、n*k個の領域の中から前記平均復号時間内で復号できるm(mは1以上の整数)個の領域を選択して復号する復号ステップを有することを特徴とする映像再生方法。
A video playback method for playing back a video from a recording medium on which an encoded video is recorded,
The average decoding time required for decoding the frame is calculated, and at least n (n is an integer of 1 or more) or more frames to be reproduced within a fixed time from the current time are divided into k (k is an integer of 2 or more) frames. A video that has a decoding step of selecting and decoding m (m is an integer equal to or greater than 1) areas that can be decoded within the average decoding time from the n * k areas by dividing the area into n areas; Playback method.
前記映像はフレーム間予測符号化された映像であり、
前記復号ステップは、前記m個の領域を選択するに際して前記m個の領域における予測ベクトルの参照する領域が必ず前記m個の領域内に含まれるように復号することを特徴とする請求項1記載の映像再生方法。
The video is an inter-frame predictive encoded video,
2. The decoding step according to claim 1, wherein, when the m regions are selected, decoding is performed such that a region referred to by a prediction vector in the m regions is always included in the m regions. Video playback method.
前記復号ステップは、前記平均復号時間と映像の再生速度に基づいて前記mの値を動的に変更することを特徴とする請求項2記載の映像再生方法。3. The video reproducing method according to claim 2, wherein the decoding step dynamically changes the value of m based on the average decoding time and a video reproducing speed. 前記復号ステップは、前記m個の領域の中から前記再生速度の再生表示を行うのに必要な任意の領域を出力領域として選択することを特徴とする請求項2または請求項3いずれかに記載の映像再生方法。4. The decoding step according to claim 2, wherein an arbitrary area necessary for performing reproduction display at the reproduction speed is selected as an output area from the m areas. Video playback method. 符号化された映像を記録した記録媒体から映像を再生する映像再生装置であって、
フレームの復号に要する平均復号時間を算出し、現在から一定時間内に再生する少なくともn(nは1以上の整数)枚以上のフレームに対してフレームをk(kは2以上の整数)個の領域に分割し、n*k個の領域の中から前記平均復号時間内で復号できるm(mは1以上の整数)個の領域を選択して復号するデコーダを有することを特徴とする映像再生装置。
A video playback device that plays back a video from a recording medium that records an encoded video,
The average decoding time required for decoding the frame is calculated, and at least n (n is an integer of 1 or more) or more frames to be reproduced within a fixed time from the current time are divided into k (k is an integer of 2 or more) frames. Video playback comprising a decoder that divides into n regions and selects and decodes m (m is an integer of 1 or more) regions that can be decoded within the average decoding time from the n * k regions. apparatus.
前記映像はフレーム間予測符号化された映像であり、
前記デコーダは、前記m個の領域を選択するに際して前記m個の領域における予測ベクトルの参照する領域が必ず前記m個の領域内に含まれるように復号することを特徴とする請求項5記載の映像再生装置。
The video is an inter-frame predictive encoded video,
6. The decoder according to claim 5, wherein, when selecting the m regions, the decoder performs decoding such that a region referred to by a prediction vector in the m regions is always included in the m regions. Video playback device.
前記デコーダは、前記平均復号時間と映像の再生速度に基づいて前記mの値を動的に変更することを特徴とする請求項6記載の映像再生装置。7. The video playback device according to claim 6, wherein the decoder dynamically changes the value of m based on the average decoding time and a video playback speed. 前記デコーダは、前記m個の領域の中から前記再生速度の再生表示を行うのに必要な任意の領域を出力領域として選択することを特徴とする請求項6または請求項7いずれかに記載の映像再生装置。8. The decoder according to claim 6, wherein the decoder selects, as an output area, an arbitrary area necessary for performing reproduction display at the reproduction speed from the m areas. Video playback device.
JP2003138820A 2003-05-16 2003-05-16 Video playback method and apparatus Expired - Fee Related JP3870930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003138820A JP3870930B2 (en) 2003-05-16 2003-05-16 Video playback method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003138820A JP3870930B2 (en) 2003-05-16 2003-05-16 Video playback method and apparatus

Publications (2)

Publication Number Publication Date
JP2004343512A true JP2004343512A (en) 2004-12-02
JP3870930B2 JP3870930B2 (en) 2007-01-24

Family

ID=33528081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003138820A Expired - Fee Related JP3870930B2 (en) 2003-05-16 2003-05-16 Video playback method and apparatus

Country Status (1)

Country Link
JP (1) JP3870930B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457212B2 (en) 2005-08-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method, recording medium, and program
CN111373760A (en) * 2017-11-30 2020-07-03 索尼公司 Transmission device, transmission method, reception device, and reception method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457212B2 (en) 2005-08-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method, recording medium, and program
CN111373760A (en) * 2017-11-30 2020-07-03 索尼公司 Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
JP3870930B2 (en) 2007-01-24

Similar Documents

Publication Publication Date Title
JP5041626B2 (en) Decoding device, decoding method, and program
JP4416796B2 (en) Image encoding device, image decoding device, image encoding program, and image decoding program
JP3496604B2 (en) Compressed image data reproducing apparatus and compressed image data reproducing method
EP2154900A1 (en) Dynamic image decoding method, dynamic image decoding device, and electronic apparatus
JP3604186B2 (en) Recording method and recording method of recording medium
JP3870930B2 (en) Video playback method and apparatus
JP3317440B2 (en) Still image playback device for recording media
JP2004350152A (en) Video reproducing apparatus and video reproducing method
JP3233232B2 (en) Moving picture decoding method and apparatus
JPH11205739A (en) Image reproduction method and system
JP4272753B2 (en) REPRODUCTION DEVICE, ITS CONTROL METHOD, AND COMPUTER-READABLE STORAGE MEDIUM
JP2003087732A (en) Video reproducing device
JP2001285877A (en) Device and method for decoding compression encoding data
JP3869389B2 (en) Video playback method, video playback device, and video encoding method
JP3657855B2 (en) Image decoding apparatus and image decoding method
JP2005295426A (en) Video information recording system, and its method, video information reproduction device and its method
JPH0898142A (en) Picture reproduction device
JP2007129489A (en) Picture reproducer and picture reproduction method
JP2004140723A (en) Method and device for reproducing digital video information
JP3897760B2 (en) Video playback device
JP2002218396A (en) Information playback apparatus, information playback method, recording medium and program
JP2001103427A (en) Compressed image reproducing device and program recording medium
JPH08223534A (en) Image reproducing device
JP2006187037A (en) Image reproducing method
JPH08130715A (en) Picture reproducing device

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees