【０００１】
【発明の属する技術分野】
本発明は、符号化動画像を再生する動画像再生システムに関する。
【０００２】
【従来の技術】
近年、ビデオ信号・オーディオ信号を含む動画像データをデジタル信号に変換し、蓄積・再生可能なＤＶＤ（Digital Versatile Disk）やＨＤＤ（Hard Disk Drive）等の蓄積媒体に記録する記録再生装置が開発され、普及しつつある。
【０００３】
デジタル化された動画像データは、様々なデジタル画像処理が容易で、ノイズに強い等の特長があるが、その情報量は非常に膨大であるため、前記蓄積媒体に記録する際には、通常圧縮符号化処理が行われる。
【０００４】
デジタル動画像データを圧縮符号化する方法としては、ＭＰＥＧ２（Moving Picture Experts Group phase 2）等をはじめとする数々の符号化方法が知られている。
【０００５】
ＭＰＥＧ２は、ＤＣＴ（Discrete Cosine Transform）や逆量子化による画素値圧縮、動き補償による差分値のみを符号化するフレーム間予測符号化、ハフマン符号を利用したエントロピー符号化等が用いられて動画像の圧縮符号化がなされており、ＤＶＤ−ＶｉｄｅｏやＢＳデジタル放送等の動画像符号化フォーマットとして利用されている。
【０００６】
以下、ＭＰＥＧ２の構成を簡単に説明する。
【０００７】
ＭＰＥＧ２は、三種類のピクチャにより構成されている。即ち、フレーム内で符号化が完結されているフレームがＩピクチャ（Intra picture）、フレーム間予測符号化が施されたフレームの内、時間的に前方のフレームのみを利用して符号化するフレームがＰピクチャ（Predictive picture）、時間的に前方及び後方の双方向フレームを利用して符号化するフレームがＢピクチャ（Bi-directionally predictive picture）である。
【０００８】
ＭＰＥＧ２の映像は、上記三種類のピクチャが、Ｉピクチャを先頭に必ず１枚含むＧＯＰ（Group Of Pictures）を構成し、そのＧＯＰが連なることでストリームとなっている。ＭＰＥＧ２の復号はＧＯＰ単位で行われ、Ｉピクチャが復号されないと、そのＧＯＰ内の他のＰピクチャ及びＢピクチャは復号することができない。
【０００９】
これは、Ｐピクチャ及びＢピクチャの復号時には、参照フレームとして既に復号済みのフレームが必要となるからであり、ＧＯＰの先頭に位置するＩピクチャを先に復号する必要があるからである。
【００１０】
以上説明したＭＰＥＧ２に代表される符号化方法によって圧縮符号化されたデジタル符号化動画像を、ＤＶＤやＨＤＤ等のディスク状蓄積媒体に記録することで、これらの蓄積媒体の特長を生かした動画像のランダムアクセスが可能となる。
【００１１】
従来、動画像の蓄積媒体として主流であったＶＴＲ（Video Tape Recorder）はシーケンシャルアクセス性を持つ蓄積媒体であるため、前記ＶＴＲ上で現在読み出している動画像位置から空間的に（動画像上では時間的に）離れた箇所への瞬時のアクセスは不可能である。つまり、ＶＴＲにおいては、ある動画像の一場面から他の場面へのスキップ操作を瞬時に行うことはできなかった。
【００１２】
しかし、ランダムアクセス特性を持つディスク状蓄積媒体であれば、蓄積媒体上の任意の箇所を瞬時にアクセス可能であるため、従来のＶＴＲでは実現できないスキップ操作等を行うことが可能である。
【００１３】
ＤＶＤやＨＤＤ等のディスク状蓄積媒体にデジタル符号化動画像を蓄積し、ランダムアクセス特性等を利用した様々な再生を行うデジタル動画像再生装置は、ＶＴＲに代わり今後主流となるものと思われる。
【００１４】
【発明が解決しようとする課題】
しかしながら、デジタル符号化動画像を任意速度の倍速再生、逆再生等の特殊再生を行って視聴する場合、幾つかの問題点が生じる。
【００１５】
例えば、ＭＰＥＧ２符号化動画像の早送り再生を容易に実現する方法として、ストリームを構成するフレームを間引くということが考えられる。
【００１６】
しかし、Ｉピクチャ及びＰピクチャは参照されるフレームであるため、符号化されている状態のままで間引くことは不可能である。復号以前に自由に間引くことの可能なＢピクチャのみで早送り再生を行う場合は、ＧＯＰの構成によって実現可能な早送り速度倍率が決まってしまうため、簡単な方法では、任意の速度の早送り再生を行うことができないことになる。
【００１７】
また、ディスク状蓄積媒体のランダムアクセス特性を利用してスキップ操作を行う場合においても、そのスキップ操作を行い移動する目的地を特定するためには、視聴者が早送り若しくは巻き戻し等のストリーム制御操作を行いながら決定することが必要となる。
【００１８】
従って、瞬時にスキップするということは事実上不可能であり、ランダムアクセス特性を十分に生かした視聴を行っているとは言い難い。
【００１９】
本発明は、上記従来技術の有する問題点を解決するためになされたものであり、その目的は、次回の符号化動画像の再生時（視聴時）に行われる各種の操作を容易且つ高品質に行うことが可能な動画像再生システムを提供することである。
【００２０】
【課題を解決するための手段】
上記目的を解決するために本発明の動画像再生システムは、符号化された動画像（符号化動画像）を再生出力する動画像再生システムにおいて、前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存手段と、前記操作履歴保存手段により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化手段とを有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の各実施の形態について、図面に基づきに説明する。
【００２２】
本発明の要旨は、符号化動画像の視聴時に視聴者が行った符号化動画像の再生制御操作を操作履歴に記録するもので、この操作履歴は、符号化動画像のストリーム上において、どこの箇所でどのような内容の制御操作が行われたかについての記録がなされているものであり、その操作履歴に従って、それらの再生制御操作を容易且つ高品質に行うことが可能となるよう符号化動画像に再符号化処理を施すことである、。このことにより、次回の符号化動画像の視聴時に、視聴者からの再生制御操作の操作性向上及び各種再生方法の高品質化が可能となる。
【００２３】
（第１の実施の形態）
まず、本発明の第１の実施の形態を、図１〜図５に基づき説明する。
【００２４】
図１は、本実施の形態に係わる動画像再生システムの全体構成を示すブロック図である。同図における各モジュール間における矢印は、データの流れを示しており、太い矢印が動画像データを、細い矢印が制御信号等を、それぞれ示す。
【００２５】
図１において、１００は動画像再生システム（デジタル符号化動画再生システム）、１０１はインタフェース、１０２は操作検出部、１０３は符号化制御部、１０４は符号部、１０５は復号部、１０６は表示部、１０７は蓄積媒体、１０８は操作履歴、１０９は符号化動画像である。
【００２６】
動画像再生システム１００は、蓄積媒体１０７に蓄積されている符号化動画像１０９を、復号部１０５において復号処理後、表示部１０６にて表示出力を行うことにより、再生動画像を得るものである。表示部１０６は、映像の表示及び音声の再生を行うものである。動画像再生システム１００を一つの装置と捉えた場合、表示部１０６が装置内に組み込まれているものはデジタルＴＶ（テレビジョン）であると考えられ、表示部１０６が装置内のモジュールであるものは、ＳＴＢ（Set Top Box）であると考えられる。蓄積媒体１０７に蓄積されている符号化動画像１０９は、動画像符号化方式によって圧縮符号化されたデータであり、映像信号と音声信号とで構成されている。本実施の形態においては、この符号化動画像１０９は、ＭＰＥＧ２符号化方式によってなされたものとする。つまり、復号部１０５は、ＭＰＥＧ２デコーダであり、復号部１０５を介することによって、圧縮符号化前の動画像データを得ることが可能となる。
【００２７】
また、動画像再生システム１００は、インタフェース１０１から各種再生制御操作に関する情報を得る。この再生制御操作は、早送り操作・巻き戻し操作・低速再生操作等、通常の動画像の視聴時（再生時）に行われるものであり、主に、視聴者から指示されるものである。これら動画像の視聴時に行われる再生制御操作が操作検出部（再生制御操作検出手段）１０２により検出され、該検出された再生制御操作情報が復号部１０５へ送信される。復号部１０５は、操作検出部１０２から送られた再生制御操作情報に応じた復号を符号化動画像１０９に対して施すことにより、視聴者の任意の再生制御操作を動画像再生システム１００が実現できることになる。
【００２８】
以上が動画像再生システム１００において、符号化動画像１０９の再生を行うための基本構成であるが、動画像再生システム１００は、更に操作履歴１０８を蓄積媒体１０７上に記録する機能をも持つ。操作履歴１０８は、操作検出部１０２によって検出された再生時に行われた各種再生制御操作を、符号化動画像１０９と対応付けて記録するものである。
【００２９】
以下、操作履歴１０８について、図２を用いて説明する。
【００３０】
図２は、操作履歴１０８を示す図であり、同図において、２０１は符号化動画像ストリームで、図１における符号化動画像１０９の動画像ストリームであり、時系列に左から右へと表現したものである。この符号化動画像ストリーム２０１を図１に示す動画像再生システム１００において再生することを考える。
【００３１】
まず、符号化動画像ストリーム２０１が再生されている時に、Ａ点において早送り操作が指示されたとする。この早送り操作は、図１のインタフェース１０１から入力され、操作検出部１０２により検出された後、復号部１０５へ送信される。それと同時に蓄積媒体１０７上の操作履歴１０８に記録されるが、ここで記録される内容は“Ａ点において早送り再生が開始された”という情報である。つまり、“再生操作が行われた箇所”と“再生制御操作の内容”とが記録されるわけである。これは、視聴者から視聴操作が指示される度に操作履歴１０８として記録されていくことになり、以下、記録されていく順序は、“Ｂ点で早送り再生終了”、“Ｃ点で低速再生開始”、“Ｄ点で低速再生終了”となる。
【００３２】
このように、符号化動画像ストリーム２０１の再生時における各種再生制御操作を記録したものが操作履歴１０８であり、この操作履歴１０８は、視聴した符号化動画像ストリーム２０１の視聴手順を如実に表すものであると言うことができる。操作履歴１０８の蓄積媒体１０７上における保存形式は、符号化動画像ストリーム２０１とは別に、一対一に対応したファイルとして保存されていることになる。更に、図１の動画像再生システム１００は、操作履歴１０８を利用した符号化動画像１０９の再符号化機能を備えている。
【００３３】
以下、符号化動画像１０９の再符号化について説明する。
【００３４】
動画像再生システム１００内の符号化制御部１０３は、蓄積媒体１０７より操作履歴１０８を得る。得た操作履歴１０８を元に、それに対応した符号化動画像１０９の再符号化形式を決定し、その情報を符号部１０４へ送信する。これと同時に、蓄積媒体１０７上の符号化動画像１０９を符号部１０４へ送信し、決定された再符号化形式に従って再符号化処理が施される。符号部１０４によって再符号化された動画像データは、新しい符号化動画像１０９として蓄積媒体１０７に上書き保存される。
【００３５】
符号化動画像１０９に再符号化を施す理由は、一度以上視聴した符号化動画像１０９の次回再生操作を容易且つ高品質に行うためである。符号化動画像１０９は、その符号化形式により再生制御操作の得手不得手がある。そこで、一度行われた再生制御操作は、次回視聴時においても行われる可能性が高いという考えの元で、既に行われた再生制御操作を行い易くするために再符号化を行うということである。
【００３６】
ここで符号部１０４による再符号化の例を、図３を用いて説明する。
【００３７】
図３は、再符号化について３つの例を示した図であり、図３（ａ）は、ピクチャの種類を変更する再符号化形式である。図３（ａ）のＧＯＰ３０１、即ち、ＩピクチャまたはＰピクチャの間に２枚のＢピクチャが存在する一般的なＧＯＰ３０１について考える。Ｂピクチャ数の割合が多い場合は、ビットレートの低減となるため、放送等の伝送系においては非常に有効となる。
【００３８】
しかし、Ｂピクチャ数の割合が増加すると画質については劣化してしまうことになるため、ビットレートと画質とのトレードオフにより、このようなＧＯＰが一般的となっている。
【００３９】
このＧＯＰ３０１で構成されるストリームを２倍速の早送りで再生することについて考える。倍速再生は、フレームを間引きすることで実現可能であるため、２倍速の早送り再生をする場合は、１枚おきにフレームを間引けば早送り再生が実現できることになる。
【００４０】
しかし、復号以前に間引くことが可能なピクチャは参照フレームとなり得ないＢピクチャのみであるため、ＧＯＰ３０１を１枚おきに等間隔で間引くことは不可能である。
【００４１】
従って、フレームを間引くことで早送り再生を行う場合、２倍速に限らず等間隔にフレームを間引くことができない場合は、連続箇所と不連続箇所とがストリーム上に現れてしまうため、視聴に違和感を生じることになる。全てのフレームを復号した後に間引くことを行えば、これを解決することは可能であるが、この場合には、図１に示される復号部１０５の高性能化が必須となってしまう。
【００４２】
そこで、図３（ａ）ＧＯＰ３０２，３０３に再符号化することを考える。ＧＯＰ３０２は、全てＩピクチャとした構成であり、また、ＧＯＰ３０３は、必要最小限のＩピクチャ及びＰピクチャ以外は、全てＢピクチャとした構成である。ＧＯＰ３０２のように再符号化をした場合、Ｉピクチャは参照しないで、それのみで復号可能なフレームであるため、復号以前に自由に間引くことが可能となり、簡単に任意速度の倍速再生を実現することが可能となる。また、ＧＯＰ３０３の場合も、Ｂピクチャは、上記説明の通り参照されないフレームであるため、復号以前に自由に間引くことが可能であり、ＧＯＰ３０２と同様の結果を得ることになる。早送り再生等の倍速再生が行われた場合、ＧＯＰ３０２またはＧＯＰ３０３のように再符号化することで、次回視聴時に容易な早送り再生を実現することが可能である。また、等間隔にフレームを間引くことが可能であるため、違和感のない高品質な倍速再生を実現できることにもなる。
【００４３】
また、逆再生が視聴時に行われた場合は、ＧＯＰ３０２に再符号化処理を施すことで容易に行うことが可能となるため、非常に有効であると言える。
【００４４】
図３（ｂ）は、ＧＯＰを構成するピクチャ数を変化させるための再符号化を示す。ＭＰＥＧ２のストリームは、ＧＯＰを復号の最小単位として扱っている。このストリームを復号する場合は、始めにＧＯＰ内のＩピクチャを復号することから行われるため、サーチ操作はＧＯＰ単位で行われることになる。
【００４５】
従って、図３（ｂ）のＧＯＰ３０５を構成するピクチャ数を減少させて再符号化することで、サーチする単位を細かくすることができ、より詳細なサーチ操作を行うことが可能となる。
【００４６】
また、図３には示していないが、スキップ操作が行われた箇所のＧＯＰを構成するピクチャ数を増加させて再符号化することで、スキップ操作を迅速に行うことが可能となる。
【００４７】
図３（ｃ）は、動画像ストリームのシーン分割を行う再符号化例を示す。同図のストリーム３０６は、サーチポイントを先頭として幾つかのシーンに分割されている場合がある。ＤＶＤ−Ｖｉｄｅｏ等においては、サーチポイントにサムネイル表示を設けることで等、シーン（ｓｃｅｎｅ）間を迅速にスキップすることが可能となっている。そこで、繰り返し視聴された箇所のストリームを、３０７に示すように、ｓｃｅｎｅ１−１，ｓｃｅｎｅ１−２，ｓｃｅｎｅ１−３というように、より細かくシーン分割する。サーチポイントを新しく追加し、前記ＤＶＤ−Ｖｉｄｅｏと同様にサムネイルで表示することを行えば、より迅速且つ詳細に意図したシーンへとスキップすることが可能となり、視聴の高効率化・高品質化を実現できることになる。
【００４８】
以上、図３に示す例のような再符号化により、図１に示される符号化動画像１０９の再生が容易且つ高品質となる。再符号化形式は図１の操作履歴１０８によって決定されるものであるが、再符号化することの決定はユーザーである視聴者が行う。また、再符号化は、ユーザーが符号化動画像１０９を視聴している時間外で行われるものとする。符号化処理は、復号処理より演算量が一般的に多いため、図１の復号部１０５や他の装置が動作している状態で符号部１０４を動作させるためには、システムの高性能化は避けられない。再符号化処理は、視聴時に行う必要はなく、また、リアルタイムで行う必要もない。従って、再符号化処理を視聴時間外で行うことで、符号部１０４は、簡単な構成で且つ安価な装置により実現することが可能となる。
【００４９】
以上で述べた図１の動画像再生システム１００を利用した動画像再生方法について、図４及び図５を用いて説明する。
【００５０】
図４及び図５は、本実施の形態に係る動画再生システムの動作の流れを示すフローチャートである。
【００５１】
まず、符号化動画像１０９の再生時の動作について、図４を用いて説明する。
【００５２】
ステップＳ４０１で図１の符号化動画像１０９の再生開始が指示されると、この符号化動画像１０９は、復号部１０５により復号処理が施され、表示部１０６において表示される。次に、ステップＳ４０２で再生制御操作が検出されたか否かを、検出されるまで判断する。そして、符号化動画像１０９を再生中に操作検出部１０２により再生制御操作が検出された場合は、次のステップＳ４０３へ進んで、再生制御操作についての情報を操作履歴１０８に保存して良い（ＯＫ）か否かを判断する。そして、保存して良いと判断された場合は、ステップＳ４０４へ進んで、そのときに行われた再生制御の操作情報を操作履歴１０８に保存した後、次のステップＳ４０５へ進む。また、前記ステップＳ４０３において、再生制御操作についての情報を操作履歴１０８に保存しないと判断された場合は、前記ステップＳ４０４をスキップして、ステップＳ４０５へ進む。
【００５３】
ここで前記ステップＳ４０３における、操作履歴１０８に保存するか否かの判断は、予めユーザーにより指定されているものとする。例えば、符号化動画像１０９を初めて視聴する場合は、必ず操作履歴１０８に保存する等である。
【００５４】
ステップＳ４０５では、再生中の符号化動画像１０９の視聴が終了したか否かを判断する。そして、再生中の符号化動画像１０９の視聴が終了しないと判断された場合は、前記ステップＳ４０２へ戻り、また、再生中の符号化動画像１０９の視聴が終了したと判断された場合は、次のステップＳ４０６ヘ進む。ステップＳ４０６では、符号化動画像１０９に再符号化処理を施す（ＯＫ）か否かを判断する。この判断も、前記ステップＳ４０３における操作履歴１０８の保存判断と同様に、ユーザーによって予め指定されているものである。また、この判断は、操作履歴１０８が存在していない場合においては当然、再符号化するという選択は行われないことになる。
【００５５】
前記ステップＳ４０６において、再符号化処理を施すと判断された場合は、次のステップＳ４０７へ進んで、再符号化することを示す再符号化フラグ（ｆｌａｇ）に１をたてた後、次のステップＳ４０８へ進む。前記再符号化ｆｌａｇは、符号化動画像１０９及び操作履歴１０８毎に設定されることになる。また、前記ステップＳ４０６において、再符号化処理を施さないと判断された場合は、前記ステップＳ４０７をスキップしてステップＳ４０８へ進む。
【００５６】
ステップＳ４０８では、図１の動画像再生システム１００を継続して視聴に使用するか否かを判断する。そして、この動画像再生システム１００を継続して視聴に使用すると判断された場合は、前記ステップＳ４０１へ戻って、新たに別の符号化動画像１０９の再生開始が指示されることになる。前記ステップＳ４０８の判断は、動画像再生システム１００の電源オフによって行われる、または、図１のインタフェース１０１より明示的に指示されることで行われる等が考えられる。
【００５７】
一方、前記ステップＳ４０８において、図１の動画像再生システム１００を継続して視聴に使用しないと判断された場合は、次のステップＳ４０９へ進んで、再符号化ｆｌａｇが１であるか否かを判断する。そして、再符号化ｆｌａｇが１であると判断された場合は、次のステップＳ４１０へ進んで、再符号化が行われた後、本処理動作を終了する。前記ステップＳ４１０における再符号化処理は、図１の符号部１０５により行われ、蓄積媒体１０７に符号化動画像１１２として上書き保存される。また、前記ステップＳ４０９において、再符号化ｆｌａｇが１でないと判断された場合は、前記ステップＳ４０９をスキップして、本処理動作を終了する。
【００５８】
以上が図１の動画像再生システム１００による再生時の動作手順であるが、符号化動画像１０９の再符号化のタイミングは、動画像再生システム１００を視聴することに利用している時間以外であれば任意の時間で良く、視聴直後である必要はない。
【００５９】
次に、本実施の形態に係る動画像再生システム１００における再符号化処理が単体で行われる動作について、図５を用いて説明する。
【００６０】
ユーザーが動画像再生システム１００を利用していない時に、ステップＳ５０１で符号化動画像１０９に対応した操作履歴１０８が有るか否かを判断する。そして、符号化動画像１０９に対応した操作履歴１０８が有ると判断された場合は、次のステップＳ５０２へ進んで、再符号化することを許されているか否かをフラグ（ｆｌａｇ）により判断する。ここで再符号化ｆｌａｇが１であると判断された場合、即ち、再符号化をすることが許されていると判断された場合は、次のステップＳ５０３へ進んで、符号化動画像１０９に再符号化処理が施された後、本処理動作を終了する。この再符号化処理は、次回の視聴時までに完了していることが望ましい。
【００６１】
また、前記ステップＳ５０１において、符号化動画像１０９に対応した操作履歴１０８が無いと判断された場合及び前記ステップＳ５０２において、再符号化ｆｌａｇが１でないと判断された場合、即ち、再符号化をすることが許されていないと判断された場合は、いずれも何も処理せずに本処理動作を終了する。
【００６２】
以上詳述したように、本実施の形態によれば、一度視聴（再生）したことのある符号化動画像１０９を再度復号して視聴する場合、符号部１０４によって再符号化された符号化動画像１０９の利用によって、再生制御操作を容易且つ高品質に行うことが可能なる。
【００６３】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図６及び図７に基づき説明する。
【００６４】
本実施の形態において上述した第１の実施の形態と異なる点は、図１の動画像再生システム１００において、符号化動画像１０９を再生する箇所と、符号化動画像１０９に再符号化を施す箇所とが別の装置として構成されていることである。
【００６５】
図６は、本実施の形態に係る動画像再生システムを構成する再生端末と動画像供給部の構成を示すブロック図であり、同図において、上述した第１の実施の形態における図１と同一部分には、同一符号が付してある。
【００６６】
図６において、６００は再生端末、６０１は動画供給部である。
【００６７】
再生端末６００は、インタフェース１０１、操作検出部１０２、復号部１０５、表示部１０６、蓄積媒体１０７ａから成る。再生端末６００は、外部からの符号化動画像を復号部１０５により復号して表示部１０６に表示する機能及び視聴時の再生制御に関する情報を操作検出部１０２により検出して操作履歴１０８として蓄積媒体１０７ａに保存する機能及びその保存した操作履歴１０８を外部へ送信する機能を有している。
【００６８】
動画像供給部６０１は、符号化制御部１０３、符号部１０４、蓄積媒体１０７ｂから成る。
【００６９】
動画像供給部６０１は、外部からの操作履歴１０８に従って動画像を符号部１０４により再符号化し、新たな符号化動画像１０９を得る機能及びその符号化動画像１０９を蓄積媒体１０７ｂに保存し且つ外部へ送出する機能を有している。
【００７０】
上述した第１の実施の形態では、再生端末６００と動画像供給部６０１とが対となって動作する例を示したが、これらは一対一に対応している必要はなく、図７は、動画像供給部６０１と再生端末６００とを一対多の構成にして成る本実施の形態に係る動画像再生システムの構成を示す図である。
【００７１】
図７において、７００は本実施の形態に係る動画像再生システムで、複数台（本実施の形態においては４台）の再生端末６００−１，６００−２，６００−３，６００−４と、１台の動画像供給部６０１とから成る。
【００７２】
次に、本実施の形態に係る動画像再生システム７００における視聴操作の手順について説明する。
【００７３】
再生端末６００−１〜６００−４は、動画像供給部６０１から送信される動画像ストリーム７０１を受信し、復号再生を行う装置である。動画像ストリーム７０１の送信方法は、放送波による方法でも良いし、ケーブル等による伝送でも良い。また、再生端末６００−１〜６００−４からのリクエストにより供給されるＶＯＤ（Video On Demand）の形式をとっている可能性もある。
【００７４】
ここで１台の再生端末６００−１に注目し、この再生端末６００−１によって動画像ストリーム７０１が再生されることを考える。このとき、再生端末６００−１では、動画像ストリーム７０１の再生によって、それに対応した操作履歴１０８が保存される。その後、再生端末６００−１は、この操作履歴１０８を外部操作履歴情報７０２として動画像供給部６０１へ送信する。動画像供給部６０１は、外部操作履歴情報７０２を元に動画像ストリーム７０１を、上述した第１の実施の形態において説明したように符号部１０４により再符号化し、再符号化ストリーム７０３を新たなストリームとして送信することになる。
【００７５】
次に、動画像供給部６０１による再符号化について説明する。
【００７６】
動画像供給部６０１は、外部操作履歴情報７０２に従って動画像ストリーム７０１を再符号化するが、この外部操作履歴情報７０２は、ある一つの再生端末６００によるものであるとは限らない。
【００７７】
図７に示すように、動画像ストリーム７０１が再生端末６００−１，６００−２，６００−４で視聴された場合、それぞれの再生端末６００−１，６００−２，６００−４で作成された操作履歴１０８が外部操作履歴情報７０２として動画像供給部６０１へ送信されることになる。
【００７８】
動画像供給部６０１では、複数台の再生端末６００−１〜６００−４から送信された外部操作履歴情報７０２を集計し、集計結果を反映して動画像ストリーム７０１の再符号化処理を行うことになる。例えば、多くの再生端末で早送り再生がなされた箇所については、それに適した再符号化する、というように動画像供給部６０１で再符号化がなされるわけである。このことにより、まだ動画像ストリーム７０１を視聴していなかった再生端末６００−３は、初回の視聴から再符号化ストリーム７０３を視聴することが可能となる。
【００７９】
再生端末６００−３において、他の再生端末６００−１，６００−２，６００−４で行われた同様の再生制御操作が行われるとは限らないが、その操作が行われた時には非常に有効となる。当然、再符号化ストリーム７０３は、動画像ストリーム７０１を既に視聴済みの再生端末において視聴することも可能である。
【００８０】
本実施の形態によれば、動画像ストリーム７０１の視聴再生を行っていない再生端末６００−３においても再符号化ストリーム７０３を利用することが可能となるため、初めて視聴する場合であっても、再生制御操作を容易且つ高品質に行うことが可能となる。
【００８１】
（他の実施の形態）
上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。
【００８２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８３】
また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムコードを記憶できるものであれば良く、或いはネットワークを介したダウンロード等を用いることができる。
【００８４】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
以上では、本発明の様々な例と実施の形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【００８７】
本発明の実施態様の例を以下に列挙する。
【００８８】
［実施態様１］ 符号化された動画像（符号化動画像）を再生出力する動画像再生システムにおいて、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存手段と、
前記操作履歴保存手段により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化手段とを有することを特徴とする動画像再生システム。
【００８９】
［実施態様２］ 符号化された動画像（符号化動画像）に復号処理を施して再生出力する動画像再生システムにおいて、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出手段と、
前記再生制御操作検出手段により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存手段と、
前記操作履歴保存手段により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化手段とを有することを特徴とする動画像再生システム。
【００９０】
［実施態様３］ 前記再生制御操作とは、視聴者よりリモコン等のインタフェースを介して入力される前記符号化動画像の再生制御を行うための操作であることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９１】
［実施態様４］ 前記操作履歴とは、前記符号化動画像のストリーム内において、前記再生制御操作が行われた箇所及び操作内容を記録するものであり、
前記操作履歴保存手段による操作履歴の保存は、前記符号化動画像のストリームとは別に、蓄積媒体上に行われることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９２】
［実施態様５］ 前記蓄積媒体は、前記動画像再生システム内に設けられていることを特徴とする実施態様４に記載の動画像再生システム。
【００９３】
［実施態様６］ 前記操作履歴を利用するとは、前記符号化動画像を再符号化する箇所及び再符号化形式の決定を行うために前記操作履歴を参照することであり、
前記符号化手段による符号化動画像の再符号化とは、前記操作履歴によって決定された再符号化箇所及び再符号化形式に従って再符号化することであることを特徴とする実施態様２に記載の動画像再生システム。
【００９４】
［実施態様７］ 前記符号化手段による符号化動画像の再符号化は、前記符号化動画像の視聴利用時間外に行うことが可能であることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９５】
［実施態様８］ 符号化された動画像（符号化動画像）を再生出力する動画像再生方法において、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化工程とを有することを特徴とする動画像再生方法。
【００９６】
［実施態様９］ 符号化された動画像（符号化動画像）に復号処理を施して再生出力する動画像再生方法において、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出工程と、
前記再生制御操作検出工程により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存工程と、
前記操作履歴保存工程により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化工程とを有することを特徴とする動画像再生方法。
【００９７】
［実施態様１０］ 前記再生制御操作とは、視聴者よりリモコン等のインタフェースを介して入力される前記符号化動画像の再生制御を行うための操作であることを特徴とする実施態様８または９に記載の動画像再生方法。
【００９８】
［実施態様１１］ 前記操作履歴とは、前記符号化動画像のストリーム内において、前記再生制御操作が行われた箇所及び操作内容を記録するものであり、
前記操作履歴保存工程による操作履歴の保存は、前記符号化動画像のストリームとは別に、蓄積媒体上に行われることを特徴とする実施態様８または９に記載の動画像再生方法。
【００９９】
［実施態様１２］ 前記蓄積媒体は、前記動画再生方法を実施するための動画再生システム内に設けられていることを特徴とする実施態様１１に記載の動画再生方法。
【０１００】
［実施態様１３］ 前記操作履歴を利用するとは、前記符号化動画像を再符号化する箇所及び再符号化形式の決定を行うために前記操作履歴を参照することであり、
前記符号化工程による符号化動画像の再符号化とは、前記操作履歴によって決定された再符号化箇所及び再符号化形式に従って再符号化することであることを特徴とする実施態様８または９に記載の動画像再生方法。
【０１０１】
［実施態様１４］ 前記符号化工程による符号化動画像の再符号化は、前記符号化動画像の視聴利用時間外に行うことが可能であることを特徴とする実施態様８または９に記載の動画像再生方法。
【０１０２】
［実施態様１５］ 符号化された動画像（符号化動画像）を再生出力する動画像再生システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする動画像再生システムの制御プログラム。
【０１０３】
［実施態様１６］ 符号化された動画像（符号化動画像）を再生出力する動画像再生システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出工程と、前記再生制御操作検出工程により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする動画像再生システムの制御プログラム。
【０１０４】
【発明の効果】
以上説明したように本発明によれば、一度以上視聴された符号化動画像を再符号化することにより、次回再生時に行われる各種操作を容易且つ高品質に行うことが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る動画像再生システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る動画像再生システムにおける操作履歴を説明するための図である。
【図３】本発明の第１の実施の形態に係る動画像再生システムにおける再符号化の例を説明するための図である。
【図４】本発明の第１の実施の形態に係る動画像再生システムにおける再生時の動作の流れを示すフローチャートである。
【図５】本発明の第１の実施の形態に係る動画像再生システムにおける符号時の動作の流れを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る動画像再生システムを構成する再生端末と動画像供給部の構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る動画像再生システムの構成を示すブロック図である。
【符号の説明】
１００ 動画造作製システム（デジタル符号化動画像再生システム）
１０１ インタフェース
１０２ 操作検出部
１０３ 符号化制御部
１０４ 符号部
１０５ 復号部
１０６ 表示部
１０７ 蓄積媒体
１０７ａ 蓄積媒体
１０７ｂ 蓄積媒体
１０８ 操作履歴
１０９ 符号化動画像
２０１ 符号化動画像ストリーム
６００ 再生端末
６００−１ 再生端末
６００−２ 再生端末
６００−３ 再生端末
６００−４ 再生端末
６０１ 動画像供給部
７０１ 動画像ストリーム
７０２ 外部操作履歴情報
７０３ 再符号化ストリーム[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video playback system that plays back encoded video.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a recording / reproducing apparatus has been developed which converts moving image data including a video signal and an audio signal into a digital signal and records the data on a storage medium such as a DVD (Digital Versatile Disk) or an HDD (Hard Disk Drive) which can be stored and reproduced. , Is spreading.
[0003]
Digitized moving image data has features such as easy digital image processing and resistance to noise.However, the amount of information is extremely large. A compression encoding process is performed.
[0004]
As a method of compressing and encoding digital moving image data, various encoding methods such as MPEG2 (Moving Picture Experts Group phase 2) are known.
[0005]
MPEG2 uses pixel value compression by DCT (Discrete Cosine Transform) or inverse quantization, inter-frame prediction coding that encodes only difference values by motion compensation, entropy coding using Huffman coding, and the like. It is compressed and encoded, and is used as a moving image encoding format for DVD-Video and BS digital broadcasting.
[0006]
Hereinafter, the configuration of MPEG2 will be briefly described.
[0007]
MPEG2 is composed of three types of pictures. In other words, a frame whose encoding is completed in a frame is an I picture (Intra picture), and a frame to be encoded using only a temporally forward frame among frames subjected to inter-frame predictive encoding is used. A P-picture (Predictive picture) and a frame to be encoded using temporally forward and backward bidirectional frames are B-pictures (Bi-directionally predictive pictures).
[0008]
The MPEG2 video is a stream formed by the above three types of pictures constituting a GOP (Group Of Pictures) that always includes one I picture at the beginning, and the GOPs are connected. MPEG2 decoding is performed in GOP units. Unless an I picture is decoded, other P pictures and B pictures in the GOP cannot be decoded.
[0009]
This is because when decoding a P picture and a B picture, an already decoded frame is required as a reference frame, and it is necessary to decode the I picture located at the head of the GOP first.
[0010]
By recording a digitally encoded moving image compressed and encoded by the encoding method represented by MPEG2 described above on a disk-shaped storage medium such as a DVD or HDD, a moving image utilizing the features of these storage media can be obtained. Random access is possible.
[0011]
Conventionally, a VTR (Video Tape Recorder), which has been the mainstream as a moving image storage medium, is a storage medium having sequential accessibility. Instant access to distant locations is not possible. That is, in the VTR, a skip operation from one scene of a certain moving image to another scene cannot be performed instantaneously.
[0012]
However, if the storage medium is a disk-shaped storage medium having random access characteristics, an arbitrary portion on the storage medium can be accessed instantaneously, so that it is possible to perform a skip operation or the like that cannot be realized by a conventional VTR.
[0013]
Digital video playback devices that store digitally coded video in a disk-shaped storage medium such as a DVD or HDD and perform various types of playback utilizing random access characteristics and the like are expected to become mainstream in the future instead of VTRs.
[0014]
[Problems to be solved by the invention]
However, when a digitally encoded moving image is viewed by performing special reproduction such as double speed reproduction or reverse reproduction at an arbitrary speed, some problems occur.
[0015]
For example, as a method of easily realizing fast-forward playback of an MPEG2-encoded moving image, it is conceivable to thin out frames constituting a stream.
[0016]
However, since the I-picture and the P-picture are frames to be referred to, it is impossible to thin out them while they are being encoded. When fast-forward playback is performed only with B pictures that can be decimated freely before decoding, the fast-forward speed magnification that can be realized is determined by the GOP configuration. Therefore, fast-forward playback at an arbitrary speed is performed by a simple method. You will not be able to do it.
[0017]
Also, in the case of performing a skip operation using the random access characteristic of the disc-shaped storage medium, in order to specify the destination to be moved by performing the skip operation, the viewer needs to perform a stream control operation such as fast forward or rewind. It is necessary to determine while performing.
[0018]
Therefore, it is practically impossible to skip instantaneously, and it is difficult to say that viewing is performed with the random access characteristic fully utilized.
[0019]
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and an object of the present invention is to make various operations performed at the time of reproducing (viewing) the next encoded moving image easy and high quality. The present invention is to provide a moving image reproduction system that can be performed at any time.
[0020]
[Means for Solving the Problems]
In order to solve the above-mentioned object, a moving image reproducing system according to the present invention is directed to a moving image reproducing system for reproducing and outputting an encoded moving image (encoded moving image). Operation history storage means for storing, as an operation history, a reproduction control operation such as a reproduction operation, a fast-forward operation, and a rewind operation from a user, and the encoding in a format suitable for the reproduction control operation stored by the operation history storage means. Encoding means for re-encoding the moving image.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
The gist of the present invention is to record, in an operation history, a playback control operation of a coded moving image performed by a viewer at the time of viewing the coded moving image. Record of what kind of control operation has been performed at the location of, so that according to the operation history, the reproduction control operation can be performed easily and with high quality. That is, re-encoding processing is performed on a moving image. This makes it possible to improve the operability of the playback control operation from the viewer and improve the quality of various playback methods at the next viewing of the encoded moving image.
[0023]
(First Embodiment)
First, a first embodiment of the present invention will be described with reference to FIGS.
[0024]
FIG. 1 is a block diagram showing an overall configuration of a moving image reproduction system according to the present embodiment. The arrows between the modules in FIG. 3 indicate the flow of data, with thick arrows indicating moving image data and thin arrows indicating control signals and the like.
[0025]
In FIG. 1, reference numeral 100 denotes a moving image reproducing system (digitally encoded moving image reproducing system), 101 denotes an interface, 102 denotes an operation detecting unit, 103 denotes an encoding control unit, 104 denotes an encoding unit, 105 denotes a decoding unit, and 106 denotes a display unit. , 107 is a storage medium, 108 is an operation history, and 109 is an encoded moving image.
[0026]
The moving image reproduction system 100 obtains a reproduced moving image by performing a decoding process on the encoded moving image 109 stored in the storage medium 107 in the decoding unit 105 and then outputting the display on the display unit 106. . The display unit 106 displays images and reproduces audio. When the moving image reproduction system 100 is regarded as one device, the device in which the display unit 106 is incorporated in the device is considered to be a digital TV (television), and the display unit 106 is a module in the device. Is considered to be STB (Set Top Box). The encoded moving image 109 stored in the storage medium 107 is data that has been compression-encoded by the moving image encoding method, and includes a video signal and an audio signal. In the present embodiment, it is assumed that the encoded moving image 109 is formed by the MPEG2 encoding method. That is, the decoding unit 105 is an MPEG2 decoder, and through the decoding unit 105, it is possible to obtain moving image data before compression encoding.
[0027]
Further, the moving image reproduction system 100 obtains information on various reproduction control operations from the interface 101. The reproduction control operation is performed when a normal moving image is viewed (reproduced), such as a fast-forward operation, a rewind operation, and a low-speed reproduction operation, and is mainly instructed by a viewer. Reproduction control operations performed when viewing these moving images are detected by the operation detection unit (reproduction control operation detection means) 102, and the detected reproduction control operation information is transmitted to the decoding unit 105. The decoding unit 105 performs decoding according to the reproduction control operation information sent from the operation detection unit 102 on the encoded moving image 109, thereby realizing the arbitrary reproduction control operation of the viewer by the moving image reproduction system 100. You can do it.
[0028]
The above is the basic configuration for reproducing the encoded moving image 109 in the moving image reproducing system 100. The moving image reproducing system 100 also has a function of recording the operation history 108 on the storage medium 107. The operation history 108 records various reproduction control operations performed during reproduction detected by the operation detection unit 102 in association with the encoded moving image 109.
[0029]
Hereinafter, the operation history 108 will be described with reference to FIG.
[0030]
FIG. 2 is a diagram showing the operation history 108. In FIG. 2, reference numeral 201 denotes an encoded moving image stream, which is a moving image stream of the encoded moving image 109 in FIG. It was done. It is assumed that the encoded moving image stream 201 is reproduced by the moving image reproducing system 100 shown in FIG.
[0031]
First, it is assumed that a fast-forward operation is instructed at point A while the encoded moving image stream 201 is being reproduced. This fast-forward operation is input from the interface 101 in FIG. 1, detected by the operation detection unit 102, and transmitted to the decoding unit 105. At the same time, it is recorded in the operation history 108 on the storage medium 107, and the content recorded here is information that "fast-forward playback has started at point A". In other words, the “place where the reproduction operation was performed” and the “contents of the reproduction control operation” are recorded. This means that each time a viewing operation is instructed by the viewer, the operation history is recorded as the operation history 108. Hereinafter, the recording order is “fast-forward reproduction end at point B” and “low-speed reproduction at point C”. "Start" and "end of low-speed reproduction at point D".
[0032]
As described above, the operation history 108 records various playback control operations at the time of playback of the encoded moving image stream 201. The operation history 108 clearly indicates a viewing procedure of the viewed encoded moving image stream 201. Can be said to be something. The storage format of the operation history 108 on the storage medium 107 is stored as a file corresponding to one-to-one separately from the encoded moving image stream 201. Further, the moving image reproduction system 100 of FIG. 1 has a function of re-encoding an encoded moving image 109 using the operation history 108.
[0033]
Hereinafter, re-encoding of the encoded moving image 109 will be described.
[0034]
The encoding control unit 103 in the video playback system 100 obtains the operation history 108 from the storage medium 107. Based on the obtained operation history 108, a re-encoding format of the encoded moving image 109 corresponding to the operation history 108 is determined, and the information is transmitted to the encoding unit 104. At the same time, the encoded moving image 109 on the storage medium 107 is transmitted to the encoding unit 104, and re-encoding processing is performed according to the determined re-encoding format. The moving image data re-encoded by the encoding unit 104 is overwritten and stored in the storage medium 107 as a new encoded moving image 109.
[0035]
The reason why the encoded moving image 109 is re-encoded is to perform the next reproduction operation of the encoded moving image 109 viewed once or more easily and with high quality. The encoded moving image 109 has some advantages and disadvantages in the reproduction control operation depending on the encoding format. Therefore, based on the idea that the playback control operation once performed is likely to be performed even at the time of next viewing, re-encoding is performed to facilitate the already performed reproduction control operation. .
[0036]
Here, an example of re-encoding by the encoding unit 104 will be described with reference to FIG.
[0037]
FIG. 3 is a diagram showing three examples of re-encoding, and FIG. 3A shows a re-encoding format for changing the type of a picture. Consider a GOP 301 in FIG. 3A, that is, a general GOP 301 in which two B pictures exist between an I picture or a P picture. When the ratio of the number of B pictures is large, the bit rate is reduced, which is very effective in a transmission system such as broadcasting.
[0038]
However, when the ratio of the number of B pictures increases, the image quality deteriorates. Therefore, such a GOP is generally used due to a trade-off between the bit rate and the image quality.
[0039]
The reproduction of the stream composed of the GOP 301 at double speed fast forward will be considered. Since double-speed reproduction can be realized by thinning out frames, in the case of double-speed fast-forward reproduction, fast-forward reproduction can be realized by thinning out every other frame.
[0040]
However, since pictures that can be thinned out before decoding are only B pictures that cannot be reference frames, it is impossible to thin out GOPs 301 at regular intervals every other picture.
[0041]
Therefore, when performing fast-forward playback by thinning out frames, if frames cannot be thinned out at equal intervals, not only at 2 × speed, continuous and discontinuous portions will appear on the stream, giving a sense of discomfort to the viewing. Will happen. This can be solved by thinning out after decoding all the frames, but in this case, it is necessary to improve the performance of the decoding unit 105 shown in FIG.
[0042]
Then, re-encoding into GOPs 302 and 303 shown in FIG. The GOP 302 has a configuration of all I pictures, and the GOP 303 has a configuration of all B pictures except for the minimum required I and P pictures. When re-encoding is performed as in GOP 302, since the I-picture is a frame that can be decoded by itself without reference to the I-picture, it is possible to freely thin out the frame before decoding and easily realize double-speed playback at an arbitrary speed. It becomes possible. Also, in the case of the GOP 303, since the B picture is a frame that is not referred to as described above, it can be decimated freely before decoding, and a result similar to that of the GOP 302 is obtained. When double-speed playback such as fast-forward playback is performed, re-encoding as in GOP302 or GOP303 enables easy fast-forward playback at the next viewing. In addition, since frames can be thinned out at equal intervals, high-quality double-speed reproduction without discomfort can be realized.
[0043]
In addition, when the reverse reproduction is performed during viewing, it can be said that the GOP 302 can be easily performed by performing a re-encoding process, which is very effective.
[0044]
FIG. 3B shows re-encoding for changing the number of pictures constituting a GOP. The MPEG2 stream handles a GOP as a minimum unit for decoding. When decoding this stream, the decoding is performed by first decoding the I picture in the GOP, and thus the search operation is performed in GOP units.
[0045]
Therefore, by reducing the number of pictures constituting the GOP 305 in FIG. 3B and performing re-encoding, the search unit can be made finer, and a more detailed search operation can be performed.
[0046]
Although not shown in FIG. 3, the skip operation can be performed quickly by increasing the number of pictures constituting the GOP at the location where the skip operation has been performed and re-encoding.
[0047]
FIG. 3C shows an example of re-encoding in which a scene of a moving image stream is divided. The stream 306 in the figure may be divided into several scenes starting from a search point. In DVD-Video and the like, it is possible to quickly skip between scenes by providing a thumbnail display at a search point. Therefore, the stream at the point where the user has repeatedly watched the scene is divided into smaller scenes, such as scene1-1, scene1-2, and scene1-3, as shown at 307. If a new search point is added and the thumbnail is displayed in the same manner as in the case of the DVD-Video, it is possible to skip to the intended scene more quickly and in detail, and to improve the viewing efficiency and quality. It can be realized.
[0048]
As described above, the re-encoding as in the example shown in FIG. 3 facilitates the reproduction of the encoded moving image 109 shown in FIG. 1 with high quality. The re-encoding format is determined by the operation history 108 in FIG. 1, but the decision to re-encode is made by the viewer who is the user. The re-encoding is performed outside the time when the user is watching the encoded moving image 109. The encoding process generally requires a larger amount of calculation than the decoding process. Therefore, in order to operate the encoding unit 104 while the decoding unit 105 and other devices in FIG. Inevitable. The re-encoding process does not need to be performed at the time of viewing and does not need to be performed in real time. Therefore, by performing the re-encoding process outside the viewing time, the encoding unit 104 can be realized by a simple configuration and an inexpensive device.
[0049]
A moving image reproducing method using the moving image reproducing system 100 of FIG. 1 described above will be described with reference to FIGS.
[0050]
FIGS. 4 and 5 are flowcharts showing the flow of the operation of the moving image playback system according to the present embodiment.
[0051]
First, the operation at the time of reproducing the encoded moving image 109 will be described with reference to FIG.
[0052]
When the reproduction start of the encoded moving image 109 in FIG. 1 is instructed in step S401, the encoded moving image 109 is decoded by the decoding unit 105 and displayed on the display unit 106. Next, it is determined whether or not a reproduction control operation is detected in step S402 until it is detected. If the operation detection unit 102 detects a reproduction control operation during reproduction of the encoded moving image 109, the process proceeds to the next step S403, and information about the reproduction control operation may be stored in the operation history 108 ( OK) is determined. If it is determined that the operation can be saved, the process proceeds to step S404. The operation information of the reproduction control performed at that time is saved in the operation history 108, and the process proceeds to the next step S405. If it is determined in step S403 that the information on the reproduction control operation is not stored in the operation history 108, the process skips step S404 and proceeds to step S405.
[0053]
Here, it is assumed that the determination in step S403 as to whether or not to save the information in the operation history 108 has been specified in advance by the user. For example, when the encoded moving image 109 is viewed for the first time, it is always stored in the operation history 108.
[0054]
In step S405, it is determined whether the viewing of the encoded moving image 109 being reproduced has ended. When it is determined that the viewing of the encoded moving image 109 being reproduced is not ended, the process returns to the step S402, and when it is determined that the viewing of the encoded moving image 109 being reproduced is ended, The process proceeds to the next step S406. In step S406, it is determined whether or not to perform the re-encoding process on the encoded moving image 109 (OK). This determination is also specified by the user in advance, similarly to the determination of saving the operation history 108 in step S403. In addition, in this determination, when the operation history 108 does not exist, the selection of re-encoding is not performed.
[0055]
If it is determined in step S406 that re-encoding processing is to be performed, the process proceeds to the next step S407, in which a re-encoding flag (flag) indicating re-encoding is set to 1, and then the next step is performed. Proceed to step S408. The re-encoded flag is set for each of the encoded video 109 and the operation history 108. If it is determined in step S406 that re-encoding processing is not to be performed, step S407 is skipped and the process proceeds to step S408.
[0056]
In step S408, it is determined whether or not the moving image reproduction system 100 of FIG. 1 is to be continuously used for viewing. If it is determined that the moving image reproducing system 100 is to be used for viewing continuously, the process returns to step S401, and a new reproduction start instruction for the encoded moving image 109 is issued. The determination in step S408 may be made by turning off the power of the moving image playback system 100, or may be made by explicitly instructing the interface 101 in FIG.
[0057]
On the other hand, if it is determined in step S408 that the moving image reproduction system 100 in FIG. 1 is not to be continuously used for viewing, the process advances to step S409 to determine whether the re-encoding flag is 1 or not. to decide. If it is determined that the re-encoding flag is 1, the process proceeds to the next step S410, where the re-encoding is performed, and the present processing operation ends. The re-encoding process in step S410 is performed by the encoding unit 105 of FIG. 1, and is overwritten and stored as the encoded moving image 112 on the storage medium 107. If it is determined in step S409 that the re-encoding flag is not 1, the process skips step S409 and ends the processing operation.
[0058]
The above is the operation procedure at the time of reproduction by the moving image reproduction system 100 of FIG. 1. The timing of re-encoding the coded moving image 109 is other than the time used for viewing the moving image reproduction system 100. Any time will do, and it does not need to be immediately after viewing.
[0059]
Next, an operation in which the re-encoding process is performed by itself in the moving image reproduction system 100 according to the present embodiment will be described with reference to FIG.
[0060]
When the user is not using the video playback system 100, it is determined in step S501 whether or not the operation history 108 corresponding to the encoded video 109 exists. If it is determined that there is the operation history 108 corresponding to the encoded moving image 109, the process proceeds to the next step S502, and it is determined whether or not re-encoding is permitted by using a flag (flag). . Here, when it is determined that the re-encoding flag is 1, that is, when it is determined that re-encoding is permitted, the process proceeds to the next step S503, where After the re-encoding processing has been performed, this processing operation ends. It is desirable that this re-encoding process be completed by the next viewing.
[0061]
Also, when it is determined in step S501 that there is no operation history 108 corresponding to the encoded moving image 109, and when it is determined in step S502 that the re-encoding flag is not 1, the re-encoding is performed. If it is determined that the processing is not permitted, the processing operation ends without performing any processing.
[0062]
As described in detail above, according to the present embodiment, when the encoded moving image 109 that has been viewed (reproduced) once is to be decoded and viewed again, the encoded moving image re-encoded by the encoding unit 104 is used. By using the image 109, the reproduction control operation can be performed easily and with high quality.
[0063]
(Second embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS.
[0064]
This embodiment is different from the first embodiment in that the moving picture reproducing system 100 shown in FIG. 1 reproduces the coded moving picture 109 and performs re-encoding on the coded moving picture 109. The point is that they are configured as separate devices.
[0065]
FIG. 6 is a block diagram showing the configuration of the playback terminal and the video supply unit which constitute the video playback system according to the present embodiment, and is the same as FIG. 1 in the above-described first embodiment. The parts are denoted by the same reference numerals.
[0066]
In FIG. 6, reference numeral 600 denotes a playback terminal, and 601 denotes a moving image supply unit.
[0067]
The playback terminal 600 includes an interface 101, an operation detection unit 102, a decoding unit 105, a display unit 106, and a storage medium 107a. The playback terminal 600 decodes an externally encoded video by the decoding unit 105 and displays it on the display unit 106. The operation detection unit 102 detects information related to playback control during viewing by the operation detection unit 102 and stores the information as an operation history 108 in a storage medium. It has a function of saving the operation history 107a and a function of transmitting the saved operation history 108 to the outside.
[0068]
The moving image supply unit 601 includes an encoding control unit 103, an encoding unit 104, and a storage medium 107b.
[0069]
The moving image supply unit 601 re-encodes a moving image by the encoding unit 104 in accordance with the operation history 108 from the outside, obtains a new encoded moving image 109, and stores the encoded moving image 109 in the storage medium 107b. It has the function of sending to the outside.
[0070]
In the above-described first embodiment, an example has been described in which the playback terminal 600 and the moving image supply unit 601 operate as a pair. However, these need not correspond one-to-one, and FIG. FIG. 2 is a diagram showing a configuration of a video playback system according to the present embodiment in which a video supply unit 601 and a playback terminal 600 have a one-to-many configuration.
[0071]
7, reference numeral 700 denotes a moving image reproducing system according to the present embodiment, which includes a plurality of (four in the present embodiment) reproducing terminals 600-1, 600-2, 600-3, and 600-4; And one moving image supply unit 601.
[0072]
Next, a procedure of a viewing operation in moving image playback system 700 according to the present embodiment will be described.
[0073]
The playback terminals 600-1 to 600-4 are devices that receive the video stream 701 transmitted from the video supply unit 601 and perform decoding and playback. The method of transmitting the moving image stream 701 may be a method using a broadcast wave or transmission using a cable or the like. In addition, there is a possibility that it is in the form of VOD (Video On Demand) supplied by a request from the playback terminals 600-1 to 600-4.
[0074]
Here, paying attention to one reproduction terminal 600-1, it is considered that the moving image stream 701 is reproduced by the reproduction terminal 600-1. At this time, in the reproduction terminal 600-1, by reproducing the moving image stream 701, the operation history 108 corresponding to the reproduction is stored. Thereafter, the reproduction terminal 600-1 transmits the operation history 108 as the external operation history information 702 to the moving image supply unit 601. The moving image supply unit 601 re-encodes the moving image stream 701 by the encoding unit 104 based on the external operation history information 702 as described in the first embodiment, and converts the re-encoded stream 703 into a new one. It will be transmitted as a stream.
[0075]
Next, re-encoding by the moving image supply unit 601 will be described.
[0076]
The moving image supply unit 601 re-encodes the moving image stream 701 according to the external operation history information 702, but the external operation history information 702 is not necessarily from one playback terminal 600.
[0077]
As shown in FIG. 7, when the video stream 701 is viewed on the playback terminals 600-1, 600-2, and 600-4, the video streams 701 are created on the respective playback terminals 600-1, 600-2, and 600-4. The operation history 108 is transmitted to the moving image supply unit 601 as the external operation history information 702.
[0078]
The moving image supply unit 601 aggregates the external operation history information 702 transmitted from the plurality of playback terminals 600-1 to 600-4, and performs a re-encoding process on the moving image stream 701 by reflecting the aggregation result. become. For example, the moving image supply unit 601 re-encodes a portion where fast-forward reproduction has been performed by many reproduction terminals, for example, and re-encodes the portion. Thus, the reproduction terminal 600-3, which has not yet viewed the moving image stream 701, can view the re-encoded stream 703 from the first viewing.
[0079]
The same reproduction control operation performed by the other reproduction terminals 600-1, 600-2, and 600-4 is not necessarily performed in the reproduction terminal 600-3, but is very effective when the operation is performed. It becomes. Of course, the re-encoded stream 703 can be viewed on a playback terminal that has already viewed the moving image stream 701.
[0080]
According to the present embodiment, the re-encoded stream 703 can be used even in the playback terminal 600-3 that is not performing viewing and playback of the moving image stream 701. The reproduction control operation can be performed easily and with high quality.
[0081]
(Other embodiments)
A storage medium storing program codes of software for realizing the functions of the above-described embodiments is supplied to a system or an apparatus, and a computer (or CPU, MPU, or the like) of the system or the apparatus stores the program stored in the storage medium. It goes without saying that the present invention can also be achieved by reading and executing the code.
[0082]
In this case, the program code itself read from the storage medium implements the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0083]
Further, as a storage medium for supplying the program code, for example, RAM, NV-RAM, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW , A DVD (DVD-ROM, DVD-R, DVD-RW, etc.), a magnetic tape, a non-volatile memory card, another ROM, etc., as long as the program code can be stored, or a download via a network. Can be used.
[0084]
When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. It goes without saying that the present invention includes a case in which the functions of the above-described embodiments are implemented by performing part or all of the actual processing.
[0085]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0086]
Although various examples and embodiments of the present invention have been described above, those skilled in the art will appreciate that the spirit and scope of the present invention are not limited to the specific description and drawings in this specification. It goes without saying that it is possible to cover the various modifications and changes all set out in the claims.
[0087]
Examples of embodiments of the present invention are listed below.
[0088]
[Embodiment 1] In a moving image reproducing system for reproducing and outputting an encoded moving image (encoded moving image),
An operation history storage unit that stores a reproduction control operation such as a reproduction operation, a fast forward operation, or a rewind operation from a viewer instructed during reproduction of the encoded moving image as an operation history,
Encoding means for re-encoding the encoded moving image in a format suitable for the reproduction control operation stored by the operation history storage means.
[0089]
[Embodiment 2] In a moving image reproducing system for performing decoding processing on an encoded moving image (encoded moving image) and reproducing and outputting the same,
A reproduction control operation detecting means for detecting a reproduction control operation such as a reproduction operation, a fast-forward operation, or a rewind operation from a viewer instructed during reproduction of the encoded moving image,
An operation history storage unit that saves the playback control operation detected by the playback control operation detection unit as an operation history in association with the encoded moving image reproduced,
Encoding means for re-encoding the encoded moving image using the operation history stored by the operation history storage means.
[0090]
[Embodiment 3] The first or second embodiment is characterized in that the reproduction control operation is an operation for performing reproduction control of the encoded moving image input from a viewer via an interface such as a remote controller. 3. The moving image reproduction system according to item 1.
[0091]
[Embodiment 4] The operation history is a record of a place where the reproduction control operation is performed and the content of the operation in the stream of the encoded moving image,
The moving image reproduction system according to claim 1 or 2, wherein the operation history storage unit stores the operation history separately from the stream of the encoded moving image on a storage medium.
[0092]
Fifth Embodiment The moving image playback system according to the fourth embodiment, wherein the storage medium is provided in the moving image playback system.
[0093]
[Embodiment 6] To use the operation history means to refer to the operation history in order to determine a location and a re-encoding format of the encoded moving image,
The second embodiment according to claim 2, wherein the re-encoding of the encoded moving image by the encoding unit is re-encoding according to a re-encoding location and a re-encoding format determined by the operation history. Video playback system.
[0094]
[Seventh Embodiment] The first or second embodiment according to the first or second embodiment, wherein the re-encoding of the encoded moving image by the encoding unit can be performed outside the viewing and using time of the encoded moving image. Video playback system.
[0095]
[Eighth Embodiment] In a moving image reproducing method for reproducing and outputting an encoded moving image (encoded moving image),
An operation history saving step of saving a playback control operation such as a playback operation, a fast-forward operation, or a rewind operation from a viewer instructed at the time of playback of the encoded moving image as an operation history; and an operation history saving step. An encoding step of re-encoding the encoded moving image into a format suitable for the playback control operation.
[0096]
[Embodiment 9] In a moving image reproducing method for performing decoding processing on an encoded moving image (encoded moving image) and reproducing and outputting the decoded image,
A reproduction control operation detection step of detecting a reproduction control operation such as a reproduction operation, a fast forward operation, a rewind operation, or the like from a viewer instructed during reproduction of the encoded moving image,
An operation history saving step of saving the playback control operation detected by the playback control operation detection step as an operation history in association with the encoded moving image played back,
An encoding step of re-encoding the encoded moving image using the operation history stored in the operation history storage step.
[0097]
[Embodiment 10] The playback control operation is an operation for performing playback control of the encoded moving image input from a viewer via an interface such as a remote controller, etc. Embodiment 8 or 9 5. The moving image reproducing method according to item 1.
[0098]
[Embodiment 11] The operation history records a location where the reproduction control operation is performed and the operation content in the stream of the encoded moving image,
The moving image reproducing method according to the eighth or ninth embodiment, wherein the storing of the operation history in the operation history storing step is performed on a storage medium separately from the stream of the encoded moving image.
[0099]
[Embodiment 12] The moving image reproducing method according to Embodiment 11, wherein the storage medium is provided in a moving image reproducing system for performing the moving image reproducing method.
[0100]
[Embodiment 13] To use the operation history means to refer to the operation history in order to determine a part to re-encode the encoded moving image and a re-encoding format,
The eighth or ninth embodiment is characterized in that the re-encoding of the encoded moving image in the encoding step is re-encoding according to a re-encoding location and a re-encoding format determined by the operation history. 5. The moving image reproducing method according to item 1.
[0101]
[Embodiment 14] The embodiment 8 or 9 according to embodiment 8 or 9, wherein the re-encoding of the encoded moving image in the encoding step can be performed outside the viewing / using time of the encoded moving image. Video playback method.
[0102]
[Embodiment 15] A computer-readable control program for controlling a moving image reproduction system that reproduces and outputs an encoded moving image (encoded moving image),
An operation history saving step of saving a playback control operation such as a playback operation, a fast-forward operation, or a rewind operation from a viewer instructed at the time of playback of the encoded moving image as an operation history; and an operation history saving step. A program code for causing a computer to execute an encoding step of re-encoding the encoded moving image into a format suitable for the reproduction control operation.
[0103]
[Embodiment 16] A computer-readable control program for controlling a moving image reproduction system that reproduces and outputs an encoded moving image (encoded moving image),
A reproduction control operation detecting step of detecting a reproduction control operation such as a reproduction operation, a fast forward operation, or a rewind operation from a viewer instructed during reproduction of the encoded moving image, and the reproduction control operation detection step An operation history storing step of storing a playback control operation as an operation history in association with the reproduced coded moving image, and re-encoding the coded moving image using the operation history stored in the operation history storing step And a program code for causing a computer to execute an encoding step to be encoded.
[0104]
【The invention's effect】
As described above, according to the present invention, by re-encoding an encoded moving image that has been viewed once or more, various operations performed at the next reproduction can be performed easily and with high quality.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a moving image reproduction system according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining an operation history in the moving image reproduction system according to the first embodiment of the present invention.
FIG. 3 is a diagram for explaining an example of re-encoding in the video playback system according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a flow of an operation at the time of reproduction in the moving image reproduction system according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing a flow of an operation at the time of encoding in the moving image reproduction system according to the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a playback terminal and a movie supply unit that constitute a movie playback system according to a second embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration of a moving image reproduction system according to a second embodiment of the present invention.
[Explanation of symbols]
100 Video Production System (Digital Encoded Video Reproduction System)
101 Interface
102 Operation detector
103 Coding control unit
104 code part
105 Decoding unit
106 Display
107 Storage medium
107a Storage medium
107b Storage medium
108 Operation history
109 coded video
201 coded video stream
600 playback terminal
600-1 playback terminal
600-2 playback terminal
600-3 Reproduction terminal
600-4 playback terminal
601 Moving image supply unit
701 Video Stream
702 External operation history information
703 Recoded stream
