JP2010141632A - 映像再生装置、映像システム及び映像の再生速度変換方法 - Google Patents

Abstract

【課題】
映像再生装置において、特殊再生中の映像の動きを滑らかにする。
【解決手段】
本発明にかかる映像再生装置は、入力映像信号を一時的に保持して出力するとともにバッファリング部(100)と、バッファリング部からの映像フレームを複数用いて映像の動きに応じた補間フレームを作成し、該補間フレームと前記バッファリング部からの映像フレームとを組み合わせて再生速度が変換された映像信号を出力する映像速度変換部(101)とを備える。そして、バッファリング部から出力される映像信号の映像フレームの時間的間隔、並びに映像速度変換部における補間フレームの作成処理及び組み合わせ処理が、再生速度を示す制御信号に応じて制御されるようにした。
【選択図】 図１

Description

本発明は、映像の再生速度を変換して特殊再生（早見再生、遅見再生）するための技術に関するものである。

従来、ＤＶＤプレーヤなどの映像再生装置において、映像を素早く確認するための早見再生や、お年寄りや聴覚障害者が聞き取り易い音声を出力するための遅見再生などの特殊再生機能が搭載されている。

特殊再生中の映像は、入力映像を単純にコマ抜きあるいはコマ繰り返しを行って生成した映像であり、動きがガタガタするような違和感が生じる場合がある。速見再生中の映像のガタガタ感を解消するための従来技術としては、例えば特許文献１に記載のものが知られている。

特開平７−２２２１０６号公報

上記特許文献１は、早見再生中に映像を滑らかにするための構成を開示しているが、遅見再生中のガタガタ感については考慮されていない。また、特殊再生された映像と音声との同期についても考慮されていない。

本発明は、上記課題に鑑みてなされたものであって、特殊再生中にも滑らかな違和感のない映像を得ることが可能な技術を提供するものである。また本発明は、特殊再生された映像と音声との同期を良好にするための技術を提供する。

本発明は、入力映像信号における映像フレーム間の時間的間隔を指定された再生速度に応じて制御するとともに、該時間的間隔が制御された映像フレームと、該映像フレームの複数から得られた動き補償された補間フレーム（動きベクトルを用いて生成された補間フレーム）とを組み合わせて再生速度を変換することを特徴とするものである。

また本発明は、音声信号を時分割するとともに、該時分割した音声信号を前記指定された再生速度に応じたタイミングで周期的に複製または削除することで音声信号の再生速度を変換することを特徴とする。

本発明によれば、再生速度に応じて時間的間隔が制御された映像フレームに当該映像フレームから得られた動き補償された補間フレームを組み合わせているので、早見及び遅見再生の両方に対応して動きが滑らかな映像を再生することができる。また、この再生速度が変換された映像の音声を同期させることも可能となる。

以下、本発明を実施するための好ましい形態について、図面を参照しつつ以下に説明する。

まず、本発明の第１の実施例について、図１から図５を用いて説明する。図１は、本発明に係る映像再生装置の第１実施例の回路ブロック図を示すものであって、図示されるように、バッファリング部１００、映像速度変換部１０１、音声速度変換部１０２、ユーザインタフェース部１３２、表示部１４０及びスピーカー１５０を備える。本実施例では、映像再生装置は、表示部１４０及びスピーカー１５０を備えた、例えばＨＤＤ(Hard Disc Drive)等の記録媒体を内蔵するテレビジョン受像機とする。しかしながら、本実施例は、表示部１４０及びスピーカー１５０を備えないＨＤＤレコーダやＤＶＤレコーダ／プレーヤにも適用できることは言うまでも無い。

以下、各要素の動作、機能について詳細に説明する。

ユーザインタフェース部１３２は、ユーザからの再生速度指示１３１に従って当該再生速度を示す制御信号１３０を出力する。例えばユーザインタフェース部１３２がリモコン送受信機であるとき、再生速度指示１３１はリモコンに付随するボタン「早見」「遅見」の押下情報とする。ユーザインタフェース部１３２は、現在の再生速度を記憶しておき、再生速度指示５５０に応じて再生速度を±１０％増減させ、再生速度を指示するための制御信号１３０を出力する。すなわち、直前の再生速度が８０％であるときに「早見」ボタンが押された場合、再生速度を９０％とするための制御信号１３０を出力する。同様に、直前の再生速度が８０％であるときに、「遅見」ボタンが押された場合、再生速度を７０％とするための制御信号１３０を出力する。尚、ここでは、１００％を通常速度とし、これよりも低い場合は遅見再生、高い場合は早見再生とする。

ユーザインタフェース部１３２は、再生速度をユーザから受け付けるための入力機能を有していれば、どのような形態でもよい。上記の他に、例えば、リモコンに付随するテンキーで直接再生速度指示１３１をユーザに入力させてもよい。

バッファリング部１００は、入力映像信号１１０及び入力音声信号１２０を一時的に蓄えて出力する。このバッファリング部１００は、上記ユーザインタフェース部１３２からの再生速度を示す制御信号１３０に応じて、蓄えられた入力映像信号１１０および入力音声信号１２０の時間的な再配置を行う機能を有している。この時間的な再配置は、図２に示されるように、映像信号の場合は、入力映像信号１１０における複数の映像フレーム相互間の時間的間隔を制御することにより行われる。

図２は、入力映像信号１１０と、再生速度が７５％（遅見再生）とした場合の時間的に再配置された（すなわち映像フレーム間の時間的間隔が制御された）バッファリング部１００の出力映像信号１１１との時間的関係を示している。ここで、入力映像信号１１０の映像フレーム列は符号100-1〜100-6で示し、バッファリング部１００からの出力映像信号１１１の映像フレーム列は符号111-1〜111-5で示している。

制御信号１３０が７５％の再生速度を示す場合、バッファリング部１００は、入力映像信号１１０のフレームレートが６０Ｈｚ、すなわち映像フレーム間の時間的間隔（周期）が１／６０秒であるとすれば、その７５％の間隔、つまり図２のフレーム111-1〜111-5に示されるように、１／４５秒の周期に拡大制御して順次映像信号を出力する。

このようにして、上記バッファリング部１００で時間的な再配置された映像信号１１１は、映像速度変換部１０１に出力される。尚、本実施例に係るこのバッファリング部１００は、その入力映像信号の映像フレーム間の時間的間隔と、出力映像信号の映像フレーム間の時間的間隔とが異ならせることが可能であるため、例えば数分以上、可能であれば番組１本分（３０分〜２時間）以上の映像信号を蓄積可能な大容量な記憶デバイス（例えばＨＤＤ等）であることが好ましい。

映像速度変換部１０１は、バッファリング部１００から出力された時間的再配置された映像信号１１１から時間的に連続する２つの映像フレームを格納し、これから映像の動きを示す動きベクトルを検出する。この検出した動きベクトルを用いて、当該２つの映像フレームから例えば線形補間処理や加重平均処理などにより補間フレームを作成する。そして、制御信号１３０が示す再生時間に応じた時間的位置に映像フレームと補間フレームが配置されるように、時間的に再配置された映像フレームと補間フレームとを組み合わせることにより、バッファリング部１００からの出力映像信号１１１についてフレームレート変換を行う。これによって再生速度の変換を行い、速度変換映像信号１１２を生成する。

ここで、映像速度変換部１０１における動きベクトルの検出と補間フレームの作成の一例について、図１５を用いて説明する。本実施例では、動きベクトルの検出方法としては、従来から知られているブロックマッチング法や勾配法、位相限定相関法等が用いられる。ここでは、ブロックマッチング法を用いるものとする。また、図１５においては、２つの映像フレームのうち時間的に過去に出現した映像フレームを前フレームＦ２、現在時間に出現したフレームを現フレームＦ１とする。

図１５は、現フレームＦ１と、これに時間的に連続する前フレームＦ２との間に補間フレームＦｉを挿入する場合の動きベクトル検出の様子を示している。動きベクトルＭＶは、前フレームＦ２におけるある対象ブロック３１１が現フレームＦ１上のどこのブロックに動いたかを示すものとする。これらブロックは、ここではＮ×Ｎ画素の画素数を有するものとする。Ｎは整数であり、例えば２、４、８、１６等の数字が選ばれる。

先ず、前フレームＦ２における対象ブロック３１１と空間的に同一位置にある（すなわち点対称の位置にある）ブロック３１５を基準にして、現フレームＦ１上に所定ブロック数の検索範囲３１４を設定する。ここで、検索範囲３１４のブロック数は、水平方向１１個、垂直方向５個の計５５ブロックであるものとし、検索範囲３１４において、基準ブロック３１５の位置の座標を（０，０）とする。次に、設定された検索範囲３１４の各ブロックと前フレームＦ２における対象ブロック３１１との差分値をそれぞれ演算する。続いて、この演算の結果、差分が最も小さい検索範囲３１４内のブロックを、前フレームＦ２における対象ブロック３１１の現フレームＦ１における移動先のブロックとして判定する。この移動先のブロックと前フレームＦ２における対象ブロック３１１とを結ぶ直線が、図３において破線で示された動きベクトルとなる。図３において、例えばブロック３１３を上記差分が最小のブロックとすると、前フレームＦ２の対象ブロック３１１が破線で示された動きベクトルＭＶの方向に従って、現フレームＦ１上の座標は（５，２）に位置するブロック３１３に移動したことになる。

上記の検索範囲３１４の設定から動きベクトルＭＶの情報取得までの処理が前フレームＦ２の全てのブロックについて行われ、当該全ブロックのそれぞれについて動きベクトルＭＶが検出、設定される。尚、本実施例では複数の画素で構成されるブロック単位で動きベクトルを検出するようにしたが、上記の処理と同様な方法で画素毎に動きベクトルを検出してもよい。

ここで、図１５に示されるように現フレームＦ１と前フレームＦ２との間に１枚の補間フレームＦｉが挿入される場合を考える。この場合、前フレームＦ２の対象ブロック３１１は、補間フレームＦｉ内のブロック３１２（以下補間ブロックと称する）を通って、現フレームＦ１のブロック３１３に移動するものと推定される。従って、補間ブロック３１２の画素データは、前フレームＦ２の対象ブロック３１１の画素データと、動きベクトルＭＶによって指し示されるブロック３１３の画素データとの中間値もしくは平均値を演算する処理、例えば線形補間処理や加重平均処理等のフィルタリング処理により求めることができる。この演算（フィルタリング処理）を前フレームＦ２の全ブロックについて行うことにより補間フレームＦｉの全補間ブロックの画素データが求められ、動き補償型の補間フレームが作成される。

時間的に再配置されたバッファリング部１００の出力映像信号１１１から、補間フレームを作成して速度変換映像信号１１２を生成する様子が、図２に示されている。

図示されるように、バッファリング部１００からの（時間的に再配置された）出力映像信号１１１に含まれる映像フレーム、たとえば映像フレーム111-1と111-2から、例えば図１５で示された方法で補間フレーム112-2が生成される。同様に、補間フレーム112-3、112-4及び112-5は、それぞれ隣接する前後２つの出力映像信号１１１の映像フレームから生成される。但しフレーム112-1と112-5は、それぞれ出力映像信号１１１の映像フレーム111-1と111-4（入力映像信号の映像フレーム100-1と100-4）と同じものが使用される。つまり、再生速度が７５％の場合は１／４５秒に周期が拡大された映像フレームの３つ（例えばフレーム111-1〜111-3）のうち２つ（例えばフレーム111-2と111-3）を３枚の補間フレーム（例えばフレーム110-2〜111-4）と差し替える処理を周期的に行う。このようにして、補間フレームと時間的間隔が制御された映像フレームが組み合わされてフレームレートが４５Ｈｚから６０Ｈｚに変換され、再生速度が７５％にされた速度変換映像信号１１２が作成される。

尚、上記補間フレームを作成するためのフィルタリング処理は、その補間フレームの時間的位置に応じて制御される。例えば補間フレーム1112-4は、映像フレーム111-3との時間的距離と、映像フレーム111-4との時間的距離との比率が１：３であるとする。この場合、その補間フレーム112-4のあるブロックは、そのブロックを通過する動きベクトルＭＶによって指し示される映像フレーム111-3のブロックに１／４の係数を乗算し、さらに映像フレーム111-4のブロックに３／４の係数を乗算して互いに加算することにより求められる。

次に早見再生の場合について図３を参照しつつ説明する。図３は、再生速度１５０％（早見再生）の入力映像信号１００と時間的に再配置されたバッファリング部１００からの出力映像信号１１１の時間的関係、及び時間的に再配置されたバッファリング部１００からの出力映像信号１１１から、補間フレームを作成して速度変換映像信号１１２を生成する様子を示している。ここで、入力映像信号１１０の映像フレーム列は符号100-a〜100-fで示し、バッファリング部１００の出力映像信号１１１の映像フレーム列は符号111-a〜111-iで示している。また、速度変換映像信号のフレーム列は符号112-a〜112-fで示している。

制御信号１３０が１５０％の再生速度を示す場合、バッファリング部１００は、入力映像信号１１０のフレームレートが６０Ｈｚ、すなわち映像フレーム間の時間的間隔（周期）が１／６０秒であるとすれば、その１．５倍の間隔、つまり図２のフレーム111-1〜111-5に示されるように、１／９０秒の周期に短縮制御して順次映像信号を出力する。

映像速度変換部１０１は、上記のようにバッファリング部１００によって映像フレーム間隔が１／９０秒周期とされた映像信号について、動き補償型のフレームレート変換によりフレームレートが６０Ｈｚの速度変換映像信号１１２を生成する。かかる動き補償型のフレームレート変換は、ここでは、図３に示されるように、バッファリング部１００からの出力映像信号１１１における３つの映像フレーム（例えば111-a〜111-c）のうち、２つの映像フレーム（例えば111-b及び111-c）から図１５で説明したような方法で補間フレーム112-bを作成し、この補間フレーム112-bを当該２つの映像フレーム111-b及び111-cと差し替える処理であり、これが周期的に（３フレーム周期で）繰り返される。よって、速度変換映像信号１１２のフレーム112-a、112-c、111-eは、それぞれ出力映像信号１１１の映像フレーム111-a、111-d、111-gと同じものが使用される。このようにして、補間フレームと時間的間隔が制御された映像フレームが組み合わされてフレームレートが９０Ｈｚから６０Ｈｚに変換され、再生速度が１５０％にされた速度変換映像信号１１２が作成される。ここで、補間フレーム112-b、112-d、111-fは、隣接する前後２つの出力映像信号１１１の映像フレームに対してそれぞれ１：１の時間的距離となっているため、これら２つの隣接フレームから、係数１／２を用いてフィルタリング処理される。

上記のような時間的間隔が制御された映像信号の映像フレームと補間フレームとの組み合わせ処理、及びフィルタリング処理に用いられる係数も含めた補間フレームの生成処理は、制御信号１３０によって示される再生速度に応じて制御される。上記のように再生速度が７５％の場合は、１／４５秒に周期が拡大された３つの映像フレームのうち２つを３枚の補間フレームと差し替える処理を周期的に行うが、例えば再生速度が８０％の場合は、１／４８秒に周期が拡大された４つの映像フレームのうち３つを４枚の補間フレームと差し替える処理を周期的に行うように制御される。再生速度が１２０％の場合は、１／７２秒に周期が短縮された６つの映像フレームのうち５つを４枚の補間フレームと差し替える処理を周期的に行うように制御される。また、このときのフィルタリング処理に用いられる係数も、時間的間隔が制御された映像フレーム列と補間フレームとの時間的な位置関係に応じて適宜変更される。

上記のようにして映像速度変換部１０１で再生速度が変換された速度変換映像信号１１２は、例えば液晶パネルやＰＤＰ等で構成された表示部１４０に供給され、制御信号１３０が示す再生速度に変換された映像が再生、表示される。

一方、入力音声信号１２０についても、入力映像信号１１０と同様に制御信号１３０が示す再生速度に応じてバッファリング部１００により時間的間隔が制御される。例えば制御信号１３０が再生速度７５％（遅見再生）を示す場合、バッファリング部１００は、入力音声信号のサンプリングレートが４４ＫＨｚであれば、その０．７５倍の間隔、つまり３３ｋＨｚで順に音声信号を出力する。

音声速度変換部１０２は、バッファリング部１００によって時間的に再配置さした音声信号１２１を、制御信号１３０が示す再生速度に従って、速度変換された映像信号１１２と同じ速度になるように速度変換を行い、速度変換音声信号１２２出力する。

音声速度変換のアルゴリズムは各種提案されているが、本実施例は、ある極小時間単位に音声信号を時分割し、その分割された単位で音声信号を複製または削除により速度変換するアルゴリズムを用いるものとする。しかしながら、本発明は、このアルゴリズムに限定されるものでは無い。

図４は、上記アルゴリズムによって音声信号の再生速度の変換を行う様子を示すものであって、再生速度を遅くする（遅見再生）場合の変換の様子を示している。まず、入力音声信号１２１を、所定の時間単位に分割して分割音声信号121-1、121-2、121-3、121-4を得る。そして、制御信号１３０が示す再生速度に従う周期で当該分割音声信号の複製を行う。例えば入力音声信号１２０を７５％の速度に変換したい場合には、分割音声信号121-2及び121-4がそれぞれ２回連続して出現するように１つの所定時間単位おきに複製を行う。従って、速度変換音声信号122-1は、図４に示されるように、分割音声信号121-1、121-2、121-2、121-3、121-4、121-4…の順に出現する。

このアルゴリズムは、入力音声１２１を、サンプリングレートとは異なる周波数で強制的に再生する方法で速度変換した音声122-2と比較して、音の高さが変化しない利点がある。

図５は、再生速度を早くする（早見再生）場合の変換の様子を示している。この例では、入力音声信号１２１を時分割して得られた分割音声信号121-1〜121-4のうち121-2と121-4を削除して、２００％の速度に速度変換された音声１２２−３を生成している。従ってこの場合の速度変換音声信号122-1は、図５に示されるように、分割音声信号121-1、121-3…の順に出現する。

上記のようにして音声速度変換部１０２で再生速度が変換された速度変換音声信号１１２は、例えばスピーカー１５０に供給され、制御信号１３０が示す再生速度に変換された音声が映像と同期して再生、出力される。

以上の構成により、外部から与えられた制御信号１３０が示す速度情報に応じて映像と音声の速度を変えることができるため、ユーザが所望する再生速度で映像及び音声の再生が可能になる。

また、映像速度変換部１０１では、フレーム又はフィールド間で映像の動きに応じた内挿処理を行う為、なめらかで違和感を与えることを抑制して任意の速度に変換された映像を視聴できる。また、速度変換率が小さい場合は、映像を見ている人に速度変換の違和感を与えないようにすることができる。

さらに、音声速度変換部１０２は、時分割した音声を複製または削除することで速度変換された音声を出力するため、音の高さを変えずになめらかで違和感を与えることを抑制して任意の速度に変換された音声を視聴できる。また速度変換率が小さい場合は、音声を聞いている人に速度変換の違和感を与えないようにすることができる。更にまた、この音声の速度変換は、制御信号１３０に従い映像の速度変換と対応して実行されるため、再生速度が任意に変換された場合でも映像と音声の同期を取ることができる。

次に本発明の第２の実施例について、図６を用いて説明する。

この第２実施例は、図１に示された第１実施例の回路ブロックにおいて、ユーザインタフェース部１３２に代えて、映像や音声の編集に応じて再生速度を変換可能な映像音声編集部２０５を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図６では、表示部１４０及びスピーカ１５０の図示は省略している。また、バッファリング部１００、映像速度変換部１０１及び音声速度変換部１０２を、以下では纏めて「速度変換部」と呼ぶ場合もある。

映像音声編集部２０５は、入力映像信号１１０及び／または音声信号１２０に対して、ユーザの指示に応じて任意長の映像信号及び／または音声信号を挿入、あるいは入力映像信号１１０及び／または音声信号１２０から任意長の映像信号及び／または音声信号を削除し、バッファリング部１００に送信する。また、映像信号及び／または音声信号を挿入した場合は早見指示（再生速度１００％以上）を、映像信号及び／または音声信号を削除した場合は、再生速度の情報として遅見指示（再生速度１００％以下）を示す制御信号２３０を出力する。

また、映像音声編集部２０５は、入力映像信号１１０及び／または音声信号１２０を解析して、例えば受信したテレビジョン放送信号または外部機器で再生されたコンテンツからコマーシャル部分を検出して自動的に削除するように動作させてもよい。この場合、映像音声編集部２０５は、コマーシャル部分が削除されたため再生速度情報として遅見指示を示す制御信号２３０を速度変換部に送信する。このとき、再生速度は、視聴していて違和感がない程度に遅い速度に設定する。例えば９０％から９５％程度の遅見に設定しておく。

コマーシャル検出のアルゴリズムは各種提案されているが、本実施例はアルゴリズムの種類に限定されない。例えば、モノラル放送（本編）とステレオ放送（ＣＭ）の違いでＣＭ検出するアルゴリズムや、字幕の有無を検出してＣＭを検出する等の既知のアルゴリズムを利用することができる。

以上の構成により、本実施例によれば、映像を削除または追加しても、速度変換部は該削除または追加映像の情報も加味して再生速度を変えるため、映像を削除または追加しても総視聴時間を維持することができる。

また、映像音声編集部２０５がコマーシャル部分を削除する構成の場合、映像音声編集部２０５でコマーシャル部分を削除しつつ、再生速度を遅めにすることで、ＣＭ部分が削除された放送波をリアルタイムで視聴することができる。つまり、通常より９０％から９５％程度の遅見再生を続け、ＣＭが来るまでに、ＣＭ時間分の本編映像と音声のバッファリングができれば、リアルタイムにＣＭがカットされた映像を出力することが可能となる。例えば、９０％の遅見再生を１０分続ければ、実時間と１分間のズレが生じるため、１分間のＣＭをカットすることができる。

次に本発明の第３の実施例について、図７を用いて説明する。

この第３実施例は、図１に示された第１実施例の回路ブロックにおいて、ユーザインタフェース部１３２に代えて、番組表データ取得部４０５及び番組表データ解析部４０６を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図７では、表示部１４０及びスピーカ１５０の図示は省略している。

番組表データ取得部４０５は、インターネット回線や放送信号を通じて番組表（ＥＰＧ：Electronic Program guide）データ４５０を取得し、当該ＥＰＧデータを番組表データ解析部４０６に送る。

番組表データ解析部４０６は、番組表データ取得部４０５からＥＰＧデータを受け取り、現在再生中の番組に関する番組情報をＥＰＧデータから取得し、該番組情報を基に再生速度を決定して制御信号４３０を出力する。

このとき、番組表データ解析部４０６では、再生速度を例えば番組のジャンル情報によって決定する。番組表データ解析部４０６は、音楽番組であれば等速再生、ニュース番組であれば１２０％早見再生、といった情報をあらかじめ保持しておき、番組に応じた再生速度を決定し、その再生速度を示す制御信号４３０を速度変換部に出力する。番組のジャンル情報がＥＰＧデータに含まれるならば、それを利用してもよいし、ＥＰＧデータから番組のジャンルが判別できるような単語を表す文字列を検索してもよい。例えば、「音楽、ミュージック」「ニュース、報道」といった単語でＥＰＧデータ内の文字列を検索し、音楽番組、ニュース番組といった、ジャンル分けを行う。

以上の構成により、番組表データ取得部４０５で取得したＥＰＧデータを番組表データ解析部４０６で解析し、高速再生可能な番組（スポーツなど）、聞き取り易いように低速再生すべき番組（ニュースなど）、速度を変えてはならない番組（音楽など）に番組を分類することで、番組内容に応じた再生速度の変換を行うことができる。

次に本発明の第４の実施例について、図８を用いて説明する。

この第４実施例は、図１に示された第１実施例の回路ブロックにおいて、ユーザインタフェース部１３２に代えて、入力セレクタ部６０５及び再生速度制御部６０４を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図８では、表示部１４０及びスピーカ１５０の図示は省略している。

入力セレクタ部６０５は、複数の映像及び音声信号６５０、およびセレクタ信号６６０を入力とし、セレクタ信号６６０に応じて、映像及び音声信号６５０から、そのうち１つを選択して入力映像信号１１０及び入力音声信号１２０としてバッファリング部６００に送る。

例えば、複数の映像及び音声信号６５０に、録画機器から再生された映像及び音声信号と（以下、「録画信号」と呼ぶ）、テレビジョン放送の映像及び音声信号（以下、「放送信号」と呼ぶ）が含まれているとする。このとき、入力セレクタ部６０５では、録画信号については再生速度変換を行い、放送信号については再生速度変換を行わない、といったように入力信号の種類に応じた再生速度変換の有無を予め定めておく。

セレクタ信号６６０は、例えばユーザの指示に応じて出力される。入力セレクタ６０５部は、ユーザの指示により、録画機器で再生された映像及び音声信号を選択するためのセレクタ信号６６０が入力された場合、複数の入力映像および音声６５０から録画信号を選択して入力映像信号１１０及び入力音声信号１２０としてバッファリング部６００へ出力する。この選択と同時に、再生速度制御部６０４に、再生速度の変更を許可することを示す再生速度変更信号６７０を送信する。

一方、ユーザの指示により、テレビジョン放送の映像及び音声信号を選択するためのセレクタ信号６６０が入力された場合、入力セレクタ部６０５は、複数の映像及び音声信号６５０から放送信号を選択して入力映像信号１１０及び入力音声信号１２０としてバッファリング部６００へ出力する。この選択と同時に、再生速度制御部６０４に、再生速度の変更を不可とすることを示す再生速度変更信号６７０を送信する。

再生速度制御部６０４は、入力セレクタ部６０５から出力された再生速度変更信号６７０に基づいて、例えばユーザにより設定された再生速度を示す制御信号６３０を変更して変更制御信号６４０を出力する。例えば、入力セレクタ部６０５からの再生速度変更信号６７０が再生速度の変更許可を示す場合は、制御信号６３０をそのまま変更制御信号６４０として速度変換部へ送信する。一方、入力セレクタ部６０５からの再生速度変更信号６７０が再生速度の変更不可を示す場合は、制御信号６３０を１００％（速度変換しない）に変更して変更制御信号６４０として速度変換部へ送信する。

以上の構成により、本実施例によれば、入力セレクタ部６０５は複数の映像及び音声信号の選択に応じて速度変換の有無を決定するため、例えばレコーダに録画された映像及び音声信号が選択した場合は例えばユーザの指示に従い再生速度を変換し、受信したテレビジョン放送の映像及び音声信号を選択した場合は速度変換しない、といった制御が自動的に行える。

次に本発明の第５の実施例について、図９を用いて説明する。

この第５実施例は、図１に示された第１実施例の回路ブロックにおいて、ユーザインタフェース部１３２に代えて、再生速度決定部７０６及びデコード部７０５を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図９では、表示部１４０及びスピーカ１５０の図示は省略している。

デコード部７０５は、ネットワーク回線等で配信されているストリーミング放送データ７５０をデコードし、入力映像信号１１０および入力音声信号１２０をバッファリング部１００に出力する。また、ストリーミング放送データ７５０からエンコードレート（当該ストリーミング放送されるデータの配信速度）を解析し、エンコードレート７４０として再生速度決定部７０６に出力する。

再生速度決定部７０６は、ストリーミング放送データ７５０が送受信されているネットワーク回線の速度を測定する。ここで、ネットワーク回線の速度を測定はどのような方法を用いてもよいが、なるべくストリーミング放送データ７５０の実効転送速度と近い速度が検出できる方が望ましい。例えば、ストリーミング放送データ受信中に受信できた単位時間当たりの情報量をカウントし、ネットワーク回線の速度とすると良い。

さらに、再生速度決定部７０６は、上記測定したネットワークの回線速度とデコード部７０５から出力されたエンコードレート７４０とから、次の数１を用いて再生速度を演算する。
（数１） 再生速度［％］＝回線速度／エンコードレート×１００
上記式１の計算結果が１００％より大きい場合は、回線速度に余裕があり、ストリーミングデータをバッファリングするための待ち時間がほとんど生じないため、当該ストリームデータの再生速度を示す制御信号７３０として１００％を出力する。

一方、上記数１の演算結果が１００％未満の場合、従来のストリーミング放送受信機では、再生前あるいは再生途中に上記の待ち時間が要求される。しかしながら、本実施例では上記数１の演算結果をストリームデータの再生速度とする制御信号７３０を映像速度変換部１０１及び音声速度変換部１０２に出力することにより、当該ストリームデータの再生速度を制御している。これにより、当該ストリームデータの再生速度を回線速度に合わせることができるため、回線速度不足を原因とする待ち時間を短縮もしくは発生させないようにすることができる。ただし、回線速度があまりにも遅い場合（再生速度９０％よりも小さい場合）は、遅見再生に違和感が生じるため、上記数１により演算された再生速度に代えて予め設定された最低再生速度（例えば９０％）を示す制御信号７３０を出力し、当該最低再生速度でストリーミングデータを再生するようにしてもよい、また、この場合に、再生速度を制御せずに（すなわち遅見再生することなく）従来のストリーミング放送受信機と同様のバッファリングを行うようにしてもよい。例えば、ある程度の時間連続して再生可能な程度のバッファリングを行って再生し、バッファが空になり次第、再生を止めて再度バッファリングする、といったステップを繰り返してもよい。

本実施例では、回線速度決定部７０６によって、再生速度が決定されるタイミングは任意としているよいが、例えばストリーミング放送の受信開始時に決定し、ストリーミング放送の受信終了まで同じ再生速度を維持してもよい。この場合、常に再生速度が一定のため、遅見再生（再生速度７４０が１００％未満）の場合でも視聴時の違和感が軽減される。また、ストリーミング放送の受信時に常に再生速度を更新し続けてもよい。この場合、回線速度に若干の増減があっても、再生速度がそれに合わせて調整されるため、待ち時間が要求される可能性が少なくなる。

以上の構成により、再生速度決定部７０６は、ネットワークの回線速度とストリーム放送されたストリームデータのエンコードレート７４０を基に再生速度７３０を決定するため、回線速度が遅くても映像及び音声が途切れることなくスムーズに再生ができる。

また、再生速度決定部７０６は、上記数１で求めた再生速度と予め定めた最低再生速度とを比較し、再生速度の方が遅い場合には、例えば、該最低再生速度で再生するため、回線速度が遅すぎる場合にも違和感を低減して映像や音声を再生することができる。

次に本発明の第６の実施例について、図１０を用いて説明する。

この第６実施例は、図１に示された第１実施例の回路ブロックにおいて、映像重畳部８０５、音声切替部８０６及び出力セレクタ部８６０を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図１０では、ユーザインタフェース部１３２、表示部１４０及びスピーカ１５０の図示は省略している。

映像重畳部８０５は、入力映像信号１１０及び映像速度変換部１０１で速度変換された映像信号１１２を受け取り、当該入力映像信号１１０または入力映像信号１１０及び映像速度変換部１０１をスケーリング処理により縮小させ、入力映像信号１１０と速度変換映像１１２とを重畳した映像信号８１１を出力する。この重畳畳映像信号８１３と映像速度変換部１０１からの速度変換映像信号１１２は出力セレクタ部８６０に入力され、出力セレクタ部８６０は、セレクタ信号８５０に応答して重畳映像信号８１１と速度変換映像信号１１２のいずれか一方を表示部１４０へ出力する。

出力セレクタ部８６０が重畳映像信号８１１を選択した場合、表示部１４０には、図示しないが、例えば速度変換映像信号１１２の映像を親画面（主画面）とし入力映像信号１１０の映像を子画面（副画面）とした、いわゆるＰｉｎＰ画面が表示される。このＰｉｎＰ画面に代えて、同一サイズの速度変換映像信号１１２の映像と入力映像信号１１０の映像とを左右に並べて表示した、いわゆる並列２画面映像を表示するようにしてもよい。本実施例は、速度変換映像信号１１２の映像と入力映像信号１１０の映像が同時に視聴できればよいので、両映像の重畳は、どのような形態であってもよい。

一方、音声切替部８０６は、入力音声信号１２０及び音声速度変換部１０２により速度変換された音声信号が入力され、セレクタ信号８５０に応答していずれか一方の音声信号をスピーカへ出力する。

上記出力セレクタ部８６０及び音声切替部８０６における信号の選択動作を指示するためのセレクタ信号８５０は、例えばユーザの指示により生成されるものとする。ユーザが例えば速度変換映像の視聴中に現在放送中の番組を視聴したい場合、ユーザは例えばリモコンの「２画面表示」ボタンを操作する。この操作に応答してセレクタ信号８５０が生成され、出力セレクタ部８６０は当該セレクタ信号８５０に応答して重畳映像信号８１３を選択する。これと連動してに、音声切替部８０６はセレクタ信号８５０に応答して入力音声信号１２０を選択するように動作する。この音声の選択は映像の選択と連動させてもよいし、映像信号の選択とは独立したユーザの指示に応答して行うようにしてもよい。

以上のように、本実施例では、映像重畳部８０５と音声切替部８０６は、速度変換された映像に、速度変換されていない映像を重畳させて出力するため、速度変換された映像及び音声を視聴しながら例えば現在放送中の番組を確認することができる。特に、ニュース速報や緊急放送などライブで見ることに意味のある情報を、速度変換された映像及び音声を視聴しながら確認することができる。

また、重畳された映像に表示されたニュース速報や緊急放送などの音声を聴きたいときには、音声を速度変換された音声から、通常の速度を持つ入力音声に切り替えることができる。

次に本発明の第７の実施例について、図１１〜１２を用いて説明する。

この第７実施例は、図１に示された第１実施例の回路ブロックにおいて、映像切出部１２０７、映像重畳部１２０３並びに音声切替部１２０４を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図１１では、ユーザインタフェース部１３２、表示部１４０及びスピーカ１５０の図示は省略している。

映像切出部１２０７は、入力映像信号１１０のある特定の一部分を切り出し、切出映像信号１２３０として映像重畳部１２０３に出力するとともに、セレクタ信号１２５０を映像重畳部１２０３及び音声切替部１２０４に出力する。

ここで、映像切出部１２０７によって切り出される入力映像信号１１０の特定部分は、例えば映像の上端部、下端部、あるいは左右端部の部分であって、特にニュース速報や緊急放送のテロップ領域が出現する部分である。テロップは一般的に白色である高輝度で、かつ他の映像部分との輝度段差が大きいとの特性を持つ。このため、本実施例に係る映像切出部１２０７は、入力映像信号１１０の上下端部あるいは左右端部の映像内容を監視しておき、当該部分に所定値よりも高い輝度を持ちかつ所定値よりも大きい輝度段差（エッジ成分）を持つ信号が例えば十〜数十フレーム期間出現した場合は当該信号をテロップの信号として検出する。そして、当該検出したテロップの信号を含む領域を切り出して切出映像信号１２３０として映像重畳部１２０３に出力する。更に映像切出部１２０７は、この切出映像信号１２３０と入力映像信号１１０との重畳を許可するとともに、入力音声信号１２０を選択させるためのセレクタ信号１２５０を映像重畳部１２０３及び音声切替部１２０４に出力する。テロップ領域が検出されなかった場合は、セレクタ信号１２５０を送信しないか、または上記重畳を不許可とするセレクタ信号１２５０を送信する。また、映像切出部１２０７は、時刻テロップを切り出してもよい。

映像重畳部１２０３は、セレクタ信号１２５０として許可信号が送られてきた場合は、速度変換映像信号１１２に切出映像信号１２３０を重畳して表示部１４０へ出力する。セレクタ信号１２５０が送信されない場合またはセレクタ信号１２５０として不許可信号が送られてきた場合は、速度変換映像信号１１２をそのまま表示部１４０へ出力する。

また音声切替部１２０４は、セレクタ信号１２５０として許可信号が送られてきた場合は入力音声信号１２０を選択し、セレクタ信号１２５０が送信されない場合またはセレクタセレクタ信号１２５０として不許可信号が送られてきた場合は速度変換音声信号１２２を選択してスピーカ１５０出力する。

ここで、テロップを含む入力映像と映像重畳部１２０３によって得られた重畳映像信号の表示例を図１２に示す。図１２の上図に示すように、例えば入力映像の上端部にテロップ１３０２が出現した場合、映像切出部１２０７は、当該テロップ１３０２を上述の方法で検出して切り出す。映像重畳部１２０３は、テロップ１３０２を速度変換された映像１３０４に重畳して図１２の下図に示すような表示映像を得る。ここで、テロップ１３０２が重畳される画面上の座標は任意としてよいが、図１２の下図に示すように入力映像と同じ座標とすれば違和感が低減される。

本実施例は、テロップ領域の検出及び切出しは、上気した以外にも、さまざまな方法が用いられる。例えば、ニュース速報テロップや緊急放送のテロップが最も現れやすいと考えられる入力映像１２１０の上部の領域において、輪郭がハッキリとしている横長の領域が、数フレーム以上同じ座標で検出できれば、当該テロップと見なしてよい。また、時刻テロップは、入力映像１２１０の左上または右上の領域において、輪郭がハッキリとしている領域が、数フレーム以上同じ座標で検出できれば、時刻テロップと見なしてよい。

以上のように、本実施例では、映像切出部１２０７は入力映像からある一部分を切り出し、映像重畳部１２０３は、速度変換映像信号１１２に、該切り出した映像を重畳して出力するため、速度変換された映像と音声を全画面で視聴しながら、ライブで見ることに意味のある情報の重要部分を確認できる。

特に、該映像切出部１２０７がニュース速報や緊急放送のテロップ領域を切り出す構成の場合には、当該切出されたテロップ領域が速度変換映像信号１１２に重畳されるため、速度変換された映像および音声を視聴しつつ、ニュース速報などのテロップについてはライブで確認できる。すなわち本実施例によれば、テロップとともにニュース速報や緊急放送が放送された場合は、速度変換された映像と音声を視聴中でも、当該テロップを自動的にユーザに提供することができる。また、音声切替部は、ニュース速報などのテロップが流れたときに、音声を自動的に入力音声に切り替えるため、ユーザはニュース速報などの音声を聞き逃すことが防止される。

また、映像切り出し部１２０７が時刻テロップを切り出す構成の場合には、当該切出された時刻テロップ領域が速度変換映像信号１１２に重畳されるため、速度変換された映像および音声を視聴しているときに、ユーザは正確な時刻を確認できる。

次に本発明の第８の実施例について、図１３を用いて説明する。

この第８実施例は、図１に示された第１実施例の回路ブロックにおいて、出力セレクタ部１６０５及び映像・音声解析部１６０６を加えた構成となっている。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図１２では、ユーザインタフェース部１３２、表示部１４０及びスピーカ１５０の図示は省略している。

映像・音声解析部１６０６は、例えば第７実施例で説明した映像切出部１２０７と同様な方法で、入力映像信号１１０からニュース速報や緊急放送のテロップの出現を検出して出力セレクタ信号１６３０を出力する。また入力音声信号１２０からニュース速報や緊急放送の放送開始を検出するようにしてもよい。

出力セレクタ部１６０５は、入力映像信号１１０及び映像速度変換部からの速度変換映像信号１１２と、更に入力音声信号１２０と音声速度変換部からの速度変換音声信号１２２が入力される。そして出力セレクタ部１６０５は、映像・音声解析部１６０６から出力セレクタ信号１６３０を受信した場合、すなわち映像・音声解析部１６０６が入力映像にニュース速報や緊急放送のテロップが出現したと検出した場合は、入力映像信号１１０と入力音声信号１２０を選択して出力する。出力セレクタ信号１６３０を受信しない場合、すなわち映像・音声解析部１６０６が入力映像から上記テロップを検出しない場合は、速度変換映像信号１１２と速度変換音声信号１２２を選択して出力する。

以上のように、本実施例では、速度変換映像信号１１２及び速度変換音声信号１２２の視聴中にニュース速報や緊急放送が放送されたときには、出力セレクタ信号１６３０により自動的に当該ニュース速報や緊急放送に切り替えてその映像及び音声を出力することができるので、ユーザは速度変換された映像や音声を見ていても、ライブで見ることに意味のある情報を見逃すことが防止される。

次に本発明の第９の実施例について、図１４を用いて説明する。

本実施例に係る特殊再生装置は、送信機器１５７０及び映像再生装置１５７１より構成される。本実施例において、第１実施例で説明した要素と同じ機能、動作を有する要素については同一の符号を付して重複した説明を省略するものとする。尚、図１４では、表示部１４０及びスピーカ１５０の図示は省略している。

送信機器１５７０は、映像データ記憶部１５４０、音声データ記憶部１５４１、再生速度記憶部１５４２、映像データ送信部１５５０、音声データ送信部１５５１及び再生速度送信部１５５２を備えている。送信機器１５７０は、映像及び音声を送信する機器であり、放送局に設置される機器とする。

映像再生装置１５７１は、更に第１実施例にて説明したバッファリング部１００および映像速度変換部１０１及び音声速度変換部１０２を備えるとともに、映像データ受信部１５６０、音声データ受信部１５６１、再生速度データ受信部１５６２、再生速度候補提示部１５９１及び再生速度候補入力部１５０２を備えている。映像再生装置１５７１は、映像および音声を受信する機器であり、例えばテレビジョン受像機やＤＶＤレコーダやＨＤＤレコーダ等の視聴者が利用できる機器としている。

放送局で送信する番組の映像データと音声データは、番組ごとに、映像データ記憶部１５４０及び音声データ記憶部１５４１に格納される。再生速度データ記憶部１５４２には、当該番組ごとに、その番組をどの程度の速度で再生することを許可するかを示す再生速度データが格納される。つまり、映像製作者や放送局が、視聴者が番組をどの速度で見ることを許可するか指示できる。

該速度情報データは、例えば、（１００％、９０％、１１０％）といった複数の再生速度を含んでいる。この場合、該番組は標準速、標準速の９０％及び１１０％の速度で再生することが許可されることを示す。また、（１００％）の場合は、映像と音声は標準速で再生することのみが許可され、速度変換して再生することは許可されない。

映像データ送信部１５５０は映像データ記憶部１５４０に格納された映像データ１５２４を、音声データ送信部１５５１は音声データ記憶部１５４１に格納された音声データ１５１４を、再生速度データ送信部１５５２は再生速度データ記憶部１５４２に格納された再生速度データ１５３４を、それぞれ任意の通信手段を介して、映像再生装置１５７１に送信する。

映像再生装置１５７１において、映像データ受信部１５６０、音声データ受信部１５６１及び再生速度受信部１５６２は、それぞれ、映像再生装置１５７１の外部から任意の通信手段を介して伝送された映像データ１５２３、音声データ１５１３及び再生速度データ１５３３を受信し、当該受信された映像データ１５２３及び音声データ１５１３をバッファリング部１００に送る。再生速度受信部１５６２で受信した再生速度データ１５３５は、再生速度候補提示部１５９１及び再生速度候補入力部に送信される。

再生速度候補提示部１５９１は、ある番組を視聴しようとする際、例えば番組選択操作に応答して、その番組に対応する再生速度データ１５３５に含まれる速度情報を映像再生装置１５７１のユーザに提示する。例えば、表示部１４０の画面上に、再生速度データ１５３５に含まれる速度情報に基づいて、再生速度の候補として（９０％、１００％、１１０％）と表示し、ユーザに該番組がどのような速度で再生することが許可されているのか伝える。更にこの表示された複数の再生速度候補は、そのいずれかがユーザに選択可能にされる。

再生速度入力部１５９２は、ユーザによる再生速度の指示、すなわち再生速度候補の表示からの再生速度の選択指示を受け付け、再生速度データセレクタ信号１５３０としてバッファリング部１００、映像速度変換部１０１及び音声速度変換部１０２に送る。ユーザからの再生速度の指示（再生速度の選択）は、例えば映像再生装置１５７１にリモコンが付属していれば、そのテンキーで受け付けると良い。

このようにして映像再生装置１５７１のユーザは、視聴しようとする番組がどの速度で再生することが許可されているかを、再生速度候補提示部１５９１を通じて知り、再生速度入力部１５９２を通じて、提示された速度の中から任意の速度を選択できる。

映像再生装置が備えるバッファリング部１００、映像速度変換部１０１及び音声速度変換部１０２は、それぞれ上記第１の実施例（図１）と同様に、制御信号１３０に相当する再生速度データセレクタ信号１５３０が示す再生速度に応じた速度変換を行い、なめらかで自然に任意の速度に変換された速度変換映像信号１１２及び速度変換音声信号１２２を、それぞれここでは図示しない表示部１４０及びスピーカ１５０に出力する。

以上のように、本実施例では、送信機器１５７０は、映像製作者や放送局の意図（音楽番組は等速、ＣＭ部分は等速あるいは遅め、ニュースは倍速可など）に応じた再生速度を送信でき、かつ視聴者は送信された再生速度に基づいて再生速度を決定するため、番組に適した再生速度で視聴可能となる。また視聴者が無闇に再生速度を変更することを防ぐことができる。

また、映像再生装置１５７１は、送信機器１５７０から送信された再生速度１５３３に基づいて再生速度を決定するため、番組に適した再生速度で視聴可能となる。また視聴者が無闇に再生速度を変更するのを防ぐことができ、かつ映像製作者や放送局の意図どおりの再生が可能になる。

以上説明した本発明の第１〜第９実施例は、それぞれ単独または任意に組み合わせて実施可能であることは言うまでも無い。例えば、第７及び第８実施例の制御信号１３０として、第２実施例で説明した映像の編集に基づく制御信号２３０や第３実施例で説明したｅｐｇデータに基づく制御信号４３０を適用することも可能である。これに限らず、様々組み合わせが可能である。

本発明は、映像及び音声を通常再生よりも早く再生する早見再生や遅く再生する遅見再生等の特殊再生機能を備えた映像再生装置に利用することができ、これら特殊再生された映像、音声の違和感を低減するのに好適である。

本発明に係る映像再生装置の第１実施例を示すブロック図 第１実施例に係る遅見再生時の映像処理の一例を示す図 第１実施例に係る早見再生時の映像処理の一例を示す図 第１実施例に係る遅見再生時の音声処理の一例を示す図 第１実施例に係る早見再生時の音声処理の一例を示す図 本発明に係る映像再生装置の第２実施例を示すブロック図 本発明に係る映像再生装置の第３実施例を示すブロック図 本発明に係る映像再生装置の第４実施例を示すブロック図 本発明に係る映像再生装置の第５実施例を示すブロック図 本発明に係る映像再生装置の第６実施例を示すブロック図 本発明に係る映像再生装置の第７実施例を示すブロック図 第７実施例に係る速度変換映像とテロップの重畳表示の一例を示す図 本発明に係る映像再生装置の第８実施例を示すブロック図 本発明に係る映像再生装置の第９実施例を示すブロック図 動きベクトルの検出と補間フレーム作成の一例を示す図

符号の説明

１００…バッファリング部
１０１…映像速度変換部
１０１…音声速度変換部
１１０…入力映像信号
１１２…速度変換映像信号
１２０…入力音声信号
１２２…速度変換音声信号
１３０…制御信号
１３２…ユーザインタフェース部
１４０…表示部
１５０…スピーカ
２０５…映像音声編集部
４０５…番組表データ取得部
４０６…番組表データ解析部
６０４…再生速度制御部
６０５…入力セレクタ部
７０５…デコード部
７０６…再生速度決定部
８０５、１２０３…映像重畳部
８０６、１２０４…音声切替部
８６０、１４０５…出力セレクタ部
１２０７…映像切出部
１６０６…映像解析部
１５４０…映像データ記憶部
１５４１…音声データ記憶部
１５４２…再生速度データ記憶部
１５５０…映像データ送信部
１５５１…音声データ送信部
１５５２…再生速度データ送信部
１５６０…映像データ受信部
１５６１…音声データ受信部
１５６２…再生速度データ受信部
１５７０…送信機器
１５７１…映像再生装置
１５９１…再生速度候補提示部
１５９２…再生速度候補入力部

Claims (18)

1. 映像再生装置において、
   入力映像信号を一時的に保持して出力するとともにバッファリング部と、
   前記バッファリング部から出力された映像フレームを複数用いて映像の動きに応じた補間フレームを作成し、該補間フレームと前記バッファリング部からの映像フレームとを組み合わせて再生速度が変換された映像信号を出力する映像速度変換部と、
   を備え、バッファリング部及び前記映像速度変換部に再生速度を指定するための制御信号が入力され、
   前記バッファリング部から出力される映像信号の映像フレームの時間的間隔、並びに前記映像速度変換部における前記補間フレームの作成処理及び前記組み合わせ処理が、前記制御信号に応じて制御されることを特徴とする映像再生装置。
2. 請求項１に記載の映像再生装置において、
   更に、前記制御信号応じて入力音声信号の再生速度を変換する音声速度変換部を備え、
   該音声速度変換部は、音声を時分割するとともに、該時分割した音声信号を前記制御信号が示す再生速度に応じたタイミングで、周期的に複製または削除することで前記音声信号の再生速度を変換することを特徴とする映像再生装置。
3. 請求項１に記載の映像再生装置において、
   更に、ユーザの指示により再生速度を設定し、該設定された再生速度に基づき前記制御信号を生成して出力するためのユーザインタフェース部を備えることを特徴とする映像再生装置。
4. 請求項２に記載の映像再生装置において、
   更に、映像及び音声を削除または追加するための映像音声編集部を備え、
   前記制御信号は、前記映像音声編集部により映像及び音声を削除または追加した時間に応じた再生速度に基づき生成されることを特徴とする映像再生装置。
5. 請求項４に記載の映像再生装置において、
   前記映像音声編集部は、映像及び音声からコマーシャル部分を識別する識別部を含み、
   前記識別部で識別されたコマーシャル部分が前記映像音声編集部により削除されるような編集がされた場合に、前記映像音声編集部は、前記削除されたコマーシャル部分の時間に基づき再生速度を決定して前記制御信号を出力し、
   前記バッファリング部、前記映像速度変換部及び前記音声速度変換部により、前記制御信号に従い、前記入力映像信号及び入力音声信号からコマーシャル部分を削除した映像を、該入力映像信号及び入力音声信号よりも遅く再生することを特徴とする映像再生装置。
6. 請求項１に記載の映像再生装置において、
   更に、番組表に関する情報を取得する番組表データ取得部と、該番組表データ取得部で取得した該番組表データを解析し、番組の内容に応じて再生速度を決定して前記制御信号を出力する番組表データ解析部と、備えることを特徴とする映像再生装置。
7. 請求項１に記載の映像再生装置において、
   更に、複数の入力映像及び入力音声を切り替え、該切り替えに応じた再生速度に基づく前記制御信号を出力するセレクタ部を備えることを特徴とする映像再生装置。
8. 請求項１に記載の映像再生装置において、
   更に、入力ストリームをデコードし、入力映像信号、入力音声信号及びエンコードレートを出力するデコード部と、前記入力映像信号及び前記入力音声信号が通信される回線の速度を検出し、該回線速度と前記デコード部から出力された前記エンコードレートに基づき再生速度を決定して前記制御信号を出力する再生速度決定部とを備えることを特徴とする映像再生装置。
9. 請求項８に記載の映像再生装置において、
   前記再生速度決定部は、前記回線速度と予め定められた最低再生速度とを比較し、前記回線速度が前記最低再生速度よりも遅い場合は、該最低再生速度を再生速度とするための制御信号を出力することを特徴とする映像再生装置。
10. 請求項１に記載の映像再生装置において、更に、
    前記映像速度変換部により再生速度が変換された映像信号に前記入力映像を重畳させるための映像重畳部と、
    前記音声速度変換部により再生速度が変換された音声信号と前記入力音声信号とのいずれかを切り替えて出力するための音声切替部と、を備え、
    前記映像重畳部によって、前記再生速度が変換された映像と前記再生速度が変換されていない映像とを同時に出力しつつ、前記音声切替部によって、前記再生速度が変換された音声と前記再生速度が変換されていない音声のいずれかを出力可能に構成したことを特徴とする映像再生装置。
11. 請求項１０に記載の映像再生装置において、更に、
    前記入力映像信号の一部領域を切り出して前記映像重畳部に送信する映像切出部を設け、
    前記再生速度が変換された映像に前記映像切出部で切り出された前記再生速度が変換されていない映像の一部を重畳して表示可能にしたことを特徴とする映像再生装置。
12. 請求項１１に記載の映像再生装置において、
    前記映像切出部は、入力映像信号からテロップ領域を検出するように構成されており、該テロップが検出された場合に、当該テロップを切り出して前記映像重畳部に出力するとともに、前記映像重畳部及び前記音声切替部にセレクタ信号を出力するように構成されており、
    前記映像切り出し部が前記テロップを検出した場合、前記映像重畳部は、前記セレクタ信号に応答して前記映像切出部から出力されたテロップが重畳され、かつ再生速度が変換された映像信号を出力し、前記音声切替部は、前記セレクタ信号に応答して前記再生速度が変換されていない入力音声信号を選択して出力することを特徴とする映像再生装置。
13. 請求項１に記載の映像再生装置において、更に、
    前記映像速度変換部により再生速度が変換された映像信号と、前記再生速度が変換されていない入力映像信号とのいずれか一方を選択して出力するとともに、前記音声速度変換部により再生速度が変換された音声信号と、前記再生速度が変換されていない入力音声信号とのいずれか一方を選択して出力する出力セレクタ部を備えることを特徴とする映像再生装置。
14. 請求項１３に記載の映像再生装置において、更に、
    前記入力映像信号または前記入力音声信号から特定内容の映像信号または音声信号を検出し、前記出力セレクタ部にセレクト信号を送信するための映像・音声解析部を備え、
    前記出力セレクタ部は、前記映像・音声解析部が前記特定内容の映像信号または音声信号を検出した場合に、前記セレクタ信号に応答して前記入力映像信号及び前記入力音声信号を選択して出力することを特徴とする映像再生装置。
15. 請求項１４に記載の映像再生装置において、
    前記特定内容の映像信号または音声信号は、ニュース速報及び／または緊急報道に関するテロップまたは音声信号であり、
    再生速度が変換された映像および音声を視聴中にニュース速報及び／または緊急報道が放送されたときは前記映像・音声解析部により当該ニュース速報及び／または緊急報道に関するテロップまたは音声信号を検出し、前記出力セレクタ部により再生速度が変換された映像および音声から前記入力映像信号及び入力音声信号に切り替えることを特徴とする映像再生装置。
16. 映像信号及び音声信号を送信する送信機器と、該送信機器からの映像信号及び音声信号を受信して再生する映像再生装置とを備えた映像システムにおいて、
    前記送信機器は、前記映像信号及び音声信号と、更に前記映像信号及び音声信号の再生速度に関するデータを送信する再生速度データ送信部を含み、
    前記映像再生装置は、前記送信機器からの前記再生速度データを取得する再生速度データ受信部と、
    前記再生速度データ受信部により受信した前記再生速度データに従って、前記送信機器から送信された映像信号及び音声信号の再生速度を変換して出力する速度変換部と、
    を含むことを特徴とする映像システム。
17. 請求項１６に記載の映像システムにおいて、
    前記速度変換部は、
    前記送信機器からの映像信号を一時的に保持して出力するとともにバッファリング部と、
    前記バッファリング部から出力された映像フレームを複数用いて映像の動きに応じた補間フレームを作成し、該補間フレームと前記バッファリング部からの映像フレームとを組み合わせて再生速度が変換された映像信号を出力する映像速度変換部と、
    を備え、バッファリング部及び前記映像速度変換部に前記再生速度データ受信部により受信した前記再生速度データが入力され、
    前記バッファリング部から出力される映像信号の映像フレームの時間的間隔、並びに前記映像速度変換部における前記補間フレームの作成処理及び前記組み合わせ処理が、前記再生速度データに応じて制御されることを特徴とする映像再生装置。
18. 映像の再生速度を変換するための方法であって、
    入力された映像信号における映像フレーム間の時間的間隔を、指定された再生速度に応じて制御し、
    前記時間的間隔が制御された映像フレームを複数用いて映像の動きベクトルを検出して補間フレームを作成し、
    前記時間的間隔が制御された映像フレームと前記補間フレームとを組み合わせて前記入力映像信号の再生速度を変換する、
    ことを特徴とする映像の再生速度変換方法。

Images