JP2013110572A - 再生装置、再生方法、及びプログラム - Google Patents
再生装置、再生方法、及びプログラム Download PDFInfo
- Publication number
- JP2013110572A JP2013110572A JP2011253866A JP2011253866A JP2013110572A JP 2013110572 A JP2013110572 A JP 2013110572A JP 2011253866 A JP2011253866 A JP 2011253866A JP 2011253866 A JP2011253866 A JP 2011253866A JP 2013110572 A JP2013110572 A JP 2013110572A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- video
- frame
- stream
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Abstract
【課題】チャンネル選局時に遅延なく、選局したチャンネルの再生を開始しつつ、リアルタイム再生を実現することができるようにする。
【解決手段】制御部は、映像バッファ及び音声バッファに蓄積されるストリームの占有量を監視し、映像バッファ及び音声バッファにおけるストリームの占有量が所定の基準値に達していない場合、映像復号部及び音声復号部にて行われる復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、占有量が所定の基準値に達した場合、フレームのフレームレートが、通常の通常フレームレートとなるように制御する。本技術は、例えば、デジタルテレビジョン放送信号を受信するデジタル放送受信装置に適用可能である。
【選択図】図1
【解決手段】制御部は、映像バッファ及び音声バッファに蓄積されるストリームの占有量を監視し、映像バッファ及び音声バッファにおけるストリームの占有量が所定の基準値に達していない場合、映像復号部及び音声復号部にて行われる復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、占有量が所定の基準値に達した場合、フレームのフレームレートが、通常の通常フレームレートとなるように制御する。本技術は、例えば、デジタルテレビジョン放送信号を受信するデジタル放送受信装置に適用可能である。
【選択図】図1
Description
本技術は、再生装置、再生方法、及びプログラムに関し、特に、チャンネル選局時に遅延なく、選局したチャンネルの再生を開始しつつ、リアルタイム再生を実現することができるようにした再生装置、再生方法、及びプログラムに関する。
デジタルテレビジョン放送信号を受信するデジタル放送受信装置においては、伝送系のジッタ等に対応するため、ストリーム用のバッファを設けて、バッファに蓄積されたストリームを再生することが一般的に行われている。また、チャンネル選局が行われた直後は、このバッファが空の状態であるため、適当量のストリームのデータを溜めるために、再生開始までには遅延が生ずることになる。
このような遅延を解消するための技術としては、例えば、特許文献1が知られている。特許文献1には、チャンネル選局時にてバッファに十分なストリームが蓄積されるまで、通常時よりもゆっくりとした速度でのスロー再生を行うデジタル放送受信装置が開示されている。
特許文献1に開示されたデジタル放送受信装置においては、チャンネル選局時に、映像の復号・表示時間と音声の出力時間を遅延させて、通常時よりもゆっくりとした速度でのスロー再生を行うことで、チャンネル選局時でも映像と音声を出力できるようにしている。
しかしながら、当該デジタル放送受信装置では、チャンネル選局時にスロー再生を行っているため、リアルタイムでの映像と音声を出力することができない。
本技術はこのような状況に鑑みてなされたものであり、チャンネル選局時に遅延なく、選局したチャンネルの再生を開始しつつ、リアルタイム再生を実現することができるようにするものである。
本技術の一側面の再生装置は、伝送されるストリームを取得する取得部と、取得した前記ストリームを蓄積するバッファと、前記バッファからの前記ストリームに対する復号処理を行う復号部と、前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部とを備える。
前記制御部は、前記占有量が前記基準値に達していない場合、前記バッファの容量に対する前記占有量の割合に応じて、前記低フレームレートを連続的に変更する。
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームを用いて補間フレームを生成し、その補間フレームを前記低フレームレートの映像フレームに挿入してフレーム数を変換する映像変換部をさらに備える。
前記映像変換部は、前記補間フレームを生成して前記低フレームレートの映像フレームに挿入することで、前記通常フレームレートでのフレーム数に変換する。
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームに同期した音声フレームに対応する音声信号のピッチを変換して、音声のピッチを上げる音声変換部をさらに備える。
前記再生装置は、デジタルテレビジョン放送信号を受信する受信装置であって、前記取得部は、選局されたチャンネルに対応するデジタルテレビジョン放送のストリームを取得する。
再生装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術の一側面の再生方法及びプログラムは、前述した本技術の一側面の再生装置に対応する再生方法及びプログラムである。
本技術の一側面の再生装置、再生方法、及びプログラムにおいては、伝送されるストリームが取得され、取得された前記ストリームを蓄積する前記バッファからの前記ストリームに対する復号処理が行われ、前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御され、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御される。
本技術の一側面によれば、チャンネル選局時に遅延なく、選局したチャンネルの再生を開始しつつ、リアルタイム再生を実現することができる。
以下、図面を参照しながら本技術の実施の形態について説明する。
<第1の実施の形態>
[デジタル放送受信装置の構成例]
図1は、本技術を適用したデジタル放送受信装置の一実施の形態の構成を示す図である。
[デジタル放送受信装置の構成例]
図1は、本技術を適用したデジタル放送受信装置の一実施の形態の構成を示す図である。
デジタル放送受信装置1は、チューナ11、復調部12、分離部13、映像バッファ14、映像復号部15、映像変換部16、表示部17、音声バッファ18、音声復号部19、音声変換部20、音声出力部21、制御部31、操作部32、及びメモリ33から構成される。
チューナ11には、アンテナ(不図示)により受信されたデジタルテレビジョン放送信号(RF(Radio Frequency)信号)が入力される。チューナ11は、アンテナから入力されたRF信号を、IF(Intermediate Frequency)信号に周波数変換し、復調部12に出力する。
復調部12は、チューナ11から入力されるIF信号に対して、例えばOFDM(Orthogonal Frequency Division Multiplexing:直交周波数分割多重方式)復調等の所定の復調処理や所定の誤り訂正処理を施し、その結果得られるトランスポートストリームを、分離部13に出力する。
分離部13は、復調部12から入力されるトランスポートストリームを、映像ストリームと音声ストリームに分離する。分離部13は、分離された映像ストリームを映像バッファ14に出力し、分離された音声ストリームを音声バッファ18に出力する。
映像バッファ14は、制御部31からの制御に従い、分離部13から入力される映像ストリームを、順次記憶する。映像バッファ14に記憶された映像ストリームは順次、映像復号部15に出力される。
映像復号部15は、制御部31からの制御に従い、映像バッファ14から入力される映像ストリームを復号し、その結果得られる映像フレームを、映像変換部16に出力する。
映像変換部16は、制御部31からの制御に従い、映像復号部15から入力される映像フレームを用いて補間フレームを生成し、その補間フレームを映像フレームに挿入してフレーム数を変換する。このフレーム間に画像を内挿することによって、フレーム数(フレームレート)を変換する技術は、FRC(Frame Rate Converter)とも称される。
映像変換部16は、変換された映像フレームに対応する映像信号を、表示部17に出力する。なお、映像変換部16は、制御部31からの制御に従い、映像フレームのフレーム数を変換する必要がない場合、映像復号部15からの映像フレームに対応する映像信号を、そのまま表示部17に出力する。
表示部17は、例えばディスプレイから構成される。表示部17は、映像変換部16から入力される映像信号に対応する映像を表示する。
音声バッファ18は、制御部31からの制御に従い、分離部13から入力される音声ストリームを、順次記憶する。音声バッファ18に記憶された音声ストリームは順次、音声復号部19に出力される。
音声復号部19は、制御部31からの制御に従い、音声バッファ18から入力される音声ストリームを復号し、その結果得られる音声フレームを、音声変換部20に出力する。
音声変換部20は、制御部31からの制御に従い、音声復号部19から入力される音声フレームに対応する音声信号のピッチを変換する。
音声変換部20は、変換された音声信号を、音声出力部21に出力する。なお、音声変換部20は、制御部31からの制御に従い、音声信号のピッチを変換する必要がない場合、音声復号部19からの音声フレームに対応する音声信号を、そのまま音声出力部21に出力する。
音声出力部21は、例えばスピーカから構成される。音声出力部21は、音声変換部20から入力される音声信号に対応した音声を出力する。
制御部31は、メモリ33に記録されている制御用プログラムを実行することによりデジタル放送受信装置1の各部の動作を制御する。操作部32は、ユーザからの各種の操作を受け付けて、それに対応する操作信号を制御部31に出力する。制御部31は、操作部32からの操作信号に応じて、デジタル放送受信装置1の各部の動作を制御する。
また、制御部31は、映像バッファ14における映像ストリームの占有量を常時監視し、その監視結果に応じて、映像復号部15にて行われる映像ストリームの復号処理と、映像変換部16にて行われる映像フレームのフレーム変換処理を制御する。さらに、制御部31は、音声バッファ18における音声ストリームの占有量を常時監視し、その監視結果に応じて、音声復号部19にて行われる音声ストリームの復号処理と、音声変換部20にて行われる音声信号のピッチ変換処理を制御する。
なお、本実施の形態では、制御部31が、映像バッファ14及び音声バッファ18の双方を監視する例を説明するが、映像バッファ14及び音声バッファ18のいずれか一方のみを監視し、その監視結果に応じて、復号処理及び変換処理を制御するようにしてもよい。また、本実施の形態では、映像バッファ14と音声バッファ18を別々に設ける例を説明するが、それらのバッファは一体に構成されるようにしてもよい。
デジタル放送受信装置1は、以上のように構成される。
[再生処理]
次に、図2のフローチャートを参照して、デジタル放送受信装置1が実行する再生処理について説明する。
次に、図2のフローチャートを参照して、デジタル放送受信装置1が実行する再生処理について説明する。
ステップS11において、チューナ11は、アンテナ(不図示)により受信されたデジタルテレビジョン放送信号(RF信号)を取得する。チューナ11は、RF信号をIF信号に周波数変換して、復調部12に出力する。
ステップS12において、復調部12は、チューナ11からのIF信号に対して、OFDM復調等の復調処理や誤り訂正処理を行い、その結果得られるトランスポートストリームを分離部13に出力する。
ステップS13において、分離部13は、復調部12からのトランスポートストリームを、映像ストリームと、音声ストリームに分離する。これにより、分離部13により分離された映像ストリームが順次、映像バッファ14に記憶される。また、分離部13により分離された音声ストリームは順次、音声バッファ18に記憶される。
ステップS14において、映像復号部15及び映像変換部16は、制御部31の制御に従い、映像の復号と変換に関する映像復号変換処理を行う。
ここでは、制御部31が、映像バッファ14を常時監視し、映像バッファ14における映像ストリームの占有量が所定の基準値(割合)に達したか否かの判定結果に応じて、映像復号部15及び映像変換部16にて行われる映像復号変換処理を制御する。すなわち、映像復号部15及び映像変換部16は、制御部31からの制御に従い、映像ストリームの占有量が所定の基準値に達していない場合、映像フレームのフレームレートが、通常時よりも低いフレームレート(以下、低フレームレートという)となるように、映像復号変換処理を行う。また、映像復号部15及び映像変換部16は、制御部31からの制御に従い、映像ストリームの占有量が所定の基準値に達した場合、映像フレームのフレームレートが、通常時のフレームレート(以下、通常フレームレートという)となるように、映像復号変換処理を行う。
この映像復号変換処理の詳細は、図3のフローチャートを参照して後述する。
ステップS15において、音声復号部19及び音声変換部20は、制御部31の制御に従い、音声の復号と変換に関する音声復号変換処理を行う。
ここでは、制御部31が、音声バッファ18を常時監視し、音声バッファ18における音声ストリームの占有量が所定の基準値(割合)に達したか否かの判定結果に応じて、音声復号部19及び音声変換部20にて行われる音声復号変換処理を制御する。すなわち、音声復号部19及び音声変換部20は、制御部31からの制御に従い、音声ストリームの占有量が所定の基準値に達していない場合、音声フレームのフレームレートが、低フレームレートとなるように、音声復号変換処理を行う。また、音声復号部19及び音声変換部20は、制御部31からの制御に従い、音声ストリームの占有量が所定の基準値に達した場合、音声フレームのフレームレートが、通常フレームレートとなるように、音声復号変換処理を行う。
この音声復号変換処理の詳細は、図4のフローチャートを参照して後述する。
なお、説明の便宜上、ステップS15の音声復号変換処理は、ステップS14の映像復号変換処理の次に実行されるとして説明するが、実際には、映像復号変換処理と音声復号変換処理は並列的に実行される。
ステップS16において、制御部31は、操作部32からの操作信号に応じて、映像の再生を終了するか否かを判定する。ステップS16において、映像の再生を終了しないと判定された場合、処理は、ステップS11に戻り、以降の処理が繰り返される。
すなわち、例えばチャンネル選局時など、各バッファに十分なストリームが蓄積されていない状態の場合には、ステップS11乃至S16が繰り返され、各バッファにおけるストリームの占有量が所定の基準値に達するまで、低フレームレートでの再生が行われる。そして、低フレームレートでの再生を行うことで、各バッファには徐々にストリームが蓄積され、各バッファにおけるストリームの占有量が所定の基準値に達したとき、通常フレームレートでの再生が行われることになる。
なお、ステップS16において、映像の再生を終了すると判定された場合、図2の再生処理は終了される。
以上で再生処理の説明を終了する。
[映像復号変換処理]
次に、図3のフローチャートを参照して、図2のステップS14に対応する映像復号変換処理について説明する。
次に、図3のフローチャートを参照して、図2のステップS14に対応する映像復号変換処理について説明する。
ステップS31において、制御部31は、映像バッファ14における映像ストリームの占有量が所定の基準値に達しているか否かを判定する。
ここで、基準値とは、通常フレームレートでの再生が可能であるか否かを判定するための値である。基準値には、映像バッファ14の蓄積領域のハーフサイズ位置(半分の位置)付近の領域であって、バッファとして容量に余裕がある安定した領域に応じた範囲から求められた値が設定される。例えば、基準値としては、映像バッファ14における映像ストリームの占有量の割合が50%となるような値が設定される。
なお、基準値は、放送網や通信網などの状況により変動するジッタの量に応じて変更することができる。また、本実施の形態では、映像ストリームの占有量が所定の基準値に達するまでは、低フレームレートでの再生を行うことになるため、基準値は、フレームレートに応じて変更することもできる。
例えば、チャンネル選局時であると、映像バッファ14には、選局されたチャンネルの映像ストリームが蓄積されておらず、映像ストリームの占有量が所定の基準値に達していないので、処理は、ステップS32に進められる。
ステップS32において、制御部31は、映像バッファ14の容量に対する映像ストリームの占有量の割合に応じて、映像復号部15による復号処理で得られる映像フレームの低フレームレートを決定する。ここでは、例えば、通常フレームレートが、60fps(frames per second)である場合に、チャンネル選局時のタイミングで、映像バッファ14に映像ストリームが全く蓄積されていないとき、制御部31は、低フレームレートとして30fpsを決定する。
ステップS33において、映像復号部15は、制御部31の制御に従い、映像バッファ14から出力される映像ストリームを順次復号し、その結果得られる低フレームレートの映像フレームを、映像変換部16に出力する。ここで、映像変換部16に出力される映像フレームは、例えば、30fpsなど、ステップS32にて制御部31により決定された低フレームレートの映像フレームとなる。
ステップS34において、映像変換部16は、映像復号部15からの低フレームレートの映像フレームを用いて補間フレームを生成し、その補間フレームを低フレームレートの映像フレームに挿入してフレーム数を変換する。具体的には、映像変換部16は、映像復号部15からの映像フレームから、例えばブロックマッチング法や勾配法等を用いて動きベクトル情報を検出し、検出した動きベクトル情報を用いた動き補償により、原フレーム(映像復号部15からの映像フレーム)間の補間フレームを原フレームとともに順次出力することで、映像フレームのフレームレートを、例えば、毎秒30フレームから、毎秒60フレームに変換する。
ステップS35において、映像変換部16は、ステップS34のフレーム変換処理により得られた変換後の映像フレームに対応する映像信号を、表示部17に出力する。これにより、通常フレームレートでの映像の再生を行った場合と比べて、若干ゆっくりとした動きにはなるが、再生中の映像の動きを滑らかにすることが可能となる。
そして、ステップS35の処理が終了すると、処理は、図2のステップS14に戻り、それ以降の処理が繰り返される。すなわち、図2のステップS16において、映像の再生を終了すると判定されるまで、図2のステップS14に対応する、図3の映像復号変換処理が繰り返し実行される。
そして、図3の映像復号変換処理が実行される度に、映像バッファ14における映像ストリームの占有量が所定の基準値に達したか否かが判定され、占有量が所定の基準値に達していない場合には、当該占有量の割合に応じた低フレームレートが決定され、決定された低フレームレートの映像フレームが復号され、フレーム変換処理が施される。例えば、映像バッファ14における映像ストリームの占有量は、時間の経過とともに増加するため、制御部31は、その占有量の増加に応じて、低フレームレートのレートを順次高くなるように決定する。つまり、制御部31により決定される低フレームレートが、時間の経過とともに増加する映像フレームの占有量に応じて、通常フレームレートに近づくことになる。
なお、低フレームレートの初期値を、あらかじめ設定された固定の値に設定して、例えば、時間の経過とともに順次、レートが所定の値ずつ高くなるようにすることで、当該レートが最終的に、通常フレームレートと同一のレートとなるようにしてもよい。
その後、映像バッファ14に映像ストリームが蓄積されるとともに、低フレームレートでの再生が継続されることで、ステップS31において、映像バッファ14における映像ストリームの占有量が所定の基準値に達したと判定された場合、処理は、ステップS36に進められる。
ステップS36において、映像復号部15は、制御部31の制御に従い、映像バッファ14から出力される映像ストリームを順次復号し、その結果得られる通常フレームレートの映像フレームを、映像変換部16に出力する。
ここで、映像変換部16に出力される映像フレームは、例えば、60fpsなど、通常フレームレートの映像フレームとなる。映像変換部16は、通常フレームレートでの再生を行う場合、フレーム変換処理を行う必要がないため、映像復号部15からの映像フレームに対応する映像信号をそのまま、表示部17に出力する。これにより、通常フレームレートでの映像の再生が行われるが、映像フレームの占有量に応じて低フレームレートを連続的に変更していたため、低フレームレートを段階的に変更する場合に比べて、通常フレームレートに切り替わるときの違和感をなくすことができる。
なお、映像バッファ14における映像ストリームの占有量が所定の基準値に達した場合には、映像バッファ14には再生に必要となる映像ストリームが十分に蓄積されたことになるので、基本的には、その後、通常フレームレートでの再生が継続されることになる。
以上で映像復号変換処理の説明を終了する。
[音声復号変換処理]
次に、図4のフローチャートを参照して、図2のステップS15に対応する音声復号変換処理について説明する。
次に、図4のフローチャートを参照して、図2のステップS15に対応する音声復号変換処理について説明する。
ステップS51において、制御部31は、音声バッファ18における音声ストリームの占有量が所定の基準値(例えば、音声バッファ18における音声ストリームの占有量の割合が50%など)に達しているか否かを判定する。例えば、チャンネル選局時であると、音声バッファ18には選局されたチャンネルの音声ストリームが蓄積されておらず、当該占有量が所定の基準値に達していないので、処理は、ステップS52に進められる。
ステップS52において、制御部31は、音声バッファ18の容量に対する音声ストリームの占有量の割合に応じて、音声復号部19による復号処理で得られる音声フレームの低フレームレートを決定する。ここでは、例えば、通常時のサンプリング周波数が48kHzである場合に、チャンネル選局時のタイミングで、音声バッファ18に音声ストリームが全く蓄積されていないとき、制御部31は、サンプリング周波数として24kHzを決定する。
ステップS53において、音声復号部19は、制御部31の制御に従い、音声バッファ18から出力される音声ストリームを順次復号し、その結果得られる低フレームレートの音声フレームを、音声変換部20に出力する。ここで、音声変換部20に出力される音声フレームは、例えば、24kHzなど、ステップS52にて制御部31により決定されたサンプリング周波数の音声フレームとなる。
ステップS54において、音声変換部20は、音声復号部19からの低フレームレートの音声フレームに対応する音声信号に対してピッチ変換処理を行う。具体的には、サンプリング周波数が、例えば48kHzから24kHzに変更されると、音声のピッチ(音高)が低下するため、違和感なく視聴させるためには、音声のピッチの低下を抑制する必要がある。そこで、音声変換部20は、音声フレームに対応する音声信号のピッチを変換して、音声のピッチを上げる(音程を高くする)ことで、例えば、再生される音声のピッチが、通常時の再生と同一になるようにする。
ステップS55において、音声変換部20は、ピッチ変換処理により得られた変換後の音声信号を、音声出力部21に出力する。これにより、再生中の映像と同期して出力される音声のピッチの低下が抑制される。
そして、ステップS55の処理が終了すると、処理は、図2のステップS15に戻り、以降の処理が繰り返される。すなわち、図2のステップS16において、映像の再生が終了すると判定されるまで、図2のステップS15に対応する、図4の音声復号変換処理が繰り返し実行される。そして、図4の音声復号変換処理が実行される度に、音声バッファ18における音声ストリームの占有量が所定の基準値に達したか否かが判定され、占有量が所定の基準値に達していない場合には、当該占有量の割合に応じた低フレームレートが決定され、決定された低フレームレートの音声フレームが復号され、ピッチ変換処理が施される。
その後、音声バッファ18に音声ストリームが蓄積されるとともに、低フレームレートでの再生が継続されることで、ステップS51において、音声バッファ18における音声ストリームの占有量が所定の基準値に達したと判定された場合、処理は、ステップS56に進められる。
ステップS56において、音声復号部19は、制御部31の制御に従い、音声バッファ18から出力される音声ストリームを順次復号し、その結果得られる通常フレームレートの音声フレームを、音声変換部20に出力する。
ここで、音声変換部20に出力される音声フレームは、例えば、サンプリング周波数が48kHzなど、通常フレームレートの音声フレームとなる。音声変換部20は、通常フレームレートでの再生を行う場合、ピッチ変換処理を行う必要がないため、音声復号部19からの音声フレームに対応する音声信号をそのまま、音声出力部21に出力する。これにより、通常フレームレートでの音声の再生が行われる。
なお、音声バッファ18における音声ストリームの占有量が所定の基準値に達した場合には、音声バッファ18には再生に必要となる音声ストリームが十分に蓄積されたことになるので、基本的には、その後、通常フレームレートでの再生が継続されることになる。
以上で音声復号変換処理の説明を終了する。
以上のように、デジタル放送受信装置1においては、各バッファにおけるストリームの占有量が常時監視され、占有量が所定の基準値に達していない場合には、通常フレームレートよりも低い、低フレームレートのフレームが復号されるので、チャンネル選局時に遅延なく、選局したチャンネルの再生を開始しつつ、リアルタイム再生を実現することができる。
すなわち、占有量が所定の基準値に達していない場合でも、低フレームレートのフレームが復号され、再生を継続することが可能なため、例えば、チャンネル選局時にバッファにストリームが蓄積されていない場合でも、バッファにストリームが蓄積されるのを待つことなく、直ちにリアルタイム再生を開始することができる。これにより、チャンネルの切り替え時に、遅延なく、すばやく切り替え先のチャンネルの番組をリアルタイム再生することができる。
このとき、デジタル放送受信装置1では、フレーム変換処理とピッチ変換処理が行われることで、チャンネル選局時であっても、通常時の再生と同等の違和感のない、映像と音声をリアルタイム再生することが可能となる。
また、チャンネル選局時には、低フレームレートのフレームが復号されるので、バッファから読み出すストリームの量を減らす一方、バッファに蓄積されるストリームの量を増加させることが可能となる。その結果、バッファにおけるアンダフローの発生を回避することができる。また、通常フレームレートでの再生を行うために必要となるストリームが蓄積されるまでの時間を短縮して、迅速に、通常フレームレートでの再生が開始されるようにすることができる。
さらに、デジタル放送受信装置1には、前述したFRC機能を有するFRC回路を標準で備えているものもあり、その場合には、FRC回路を映像変換部16として用いることができるので、新たな回路等を追加することなく、既存の回路に対して本技術を適用することができる。
<第2の実施の形態>
[通信装置の構成例]
前述した説明では、デジタル放送受信装置1が、デジタルテレビジョン放送信号を受信する例を説明したが、本技術は、インターネットを介して、VOD(Video On Demand)配信を行う配信サーバからストリーミング配信されるコンテンツを受信する通信装置に適用することもできる。
[通信装置の構成例]
前述した説明では、デジタル放送受信装置1が、デジタルテレビジョン放送信号を受信する例を説明したが、本技術は、インターネットを介して、VOD(Video On Demand)配信を行う配信サーバからストリーミング配信されるコンテンツを受信する通信装置に適用することもできる。
図5は、本技術を適用した通信装置の一実施の形態の構成を示す図である。
図5において、図1と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図5の通信装置51は、図1のデジタル放送受信装置1と比べて、チューナ11及び復調部12の代わりに、インターネット41に接続するための通信部61が設けられている。
通信装置51は、例えばパーソナルコンピュータ、タブレット型コンピュータ、又は携帯電話機やスマートフォンなどの携帯端末装置等のインターネット41に接続可能な電子機器である。
通信部61は、配信サーバからパケット単位で伝送されるストリームを、インターネット41を介して受信し、分離部13に出力する。分離部13は、通信部61からのストリームを、映像ストリームと音声ストリームに分離し、映像バッファ14及び音声バッファ18にそれぞれ記憶させる。
そして、制御部31は、前述したように、映像バッファ14における映像ストリームの占有量を常時監視し、その監視結果に応じて、映像復号部15及び映像変換部16にて行われる映像復号変換処理を制御する。また、制御部31は、音声バッファ18における音声ストリームの占有量を常時監視し、その監視結果に応じて、音声復号部19及び音声変換部20にて行われる音声復号変換処理を制御する。
通信装置51は、以上のように構成される。
なお、前述した説明では、伝送されるストリームを再生可能な再生装置として、デジタル放送受信装置1及び通信装置51を一例に説明したが、それに限らず、本技術は、伝送されるストリームを再生可能なあらゆる分野の電子機器に適用することができる。
[本技術を適用したコンピュータの説明]
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図6は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記録部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記録部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記録部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、前述した一連の処理が行われる。
コンピュータ100(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ100では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記録部108にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部109で受信し、記録部108にインストールすることができる。その他、プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。
なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
ここで、本明細書において、コンピュータ100に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、前述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
を備える再生装置。
(2)
前記制御部は、前記占有量が前記基準値に達していない場合、前記バッファの容量に対する前記占有量の割合に応じて、前記低フレームレートを連続的に変更する
(1)に記載の再生装置。
(3)
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームを用いて補間フレームを生成し、その補間フレームを前記低フレームレートの映像フレームに挿入してフレーム数を変換する映像変換部をさらに備える
(1)又は(2)に記載の再生装置。
(4)
前記映像変換部は、前記補間フレームを生成して前記低フレームレートの映像フレームに挿入することで、前記通常フレームレートでのフレーム数に変換する
(3)に記載の再生装置。
(5)
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームに同期した音声フレームに対応する音声信号のピッチを変換して、音声のピッチを上げる音声変換部をさらに備える
(3)又は(4)に記載の再生装置。
(6)
前記再生装置は、デジタルテレビジョン放送信号を受信する受信装置であって、
前記取得部は、選局されたチャンネルに対応するデジタルテレビジョン放送のストリームを取得する
(1)乃至(5)のいずれかに記載の再生装置。
(7)
バッファを有する再生装置の再生方法において、
前記再生装置が、
伝送されるストリームを取得し、
取得した前記ストリームを蓄積する前記バッファからの前記ストリームに対する復号処理を行い、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する
ステップを含む再生方法。
(8)
コンピュータを、
伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
して機能させるためのプログラム。
伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
を備える再生装置。
(2)
前記制御部は、前記占有量が前記基準値に達していない場合、前記バッファの容量に対する前記占有量の割合に応じて、前記低フレームレートを連続的に変更する
(1)に記載の再生装置。
(3)
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームを用いて補間フレームを生成し、その補間フレームを前記低フレームレートの映像フレームに挿入してフレーム数を変換する映像変換部をさらに備える
(1)又は(2)に記載の再生装置。
(4)
前記映像変換部は、前記補間フレームを生成して前記低フレームレートの映像フレームに挿入することで、前記通常フレームレートでのフレーム数に変換する
(3)に記載の再生装置。
(5)
前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームに同期した音声フレームに対応する音声信号のピッチを変換して、音声のピッチを上げる音声変換部をさらに備える
(3)又は(4)に記載の再生装置。
(6)
前記再生装置は、デジタルテレビジョン放送信号を受信する受信装置であって、
前記取得部は、選局されたチャンネルに対応するデジタルテレビジョン放送のストリームを取得する
(1)乃至(5)のいずれかに記載の再生装置。
(7)
バッファを有する再生装置の再生方法において、
前記再生装置が、
伝送されるストリームを取得し、
取得した前記ストリームを蓄積する前記バッファからの前記ストリームに対する復号処理を行い、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する
ステップを含む再生方法。
(8)
コンピュータを、
伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
して機能させるためのプログラム。
1 デジタル放送受信装置, 11 チューナ, 12 復調部, 13 分離部, 14 映像バッファ, 15 映像復号部, 16 映像変換部, 17 表示部, 18 音声バッファ, 19 音声復号部, 20 音声変換部, 21 音声出力部, 31 制御部, 32 操作部, 33 メモリ, 51 通信装置, 61 通信部, 100 コンピュータ, 101 CPU
Claims (8)
- 伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
を備える再生装置。 - 前記制御部は、前記占有量が前記基準値に達していない場合、前記バッファの容量に対する前記占有量の割合に応じて、前記低フレームレートを連続的に変更する
請求項1に記載の再生装置。 - 前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームを用いて補間フレームを生成し、その補間フレームを前記低フレームレートの映像フレームに挿入してフレーム数を変換する映像変換部をさらに備える
請求項2に記載の再生装置。 - 前記映像変換部は、前記補間フレームを生成して前記低フレームレートの映像フレームに挿入することで、前記通常フレームレートでのフレーム数に変換する
請求項3に記載の再生装置。 - 前記占有量が前記基準値に達していない場合、前記復号処理で得られる前記低フレームレートの映像フレームに同期した音声フレームに対応する音声信号のピッチを変換して、音声のピッチを上げる音声変換部をさらに備える
請求項3に記載の再生装置。 - 前記再生装置は、デジタルテレビジョン放送信号を受信する受信装置であって、
前記取得部は、選局されたチャンネルに対応するデジタルテレビジョン放送のストリームを取得する
請求項1に記載の再生装置。 - バッファを有する再生装置の再生方法において、
前記再生装置が、
伝送されるストリームを取得し、
取得した前記ストリームを蓄積する前記バッファからの前記ストリームに対する復号処理を行い、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する
ステップを含む再生方法。 - コンピュータを、
伝送されるストリームを取得する取得部と、
取得した前記ストリームを蓄積するバッファと、
前記バッファからの前記ストリームに対する復号処理を行う復号部と、
前記バッファにおける前記ストリームの占有量が所定の基準値に達していない場合、前記復号処理で得られる再生用のフレームのフレームレートが、通常時よりも低い低フレームレートとなるように制御し、前記占有量が前記基準値に達した場合、前記フレームのフレームレートが通常時の通常フレームレートとなるように制御する制御部と
して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011253866A JP2013110572A (ja) | 2011-11-21 | 2011-11-21 | 再生装置、再生方法、及びプログラム |
CN201210458929XA CN103139638A (zh) | 2011-11-21 | 2012-11-14 | 再现设备、再现方法和程序 |
US13/676,476 US20130128953A1 (en) | 2011-11-21 | 2012-11-14 | Reproduction apparatus, reproduction method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011253866A JP2013110572A (ja) | 2011-11-21 | 2011-11-21 | 再生装置、再生方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013110572A true JP2013110572A (ja) | 2013-06-06 |
Family
ID=48426915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011253866A Pending JP2013110572A (ja) | 2011-11-21 | 2011-11-21 | 再生装置、再生方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130128953A1 (ja) |
JP (1) | JP2013110572A (ja) |
CN (1) | CN103139638A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015156604A (ja) * | 2014-02-21 | 2015-08-27 | ルネサスエレクトロニクス株式会社 | コンテンツ出力装置及びプログラム |
CN108989832A (zh) * | 2017-05-31 | 2018-12-11 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法及其设备、存储介质、终端 |
CN111541931A (zh) * | 2020-04-27 | 2020-08-14 | 杭州国芯科技股份有限公司 | 数字音视频解码设备在界面切换时防止产生闪烁的方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI557727B (zh) | 2013-04-05 | 2016-11-11 | 杜比國際公司 | 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品 |
CN103501458B (zh) * | 2013-10-17 | 2017-04-12 | 上海龙晶科技有限公司 | 实现解复用系统的片外动态存储器的数据存储和传输方法 |
CN111933189B (zh) * | 2014-09-12 | 2022-01-04 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
US10224055B2 (en) * | 2015-02-10 | 2019-03-05 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image pickup device, image processing method, and program |
US20170244894A1 (en) * | 2016-02-22 | 2017-08-24 | Seastar Labs, Inc. | Method and Apparatus for Managing Latency of Remote Video Production |
CN112601109A (zh) * | 2020-11-30 | 2021-04-02 | 海信视像科技股份有限公司 | 音频播放方法及显示设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549240B1 (en) * | 1997-09-26 | 2003-04-15 | Sarnoff Corporation | Format and frame rate conversion for display of 24Hz source video |
US7313318B2 (en) * | 1998-06-17 | 2007-12-25 | Victor Company Of Japan, Limited | Video signal encoding and recording apparatus with variable transmission rate |
US7676142B1 (en) * | 2002-06-07 | 2010-03-09 | Corel Inc. | Systems and methods for multimedia time stretching |
GB0300361D0 (en) * | 2003-01-07 | 2003-02-05 | Koninkl Philips Electronics Nv | Audio-visual content transmission |
JP2006186580A (ja) * | 2004-12-27 | 2006-07-13 | Toshiba Corp | 再生装置およびデコード制御方法 |
EP1843587A1 (en) * | 2006-04-05 | 2007-10-10 | STMicroelectronics S.r.l. | Method for the frame-rate conversion of a digital video signal and related apparatus |
-
2011
- 2011-11-21 JP JP2011253866A patent/JP2013110572A/ja active Pending
-
2012
- 2012-11-14 CN CN201210458929XA patent/CN103139638A/zh active Pending
- 2012-11-14 US US13/676,476 patent/US20130128953A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015156604A (ja) * | 2014-02-21 | 2015-08-27 | ルネサスエレクトロニクス株式会社 | コンテンツ出力装置及びプログラム |
CN108989832A (zh) * | 2017-05-31 | 2018-12-11 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法及其设备、存储介质、终端 |
CN111541931A (zh) * | 2020-04-27 | 2020-08-14 | 杭州国芯科技股份有限公司 | 数字音视频解码设备在界面切换时防止产生闪烁的方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130128953A1 (en) | 2013-05-23 |
CN103139638A (zh) | 2013-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013110572A (ja) | 再生装置、再生方法、及びプログラム | |
US9489980B2 (en) | Video/audio synchronization apparatus and video/audio synchronization method | |
US8325817B2 (en) | Communication apparatus and method for data interpolation | |
US20080198930A1 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
US8244897B2 (en) | Content reproduction apparatus, content reproduction method, and program | |
JP2017520940A (ja) | 階層符号化されたコンテンツを多重化するための方法および装置 | |
CN101232611A (zh) | 图像处理设备及其方法 | |
CN101022548B (zh) | 在具有数字广播接收器的终端中处理数据的方法 | |
JP2007504707A (ja) | コンテンツ提供システム及びこれのための移動端末 | |
JP5428734B2 (ja) | ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム | |
JP5304860B2 (ja) | コンテンツ再生装置およびコンテンツ処理方法 | |
KR100651566B1 (ko) | 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법 | |
JP5093233B2 (ja) | 信号出力装置、情報機器、信号出力方法および信号出力プログラム | |
JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
JP5848872B2 (ja) | 放送受信装置 | |
JP2010258489A (ja) | 映像表示装置、受信装置、送受信システム、及び映像表示方法 | |
JP5692255B2 (ja) | コンテンツ再生装置およびコンテンツ処理方法 | |
JP2013232714A (ja) | マルチフォーマット映像再生装置とその制御方法 | |
JP5213630B2 (ja) | 映像信号再生装置 | |
JP5493564B2 (ja) | 動画出力装置、動画出力方法およびプログラム | |
JP5652776B2 (ja) | 情報処理装置 | |
JP2012004890A (ja) | 映像信号出力装置、映像信号出力方法 | |
JP2016163134A (ja) | 動画再生装置及びプログラム | |
JP2008135989A (ja) | 映像再生システム、映像再生の同期方法および映像再生端末 | |
JP2008206060A (ja) | 記録装置および方法、並びにプログラム |