JP2010166206A - 映像・音声再生装置および映像・音声再生方法 - Google Patents

映像・音声再生装置および映像・音声再生方法 Download PDF

Info

Publication number
JP2010166206A
JP2010166206A JP2009005527A JP2009005527A JP2010166206A JP 2010166206 A JP2010166206 A JP 2010166206A JP 2009005527 A JP2009005527 A JP 2009005527A JP 2009005527 A JP2009005527 A JP 2009005527A JP 2010166206 A JP2010166206 A JP 2010166206A
Authority
JP
Japan
Prior art keywords
video
audio
audio data
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009005527A
Other languages
English (en)
Other versions
JP4703733B2 (ja
Inventor
Yasuyuki Ushio
靖之 潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009005527A priority Critical patent/JP4703733B2/ja
Priority to US12/687,477 priority patent/US8249432B2/en
Publication of JP2010166206A publication Critical patent/JP2010166206A/ja
Application granted granted Critical
Publication of JP4703733B2 publication Critical patent/JP4703733B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】映像・音声をバランス良く高速生成する映像・音声再生装置および映像・音声再生方法を提供する。
【解決手段】
フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生装置であって,再生速度に対応して,映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数または時間と,を決定する決定部と,映像・音声データから第1の画像データを第1の間隔で抽出する第1の抽出部と,前記映像・音声データから音声データを第2の間隔で抽出する第2の抽出部と,第1の画像データを前記回数または時間再生する映像再生部と,音声データを再生する音声再生部と,を具備する。
【選択図】図1

Description

本発明は,映像・音声再生装置および映像・音声再生方法に関する。
映像・音声はデジタル化されMPEG等で符号化されて記録媒体に記録され,復号化されて再生される。ここで,映像・音声を通常より高速で再生する技術が公開されている(例えば,特許文献1参照)。例えば,数フレーム毎の1フレームのピクチャの再生後に,所定数のフレームのピクチャを順次に通常再生することで,ある程度連続性のある駒飛ばし再生が可能となる。
特開2004−140723号公報
しかしながら,特許文献1記載の技術には,映像・音声をバランス良く高速生成する技術は示されていない。
上記に鑑み,本発明は映像・音声をバランス良く高速生成する映像・音声再生装置および映像・音声再生方法を提供することを目的とする。
本発明の一態様に係る映像・音声再生装置は,フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生装置であって,再生速度を入力する入力部と,前記入力された再生速度に対応して,前記映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数または時間と,を決定する決定部と,前記映像・音声データから第1の画像データを前記決定された第1の間隔で抽出する第1の抽出部と,前記映像・音声データから音声データを前記決定された第2の間隔で抽出する第2の抽出部と,前記抽出された第1の画像データを前記決定された回数または時間再生する映像再生部と,前記抽出された音声データを再生する音声再生部と,を具備する。
本発明の一態様に係る映像・音声再生方法は,フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生方法であって,再生速度を入力するステップと,前記入力された再生速度に対応して,前記映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数または時間と,を決定するステップと,前記映像・音声データから第1の画像データを前記決定された第1の間隔で抽出するステップと,前記映像・音声データから音声データを前記決定された第2の間隔で抽出するステップと,前記抽出された第1の画像データを前記決定された回数または時間再生するステップと,前記抽出された音声データを再生するステップと,を具備する。
本発明によれば,本発明は映像・音声をバランス良く高速生成する映像・音声再生装置および映像・音声再生方法を提供できる。
本発明の第1実施形態に係る映像・音声記録再生装置10を表すブロック図である。 抽出・再生条件テーブルTの一例を表す模式図である。 映像・音声記録再生装置10の動作手順の一例を表すフロー図である。
以下,図面を参照して,本発明の実施の形態を詳細に説明する。
図1は本発明の一実施形態に係る映像・音声記録再生装置10を表すブロック図である。映像・音声記録再生装置10は,映像および音声の記録再生が可能であり,映像および音声の再生速度を適宜に調節できる。
映像・音声記録再生装置10は,映像入力部111a,音声入力部111b,符号化部112,媒体制御部113,記録媒体114,映像・音声分離部121,映像抽出部122a,音声抽出部122b,映像復号部123a,音声復号部123b,映像出力部124a,音声出力部124b,主制御部131,記憶部132,操作入力部133を有する。
映像入力部111aは,映像を入力する装置,例えば,テレビカメラである。映像入力部111aから符号化部112に映像信号が出力される。
音声入力部111bは,音声を入力する装置,例えば,マイクロフォンである。音声入力部111bから符号化部112に音声信号が出力される。
符号化部112は,映像入力部111a,音声入力部111bから出力される映像信号,音声信号を符号化して,PS(プログラム・ストリーム)を生成する。
PSは,それぞれMPEG−2の規格により符号化された映像信号(映像ES(エレメンタリ・ストリーム))および音声信号(音声ES(エレメンタリ・ストリーム))がパケット化されて結合されたものである。PSは,「フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データ」に対応する。
映像ESは,複数(例えば,15)のフレーム(画像)を単位とするGOP(Group of Picture)から構成される。GOPには,Iピクチャ(Intra Picture),Pピクチャ(Predictive Picture),Bピクチャ(Bidirectionally Predictive Picture)を含めることができる。例えば,GOPが15フレームから構成されるとき,「IBBPBBPBBPBBPBB」を1のGOPとすることができる。なお,ここでは「IBB」等は「Iピクチャ,Bピクチャ,Bピクチャ」の順次の組み合わせを意味する。
Iピクチャは,フレーム内符号化された第1の画像データに対応する。即ち,Iピクチャは,そのフレーム(画像)内で画像を圧縮・符号化している。この圧縮・符号化には,8×8ピクセルを単位としたDCT(離散コサイン変換)を利用できる。
PピクチャおよびBピクチャは,フレーム間予測符号化された第2の画像データに対応する。Pピクチャは,フレーム内での圧縮・符号化の他に、フレーム間(時間軸)順方向で画像を予測符号化している。Bピクチャは,フレーム内での圧縮・符号化の他に、フレーム間(時間軸)順方向および逆方向(双方向)で画像を予測符号化している。
媒体制御部113は,記録媒体114への情報の記録および再生を制御する。媒体制御部113は,符号化部112から出力されるPSを記録媒体114に書き込む。媒体制御部113は,再生速度に対応する速度でPSを記録媒体114から読み出す。即ち,n倍速の場合,標準のn倍以上の速度でPSを記録媒体114から読み出す。
記録媒体114は,情報の記録,再生が可能な媒体,例えば,磁気テープ,光ディスク(DVD(Digital Versatile Disk)等),メモリ−カード(SDカード等)である。
映像・音声分離部121は,媒体制御部113によって記録媒体114から読み出されたPSを映像ES,音声ESに分離する。
映像抽出部122aは,映像ESから再生速度に対応した画像フレームを抽出する。映像抽出部122aは,映像・音声データから第1の間隔で第1の画像データを抽出する第1の抽出部に対応する。
音声抽出部122bは,音声ESから再生速度に対応した音声フレームを抽出する。音声抽出部122bは,映像・音声データから第2の間隔で音声データを抽出する第2の抽出部に対応する。
映像復号部123aは,抽出された第1の画像データを決定された回数または時間再生する映像再生部として機能する。映像復号部123aは,映像抽出部122aによって抽出された画像フレームを復号し,映像信号として出力する。
音声復号部123bは,抽出された音声データを再生する音声再生部として機能する。音声復号部123bは,音声抽出部122bによって抽出された音声フレームを復号し,音声信号として出力する。
映像出力部124aは,映像復号部123aによって復号された映像信号により映像を出力する表示装置,例えば,液晶表示装置,プラズマ表示装置,CRTである。
音声出力部124bは,音声復号部123bによって復号された音声信号により音声を出力する装置,例えば,スピーカ,ヘッドフォンである。
主制御部131は,映像・音声記録再生装置10全体を制御する制御装置である。主制御部131は,再生速度に対応して,映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数と,を決定する決定部として機能する。なお,この決定に後述の抽出・再生条件テーブルTを利用できる。
記憶部132は,データを記憶するメモリ,ハードディスクであり,抽出・再生条件テーブルTを記憶する。図2は,抽出・再生条件テーブルTの一例を表す模式図である。抽出・再生条件テーブルTは,再生速度と,フレームの抽出間隔・再生回数の関係を表す。ここでは,1のGOPが15フレームから構成されるとする(L(Long)GOP)。
(1)映像フレームの抽出・再生
n倍速のとき(n>1,高速再生時),映像フレームにおいて,1/(n・m)のIピクチャが抽出され,m回再生される。ここでは,LGOP(15フレーム)から1のIピクチャが抽出され,3倍速,5倍速,15倍速のときそれぞれ,5回,3回,1回再生される。Iピクチャのみを抽出し,繰り返し再生することで,簡便,確実な高速での再生処理が可能となり,かつ映像の視認が容易となる。
(2)音声フレームの抽出・再生
音声フレームの抽出の仕方は映像フレームの抽出の仕方と異なる。映像に比べて,音声は復号が容易であるので,再生する映像フレーム以外のフレームを用いて,繰り返し再生を行わずに,簡便,確実な高速での再生処理が可能であり,かつ音声の聞き取りが容易となる。
n倍速のとき(n>1,高速再生時),音声フレームにおいて,1/nのフレームが抽出,再生される。例えば,3倍速,5倍速,15倍速のときそれぞれ,3フレーム,5フレーム,15フレーム毎に1の音声フレームが抽出される(抽出条件1:1/3,1/5,1/15)。利用するフレームを映像フレームよりも多くすることで,再生する音声に含まれる情報量を多くすることができる。また,繰り返しの再生を行わないことで,再生される音声への違和感を低減できる。
あるいは,3倍速,5倍速のときそれぞれ,21フレームから7フレーム,および20フレームから4フレームを抽出する(抽出条件2:7/21,4/20)。このとき,連続するフレームを抽出することで,より認識容易な音声を再生できる。
ここで,音声フレームでの抽出条件1,2を固定とすることができる。また,操作入力部133からの入力により,抽出条件1,2を切替可能としても良い。
なお,一倍速(標準速度)のとき,映像,音声の双方において,全てのフレームが抽出,再生される。
操作入力部133は,ユーザによる情報(例えば,再生速度)の入力を可能とする入力装置,例えば,キーボードである。
(映像・音声記録再生装置10の動作)
以下,映像・音声記録再生装置10の動作手順を説明する。
図3は,映像・音声記録再生装置10の動作手順の一例を表すフロー図である。
(1)再生速度の設定(ステップS11)
再生速度が設定される。例えば,操作入力部133によって,n倍の再生速度(n=1,3,5,15倍)が選択,入力される。
(2)データの抽出間隔・再生回数の決定(ステップS12)
再生速度に基づき,データの抽出間隔・再生回数が決定される。抽出・再生条件テーブルTに基づき,主制御部131がデータの抽出間隔・再生回数を決定する。
(3)映像・音声データの抽出(ステップS13)
決定された抽出間隔・再生回数に基づき,映像・音声データが抽出される。映像抽出部122a,音声抽出部122bはそれぞれ,映像ESおよび音声ESから再生速度に対応した画像フレームおよび音声フレームを抽出する。
なお,この映像ES,音声ESは,記録媒体114からn倍の再生速度に対応して読み出されたPSから映像・音声分離部121によって分離されることで生成される。
(4)映像・音声データの再生(ステップS14)
映像・音声データが再生される。映像復号部123aおよび音声復号部123bはそれぞれ,抽出された画像フレームおよび音声フレームを復号し,映像信号および音声信号として出力する。このとき,映像復号部123aは映像フレームを決定された回数連続して復号する。一方,音声復号部123bは音声フレームを1回ずつ復号する。この結果,本来のフレーム数の1/nの映像フレームおよび音声フレームが再生され,n倍速での再生がなされる。
(その他の実施形態)
本発明の実施形態は上記の実施形態に限られず拡張,変更可能であり,拡張,変更した実施形態も本発明の技術的範囲に含まれる。
上記実施形態では,映像復号部123aにおいて,同一のフレームを複数回再生している。これに換えて,映像抽出部122aが同一のフレームを複数回出力しても良い。このようにすると,映像復号部123aが再生する回数を認識する必要が無くなる。また,映像復号部123aが同一のフレームを複数回再生することに換えて,1フレームを再生する時間を遅くしても良い。このようにすると,映像復号部123aでの処理が容易となる。いずれにしろ,結果として,映像復号部123aが複数回あるいは複数倍の時間だけ,同一のフレームを再生すれば足りる。
上記実施形態では,音声ES,即ち,符号化(圧縮)された音声信号を用いている。これに対して,非圧縮の音声信号を用いることも可能である。例えば,所定のフレーム数(一例として,5フレーム)において,音声信号が映像信号と同期していれば,音声信号の圧縮の有無に依らず,本発明を適用することが可能である。一例として,映像信号が映像ESで,音声信号が非圧縮の信号の組み合わせを利用できる。
10…映像・音声記録再生装置,111a…映像入力部,111b…音声入力部,112…符号化部,113…媒体制御部,114…記録媒体,121…映像・音声分離部,122a…映像抽出部,122b…音声抽出部,123a…映像復号部,123b…音声復号部,124a…映像出力部,124b…音声出力部,131…主制御部,132…記憶部,133…操作入力部

Claims (4)

  1. フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生装置であって,
    再生速度を入力する入力部と,
    前記入力された再生速度に対応して,前記映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数または時間と,を決定する決定部と,
    前記映像・音声データから第1の画像データを前記決定された第1の間隔で抽出する第1の抽出部と,
    前記映像・音声データから音声データを前記決定された第2の間隔で抽出する第2の抽出部と,
    前記抽出された第1の画像データを前記決定された回数または時間再生する映像再生部と,
    前記抽出された音声データを再生する音声再生部と,
    を具備することを特徴とする映像・音声再生装置。
  2. 前記第2の抽出部が,連続する複数の音声データを抽出する
    ことを特徴とする請求項1記載の映像・音声再生装置。
  3. 前記第1の画像データがMPEGのIピクチャであり,前記第2の画像データがMPEGのPピクチャまたはBピクチャである
    ことを特徴とする請求項1または2に記載の映像・音声再生装置。
  4. フレーム内符号化された第1の画像データと,フレーム間予測符号化された第2の画像データと,フレームに対応する音声データとを有する映像・音声データを再生する映像・音声再生方法であって,
    再生速度を入力するステップと,
    前記入力された再生速度に対応して,前記映像・音声データから第1の画像データおよび音声データをそれぞれ抽出する第1,第2の間隔と,抽出された第1の画像を再生する回数または時間と,を決定するステップと,
    前記映像・音声データから第1の画像データを前記決定された第1の間隔で抽出するステップと,
    前記映像・音声データから音声データを前記決定された第2の間隔で抽出するステップと,
    前記抽出された第1の画像データを前記決定された回数または時間再生するステップと,
    前記抽出された音声データを再生するステップと,
    を具備することを特徴とする映像・音声再生方法。
JP2009005527A 2009-01-14 2009-01-14 映像・音声再生装置 Expired - Fee Related JP4703733B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009005527A JP4703733B2 (ja) 2009-01-14 2009-01-14 映像・音声再生装置
US12/687,477 US8249432B2 (en) 2009-01-14 2010-01-14 Video and audio playback apparatus and video and audio playback method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009005527A JP4703733B2 (ja) 2009-01-14 2009-01-14 映像・音声再生装置

Publications (2)

Publication Number Publication Date
JP2010166206A true JP2010166206A (ja) 2010-07-29
JP4703733B2 JP4703733B2 (ja) 2011-06-15

Family

ID=42320334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009005527A Expired - Fee Related JP4703733B2 (ja) 2009-01-14 2009-01-14 映像・音声再生装置

Country Status (2)

Country Link
US (1) US8249432B2 (ja)
JP (1) JP4703733B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106604114A (zh) * 2016-12-16 2017-04-26 传线网络科技(上海)有限公司 一种视频数据播放、提供及获取的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191248A (ja) * 2005-01-05 2006-07-20 Sony Corp 再生装置および方法、記録媒体、並びにプログラム
JP2006345568A (ja) * 2002-12-27 2006-12-21 Sony Corp 記録方法、記録装置、再生方法、再生装置、記録再生装置および記録再生方法
JP2007251867A (ja) * 2006-03-20 2007-09-27 Hitachi Ltd デジタル放送受信装置およびデジタル情報受信装置、再生方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861362B2 (ja) * 1997-03-19 2006-12-20 ソニー株式会社 ディジタル信号再生方法及び装置
US6636563B2 (en) * 1997-06-12 2003-10-21 Sony Corporation Decoder and decoding method for information signal
US7720350B2 (en) * 2004-11-30 2010-05-18 General Instrument Corporation Methods and systems for controlling trick mode play speeds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345568A (ja) * 2002-12-27 2006-12-21 Sony Corp 記録方法、記録装置、再生方法、再生装置、記録再生装置および記録再生方法
JP2006191248A (ja) * 2005-01-05 2006-07-20 Sony Corp 再生装置および方法、記録媒体、並びにプログラム
JP2007251867A (ja) * 2006-03-20 2007-09-27 Hitachi Ltd デジタル放送受信装置およびデジタル情報受信装置、再生方法

Also Published As

Publication number Publication date
JP4703733B2 (ja) 2011-06-15
US20100178039A1 (en) 2010-07-15
US8249432B2 (en) 2012-08-21

Similar Documents

Publication Publication Date Title
JPH07226916A (ja) 圧縮データ記録装置
KR20060088303A (ko) 디지털 방송 수신기의 동영상 저장/재생 장치 및 방법
WO2016129303A1 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP2006340066A (ja) 動画像符号化装置、動画像符号化方法及び記録再生方法
JP2009302755A (ja) 記憶再生装置、記憶装置、再生装置及び記憶再生方法
JP4703733B2 (ja) 映像・音声再生装置
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US20150104158A1 (en) Digital signal reproduction device
JP2005346781A (ja) デジタル情報再生装置及び方法
JP4346966B2 (ja) 撮像装置
KR101411902B1 (ko) 동화상 기록 장치, 동화상 재상 장치 및 기록매체
JP2010050616A (ja) 記録装置および記録方法、再生装置および再生方法、プログラム、並びに記録再生装置
JP2004312743A (ja) デジタルデータ複製装置及びその方法
JP4377079B2 (ja) 信号処理方法及び信号処理装置
JP2008016100A (ja) 再生装置及び再生方法
JP2007028212A (ja) 再生装置及び再生方法
JPH10276395A (ja) 画像処理装置および画像処理方法、並びに記録媒体
US20180040348A1 (en) Signal processing device, signal processing system, signal processing method, and program
JP2005198203A (ja) 映像信号記録再生装置および方法
JP4510337B2 (ja) 信号処理方法及び信号処理装置
JP5859100B2 (ja) 画像記録装置
JP4641023B2 (ja) 映像信号再生装置
JP2007081466A (ja) 画像処理装置及び方法
JP2009060502A (ja) 電子機器、出力方法及びプログラム
JP2010141717A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110104

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110308

LAPS Cancellation because of no payment of annual fees