JP2001309303A - リアルタイム録画再生装置 - Google Patents

リアルタイム録画再生装置

Info

Publication number
JP2001309303A
JP2001309303A JP2000120495A JP2000120495A JP2001309303A JP 2001309303 A JP2001309303 A JP 2001309303A JP 2000120495 A JP2000120495 A JP 2000120495A JP 2000120495 A JP2000120495 A JP 2000120495A JP 2001309303 A JP2001309303 A JP 2001309303A
Authority
JP
Japan
Prior art keywords
frame
real
processing module
compression
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000120495A
Other languages
English (en)
Other versions
JP3444266B2 (ja
Inventor
Hideki Sawada
英樹 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000120495A priority Critical patent/JP3444266B2/ja
Priority to US09/837,190 priority patent/US7242852B2/en
Publication of JP2001309303A publication Critical patent/JP2001309303A/ja
Application granted granted Critical
Publication of JP3444266B2 publication Critical patent/JP3444266B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】CPUの性能不足によりフルフレームのリアル
タイムキャプチャ、リアルタイム圧縮およびリアルタイ
ム伸長が行えなくなり、フレームデータの欠落又は再生
処理の遅延が生じるのを解決するリアルタイム録画再生
装置を提供する。 【解決手段】入力端子101からのアナログ画像信号を
ADC102でデジタルデータに変換し、フレームメモ
リ103に格納し、圧縮処理モジュール104で圧縮処
理して記録装置105に記録する。この記録装置105
に記憶された圧縮データを読み出し、伸長処理モジュー
ル106で伸長処理し、フレームメモリ107に格納
し、DAC108でアナログ変換して出力端子109か
ら出力する。また、圧縮処理モジュール104の動作を
制御するフレームレート制御部110を有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は録画再生装置、特に
画像(又は映像)情報を記録しリアルタイム(即時)で
再生するリアルタイム録画再生装置に関する。
【0002】
【従来の技術】テレビジョン(TV)信号およびビデオ
デッキ等の外部入力信号(画像信号)を、リアルタイム
にデジタル符号化し、記録装置に記録すると共に記録済
みのデジタル符号化された画像信号を任意の時間に伸長
し、タイムシフトして再生するリアルタイム録画再生装
置が提案させ実用化されている。斯かるリアルタイム録
画再生装置奈従来例は、例えば特開平7−30851号
公報の「テレビ放送記録装置」に開示されている。
【0003】
【発明が解決しようとする課題】斯かる従来のリアルタ
イム録画再生装置を、パーソナルコンピュータ(PC)
のソフトウエア処理を使用して構成する場合がある。こ
の場合には、他のアプリケーションと並列に動作させた
とき又は他のアプリケーションを起動した瞬間等に、C
PU(中央演算処理装置)の性能不足が生じる。その結
果、フルフレームのリアルタイムキャプチャ、リアルタ
イム圧縮およびリアルタイム伸長が行えなくなる。そし
て、圧縮処理におけるフレームデータの欠落および再生
処理の遅延が生じ、タイムシフト再生した際に、画像と
音声の同期ずれが発生するという課題があった。
【0004】
【発明の目的】従って、本発明の目的は、従来技術の上
述した課題を解決するリアルタイム録画再生装置を提供
することである。
【0005】
【課題を解決するための手段】本発明のリアルタイム録
画再生装置は、アナログ映像信号をアナログ・デジタル
変換器(ADC)でデジタルデータに変換して記憶装置
に記憶すると共に、この記憶装置に記憶されたデータを
読み出してデジタル・アナログ変換器(DAC)でアナ
ログ信号に変換して出力する装置であって、ADCの出
力を格納するフレームメモリと、このフレームメモリの
出力を圧縮処理する圧縮処理モジュールと、記憶装置か
ら読みさしたデジタルデータを伸長処理する伸長処理モ
ジュールと、この伸長処理モジュールの出力を格納して
DACに出力するフレームメモリと、圧縮処理モジュー
ルを制御するフレームレート制御部とを備える。
【0006】また、本発明のリアルタイム録画再生装置
の好適実施形態例によると、フレームレート制御モジュ
ールのフレームが一定となるようフレーム補間処理す
る。伸長処理モジュールでフルフレームのリアルタイム
伸長処理ができなくなった場合には、コマ落し処理を行
う。また、圧縮処理モジュールによるフレーム間引き処
理および伸長処理モジュールによるコマ落し処理は、フ
レーム補間したフレームから優先的に行うことにより動
きの多いデジタル圧縮データを生成する。データビット
ストリームは、フレーム圧縮符号の開始を示すピクチャ
ヘッダ、間引きされたフレームであることを示すユーザ
データおよび参照フレームと同一フレームであることを
示す符号を含む。
【0007】
【発明の実施の形態】以下、本発明によるリアルタイム
録画再生装置の好適実施形態例の構成および動作を、添
付図を参照して詳細に説明する。
【0008】先ず、本発明によるリアルタイム録画再生
装置は、テレビ信号やビデオデッキ等の外部機器の入力
画像信号をリアルタイムにデジタル符号に圧縮して記録
装置に記録すると共に記録装置に記録した圧縮デジタル
データを伸長して、任意の時間にタイムシフトして再生
する装置である。このリアルタイム録画再生装置をパー
ソナルコンピュータ(PC)のソフトウェア処理を用い
て構成する場合に、中央演算処理装置(CPU)の性能
不足により、入力画像信号のデジタル変換時のフレーム
キャプチャ処理や、キャプチャしたフレームデータの圧
縮処理や、圧縮デジタルデータの伸長処理において、フ
ルフレームのリアルタイム処理が行えなくなることがあ
る。このような状況に陥った場合には、キャプチャ処理
のフレーム補間処理や、圧縮処理のフレーム間引き処理
や、伸長処理のフレームコマ落とし処理を行うことによ
り、限られたCPU負荷の中で、リアルタイム記録と音
声との同期再生を継続して実行すると共に圧縮処理にお
ける間引き処理、伸長処理におけるコマ落とし処理を、
キャプチャ処理で補間されたフレームから優先的に行
う。これにより、動きの多いデジタル圧縮データの生成
およびタイムシフト再生を可能にすることを特徴として
いる。
【0009】図1は、本発明によるリアルタイム録画再
生装置の好適実施形態例の構成を示すブロック図であ
る。映像入力端子101からアナログ映像信号が入力さ
れるアナログ・デジタル変換器(ADC)102、フレ
ームメモリ103、圧縮処理モジュール104、記録装
置105、伸長処理モジュール106、フレームメモリ
107、デジタル・アナログ変換器(DAC)108、
再生映像出力端子109およびフレームレート制御部1
10より構成される。
【0010】図1に示すリアルタイム録画再生装置にお
いて、CPUの性能不足により、ADC102によりフ
ルフレームのキャプチャ処理が行えなくなった場合に
は、フレームメモリ103から圧縮処理モジュール10
4へのフレームレートが常に一定になるように、フレー
ムレート制御部110においてフレーム補間処理を行
う。また、圧縮処理モジュール104において、フルフ
レームのリアルタイム圧縮処理が行えなくなった場合に
は、一部のフレームの圧縮処理を省く間引き処理を行っ
て、規格上のフレームレートは一定のまま、実質的なフ
レームレートを低減させたデジタル圧縮データを生成す
る。また、伸長処理モジュール105でフルフレームの
リアルタイム伸長処理が行えなくなった場合には、一部
のフレームの伸長処理を省くコマ落とし処理を行って、
音声データとの同期再生を行う。このようにして、CP
Uの性能不足が生じた場合にも、リアルタイムでのデジ
タル圧縮データの記録を行うと共に音声データと同期し
たタイムシフト再生を可能にしている。
【0011】更に、フレーム補間したフレームから優先
的に、圧縮処理モジュール104におけるフレーム間引
き、伸長処理モジュール106におけるフレームコマ落
とし処理を行う機能を備える。これにより、動きの多い
デジタル圧縮データの生成およびタイムシフト再生を可
能にしている。
【0012】図1に示すリアルタイム録画再生装置にお
いて、ADC102は、入力端子101に入力されるア
ナログ形式の外部信号をデジタル形式に変換し且つフレ
ーム単位でキャプチャ処理する。フレームメモリ103
は、キャプチャしたフレームデータを格納する。圧縮処
理モジュール104は、フレームデータを圧縮処理す
る。記録装置105は、圧縮デジタルデータを記録す
る。伸長処理モジュール106は、圧縮デジタルデータ
を伸長処理する。フレームメモリ107は、伸長された
フレームデータを格納する。DAC108は、デジタル
形式のフレームデータをアナログ形式に変換する。この
リアルタイム録画再生装置をPCのソフトウェア処理を
用いて構成する場合には、圧縮処理モジュール104と
伸長処理モジュール106が、CPUによるソフトウェ
ア処理で構成する部分である。また、ADC102は、
例えばビデオキャプチャカードがこれにあたる。また、
フレームメモリ103およびフレームメモリ107は、
例えばメインメモリおよびビデオメモリ等の記憶装置が
これにあたる。また、DAC108は、例えばグラフィ
ックアクセラレータカードがこれにあたる。また、記録
装置105は、例えばハードディスクドライブ等の記憶
装置がこれにあたる。
【0013】次に、図1のリアルタイム録画再生装置に
おいて、各構成要素の機能を説明する。ADC102
は、入力端子101から入力されたアナログ形式の外部
入力信号をデジタル形式に変換し且つデジタル形式に変
換された画像データをフレーム単位でキャプチャし、フ
レームメモリ103に格納する。圧縮処理モジュール1
04は、フレームメモリ103に格納したフレームデー
タを圧縮して記録装置105に記録する。伸長処理モジ
ュール106は、記録装置105に記録された圧縮デジ
タルデータを任意の時間に伸長処理し、フレームメモリ
107に格納する。DAC108は、フレームメモリ1
07に格納されたデジタル形式のフレームデータをアナ
ログ形式に変換して出力端子109から出力する。
【0014】ここで、CPUの性能不足によりフルフレ
ームのリアルタイム処理が行えなくなった場合には、フ
レームレート制御部110は、フレームメモリ103か
ら圧縮処理モジュール104へのフレームレートが常に
一定になるように処理するフレームレート制御110を
有している。また、圧縮処理モジュール104は、一部
のフレームの圧縮処理を省いて、規格上のフレームレー
トは一定のまま、実質的なフレームレートを低減させる
フレーム間引き機能を有している。また、伸長処理モジ
ュール105は、一部のフレームの伸長処理を省いて音
声データとの同期再生を行うフレームコマ落とし機能を
有している。また、圧縮処理モジュール104における
フレーム間引き、伸長処理モジュール106におけるフ
レームコマ落としは、フレーム補間されたフレームから
優先的に処理する機能をさらに有している。
【0015】次に、図1に示すリアルタイム録画再生装
置の動作を詳細に説明する。図1において、CPUの性
能不足により、ADC102でフルフレームのリアルタ
イムキャプチャ処理が行えなくなった場合には、フレー
ムメモリ103に格納されるフレームデータは、所々フ
レームがドロップし、不連続に配置されるようになる。
図2は、この場合の様子を示す説明図の一例である。こ
の場合に、(n+1)フレームと、(n+4)および
(n+5)フレームがフレームドロップしている。フレ
ームレート制御部110は、ADC102から、各キャ
プチャフレームの時間情報を取得してフレームドロップ
の判定を行う。そして、ドロップしたフレームのフレー
ム補間処理を行って、圧縮処理モジュール104への入
力が常に一定のフレームレートを保つように制御する。
フレームレート制御部110は、正常時には各フレーム
のデータが格納されているメモリのポインタを圧縮処理
モジュール104に指定する。
【0016】しかし、図2に示すようなフレームドロッ
プが発生した場合には、(n+1)フレームの圧縮を行
うとき、前回圧縮したnフレームのポインタp0を続け
て指定する。同様に、(n+4)および(n+5)フレ
ームの圧縮を行う場合には、(n+3)フレームのポイ
ンタp2を2回連続して指定する。このようにして、圧
縮処理モジュール104でのフレームレートが常に一定
になるように制御する。また、上述したようなポインタ
を連続して指定する方式ではなく、(n+2)フレーム
のポインタp1を指定する際には、1フレームのドロッ
プが発生したことを、(n+6)フレームポインタp3
を指定する際には、2フレームのドロップが発生したこ
とを、それぞれ別途通知する。そして、実際のフレーム
補間処理は、圧縮処理モジュール104に行わせても良
い。
【0017】図1に示すリアルタイム録画再生装置にお
いて、圧縮処理モジュール104は、例えばMPEG
(動画像圧縮方式)規格に準拠した圧縮方式で、デジタ
ル圧縮処理を行うモジュールである。圧縮処理モジュー
ル104でフルフレームのリアルタイム圧縮処理が行え
なくなった場合には、規格上のフレームレートはMPE
G規格で定められた一定のフレームレートを維持したま
ま、一部のフレームの圧縮処理を省いて実質的なフレー
ムレートを低減させるフレーム間引き処理を行う。そし
て、圧縮処理のCPU負荷を低下させ、リアルタイム処
理を継続させるようにする。MPEG規格では、圧縮フ
レームのフレームタイプとして、参照フレームを必要と
せず、自身が他のフレームの参照フレームとなる「Iフ
レーム」と、参照フレームを必要とし、自身も他のフレ
ームの参照フレームとなる「Pフレーム」と、参照フレ
ームを必要とし、自身は参照フレームとならない「Bフ
レーム」の3種類の「フレームタイプ」が定義されてい
る。フレーム間引き処理は、以上3種類の「フレームタ
イプ」のうち、参照フレームとはならない「Bフレー
ム」に対して行うものとする。
【0018】次に、図3は、入力フレームのフレーム間
引きの手順を示す説明図である。図3(a)は、「入力
フレーム構成」を示す。それぞれ図示するフレームタイ
プI#1、B#2、B#3、P#4、B#5、B#6、
P#7で圧縮を行うものとする。このとき、「圧縮フレ
ーム順序」は、図3(b)に示す如く、Bフレーム#2
および#3は、先に圧縮したIフレーム#1とPフレー
ム#4を参照フレームとして使用する。同様に、Bフレ
ーム#5および#6は、先に圧縮したPフレーム#4と
Pフレーム#7を参照フレームとして使用する。
【0019】ここで、フレーム#2とフレーム#6をフ
レーム間引きする場合には、図3(c)の「圧縮ビット
ストリーム」に示す如く、通常圧縮するフレーム#1、
#4、#3、#7、#5は、それぞれ先ずフレーム圧縮
符号の開始を意味するピクチャヘッダ81をビットスト
リームに付加し、その後ピクチャヘッダ以降の符号化処
理を行ってビットストリームに付加する。間引き処理を
行うフレーム#2および#6は、フレーム圧縮符号の開
始を意味するピクチャヘッダ81をビットストリームに
付加するまでは同様に行う。しかし、ピクチャヘッダ8
1以降の符号化処理は行わない。その代わり、参照フレ
ームと同一フレームであることを示す符号83をビット
ストリームに付加する。このとき、同一フレームとなる
参照フレームは、入力フレーム順で隣接する参照フレー
ムがなり、フレーム#2は直前のフレーム#1と、フレ
ーム#6は直後のフレーム#7と同一フレームであるこ
とを示す符号83を付加する。ここで、直前のフレーム
と同一であることを示す符号と、直後のフレームと同一
であることを示す符号は、それぞれ一意に決まるため、
予めメインメモリ等に記憶させておくことにより、全く
符号化処理を行わずに、メモリから読み出した符号を付
加するのみでよい。図3(d)は、圧縮ビットストリー
ムを伸長した「伸長フレーム構成」を示したものであ
り、入力フレームの総フレームを維持したまま、つまり
MPEG規格上のフレームレートを一定に維持したま
ま、実質的なフレームレートが低下していることを示し
ている。
【0020】ここで、フレームレート制御部110にお
けるフレーム補間処理と、圧縮処理モジュール104に
おけるフレーム間引き処理を、それぞれ独立に行った場
合を、図4を参照して説明する。例えば、図4(a)に
示す如きフレーム構成の場合には、フレームレート制御
部110において、フレーム#2および#5が間引かれ
る。それぞれフレーム#1、フレーム#4で補間された
(それぞれフレーム#1’および#4’と図示する)状
態で、圧縮処理モジュール104に入力されたとき、圧
縮処理モジュール104において、図4(b)に示すフ
レーム順序でフレーム#3および#6の2フレームを間
引き処理で間引いたとする。この場合には、図4(c)
に示す如く、圧縮ビットストリームを伸長したフレーム
構成となり、動きのあるフレームとしては、フレーム#
1、#4および#7の3フレームのみとなる。
【0021】そこで、圧縮処理モジュール104は、フ
レームレート制御部110においてフレーム補間処理が
行われたか否かを判別する。そして、図5(b)に示す
如く、フレームレート制御部110で補間されたフレー
ムを優先的にフレーム間引き処理を行うようにする。同
じ2フレームの間引き処理を行った場合に、圧縮ビット
ストリームを伸長したときのフレーム構成は、図5
(c)に示す如く、動きのあるフレームとしては、フレ
ーム#1、#3、#4、#6および#7の5フレームに
増加する。尚、フレームレート制御部110においてフ
レーム補間されたフレームの圧縮フレームタイプが参照
フレームに当った場合には、圧縮処理モジュール104
においてフレーム間引き処理を行うことができない。
【0022】このような場合には、入力フレーム順で直
前のBフレームをフレーム間引きの対象に置き換えて、
フレーム間引きを行うようにする。図6は、この様子を
示したものであり、フレーム補間されたフレーム#3’
をフレーム補間処理するのではなく、入力フレーム順で
直前のBフレームであるフレーム#3をフレーム補間処
理する。
【0023】図1において、伸長処理モジュール106
は、例えばMPEG規格に準拠した伸長方式でデジタル
伸長処理を行うモジュールであり、記録装置105に記
録された圧縮ビットストリームを任意の時間に読み出し
て伸長処理を行う。伸長したフレームデータは、フレー
ムメモリ107に蓄積する。フレームメモリ107に蓄
積されたフレームデータは、DAC108でアナログ変
換し、出力端子108を介して外部表示端末に表示す
る。伸長処理モジュール106において、フルフレーム
のリアルタイム伸長処理が行えなくなった場合には、音
声との遅延判定を行う。また、遅延状態に陥った場合に
は、圧縮ビットストリームの伸長処理を省くコマ落とし
制御を行う。そして、音声との同期再生を継続するよう
に制御する。コマ落とし制御の基本的な制御方法は、本
発明と同一発明者且つ同一出願人によって提案されてお
り、特開平10−136308号公報の「オーディオ・
ビデオ同期再生装置」に開示されているので、ここで詳
細説明は省略する。
【0024】ここで、圧縮処理モジュール104におけ
るフレーム間引き処理と、伸長処理モジュール106に
おけるフレームコマ落とし処理を、それぞれ独立に行っ
た場合について、図7乃至図9を参照して説明する。例
えば、図7(a)に示す如く、圧縮処理モジュール10
4において、フレーム#3および#6が間引かれて圧縮
された場合に、伸長処理モジュール106において、図
7(b)に示す如く、フレーム#5および#8の2フレ
ームをコマ落とし処理したとする。この場合には、再生
される動きのあるフレームとしては、#1、#2、#
4、#7、#9および#10の6フレームのみとなる。
そこで、圧縮処理モジュール104は、図8のビットス
トリームに示す如く、フレーム間引きを行う際に、ピク
チャヘッダ81および参照フレームと同一フレームであ
ることを示す符号83の間に、このフレームがフレーム
間引きされたことを明示的に示すユーザデータ82を付
加する。この処理により、記録装置105に記録された
ビットストリームを再生する際に、伸長処理モジュール
106が、フレーム間引きされたフレームであることを
明示的に判別できるようにする。
【0025】次に、伸長処理モジュール106が、記録
装置105から読み出した圧縮ビットストリームを伸長
する際に、フレーム圧縮符号の開始を意味するピクチャ
ヘッダ81の直後に、フレームが間引きされたフレーム
であることを示すユーザデータ82の有無を判別する。
それがフレーム間引きされたフレームであった場合に
は、優先的に伸長処理を省いてコマ落とし制御を実行す
る。例えば、図9(a)の圧縮フレーム順に示す如く、
フレーム#4’およびフレーム#7’は、圧縮処理モジ
ュール104によりフレーム間引きされたフレームであ
り、ピクチャヘッダ81に続いて、フレーム間引きされ
たフレームであることを示すユーザデータ82が付加さ
れている。伸長処理モジュール106は、図9(b)の
伸長フレーム構成に示す如く、ピクチャヘッダ81の伸
長直後に、ユーザデータ82の有無を判別する。そし
て、ユーザデータ82が付加されたフレームを優先的に
コマ落とし処理する。その結果、同じ2フレームのコマ
落とし処理を行った場合に、再生される動きのあるフレ
ームとしては、フレーム#1、#2、#4、#5、#
7、#8、#9および#10の8フレームに増加する。
【0026】以上、本発明によるリアルタイム録画再生
装置の好適実施形態例の構成および動作を詳細に説明し
た。しかし、この実施形態例は、本発明の単なる例示に
過ぎず、何ら本発明を限定するためのものではないこと
に留意されたい。
【0027】
【発明の効果】以上の説明から理解される如く、本発明
のリアルタイム録画再生装置によると、次の如き実用上
顕著な効果を有する。第1に、リアルタイム録画再生装
置をパーソナルコンピュータのソフトウェア処理を用い
て構成する場合に、他のアプリケーションと並列に動作
させた場合および他のアプリケーションを起動した瞬間
等に、CPUの性能不足が生じ、フルフレームのリアル
タイム記録処理が行えなくなった場合にも、リアルタイ
ムの録画処理を継続して実行することが可能である。そ
の理由は、フルフレームのリアルタイムキャプチャ処理
が行えなくなった場合に、フレームの補間処理を行っ
て、常に一定のフレームレートを維持させるフレームレ
ート制御部を有していると共に一定のフレームレートを
保持したまま、実質的なフレームレートを低減させるフ
レーム間引き機能を有する圧縮処理モジュールを備えて
いるためである。
【0028】第2に、CPUの性能不足が生じ、フルフ
レームのリアルタイム再生処理が行えなくなった場合に
も、音声との同期を保って、任意の時間にタイムシフト
再生が可能なことである。その理由は、音声との同期再
生を継続するフレームのコマ落とし機能を持った伸長処
理モジュールを有しているためである。
【0029】第3に、CPUの性能不足が生じ、フルフ
レームのリアルタイム再生処理が行えなくなった場合に
も、動きの多い圧縮データを録画再生することができる
ことである。その理由は、フレーム補間したフレームか
ら優先的に、圧縮処理モジュールにおけるフレーム間引
き処理を、フレーム間引きをしたフレームから優先的
に、伸長処理モジュールにおけるフレームコマ落とし処
理を行う機能をそれぞれ有しているためである。
【図面の簡単な説明】
【図1】本発明によるリアルタイム録画再生装置の好適
実施形態例の構成を示すブロック図である。
【図2】リアルタイム録画再生装置でフレームドロップ
が生じた場合を示す図である。
【図3】図1に示すリアルタイム録画再生装置における
入力フレーム間引き動作の説明図である。
【図4】図1に示すリアルタイム録画再生装置における
フレーム補間動作の説明図である。
【図5】図1に示すリアルタイム録画再生装置のフレー
ムレート制御部の動作説明図である。
【図6】図1に示すリアルタイム録画再生装置のフレー
ムレート制御部の動作説明図である。
【図7】図1に示すリアルタイム録画再生装置のフレー
ムコマ落し処理を説明する図である。
【図8】図1に示すリアルタイム録画再生装置における
ビットストリーム構成図である。
【図9】図1に示すリアルタイム録画再生装置の動作説
明図である。
【符号の説明】
81 ピクチャヘッダ 82 ユーザデータ 83 同一を示す符号 101 入力端子 102 アナログ・デジタル変換器(ADC) 103、107 フレームメモリ 104 圧縮処理モジュール 105 記録装置 106 伸長処理モジュール 108 デジタル・アナログ変換器(DAC) 109 出力端子

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】アナログ画像信号をアナログ・デジタル変
    換器(ADC)でデジタルデータに変換して記録装置に
    記録すると共に、該記録装置に記録されたデジタルデー
    タを読み出してデジタル・アナログ変換器(DAC)で
    アナログ信号に変換して出力するリアルタイム録画再生
    装置において、 前記ADCの出力を格納するフレームメモリと、該フレ
    ームメモリの出力を圧縮処理する圧縮処理モジュール
    と、前記記録装置から読み出したデジタルデータを伸長
    処理する伸長処理モジュールと、該伸長処理モジュール
    の出力を格納して前記DACに出力するフレームメモリ
    と、前記圧縮処理モジュールを制御するフレームレート
    制御部とを備えることを特徴とするリアルタイム録画再
    生装置。
  2. 【請求項2】前記フレームレート制御部は、前記圧縮処
    理モジュールのフレームレートが一定になるようフレー
    ム補間処理することを特徴とする請求項1に記載のリア
    ルタイム録画再生装置。
  3. 【請求項3】前記伸長処理モジュールでフルフレームの
    リアルタイム伸長処理ができなくなった場合に、コマ落
    し処理を行うことを特徴とする請求項1に記載のリアル
    タイム録画再生装置。
  4. 【請求項4】前記圧縮処理モジュールによるフレーム間
    引きおよび前記伸長処理モジュールによるフレームコマ
    落し処理は、前記フレーム補間したフレームから優先的
    に行うことにより動きの多いデジタル圧縮データを生成
    することを特徴とする請求項1、2又は3に記載のリア
    ルタイム録画再生装置。
  5. 【請求項5】データビットストリームは、フレーム圧縮
    符号の開始を示すピクチャヘッダ、間引きされたフレー
    ムであることを示すユーザデータおよび参照フレームと
    同一フレームであることを示す符号を含むことを特徴と
    する請求項1乃至4の何れかに記載のリアルタイム録画
    再生装置。
JP2000120495A 2000-04-21 2000-04-21 リアルタイム録画再生装置 Expired - Fee Related JP3444266B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000120495A JP3444266B2 (ja) 2000-04-21 2000-04-21 リアルタイム録画再生装置
US09/837,190 US7242852B2 (en) 2000-04-21 2001-04-19 Recording/reproducing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000120495A JP3444266B2 (ja) 2000-04-21 2000-04-21 リアルタイム録画再生装置

Publications (2)

Publication Number Publication Date
JP2001309303A true JP2001309303A (ja) 2001-11-02
JP3444266B2 JP3444266B2 (ja) 2003-09-08

Family

ID=18631293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000120495A Expired - Fee Related JP3444266B2 (ja) 2000-04-21 2000-04-21 リアルタイム録画再生装置

Country Status (2)

Country Link
US (1) US7242852B2 (ja)
JP (1) JP3444266B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433524B2 (en) 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
JP2009050017A (ja) * 2008-10-15 2009-03-05 Casio Comput Co Ltd 動画像記録装置及びプログラム
US7903151B2 (en) 2004-01-14 2011-03-08 Casio Computer Co., Ltd. Moving image recording apparatus with a stream recording function of a moving image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4408537B2 (ja) * 2000-07-21 2010-02-03 シャープ株式会社 情報圧縮記録装置
JP4575124B2 (ja) * 2004-11-29 2010-11-04 オリンパス株式会社 画像表示装置
WO2007063819A1 (ja) * 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP4692388B2 (ja) * 2006-05-24 2011-06-01 ソニー株式会社 データ処理装置およびデータ処理方法
CN108737761B (zh) * 2017-04-21 2021-08-10 腾讯科技(深圳)有限公司 视频录制方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5966495A (en) * 1993-05-12 1999-10-12 Canon Kabushiki Kaisha Recording and reproducing apparatus
JPH0730851A (ja) 1993-07-09 1995-01-31 Fujitsu General Ltd テレビ放送記録装置
JP3478515B2 (ja) 1995-02-09 2003-12-15 松下電器産業株式会社 データを記録再生する装置および方法
JPH08263600A (ja) * 1995-03-22 1996-10-11 Toshiba Corp 携帯可能記憶媒体の発行方法および発行装置
JP3063824B2 (ja) * 1996-10-29 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
EP2387038A3 (en) * 1997-10-17 2012-01-11 Sony Corporation Processing apparatus and method for recording, processing apparatus and method for reproducing, program for controlling a recording apparatus, program for controlling a reproducing apparatus, recording medium
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
EP0935385A3 (en) * 1998-02-04 2002-06-19 Hitachi, Ltd. Decoder device and receiver using the same
JPH11298890A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム
US6795592B2 (en) * 2001-09-13 2004-09-21 Intel Corporation Architecture for processing fingerprint images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433524B2 (en) 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
US7903151B2 (en) 2004-01-14 2011-03-08 Casio Computer Co., Ltd. Moving image recording apparatus with a stream recording function of a moving image
JP2009050017A (ja) * 2008-10-15 2009-03-05 Casio Comput Co Ltd 動画像記録装置及びプログラム

Also Published As

Publication number Publication date
JP3444266B2 (ja) 2003-09-08
US20010033740A1 (en) 2001-10-25
US7242852B2 (en) 2007-07-10

Similar Documents

Publication Publication Date Title
JPH10507597A (ja) マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置
KR0178766B1 (ko) 압축되지 않은 디지탈데이타의 전송기능을 갖는 디지탈 인터페이스 장치
JP5474417B2 (ja) 動画データ生成装置、動画データ生成システム、動画データ生成方法およびコンピュータープログラム
KR20040098014A (ko) 촬영 장치, 영상 변환 장치 및 영상 편집 장치
JP3444266B2 (ja) リアルタイム録画再生装置
US6603866B1 (en) Image recording/reproducing apparatus and its method
US20020114395A1 (en) System method and apparatus for a motion compensation instruction generator
JP2004015580A (ja) 記録装置
US20040234236A1 (en) Data recording and reproduction apparatus displaying channels
US6498893B1 (en) Recording/reproducing apparatus
JP2000278643A (ja) データ変換装置
JP2002171466A (ja) タイムシフト再生システム
JPH0730851A (ja) テレビ放送記録装置
JP4288442B2 (ja) 記録再生装置および映像処理方法
JPH09261585A (ja) 画像記録装置
US8958682B2 (en) Imaging device
JP2004040580A (ja) 映像再生装置
JP2007158431A (ja) 映像記録装置及び映像記録再生装置
US20100149375A1 (en) Apparatus and method for faster recording and reproduction of digital video images
JP2006014185A (ja) データ記録再生装置
US20070044124A1 (en) Mobile electronic device and data processing system utilizing the same
KR100770905B1 (ko) 디지털 방송녹화 재생 장치 및 방법
JP2894870B2 (ja) 画像蓄積装置
JPH07203352A (ja) 電子スチルカメラ
KR20030069408A (ko) 하드디스크를 이용한 녹화 장치

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090627

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100627

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100627

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees