CN101584209B - 记录设备和记录方法 - Google Patents

记录设备和记录方法 Download PDF

Info

Publication number
CN101584209B
CN101584209B CN2008800026729A CN200880002672A CN101584209B CN 101584209 B CN101584209 B CN 101584209B CN 2008800026729 A CN2008800026729 A CN 2008800026729A CN 200880002672 A CN200880002672 A CN 200880002672A CN 101584209 B CN101584209 B CN 101584209B
Authority
CN
China
Prior art keywords
stream
multiplex stream
multiplex
video
virtual buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800026729A
Other languages
English (en)
Other versions
CN101584209A (zh
Inventor
磨田浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101584209A publication Critical patent/CN101584209A/zh
Application granted granted Critical
Publication of CN101584209B publication Critical patent/CN101584209B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10703—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control processing rate of the buffer, e.g. by accelerating the data output
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/1074—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control involving a specific threshold value
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在记录设备中，通过将复用流中所包含的视频流的后续章连接到该视频流的先前章，来记录该视频流的后续章。当开始从视频编码器向VBV缓冲器传输视频信号的后续章时，控制复用器，以使得VBV缓冲器的占用量将超过设定的阈值。

Description

记录设备和记录方法
技术领域
本发明涉及用于将诸如静止图像或运动画面等视频信息和音频信息记录在记录介质上的记录设备、记录方法、程序和存储介质。 
背景技术
近年来，采用盘状(disk-shaped)记录介质作为存储介质的摄像机已经开始市售。这种摄像机轻巧且非常便于携带，相信未来将变得越来越流行。在这种装置中，在进行记录时在记录介质上记录复用流(multiplexed stream)。复用流是对视频流和音频流进行复用的结果，其中视频流已根据MPEG方案进行了压缩和编码。 
DVD视频标准被公认作为如此将视频数据和音频数据记录在记录介质上的标准。利用DVD视频标准，在根据MPEG-2方案编码运动画面数据时，记录该运动画面数据。根据MPEG-2标准，假定在信号处理电路的编码器和解码器之间存在用于累积编码后的数据且被称为VBV(Video Buffering Verifier，视频缓冲检验器)缓冲器的缓冲存储器，并且以VBV缓冲器不会失败(fail)的方式进行编码。 
然而，在记录由摄像机拍摄的画面的情况下，通过所谓的时拍时停(stop-and-go)连接拍摄来进行记录。也就是说，可能频繁进行包含记录、暂停、记录、暂停和记录等的断续记录。设想如下的情况，即，以在播放时不会出现缺失的方式来连接并记录断断续续编码和记录的多场景(scene)的视频流。在这种情况下，存在这样的危险：由于在未考虑由先前场景占用的VBV缓冲器的量的情况下将后续场景的数据输入到VBV缓冲器，因此VBV缓冲器会失败。 
VBV缓冲器处于失败情形的例子是下溢(underflow)，即，在要对数据进行解码时，该要解码的数据却还没有累积在存储器中。 
因此，如日本特开2005-136633的说明书中所公开，已经提出了这样一种技术：在进行记录时，调整后续视频流的后续章(chapter)的开始(lead-off)画面的代码量，从而连续地进行记录而无VBV缓冲器失败，并且能够进行播放而在多场景的视频数据项之间无数据缺失。 
利用在日本特开2005-136633的说明书所公开的现有方案，通过控制进行记录时VBV缓冲器的占用量，可以实现播放时无数据缺失的记录。然而，可分配给后续视频流开始画面的代码量，取决于在开始播放后续视频流时由先前视频流占用的VBV缓冲器的量。因此，如果出现了播放时不能给后续视频流的开始画面分配足够的代码量的情形，则播放视频的图像质量可能因从先前流切换到后续流的过程中的数据缺失而劣化，并且可能使用户烦恼。 
发明内容
因此，本发明的目的是提供一种记录设备，该记录设备能够连续地记录多个不同的视频流，而不劣化播放时后续视频流的质量。 
根据本发明，通过提供一种记录设备来达到前述目的，该记录设备包括：视频编码器，用于编码视频数据并且生成视频流；音频编码器，用于编码音频数据并且生成音频流；复用器，用于复用所述视频流和所述音频流，并且生成复用流；记录单 元，用于将所述复用流记录在记录介质上；占用量控制器，用于基于由所述复用流占用的虚拟缓冲存储器的量来控制所述视频编码器，其中在对所述复用流进行解码时使用所述虚拟缓冲存储器；以及复用控制器，用于对所述复用器将所述音频流复用到所述复用流的第一复用流进行控制，使得在对所述复用流的第二复用流中所包含的视频流的开始画面进行解码时，所述虚拟缓冲存储器的占用量将超过设定的阈值，其中，所述复用流的所述第二复用流在所述复用流的所述第一复用流之后被播放。 
根据本发明，通过提供一种记录方法来达到前述目的，该记录方法包括：视频编码步骤，用于编码视频数据并且生成视频流；音频编码步骤，用于编码音频数据并且生成音频流；复用步骤，用于复用所述视频流和所述音频流，并且生成复用流；记录步骤，用于将所述复用流记录在记录介质上；占用量控制步骤，用于基于由所述复用流占用的虚拟缓冲存储器的量来控制所述视频编码单元，其中在对所述复用流进行解码时使用所述虚拟缓冲存储器；以及复用控制步骤，用于对在所述复用步骤中将所述音频流复用到所述复用流的第一复用流进行控制，使得在对所述复用流的第二复用流中所包含的视频流的开始画面进行解码时，所述虚拟缓冲存储器的占用量将超过设定的阈值，其中，所述复用流的所述第二复用流在所述复用流的所述第一复用流之后被播放。 
根据本发明的记录设备，能够连续地记录视频流的不同章，而不劣化播放时后续章的图像质量。 
根据下面(参考附图)对示例性实施例的说明，本发明的其它特征将变得清楚。 
附图说明
图1A是根据本发明实施例的记录设备的框图； 
图1B是根据本发明实施例的记录设备的框图； 
图2A示出根据本发明实施例的记录设备的部分具体结构的图； 
图2B示出根据本发明实施例的记录设备的部分具体结构的图； 
图3是示出MPEG-2中VBV缓冲器占用量的转变的概念图； 
图4是示出MPEG-2中在有数据缺失地连接时VBV缓冲器的占用量的转变的概念图； 
图5是示出MPEG-2中在无数据缺失地连接时VBV缓冲器的占用量的转变的概念图； 
图6是示出MPEG-2中在无数据缺失地连接时先前章与后续章的音频和视频之间的关系概念图； 
图7是示出在无数据缺失地连接时VBV缓冲器的占用量的转变的例子的概念图，该图有助于说明根据本发明的实施例的记录设备的操作； 
图8是示出在无数据缺失地连接时VBV缓冲器的占用量的转变的例子的概念图，该图有助于说明根据本发明的实施例的记录设备的操作； 
图9是示出在无数据缺失地连接时复用控制处理的流程图，该流程图有助于说明根据本发明的实施例的记录设备的操作；以及 
图10是示出在根据本发明的本实施例的记录设备中，在无数据缺失地连接时先前章与后续章的音频和视频之间的关系的概念图。 
具体实施方式
图1A是根据本发明的第一实施例的记录设备的概念性框图，以及图1B是用于播放记录介质D的播放设备的概念性框图，其中图1A的记录设备已在记录介质D上进行了记录。将参考图1A和1B来说明以如下方式记录视频流的结构：当在根据本发明实施例的记录设备中连续地播放多场景的视频流时，场景之间不会出现数据缺失。 
通常将记录侧和播放侧构造为单个记录/播放设备。然而，在此，为了便于说明，将它们作为不同的设备来示出。因此，在下面的说明中，将图1A作为记录侧来说明，而将图1B作为播放侧来说明。由于该结构是合并了记录侧和播放侧的单个记录/播放设备的结构，因此记录侧和播放侧的电路是部分共享的，以及在说明中的一些附图标记也是共享的。 
在图1A的记录侧，视频输入单元101将所输入的视频数据提供给视频编码器103。音频输入单元102将所输入的音频数据提供给音频编码器104。视频编码器103通过诸如MPEG方案等公知的压缩编码方法对所输入的视频数据进行编码，并且将编码后的数据作为视频流输出至复用器106。视频编码器104通过诸如AC3等公知的压缩编码方法对所输入的音频数据进行编码，并且将编码后的数据作为音频流输出至复用器106。 
复用器106将从视频编码器103输出的视频流和从音频编码器104输出的音频流复用为与记录介质D相符的DVD格式，并且将该结果作为复用流提供给记录/播放单元107。记录/播放单元107将来自复用器106的复用流写至记录介质D。在这种情况下，假定记录/播放单元107由记录单元和播放单元组成。尽管通常使用光学头(optical pick-up)来记录和播放盘状的记录介质，但是在记录时以及在播放时使用同一光学头。在记录时记录单元 连接到光学头，而在播放时播放单元连接到光学头。 
在根据本实施例的记录设备中，将在来自用户的记录开始命令和记录停止命令之间记录在记录介质(盘，disk)D上的一系列场景的复用流，作为DVD视频标准中的一章来进行管理。 
在该系列的记录处理步骤中，占用量控制器105根据MPEG-2标准来监控VBV缓冲器的占用量并控制视频编码器103，以使VBV缓冲器不会下溢。此外，复用控制器108控制占用量控制器105和复用器106。后面将说明细节。应注意，VBV缓冲器的占用量表示VBV缓冲器中所存在的代码量。此外，VBV缓冲器是虚拟缓冲存储器，并且设置为在概念上与视频编码器103和复用器106相关联。因此，VBV缓冲器不必实际上设置为与视频编码器103和复用器106相关联，并且不必物理地存在VBV缓冲器。 
此外，在图1B的播放侧，假定记录/播放单元107使用与图1A的记录侧的电路块相同的电路块，因而使用相同的附图标记。此外，解复用器109将由记录/播放单元107从记录介质D再现的复用流，解复用为视频流和音频流。将解复用后的视频流提供给视频解码器110，并且将解复用后的音频流提供给音频解码器111。 
视频解码器110对从记录介质D再现的视频流进行解码。视频输出单元113将由视频解码器110解码后的视频流作为视频数据输出至外部监视器等。音频解码器111对从记录介质D再现的音频流进行解码。音频输出单元112将由音频解码器111解码后的音频流作为音频数据输出至外部监视器的扬声器等。 
更具体地，如图2A所示，假定记录侧的视频编码器103由编码电路201和VBV缓冲器202构成。此外，如图2B所示，假定视频解码器110由解码电路203和VBV缓冲器202构成。由于假定 已经合并了记录侧和播放侧，则假定共享VBV缓冲器202，因而VBV缓冲器202用相同的附图标记表示。然而，严格来说VBV缓冲器202是虚拟的。因此，所示的连接着的缓冲存储器不是必须实际存在的。 
如果从编码电路201侧观察记录侧的VBV缓冲器202，则如图2A中所示，VBV缓冲器202与编码电路201的输出侧连接。在这种情况下，从编码电路201向VBV缓冲器202传输流数据，理论上是立即执行的。在VBV缓冲器202中存在流数据的情况下，以传输速率“Rmax”来执行从VBV缓冲器202向复用器106传输流数据。然而，如果VBV缓冲器202中不存在流数据，则假定传输速率是“0”。 
在这种情况下，VBV缓冲器202的占用量是确定的，并且占用量控制器105控制视频编码器103的操作，以使得缓冲器占用量将不超过VBV缓冲器202的最大缓冲量(即，不会出现上溢(overflow))。 
另一方面，如果从解码电路203侧观察播放侧的VBV缓冲器202，则如图2B中所示，VBV缓冲器202与解码电路203的输入侧连接。在这种情况下，从VBV缓冲器202向解码电路203传输流数据，理论上是立即执行的。以传输速率“Rmax”或传输速率“0”来执行，从用于对记录/播放单元107所读出的复用流进行解复用的解复用器109向VBV缓冲器202传输流数据。 
在这种情况下，必须以不超过VBV缓冲器202的最大缓冲量的方式来传输流数据，并且必须将流数据传输至解码电路203以及时地在解码电路203中进行解码。如果流数据的传输对于解码电路203中的解码来说不够及时，则VBV缓冲器202中将出现下溢并且将出现信号缺失。 
图3是示出从播放侧的解码电路203侧观察到的VBV缓冲器202的占用量的转变的图。将参考图3说明用于更新VBV缓冲器202的占用量的方法，其中纵轴表示VBV缓冲器202的占用量，而横轴表示时间。沿纵轴所示的缓冲器占用量表示为增大的值。这意味着沿纵轴的值越高，VBV缓冲器202的占用量越大。此外，作为例子，假定VBV缓冲器202的总缓冲量为230KB。
当进行播放时，以传输速率“Rmax”将包含在复用流中的视频流通过记录/播放单元107和解复用器109传输到VBV缓冲器202。当在图3中到了用于对画面“I2”进行解码的时刻时，在该时刻，立即根据缓冲器占用量的位置P_I2将代码量为“大小I2”的视频流从VBV缓冲器202传输到解码电路203。然后，以类似的方式，以传输速率“Rmax”将视频流通过记录/播放单元107和解复用器109传输到VBV缓冲器202，直到用于对画面“B0”进行解码的时刻为止。在图3中，时间T表示画面显示周期，并且是帧速率的倒数。 
此外，在视频流从VBV缓冲器202上溢的情况下，在图3的时刻t1，停止从解复用器109传输视频流。因此，在播放时，控制了从解码电路203侧观察到的VBV缓冲器202的占用量。 
另一方面，在记录时，占用量控制器105控制VBV缓冲器202的占用量，进行控制以使VBV缓冲器202不会下溢，并且控制编码电路201以对无中断的视频流进行编码。 
图4是示出在连续地播放两章的复用流的情况下，从解码电路203侧观察到的VBV缓冲器202的占用量的转变的例子的图。纵轴表示VBV缓冲器202的占用量，而横轴表示时间。将沿纵轴所表示的缓冲器的占用量表示为增大的值。这意味着纵轴的值越高，VBV缓冲器202的占用量越大。 
在复用流中存在视频流的情况下，以传输速率“Rmax”将视频流传输和存储到VBV缓冲器202。然而，如果在复用流中不 存在视频流，则不进行视频流的传输和存储。此外，当开始各个画面的解码时，立即进行从VBV缓冲器202向解码电路203传输视频流。 
应注意，尽管VBV缓冲器202具有足够的缓冲量来存储视频流的几个帧，但是用于存储音频流的音频缓冲器(未示出)具有小缓冲量。因此，在复用了所有的视频流之后，如图4中所示，复用用于根据音频流或者误差校正码(error-correction code，ECC)单元来调整流大小的填充数据(padding data)。 
在图4的情况下，播放时的解码后图像在先前播放的章和后续播放的章之间产生了中断。在这种情况下，在先前章的视频流所占用的VBV缓冲器202的量变为零之后，从记录介质(盘)D读出后续章的视频流，并将其传输到VBV缓冲器202。作为结果，无需再考虑开始播放后续章时VBV缓冲器202的占用量。 
图5示出以在出现切换的部分不存在视频数据的缺失的方式播放先前章和后续章的视频流的情况。在这种情况下，如图6所示，也需要以与视频类似的方式来防止音频的缺失。然而，由于视频流中的帧持续时间与音频流中的不同，因此存在紧挨在切换之前的部分中的先前章的视频和音频的长度不相同的情况。 
如图5所示，为了以在不同章之间在切换所在部分不存在缺失的方式进行播放，需要在VBV缓冲器202中由先前章的视频流所占用的量变为零之前，开始向VBV缓冲器202传输后续章的视频流。因此，当确定要分配给后续章的视频流开始部分处的章的代码量时，需要考虑在开始播放后续章的视频流时，由已经累积在VBV缓冲器202中的先前章的视频流所占用的缓冲器的量。 
如果当在VBV缓冲器202中还没有累积足够量的视频流的 阶段进行播放时，尝试将视频流从VBV缓冲器202传输至解码电路，则存在VBV缓冲器202中将出现下溢的危险。例如，在图5中，设想立即传输了为解码后续章的开始画面“I2”所需的视频流的情况。在这种情况下，如果VBV缓冲器202中还没有累积足够量的视频流数据，则将无法获得解码所需的数据，并且作为结果，不可能无缺失地进行播放。 
因此，为了预先在VBV缓冲器202中累积足够量的视频流数据，需要在尽可能早的时刻开始将后续章的视频流的数据传输并存储到VBV缓冲器。然而，由于读出后续章的视频流必须在结束从盘D读出先前章的视频流之后，因此存在对该时刻的限制。 
因此，在根据本发明实施例的记录设备中，通过调整进行记录时对先前章的音频流所进行的复用的结束时刻，来将从盘读出后续视频流的数据的开始时刻调整为更早出现。作为结果，这样构成：在解码后续视频流的数据中的先前章时，在VBV缓冲器202中累积了足够量的流数据。 
为实现此，复用控制器108对复用器106中的先前章的复用流的生成的结束条件进行控制。如前面所述，存储音频流的音频缓冲器具有小的缓冲量。因此，为了便于生成复用流，在复用所有视频流之后，复用用于使章大小与音频流或ECC单元一致的附加数据。 
在连续播放两章的复用流的情况下，复用控制器108控制复用器106，以使得在解码后续章的开始画面“I2”时，VBV缓冲器的占用量超过设定的阈值“VBV_th”。也就是说，在根据第一实施例的记录设备中，依据要分配给后续章的开始画面“I2”的代码量来设置阈值“VBV_th”。换句话说，在期望将后续章的开始画面编码为高图像质量的情况下，应将阈值“VBV_th”设置得更 高。阈值设置得越高，可以分配给开始画面的代码量越大。 
图7是示出在连续地播放两章的复用流的情况下，如何在缓冲存储器中累积数据的概念图。将参考图7来说明在开始对后续章的开始画面“I2”进行解码时，VBV缓冲器202的占用量将超过设定的阈值“VBV_th”的条件。 
在根据本实施例的记录设备中，将编码后的视频流和编码后的音频流按预定数据量划分为多个包，并且以包为单位进行复用。 
用“pre_SCR_END”表示先前章的最后数据传输到VBV缓冲器的时刻，并且用“DTS(I2)”表示对后续章的开始画面“I2”进行解码的时刻。此外，用“SCR_LIMIT”表示必须以如下方式开始向VBV缓冲器202传输后续章的视频流的时刻：在解码时刻“DTS(I2)”，已经累积在VBV缓冲器中的复用流所占用的缓冲器的量将超过设定的阈值“VBV_th”。在这种情况下，通过下面的等式来表示传输开始时刻“SCR_LIMIT”： 
“SCR_LIMIT”＝“DTS(I2)”-“VBV_th”/“Rmax” 
由于超过了阈值“VBV_th”，要求先前章的最后数据的传输时刻“pre_SCR_END”早于传输开始时刻“SCR_LIMIT”。为了实现该要求，要求以“SCR_LIMIT”将不超过“pre_SCR_END”的方式来进行先前章的复用流的生成。如果通过等式来表示，则要求保持下面的关系： 
“pre_SCR_END”＜“SCR_LIMIT” 
设想不能以先前章的最后数据的传输到达时刻“pre_SCR_END”将不超过后续章的传输开始时刻“SCR_LIMIT”的方式，来进行先前章的复用流的生成的情况。在这种情况下，如图8所示，在解码时刻“DTS(I2)”，VBV缓冲器202的占用量将不超过阈值“VBV_th”。 
因此，在根据本发明实施例的记录设备中，当指定了停止先前章的记录时，复用控制器108在复用了所有视频流之后调整音频流的复用量。在解码时刻“DRS(I2)”时，控制复用器106以使VBV缓冲器202的占用量将超过设定的阈值“VBV_th”。 
图9是示出当停止了复用流的记录时复用控制器108对复用器106进行控制的流程图。参考图9来说明如下的控制方法，复用控制器108通过该控制方法来执行控制，使得在对后续章的开始画面“I2”进行解码时VBV缓冲器202的占用量将超过设定的阈值“VBV_th”。 
如果从操作输入单元(未示出)发出了用于停止记录的命令，则开始图9的流程图中的处理。首先，在步骤S401中，确定如下的帧，在该帧中停止与记录停止命令一致的记录，并且复用控制器108指示复用器106执行常规的复用处理。在步骤S402中，复用控制器108判断包含记录-停止帧的先前章的所有视频流是否已制作成了复用流。如果所有这些流均已制作成了复用流，则控制进入步骤S403。然而，如果还存在尚未制作成复用流的视频流，则控制返回到步骤S401并且指示复用器106执行复用流的常规处理。 
在步骤S403中，复用控制器108将从该点之后将要被制作成为复用流的音频流的解码时刻(时间点)和已被制作成了复用流的视频流的解码时刻(时间点)进行比较。如果音频流的解码时刻(时间点)大于已被制作为复用流的视频流的解码时刻(时间点)，则控制进入步骤S406。然而，如果音频流的解码时刻(时间点)等于或小于已被制作为复用流的视频流的解码时刻(时间点)，则控制转到步骤S404。 
在本实施例中，当复用视频流和音频流时，在根据MPEG方案来定义包的包单元中进行复用。具体地，将视频流和音频 流各自划分为包括预定量的数据的包，并且将视频数据(视频包)和音频数据(音频包)复用在这些包的单元中。 
在步骤S404中，假定音频流的又一个包复用到了视频流的情况。复用控制器108判断先前章的最后包传输到VBV缓冲器的时刻“PCRlast”是否大于在如下情况下的传输时刻“PCR_limit”：在后续的开始画面“I2”的解码时刻，VBV缓冲器202的占用量超过了设定的阈值。 
在这种情况下，假定先前章的最后包的到达时刻小于如下情况下的传输开始时刻：在后续章的开始画面“I2”的解码时刻，已经累积在VBV缓冲器202中的视频数据所占用的缓冲器的量超过所设定的阈值。在这种情况下，控制转入步骤S405。否则，控制进入到步骤S406。 
在步骤S405中，即使音频流的又一个包复用到了复用流中，“PCRlast”也不超过传输开始时刻“SCR_LIMIT”。因此，在这种情况下，复用控制器108仅将音频流的一个包复用到已有的复用流中，并且将控制返回到步骤S403。复用控制器108再次执行步骤S403的处理。 
复用控制器108在步骤S406中指定用于结束复用的处理。在音频流还没有被复用到帧单元中的情况下，用于结束复用的处理以使已被制作为复用流的音频流变为帧单元的方式，将剩余的帧制作为复用流。在先前章的流的大小不是ECC单元的情况下，将附加数据的包制作为复用流，执行处理以使得先前复用流的大小变为ECC单元，并进行复用处理。然后，在步骤S407中，计算解码后续章的开始画面“I2”时VBV缓冲器202的占用量，将结果报告给占用量控制器105，并且终止处理。通过使用复用控制器108来控制复用器106，从而执行上述操作。 
通过执行上述处理，能够连续地记录视频流的不同章，即 使在下次恢复记录时也不会劣化播放时后续章的图像质量。 
应注意，对于图9所示的处理，可以由CPU(未示出)来进行复用控制器108和占用量控制器105的功能，并且可以根据已经存储在连接到CPU的ROM等中的程序来实现上述控制。 
图10是示出在根据本发明实施例的记录设备中，先前章与后续章的音频和视频之间的关系的概念图。将参考图10来说明在复用控制器108的控制下复用的先前章与后续章的音频和视频之间的关系。 
存在复用控制器108以如下方式来将较少的先前章的音频流复用到视频流上的例子：在后续章的开始画面“I2”的解码时刻，累积在VBV缓冲器中的视频流所占用的缓冲器的量将超过设定的阈值“VBV_th”。在这种情况下，从对于音频流比对于视频流更早的时刻起对后续章进行复用，并且连接视频和音频而无缺失。 
通过这样进行操作，如果用户已经记录了多个章，则将达到如下状态：在后续章的开始画面“I2”的解码时刻，VBV缓冲器202的占用量超过设定的阈值“VBV_th”。因此，与VBV缓冲器202的占用量有可能太小的传统结构相比，可以为后续章分配足够量的流代码。此外，尽管在先前章和后续章之间的连接位置处的视频和音频之间的切换时刻变动了，但是由于不是从一开始就同时切换视频和音频，因此不太可能使用户烦恼。 
根据本发明，可以记录后续章，使得可以在播放时以稳定的图像质量来再现该后续章，而不会使该后续章的图像质量下降。 
其它实施例
在根据上述实施例的记录设备中，复用控制器108以如下方式来执行控制：在后续章的开始画面的解码时刻，VBV缓冲器 202的占用量将累积到设定的阈值“VBV_th”。然而，如下结构也落入了本发明的范围：复用控制器108执行控制，以使VBV缓冲器202的占用量将累积至VBV缓冲器202的总缓冲量。 
此外，可以将根据本发明实施例的记录设备构成为数字摄像机。此外，理所当然，记录所用的记录介质D可以为磁带或诸如半导体存储器等固态存储器装置。 
此外，可以将根据本发明实施例的记录设备构成为记录/播放设备。此外，可以将根据本发明实施例的记录设备应用为具有简单编辑功能的编辑设备。 
本发明可以应用于由多个装置(如，主计算机、照相机、接口和液晶面板等)组成的系统或者包括单个装置的设备(如，复印机或传真机等)。 
此外，通过向系统或设备提供存储有用于进行上述实施例的功能的软件的程序代码的存储介质，也可实现本发明。也就是说，通过由系统或设备的计算机(或CPU或MPU)读取并执行存储在存储介质中的该程序代码，也可达到本发明的目的。在这种情况下，从存储介质读出的程序代码本身实现了实施例的功能，并且存储该程序代码的存储介质组成了本发明。可以用来提供程序代码的存储介质的例子有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或ROM等。 
此外，除通过执行由计算机读取的程序代码来实现根据实施例的前述功能的情况之外，运行于计算机上的操作系统等可以基于该程序代码的命令来执行实际处理的部分或全部。因此本发明还涵盖了通过该处理来实现前述实施例的功能的情况。 
因此，可以在将从存储介质所读取的程序代码写入存储器时执行该程序代码，其中该存储器设置在插在计算机中的功能扩展板或连接到计算机的功能扩展单元上。因此，设置在功能 扩展板或功能扩展单元上的CPU等基于该程序代码的命令执行实际处理的一些或全部，并且通过该处理来实现上述实施例的功能。 
尽管参考示例性实施例说明了本发明，但是应该理解，本发明不局限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。 
本申请要求于2007年01月18日提交的日本专利申请2007-009585的优先权，在此通过引用将其整体包含于此。 

Claims (2)

1.一种记录设备，包括：
视频编码器，用于编码视频数据并且生成视频流；
音频编码器，用于编码音频数据并且生成音频流；
复用器，用于复用所述视频流和所述音频流，并且生成复用流；
记录单元，用于将所述复用流记录在记录介质上；
占用量控制器，用于基于所述复用流对虚拟缓冲存储器的占用量来控制所述视频编码器，其中在对所述复用流进行解码时使用所述虚拟缓冲存储器；以及
复用控制器，用于基于为第二复用流中所包含的视频流的开始画面分配的代码量来设置阈值，从而避免在对所述第二复用流中所包含的视频流的开始画面进行解码时所述虚拟缓冲存储器发生下溢，其中所述第二复用流在第一复用流之后被播放，并且用于对所述复用器将所述音频流复用到所述第一复用流结束的时刻进行控制，使得在对所述第二复用流中所包含的视频流的开始画面进行解码时，所述虚拟缓冲存储器的占用量将超过设定的所述阈值，
其中，根据所述阈值、所述复用流向所述虚拟缓冲存储器的传输速率以及所述第二复用流中所包含的视频流的开始画面的解码时刻，所述复用控制器决定所述复用器将所述音频流复用到所述第一复用流结束的时刻，使得所述第一复用流至所述虚拟缓冲存储器的传输结束于早于限制时刻的时刻，该限制时刻比所述第二复用流中的开始画面的解码时刻早一段时间，该段时间是所述第二复用流以所述传输速率传输至所述虚拟缓冲存储器的传输开始到所述虚拟缓冲存储器中的所述第二复用流的量达到所述阈值所需要的一段时间。
2.一种记录方法，包括：
视频编码步骤，用于编码视频数据并且生成视频流；
音频编码步骤，用于编码音频数据并且生成音频流；
复用步骤，用于复用所述视频流和所述音频流，并且生成复用流；
记录步骤，用于将所述复用流记录在记录介质上；
占用量控制步骤，用于基于所述复用流对虚拟缓冲存储器的占用量来控制所述视频编码步骤，其中在对所述复用流进行解码时使用所述虚拟缓冲存储器；以及
复用控制步骤，用于基于为第二复用流中所包含的视频流的开始画面分配的代码量来设置阈值，从而避免在对所述第二复用流中所包含的视频流的开始画面进行解码时所述虚拟缓冲存储器发生下溢，其中所述第二复用流在第一复用流之后被播放，并且用于对所述复用步骤将所述音频流复用到所述第一复用流结束的时刻进行控制，使得在对所述第二复用流中所包含的视频流的开始画面进行解码时，所述虚拟缓冲存储器的占用量将超过设定的所述阈值，
其中，根据所述阈值、所述复用流向所述虚拟缓冲存储器的传输速率以及所述第二复用流中所包含的视频流的开始画面的解码时刻，所述复用控制步骤决定在所述复用步骤中将所述音频流复用到所述第一复用流结束的时刻，使得所述第一复用流至所述虚拟缓冲存储器的传输结束于早于限制时刻的时刻，该限制时刻比所述第二复用流中的开始画面的解码时刻早一段时间，该段时间是所述第二复用流以所述传输速率传输至所述虚拟缓冲存储器的传输开始到所述虚拟缓冲存储器中的所述第二复用流的量达到所述阈值所需要的一段时间。
CN2008800026729A 2007-01-18 2008-01-15 记录设备和记录方法 Expired - Fee Related CN101584209B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007009585A JP4900945B2 (ja) 2007-01-18 2007-01-18 記録装置、及び記録方法
JP009585/2007 2007-01-18
PCT/JP2008/050664 WO2008088061A1 (en) 2007-01-18 2008-01-15 Recording apparatus, recording method, program and storage medium

Publications (2)

Publication Number Publication Date
CN101584209A CN101584209A (zh) 2009-11-18
CN101584209B true CN101584209B (zh) 2013-04-24

Family

ID=39636058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800026729A Expired - Fee Related CN101584209B (zh) 2007-01-18 2008-01-15 记录设备和记录方法

Country Status (5)

Country Link
US (1) US8385727B2 (zh)
EP (1) EP2106660A4 (zh)
JP (1) JP4900945B2 (zh)
CN (1) CN101584209B (zh)
WO (1) WO2008088061A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280700B1 (ko) * 2009-02-27 2013-07-01 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
JP5947641B2 (ja) * 2012-07-06 2016-07-06 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136634A (ja) * 2003-10-29 2005-05-26 Sony Corp 符号化制御装置および符号化システム
JP2006046949A (ja) * 2004-07-30 2006-02-16 Honda Electronic Co Ltd 超音波傷・ひび割れ検査方法
JP2006217280A (ja) * 2005-02-03 2006-08-17 Sony Corp 符号化制御装置および符号化システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US615674A (en) * 1898-12-13 Richard beasley browne
GB9424437D0 (en) 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Encoder system level buffer management
US6157674A (en) * 1996-03-21 2000-12-05 Sony Corporation Audio and video data transmitting apparatus, system, and method thereof
JP2003046949A (ja) * 2001-07-30 2003-02-14 Hitachi Ltd データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
JP3675464B2 (ja) 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
JP4717452B2 (ja) 2005-01-31 2011-07-06 ルネサスエレクトロニクス株式会社 データ多重化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136634A (ja) * 2003-10-29 2005-05-26 Sony Corp 符号化制御装置および符号化システム
JP2006046949A (ja) * 2004-07-30 2006-02-16 Honda Electronic Co Ltd 超音波傷・ひび割れ検査方法
JP2006217280A (ja) * 2005-02-03 2006-08-17 Sony Corp 符号化制御装置および符号化システム

Also Published As

Publication number Publication date
CN101584209A (zh) 2009-11-18
JP2008177874A (ja) 2008-07-31
US8385727B2 (en) 2013-02-26
JP4900945B2 (ja) 2012-03-21
EP2106660A4 (en) 2011-08-24
US20100067879A1 (en) 2010-03-18
EP2106660A1 (en) 2009-10-07
WO2008088061A1 (en) 2008-07-24

Similar Documents

Publication Publication Date Title
US8031743B2 (en) Apparatuses and method for multiplexing elementary streams based on a multiplexing pattern indicating an order of types of data to be multiplexed
CN102640511A (zh) 视频信息再现方法和系统、以及视频信息内容
JP2003046949A (ja) データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム
JP2006520986A (ja) ストリームバッファチャネル用のｃｐｉデータ
US6240137B1 (en) Encoding apparatus and method, decoding apparatus and method, and editing method
CN100536555C (zh) 数据处理装置
CN100369481C (zh) 代码变换方法及其装置
JP2006507730A (ja) 停止映像が記録された情報保存媒体、その再生装置及び方法
US7359621B2 (en) Recording apparatus
CN101808242B (zh) 缓存控制装置和缓存控制方法
US6801536B1 (en) Remultiplexing audio/video PES streams from an MPEG transport system
KR100629093B1 (ko) 디코딩 장치 및 디코딩 방법
KR100534291B1 (ko) 디지털 방송 기록 재생 장치
CN101584209B (zh) 记录设备和记录方法
US8873641B2 (en) Moving picture coding apparatus
KR100975170B1 (ko) 화상 데이터 재생 장치 및 방법
US20090052869A1 (en) Multiplexing method preventing overflow of audio decoder buffer
US8442376B2 (en) Image data recording/playback device, system, and method
JP3918332B2 (ja) 多重化装置、多重化方法及び記録媒体
CN100474914C (zh) 控制数字视频数据的比特率的方法和装置
WO2009095971A1 (ja) オーディオレジューム再生装置及びオーディオレジューム再生方法
JP3301274B2 (ja) 符号化映像データの復号装置
JP2003324690A (ja) 映像記録再生装置
JP3191856B2 (ja) 情報蓄積出力装置
WO2004006576A1 (ja) 画像データ処理装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20190115