CN1117485C - 辅助字幕编码/解码方法和装置 - Google Patents

辅助字幕编码/解码方法和装置 Download PDF

Info

Publication number
CN1117485C
CN1117485C CN96105754A CN96105754A CN1117485C CN 1117485 C CN1117485 C CN 1117485C CN 96105754 A CN96105754 A CN 96105754A CN 96105754 A CN96105754 A CN 96105754A CN 1117485 C CN1117485 C CN 1117485C
Authority
CN
China
Prior art keywords
subtitle
data
coding
subtitle data
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN96105754A
Other languages
English (en)
Other versions
CN1141562A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26426962&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1117485(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1141562A publication Critical patent/CN1141562A/zh
Application granted granted Critical
Publication of CN1117485C publication Critical patent/CN1117485C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3063—Subcodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • H04N9/8244—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal involving the use of subcodes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Error Detection And Correction (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

本发明实时执行辅助字幕数据的编码和解码。一个缓冲器调节辅助字幕数据的流速以确保适当的辅助字幕被叠加到正确的视频图像上。在编码中，产生相应于视频图像的辅助字幕。这些辅助字幕被分别编码并与视频图像进行信号混合以传输。在解码时，在对应于相应视频图像的显示的时间来选择辅助字幕。由于这些辅助字幕是与图像数据分别处理的，所以可以很多控制手段操纵这些辅助字幕；从而在编码和解码过程中提供更大的灵活性。

Description

辅助字幕编码/解码方法和装置
技术领域
本发明涉及对视频数据的编码和解码，特别涉及对叠加在一个视频显示屏上的辅助字幕进行的编码和解码。
背景技术
在视频广播中，辅助字幕被用来向观众传播原文信息。这些辅助字幕伴随着音频/视频广播并向观众提供那些从广播中看不见的补充信息。例如，通过显示作为写入语言录制在音频声道上的口头语言，常用辅助字幕来帮助那些听力减弱的观众。另一个例子是将录制在音频声道上的一种口头语言用辅助字幕显示成多种不同的语言。此外，辅助字幕还可以用来传播与音频/视频广播无关的重要信息。在这种情况下，辅助字幕可以表示屏幕快讯，例如：紧急通知；体育积分；天气预报；和其它重要信息。
在电视广播或图像再现(例如视盘)中，辅助字幕被预先叠加在广播上并成为视频图像的一个不可分隔的部分。在这种情形之下，观众不能控制辅助字幕的开或关。这不利于观众录制不带辅助字幕的视频广播，例如，观众想录制一个电视转播的电影，突然新闻辅助字幕被叠加在广播上，从而扰乱了录制。
由于不能选择多种语言，所以不需要预先叠加辅助字幕。当一个观众不懂辅助字幕上的语言时，这些辅助字幕就成了令人烦恼的无用东西。另一方面，如果这个观众也不懂广播中所说的语言，则他就不能理解该广播。
小型盘图形学(CD-G)在显示辅助字幕上提供了更多的灵活性，因为这种技术用子码将图形记录在一个小型盘(CD)上。但是，CD-G有一个很大的缺点，因为该技术只限于CD应用。CD-G技术不适用于其它的记录格式和大量的使用这些其它记录格式的音频/视频广播，例如录相带。
图13a-c和14说明了在实时广播过程中，CD-G技术不适于供广播辅助字幕使用。特别是，对CD-G所采用的数据格式的分析显示了这种技术需要一个若干秒(10.24s)的传输超前时间，这对多数实时广播来说是不可接受的。
图13a描绘了CD-G数据格式，其中一帧包括1个字节的子码和32个字节的音频通道数据。在这32个字节中，24个字节放置L和R音频通道数据(每个通道有6个抽样，每个抽样占2个字节)，8个字节放置一个错误校验码。如图13b所示，98帧组成一个块(帧0，帧1，……，帧96和帧97)。如图13c所示，8个块P，Q，R，S，T，U，V和W被传输。每个块中用于帧0和1的子码被定义为同步模式S0，S1，而剩余的96帧存储不同的子码数据。在8个块中，前2个块P，Q放置通过记录轨道搜索用的搜索数据；并且图像数据可分配给剩余6个块R，S，T，U，V和W中的子码。
由于每个由98个帧构成的块以一个75Hz的重复频率传输，所以1块的数据传输率是(75×98字节)7.35kHz，或7.35K字节/S。用于传输块R，S，T，U，V和W中的当前信息的传输格式如图14所示。6个具有96个帧(2，3，……，97)的块(R，S，T，U，V和W)被设为一个包，每个包包括每通道96个码元的6个通道(R到W)。每个包被进一步细分为4个子包，每个子包由24个码元(码元0至码元23)构成，每个码元代表一个帧。
一个CD-G字符由6×12个像素构成。由于每个子包是6×24，所以每个子包易于寄存6×12字符。CD-G格式向每个字符分配6个通道(R，S，T，U，V和W)和12个码元8到19。每个子包中的剩余码元用来存储该字符的有关信息。
在每个子包中，模式信息被存储在码元0的前三个通道(R，S，T)中，且项目信息存储在码元0的后三个通道(U，V，W)中。模式信息和项目信息的组合定义了存储在相应子包中的字符的模式，定义如下：
                           表1
                    模式        项目
                    000         000模式
                    001         000图形模式
                    001         001电视图形模式
                    111         000用户自定义模式
一条指令被存储在码元1的全部通道中。这条指令的相应模式，项目，奇偶性或其它附加信息被存储在码元2到7的所有通道中。码元0到19的通道中的所有数据的奇偶性被存在每个子包的最后四个码元(码元20到23)的所有通道中。
如所述，数据以一个75Hz的重复频率传输。因此，一个包含4个子包的包以每秒300子包(75Hz×4包)的速率传输。即，若1个字符分配给6×12像素的范围，则在1秒钟内能够传输300个字符。
但是，一个CD-G屏幕需要多于300个字符。一个CD-G屏幕被定义为288个水平像元×192个垂直像元并且需要在1秒钟内传输300个字符的两倍以上的字符。因此，一个288×192屏幕的总传输时间是2.56秒，如下列等式表示：(288/6)×(192/12)÷300＝2.56秒
当考虑通常每隔0.6秒更新一次屏幕时，这个时间对于再现每个屏幕来说是极长的。当这些字符用十六进制码表示时就会出现这个问题，因为每个十六进制表达式需要用4个比特来表示1个像素。其结果是，在传输率增加到10.24秒(4×2.56秒)的同时，4倍的上述数据被传输。因为每个屏幕的传输需要一个缓慢的10.24秒，所以当用CD-G技术传输屏幕时，屏幕的连续传输就意味着要经历10.24秒的滞后时间。从而，CD-G技术不可实时执行并且在用于实时广播时，其速度之慢是不可接受的。
CD-G技术在再现辅助字幕时也有缺点。CD-G系统只在普通再现时显示辅助字幕，而在特殊再现过程中，例如快进或快退再现，不显示辅助字幕。CD-G图像也有振鸣现象(其中一个字符的斜交部分被破坏)或闪烁现象，因为这个系统只给每个像元分配1个比特的数据。CD-G图像的滞后时间也妨碍了快速切换辅助字幕显示。
在一种类型的系统中(公知的CAPTAIN系统)，用光点图案以及字符码表示辅助字幕。但是，这种系统并不比CD-G系统好且具有一些相同的缺点。例如，在这两种系统中，辅助字幕缺乏精确度，因为这些系统在显示辅助字幕时不能提供足够的分辨率。例如，已研制出了248(水平像素)×192(垂直像元)显示的CAPTAIN系统，而非720×480的高分辨率视频图像。
发明内容
因此，本发明的一个目的是提供一种具有较大灵活度的，对辅助字幕编码和解码的编码/解码方法和装置。
本发明的另一目的是对与视频数据分离的辅助字幕进行编码，以便独立处理这些辅助字幕。
本发明的又一目的是实时对辅助字幕解码，以使得该辅助字幕能与视频图像同时叠加。
本发明还有一个目的是提供一个控制辅助字幕编码/解码的处理器，用于控制辅助字幕数据从一个缓冲器读出的流速，以使得辅助字幕数据与相应的视频数据同时合成。
按照本发明的一个方面，提供一种辅助字幕数据编码装置，用于产生通过一个多路复用器与视频图像多路复用的辅助字幕，所述装置包括：辅助字幕发生装置，用来分别产生与从所述视频图像中选择的相应视频图像叠加在一起的所述辅助字幕；编码装置，用来将所述辅助字幕编码成编码辅助字幕数据；以及缓冲器装置，用来调节所述编码辅助字幕数据的流速，以将所述编码字幕数据和所述相应视频图像同时传送到多路复用器。
按照本发明的另一方面，提供一种辅助字幕数据解码装置，用于对由一个信号分离器从视频图像分离出的编码辅助字幕进行解码并用于将所述辅助字幕叠加到所述视频图像上，所述装置包括：缓冲器装置，用于调整所述编码辅助字幕的流速，以将所述编码辅助字幕与从所述视频图像中选定的相应视频图像同时读出；解码装置，用于将所述编码辅助字幕解码成解码辅助字幕；混合装置，用于将所述解码辅助字幕与所述相应视频图像混合以使得解码辅助字幕被叠加在所述相应视频图像的显示上；以及检测器装置，用于检测位流中提供的所述编码辅助字幕并根据所述辅助字幕数据解码装置的再现模式向所述缓冲器装置有选择地传输所述位流。
按照本发明的另一方面，提供一种辅助字幕数据编码方法，用于产生通过一个多路复用器与视频图像多路复用的辅助字幕，所述方法包括如下步骤：分别产生与从所述视频图像中选择的相应视频图像叠加在一起的所述辅助字幕；将所述辅助字幕编码成编码辅助字幕数据；以及调节所述编码辅助字幕数据的流速，以将所述编码辅助字幕数据和所述相应视频图像同时传送到多路复用器。
按照本发明的另一方面，提供一种辅助字幕数据解码方法，用于对由一个信号分离器从视频图像分离出的编码辅助字幕进行解码并用于将所述辅助字幕叠加到所述视频图像上，所述方法包括如下步骤：调整所述编码辅助字幕的流速，以与从所述视频图像中选定的相应视频图像的显示同时从缓冲器读出所述编码辅助字幕；将所述编码辅助字幕解码成解码辅助字幕；将所述解码辅助字幕与所述相应视频图像混合以使得解码辅助字幕被叠加在所述相应视频图像上；以及根据一个指定的再现模式有选择地缓冲提供给所述缓冲器的位流。
本发明的编码装置提供了一个辅助字幕发生器，用来产生与相应视频图像一起显示的辅助字幕。这些辅助字幕被编码成编码的辅助字幕数据，并且通过一个缓冲器调节数据的流速以与用一个视频编码器编码的相应视频图像同时发生。
在本发明的解码装置中，一个缓冲器调节编码的辅助字幕数据的流速，即从缓冲器读出位数的速率，以将编码的字幕数据和被视频解码器解码的相应视频图像同期组合。编码的辅助字幕数据被解码成解码的辅助字幕数据，并且一个混合器将解码的辅助字幕数据与相应的视频图像叠加。
本发明还提供一个控制编码/解码的处理器。选择性地缓冲若干辅助字幕数据位流中相应的一个；并且当这个相应的位流被解码时，用一个时间显示标记表示时间。在用时间显示标记表示时间的过程中，相应位流的解码被启动。一个混合器混合相应的解码的位流和视频图像数据。
附图说明
通过以下结合附图的详细描述将获得对本发明的更完整理解和其许多附带的优越性，附图中：
图1是本发明的数据解码装置的方块图；
图2是图1描绘的辅助字幕解码器的方块图；
图3是图1的系统控制器和图2的控制器之间的通信表；
图4是图1和图2部件之间通信用的参数表；
图5a-c是说明本发明的数据编码的信号图；
图6是对辅助字幕数据编码时参照的彩色查询表；
图7a和7b构成本发明的编码装置的方块图；
图8是说明代码缓冲器操作的图形；
图9是描述图2中的代码缓冲器内部操作的方块图；
图10是辅助字幕数据流的解释性描绘；
图11a-d描绘了与监视器的宽高比相关的视频和辅助字幕数据之间的关系；
图12是进行彩色划变(wipe)操作时参考的彩色查询表；
图13a-c描绘了CD-G格式下的数据排列；以及
图14描绘了CD-G格式下的数据传输格式。
具体实施方式
下面参照附图详细描述本发明，附图中相同标号表示相同或相应部分。解码装置
图1显示了结合本发明的数据解码装置，并且该解码装置对再现信号进行解码以产生一个与辅助字幕相叠加的视频图像。数据解码装置的系统控制器14产生有待处理的再现信号并将其送到一个辅助字幕解码器7。系统控制器与辅助字幕解码器的控制器35(图2所示)进行通信，以对辅助字幕解码并组合解码的辅助字幕和解码的视频数据。然后，准备在电视屏幕上显示组合起来的辅助字幕和视频数据。
一个数据解码器和信号分离器1从例如一个VCR接收一个数字再现信号。这个数据解码器和信号分离器1最好采用一个纠错码(ECC)技术对再现信号进行错误解码并将这个错误解码的再现信号分离成视频，辅助字幕和音频数据。一个存储器2可用作例如一个缓冲存储器和一个用于错误解码和分离再现信号的工作区。
一个视频解码器3对来自视频数据流的分离视频数据解码。一个存储器4可用于与数据解码器和信号分离器1所采用的存储器2操作相似的视频数据解码操作。
一个字母箱电路(Letter box Circuit)5将4∶3宽高比(挤压模式)的视频图像变换为一个16∶9字母箱比的视频数据。这种转换通过一个4至3分样过程实现，借此每四条水平线被分样为三条水平线，从而将视频图像挤压成一个3/4的图像。依据字母箱格式，一个垂直分辨率分量由剩余的1/4用于增大分样视频图像的垂直分辨率的视频图像导出。一个定时控制存储器6确保字母箱图像的1/4不被传输。当被频解码器3产生的解码的视频数据已是16∶9的字母箱格式时，字母箱电路绕过分样操作并直接将解码的视频数据送到辅助字幕解码器7。
同时，被数据解码器和信号分离器1分离的解码的辅助字幕数据被直接送到辅助字幕解码器7。辅助字幕解码器7根据来自系统控制器14的指令对辅助字幕数据解码并混合解码的辅助字幕数据和解码的视频数据。
一个复合编码器8将混合后的辅助字幕数据和视频数据编码成一个合适的视频图像格式，例如NTSC/PAL。一个模式显示器9与用户面接并指定例如与其相连的电视监视器的模式。一个D/A转换器10将从复合编码器8接收到的编码信号转换成一个适于在指定模式、例如NTSC或PAL下显示的模拟信号。
被数据解码器和信号分离器1解码的音频/视频信号的音频部分由一个音频解码器11解码，音频解码器11用例如一个存储器12对分离的音频数据解码。从音频解码器输出的解码音频数据被一个D/A转换器13转换成一个适于通过一个电视监视器播出的模拟音频信号。辅助字幕解码器
图1的辅助字幕解码器7通过一个控制器35与系统控制器14通信，如图2所示。该通信控制由辅助字幕解码器执行的辅助字幕解码。参照图3讨论系统控制器14与控制器35之间通信信号的定义。
系统控制器14向控制器35发送一个“复位”命令以将辅助字幕解码器7复位，并发送指示辅助字幕解码器操作模式的命令信号以将其初始化。例如，当一个用户通过模式显示器9(图1)指示开始特殊再现，例如一个快进或快退再现时，一个“特殊”命令被送到控制器35。用户也可以通过模式显示器接通或断开辅助字幕，同时使系统控制器向辅助字幕解码器发出一个“显示接通/显示断开”命令。用户也可以在垂直方向上控制与电视监视器上视频图像相关的辅助字幕显示位置，同时使系统控制器向辅助字幕解码器发出一个“U-位置”值。在这些为辅助字幕解码器定义的初始参数下，现在将描述解码操作。
辅助字幕数据被组成包括多位的数据流。每个位流相应于一个由一个图像帧的全部辅助字幕图像组成的页部分。如图2所示，这些位流施加于一个字检测器20。由于字检测器选择哪些位将被传送到代码缓冲器22，所以不同类型的位流可以被同时加到字检测器上。在本发明中，例如，一个普通重放模式和一个快进或快退模式(特殊再现)的位流均被加到字检测器上。
确实，多种视频图像的广播能被同时加到字检测器上。其结果是，为不同的视频图像提供不同的通道。字检测器20选择由系统控制器14发送的“通道选择”信号表明的通道并接收适当的位流。
系统控制器14也发出一个“位流选择”信号，以命令字检测器20选择普通重放模式位流或特殊再现模式位流。从而，一个观众能够在一个普通重放模式和一个特殊再现模式之间立刻切换。
字检测器20也负责检测在选定位流中接收到的标题和标题错误信息。标题和标题错误信息被作为信息信号，“S.标题”和“标题错误”，发送到系统控制器14(通过控制器35)以进行进一步处理。相似地，当字检测器在位流辅助字幕数据中检测到错误时，表示一个检测到的错误的错误数据作为一个“数据错误”信号被发送到系统控制器14。如果该数据不能恢复，则从系统控制器向控制器发送一个“缓冲器清除”信号，并且该错误的辅助字幕数据被清除。
提供一个调度器21以确保从信号分离器1(图1)接收到的数据不会使代码缓冲器22溢出。调度器通过确定一个接收字检测器选定的位流的I/O端口(图中未示出)的带宽来控制对代码缓冲器的读/写访问。这个带宽是指同时提供给I/O端口的并行位的数量，并且通过用信号分离器分离数据时的速率除以数据从代码缓冲器中读出的速率来计算。例如，一个20Mbps的分离器的数据速率除以一个2.5Mbps的代码缓冲器读出数据的速率等于8位。因此，为了保持一个恒定的流进和流出代码缓冲器的数据流率，调度器将设置I/O端口以并行方式接受8位。
当代码缓冲器接收一个从系统控制器14发出的“解码启动”命令时，一个读操作实时开始并被起动。从存储在被字检测器20检测出的辅助字幕数据的标题中的水平和垂直同步信号确定读操作的时序。为了实时进行显示，读速率应响应于一个像素抽样速率，最好为13.5MHz。如所述，辅助字幕数据最好以一个2.5MHz或更大的速率写入代码缓冲器。从而，这个13.5MHz的抽样时钟被分成4个时钟周期，每个时钟周期为3.375MHz。其中一个时钟周期分配给写操作(因为写操作至少需要2.5MHz)并且分配其余三个时钟周期从代码缓冲器读出数据，从而满足实时显示的要求。
所述的读/写操作被实时执行并提供了高分辨率。对应三个时钟周期中的每个从代编码缓冲器22读出8位辅助字幕数据，或每个抽样时钟读出24位。当由电视监视器每4个时钟周期显示一次图像时，在每个时钟周期显示24位的1/4，(24/4＝)6位。即，每个辅助字幕像素可包含6位，这足以达到用于显示辅助字幕的高分辨率。
当数据将从代码缓冲器读出时，一个“持续时间”信号和一个“PTS”信号由控制器35检索。“持续时间”信号表示辅助字幕数据持续的时间，PTS信号表示辅助字幕数据叠加在视频数据上的确切时间。控制器利用一个内部系统时钟基准(SCR)安排辅助字幕显示的时间。当要显示这些辅助字幕时，系统控制器14向控制器35发送“显示接通”命令。当辅助字幕显示结束时，系统控制器向控制器35发送“显示断开”信号作为一个辅助字幕解码终止信号。
系统控制器也可以通过向控制器35发送一个“特殊”命令启动辅助字幕解码器中的特殊再现操作。控制器送回一个确认信号(“特殊确认”)，确认特殊再现将被启动。为了执行一次特殊再现操作，字检测器必须选择特殊再现速率下的位流。而且，代码缓冲器将以特殊再现速率读出位流。为了均匀加速(或减慢)按照特殊再现速率的辅助字幕解码器的操作，通过增加和减少时钟脉冲可更改系统时钟基准(SCR)。以一个相应于快速馈送或快速反向馈送速率的n倍速率生成减法脉冲。在特殊再现实际开始时，以n倍速率在从代码缓冲器读出的辅助字幕数据的位流上执行实时减法。特殊再现操作也可以相当于一次暂停操作，其中不生成减法脉冲；而代之以从代码缓冲器重复地连续读同一帧。
当辅助字幕解码器7确定达到视频图像的“页结束”(EOP)时，辅助字幕的解码也结束了。在本发明的最佳实施例中，系统控制器14向控制器35发送一个指示页长度的“重复时间”信号。一个游程长度电路24包括一个计数器，并在计数器的计数值达到“重复时间”信号表明的值时，向控制器35发送一个“显示结束”信号。从而控制器35确定达到了重复时间并停止从代码缓冲器读数据。为达到本发明目的，代码缓冲器最好存储两页辅助字幕数据因为在读其中一页时将另一页写入代码缓冲器。
当发生代码缓冲器的溢出时，控制器35向系统控制器14发出一个“缓冲器溢出”信号。在字检测器20接收到下一页上的一个“页结束”(EOP)信号之前，当控制器从游程长度电路24接收到“显示结束”信号时，能够确定一次溢出。此时，系统控制器14阻止辅助字幕数据从数据解码器和信号分离器1(图1)向字检测器的传输，以防止代码缓冲器的溢出。系统控制器14的“位流选择”信号指定辅助字幕数据流并且更新每一帧上的显示起始位置。因此，在一个溢出状态过去之后，下一个位流将被写入代码缓冲器并显示在正确的显示起始位置上。
图8图示了流进和流出代码缓冲器22的数据流。t轴(横坐标)代表时间，而D轴(纵坐标)代表每页数据的数据量。因此梯度(上升/游程)代表流进代码缓冲器的辅助字幕数据流速。图c表示辅助字幕数据的数据流。当显示时间标记(PTS)与辅助字幕解码器7内部产生的同步时钟(SCR)一致时，图c的垂直部分表明辅助字幕数据从代码缓冲器的传输。图c的水平部分表明辅助字幕数据向代码缓冲器的传输。例如，在代码缓冲器接收到页(S0)的显示时间标记(PTS)时，前一页辅助字幕数据从代码缓冲器送出，并将页(S0)写入代码缓冲器。当代码缓冲器收到另一显示时间标记(PTS)时，代码缓冲器输出页(S0)的辅助字幕数据并写入页(S1)。同样地，如所表示的其余的页(S2)，(S3)被写入和读出代码缓冲器。
当代码缓冲器已完成了一整页辅助字幕数据的读出并且代码缓冲器中不再有数据存在时，会出现下溢情况。图8中的“代码缓冲量”线描绘了一个具有两页容量的代码缓冲器。如图，当线(C)的垂直部分之一延伸到代码缓冲器的下限以下时，在图8中会发生下溢。相反地，当读入代码缓冲器的辅助字幕数据太大，即线(C)的水平部分延伸超过线(B)时，图8描绘出上溢的情况。代码缓冲器还必须执行用于对视频数据解码的延迟补偿，特别是在采用了一个外部存储器的情况下。这个延迟补偿通过控制来自系统控制器14的“解码启动”命令的时序来实现。当辅助字幕解码器7的控制器35在向代码缓冲器22写入辅助字幕数据时向系统控制器发送显示时间标记(PTS)时，系统控制器相应地向控制器35发送“解码启动”指令。系统控制器14将这个“解码启动”命令延迟一个字母箱图像(近似一个场)的处理时间，并使在控制器(SCR)的同步时钟的瞬时由视频解码引起的一个延迟与显示时间标记(PTS)相一致。因为在数据编码装置中，视频、音频和辅助字幕数据是在每个视频、音频和辅助字幕数据信号的解码延迟为0的前提下多路复用的，所以延迟补偿是特别有用的。
一旦辅助字幕数据从代码缓冲器22中读出，一个反相VLC(可变长度编码)电路23(图2)使辅助字幕数据受到可变长度解码。可变长度解码的辅助字幕数据由等级(level)数据和游程(run)数据构成成对数据。在不采用可变长度解码的情况下，反相VLC电路可被旁路并且从代码缓冲器读出的辅助字幕数据将被直接输出到反相游程长度电路24。
反相游程长度电路24通过从游程数据单元数目产生数据等级来执行游程长度解码。从而，VLC电路23和游程长度电路24对已被作为压缩数据存储在代码缓冲器22中的辅助字幕数据去压缩。
然后，去压缩的辅助字幕数据被送到一个3∶4滤波器25。这个3∶4滤波器从系统控制器14接收表示相应电视监视器的宽度比的一个“X-挤压”(xsqueeze)信号。在该信号表明监视器具有4∶3的宽高比的情况下，3∶4滤波器对辅助字幕数据应用3∶4过滤处理过程，以使辅助字幕的大小与一个(16∶9)视频图像的大小相匹配，如图11c，d所示。在最佳实施例中，在产生H同步脉冲之前，控制器35从代码缓冲器22中读出90个像素的辅助字幕数据。在电视监视器已具有了一个16∶9的宽高比或该去压缩辅助字幕数据代表字形的情况下，3∶4滤波器被旁路，如图11a，b所示。
一个彩色查询表26(CLUT)(存储亮度数据Y，色差数据(Cr，Cb)，背景视频数据，以及代表一个用于Y，Cr和Cb彩色分量的数据混合比的关键(key)数据K)从3∶4滤波器25接收辅助字幕数据。图6显示了一个彩色查询表的例子，其中分量Y，Cr，Cb和K按照地址0……F(十六进制)排列。彩色查询表被用于产生辅助字幕字符的每个像素的正确色彩。也就是说，一个特定像素的亮度值Y和色差值Cr，Cb根据关键数据K确定的比值进行混合。一个混合器34(图2)混合来自彩色查询表26的像素和来自视频解码器3(图1)的视频数据。所得混合数据代表一个叠加了辅助字幕的视频图像，并准备输出到一个电视监视器。
背景视频数据被包括在彩色查询表的排列中。例如，查询表的地址0包括值为00H的关键数据；它意味着将看不到辅助字幕数据且将显示背景视频数据，如图5c中的T1区和T5区所示。查询表的地址1至6包括那些线性增加(20，40，……，C0十六进制)的关键数据K的值；它意味着依据这些地址的辅助字幕像素与背景数据相混合，如图5c中的T2区和T4区所示。最后，查询表的地址8到F包括值为E0的关键数据K；它意味着分量Y，Cr和Cb在没有任何背景视频数据的情况下被混合，如图5c中的T3所示。彩色查询表数据从系统控制器产生并在解码之前被预先向下装入到CLUT电路。应用颜色查询表，过滤的辅助字幕数据被转换成适当的用于在电视监视器上显示的彩色像素。
图12示出了彩色查询表的另一个例子。数据的排列和依据这个表中分量的值可用于提供彩色划变。彩色划变是一种通常通过进行从左到右渐进的覆盖用另一种彩色“覆盖”以前显示的元素，例如辅助字幕的显示技术。
根据本发明，一个观众可以通过模式显示器9控制辅助字幕的显示。系统控制器14根据用户的命令，向混合器34(图2)发送一个控制信号接通或断开辅助字幕。由于本发明实时产生辅助字幕，因此用户在接通或断开辅助字幕的时候不需经历任何令人不满的延迟。此外，通过用户或其它手段能够控制辅助字幕以一个可变速率渐现/渐隐。这个过程是在一个指定速度下，用一个衰减系数乘以代表辅助字幕的模式数据来完成的。这种功能也允许一个辅助字幕编辑器根据广播音频/视频图像，使观众有不同的感觉。例如，新闻信息可制成快速“闪现”以吸引观众的注意力，而电影中的辅助字幕则可以“静静地”出现，以不破坏电影的娱乐性。
混合器34也可执行辅助字幕在视频图像中的定位。它用一个“U-位置”信号来实现，该信号通过控制器35从系统控制器14发送到混合器，它指定了屏幕上显示的垂直方向。应该注意的是“U-位置”值是可以被用户或其它方式改变的。这就提供了对辅助字幕位置的附加控制并且一个用户可以自由地将辅助字幕放在沿垂直轴的任何地方。
本发明的解码装置可以用图4所示的不同信号的参数实现。但是，本发明并不限于该图中所给出的参数，而是可以用在不同的视频系统中。
总之，可以认为辅助字幕解码器7是图9中的辅助字幕解码器缓冲器模型。代码缓冲器22-1累计辅助字幕数据流直到至少一页辅助字幕数据被累计在代码缓冲器中。当显示时间标记(PTS)与同步时钟(SCR)相一致时，一页辅助字幕数据从代码缓冲器22-1被传输到显示存储器22-2(作为一个用于辅助字幕解码器的缓冲器)中。应该注意的是最好将代码缓冲器和显示存储器放置在一个单一设备中，因为代码缓冲器只需将一个指向存储下一组辅助字幕数据的显示存储器22-2中的当前地址的指针加1，因此，不会因传输引起延迟，从而导致了辅助字幕数据的高速传输。
一旦一页辅助字幕数据被传输到显示存储器22-2，这些辅助字幕被传输到反相可变长度编码IVLC或游程长度解码部件23，24进行解码。位流的标题被一个分析程序22-3分离并在垂直消隐期间(V)内被传送到反相可变长度编码器或游程长度解码器23，24。解码之后，该解码的辅助字幕数据被滤波器25过滤并且根据彩色查询表26进行彩色调整。施加到代码缓冲器22-1上的位流包括用于“普通”和“特殊”再现的辅助字幕，例如快进或快退模式。代码缓冲器根据系统控制器14提供的“位流选择”信息有选择地写入位流，以如下文所述选择普通或特殊再现位流。
图10描绘了用于普通和特殊再现的位流次序。t轴代表一帧辅助字幕流被写入代码缓冲器22的时间。一帧包括在普通播放期间组成一页的位流和组成用于特殊(或特技)播放的一页的位流。例如，位流(1)-(7)组成了一页用于普通播放的辅助字幕流。这些普通播放位流在一个沿t轴相应于一个“入口点”的时间被写入代码缓冲器。当位流(1)-(7)的全部被传送到代码缓冲器时，由这些位流构成的整个页被输出到显示存储器。用于特殊播放的位流(图10所指的特技播放)交错在普通播放的位流中，如图所示。代码缓冲器根据系统控制器14发送的“位流选择”信号在普通和特殊播放的位流之间进行选择。
由于普通和特殊再现的所有页被同时施加到代码缓冲器上，所以这种分布是有利的。也就是说，辅助字幕解码器7的模式能从普通到特殊再现瞬时无误地转变并且当辅助字幕以普通模式显示后又以特殊模式显示时，如一次快进再现，观看者不会觉出任何误差。编码技术
下面将参照5a，5b，5c和图6详细说明本发明采用的编码技术。以对图5a中的字母“A”编码的技术为例来说明。沿连续水平行扫描字母“A”，并产生沿每一水平行的字母“A”的图5b填充数据。应该注意级“E0”标志从图6所示的彩色查询表再生一个彩色像素的最高等级，而级“0”代表没有辅助字幕数据。
关键码数据(K)确定了填充数据与背景视频混合的程度。关键数据的T1区和T5区与没有叠加填充数据的视频图像中的区域相对应；因此，这些区域被指定为级“0”，如图6中的地址0所表示的一样。T2区和T4区是混合区域，其中辅助字幕逐渐与背景视频图像混合以使得辅助字幕混合到背景视频图像中并且没有强烈的反差。这个区域中的任何填充数据被存储在地址1到6中。字每“A”的主要部分显示在T3区中，在这里背景信号受到噪声抑制。T3区中的辅助字幕信息被存储在地址7到十六进制F。图6的彩色查询表按亮度分量Y的变化程度排列。例如，当T3区中的一个像素被存储并且该特定像素的亮度分量Y的级为20(十六进制)时，地址9存储该像素。以这种方式，对辅助字幕字符的其余像素进行编码以供传输。编码装置
图7A，7B描绘了本发明的编码装置。一个麦克风53和一个摄像机51分别接收音频和视频信息，并将其传送到一个多路复用器58。辅助字幕数据通过一个字符发生器55或一个飞点扫描器56被输入并且由一个辅助字幕编码电路57编码。编码的辅助字幕信息被送到多路复用器58并与音频/视频信息组合送到一个记录盘91或用来传输、显示、记录等的通道上。
摄像机51产生视频信号并将其提供给一个视频编码单元52，该视频编码单元52对该视频信号进行模拟至数字形式的转换。然后，这个数字化的视频信号被压缩以用于图像传输并被传送到一个速率控制器52a，它控制压缩视频数据被传送到多路复用器的速率，与字幕被传送到多路复用器的速率同步。以这种方式，压缩视频数据在正确时间与辅助字幕数据组合。同样地，麦克风53获得音频信息并在被送到多路复周器之前由一个音频编码单元54对其编码。该音频编码单元不必包括一个速率控制器，因为音频数据最终记录在一个不同轨道上或通过一个与视频数据不同的通道被传输。
通过字符发生器55或飞点扫描器56产生辅助字幕。字符发生器包括一个监视器和一个允许操作者手工向一个视频图像插入辅助字幕的键盘。操作者通过由键盘键入辅助字幕对辅助字幕进行编辑。在辅助字幕已被提供给一个外部视频图像的情况下提供一个飞点扫描器56。飞点扫描器扫描该视频图像并确定辅助字幕放置的位置并从该视频图像中把它们抽取出来。来自飞点扫描器的辅助字幕由处理电路63预处理以便与字符发生器产生的辅助字幕相一致并被传送到辅助字幕编码电路。
然后，选择来自字符发生器55或处理电路63的辅助字幕数据进行压缩。字符发生器输出消隐数据、辅助字幕数据和关键数据。辅助字幕数据和关键数据被传送到一个按照预定时序转换以选择辅助字幕或关键数据的转换开关61。从转换开关61选定的数据被一个滤波器72过滤并提供给另一个转换开关62。转换开关62在来自字符发生器的消隐数据、过滤数据和来自飞点扫描器的处理数据之间进行转换。当确定没有字幕存在时，转换开关62选择消隐数据。而在有辅助字幕的时候，转换开关62在字符发生器数据或飞点扫描器数据之间进行选择。然后选定数据被一个量化电路64用基于从辅助字幕缓冲检验器68反馈的数据的量化过程量化。这些可以是压缩数据的量化数据被提供给一个转换开关69，并且在普通操作期间，被传送到一个差分脉码调制(DPCM)电路65以进行脉码调制。经调制数据被一个游程长度编码电路66进行游程长度编码并被一个可变长度编码电路67进行变长编码，并被传送到辅助字幕缓冲检验器68以在被送到多路复用器58之前进行最后处理。
辅助字幕缓冲检验器68装有一个包括编码辅助字幕数据的装入块。通过一个装入块生成器70产生装入块的帧，并且辅助字幕缓冲检验器在将数据集中在装入块中时引用该装入块的帧。辅助字幕缓冲检验器通过使转换开关69从量化电路64的输出端切换到装入块生成器70的输出端来引用装入块。装入块生成器部分参照彩色查询表71中的彩色查询表生成装入块。为了解码，彩色查询表被直接传送到辅助字幕缓冲检验器并作为装入块部分传输到多路复用器。
辅助字幕缓冲检验器68还为辅助字幕数据准备了一个标题，包括了指明数据是按普通再现还是按特殊再现解码的信息。尤其是，根据那些像PTS一样精确度为90kHz的信号，那些利用高几位和90kHz的信号或那些与视频垂直同步脉冲同步的信号确定辅助字幕显示时间(被显示的持续时间)。该标题还指明了从特殊辅助字幕的显示开始/结束时间确定的辅助字幕显示时间。信息量、显示位置、渐显信息和渐隐信息也被存储在标题中以和装入块一起传输。辅助字幕缓冲检验器68还装有控制信息，诸如普通/特技播放信息；位置信息；辅助字幕编码信息；时间码信息；EOP信息；以及一个上限值。
辅助字幕缓冲检验器68检验缓冲器被数据完全填充而不溢出。通过向量化电路64反馈一个控制信号(在图7A中作为滤波器信号)来实现。这个控制信号改变了量化电路的量化级，从而改变对应特殊辅助字幕编码的数据量。通过增大量化级，辅助字幕数据所需数据量减少，从而降低了流向辅助字幕缓冲检验器的数据比特率。当辅助字幕缓冲检验器确定存在数据下溢时，控制信号降低量化级并增加从量化电路输出的数据量，借此填充辅助字幕缓冲检验器。
还可以通过彩色划变来控制辅助字幕。为此，为操作者提供了一个划变控制杆81，通过操作这个控制杆来控制辅助字幕的彩色划变。一个适配器82使划变杆的模拟信号适应R，G，B彩色数据。彩色数据被传送到装入块生成器70以用图12中的彩色划变查询表代替图6中的普通彩色查询表。还向操作者提供了一个监视器84，它在对由转换器83提供给它的字幕进行彩色划变时显示这些辅助字幕。
可以认为辅助字幕缓冲检验器68和代码缓冲器22是对称的(即编码和解码电路采用相同元件，但处于反序)。也就是说，辅助字幕缓冲检验器累计至少一页辅助字幕的辅助字幕数据流，并在系统时钟基准(SCR)与辅助字幕显示时间标记(PTS)一致时，向显示存储器22-2传送每一页。以这种方式，多页辅助字幕数据被传送到多路复用器58，以与音频/视频数据进行信号混合。经混合后的数据被记录在一个光盘91上，或被传输到一个电视接收机或被记录在其它适用媒体上。
因此，本发明提供了一种灵活的编码/解码方法和装置，它对将被实时叠加到视频图像上的辅助字幕编码和解码。辅助字幕在编码过程中也被处理，为不同的视频图像提供不同的表现形式。此外，本发明也被用于产生取代实际文本的辅助字幕码，同时允许一个接收解码器在不同语言之间变化。应理解本发明也适用于其它应用，例如对于特定消息能够挑选用户的交互图像。因此，应该知道在所附权利要求的范围内，还可以其它与在此所具体描述的方式不同的方式来实施本发明。

Claims (30)

1、一种辅助字幕数据编码装置，用于产生通过一个多路复用器与视频图像多路复用的辅助字幕，所述装置包括：
辅助字幕发生装置，用来分别产生与从所述视频图像中选择的相应视频图像叠加在一起的所述辅助字幕；
编码装置，用来将所述辅助字幕编码成编码辅助字幕数据；以及
缓冲器装置，用来调节所述编码辅助字幕数据的流速，以将所述编码字幕数据和所述相应视频图像同时传送到多路复用器。
2、如权利要求1所述的辅助字幕数据编码装置，其特征在于编码装置包括：
量化装置，用于量化所述辅助字幕以产生量化辅助字幕数据；以及
编码装置，用来通过所述量化装置压缩所述量化辅助字幕数据。
3、如权利要求2所述的辅助字幕数据编码装置，其特征在于所述编码装置包括：
脉码调制装置，用于对通过量化装置量化的辅助字幕数据进行脉码调制；
游程长度编码装置，用来对通过脉码调制装置调制的辅助字幕数据进行游程长度编码；以及
可变长度编码装置，用来对所述游程长度编码辅助字幕数据进行变长编码。
4、如权利要求1所述的辅助字幕数据编码装置，其特征在于编码装置包括具有量化级的量化器和缓冲器装置，包含通过控制所述编码装置的量化级来控制所述编码辅助字幕数据的所述流速的辅助字幕缓冲检验器。
5、如权利要求4所述的辅助字幕数据编码装置，还包括用来生成一个被所述辅助字幕缓冲检验装置参考的装入块的装入块生成装置，其中所述辅助字幕缓冲检验装置向所述装入块中装入信息标题并将其传送到多路复用器以与所述相应视频图像的数据多路复用。
6、如权利要求5所述的辅助字幕数据编码装置，还包括一个存储彩色分量的彩色查询表的彩色查询表电路，其中所述装入块生成装置参照所述彩色查询表生成装入块，并且所述辅助字幕缓冲检验装置在所述装入块中存储所述彩色查询表以传输到所述多路复用器。
7、如权利要求1所述的辅助字幕数据编码装置，其特征在于辅助字幕发生装置包含一个包括一个显示器和一个用来输入所述辅助字幕的键盘的字符发生器。
8、如权利要求7所述的辅助字幕数据编码装置，其特征在于所述编码装置还包括一个用于从一个外部图像源自动抽取所述辅助字幕的飞点扫描器。
9、如权利要求6所述的辅助字幕数据编码装置，还包括用来执行所述辅助字幕的彩色划变的彩色划变装置。
10、如权利要求9所述的辅助字幕数据编码装置，其特征在于所述彩色划变装置通过用具有彩色划变格式的彩色查询表取代所述彩色查询表来执行彩色划变。
11、一种辅助字幕数据解码装置，用于对由一个信号分离器从视频图像分离出的编码辅助字幕进行解码并用于将所述辅助字幕叠加到所述视频图像上，所述装置包括：
缓冲器装置，用于调整所述编码辅助字幕的流速，以将所述编码辅助字幕与从所述视频图像中选定的相应视频图像同时读出；
解码装置，用于将所述编码辅助字幕解码成解码辅助字幕；
混合装置，用于将所述解码辅助字幕与所述相应视频图像混合以使得解码辅助字幕被叠加在所述相应视频图像的显示上；以及
检测器装置，用于检测位流中提供的所述编码辅助字幕并根据所述辅助字幕数据解码装置的再现模式向所述缓冲器装置有选择地传输所述位流。
12、如权利要求11所述的辅助字幕数据解码装置，还包括调度装置，用于通过设置所述缓冲器装置的一个I/O端口的带宽来控制向所述缓冲器装置的读/写访问，所述带宽通过用所述信号分离器分离的数据速率除以所述缓冲器装置的所述流速来确定。
13、如权利要求11所述的辅助字幕数据解码装置，其中所述解码装置包括：
反相可变长度编码装置，用于通过利用反相变长度编码方法对从所述缓冲器装置传输来的所述编码辅助字幕进行解码；以及
反相游程长度编码装置，用于通过执行反相游程长度编码对来自所述反相可变长度编码装置的所述辅助字幕进行解码。
14、如权利要求13所述的辅助字幕数据解码装置，还包括一个3∶4滤波器，用于将被所述反相游程长度编码装置解码的辅助字幕转换成一个4∶3视频图像格式。
15、如权利要求11所述的辅助字幕数据解码装置，其中所述辅助字幕由像素构成，并且还包括彩色查询表装置，用于根据所述解码辅助字幕从一个彩色查询表中产生彩色分量，并确定辅助字幕中每个像素彩色分量的混合比，其中所述混合装置混合按照所述混合比的所述彩色分量和所述解码辅助字幕。
16、一种辅助字幕数据编码方法，用于产生通过一个多路复用器与视频图像多路复用的辅助字幕，所述方法包括如下步骤：
分别产生与从所述视频图像中选择的相应视频图像叠加在一起的所述辅助字幕；
将所述辅助字幕编码成编码辅助字幕数据；以及
调节所述编码辅助字幕数据的流速，以将所述编码辅助字幕数据和所述相应视频图像同时传送到多路复用器。
17、如权利要求16所述的辅助字幕数据编码方法，其特征在于编码步骤进一步包括：
量化所述辅助字幕以产生量化辅助字幕数据；以及
压缩所述量化辅助字幕数据。
18、如权利要求17所述的辅助字幕数据编码方法，其中所述压缩步骤包括：
脉码调制量化辅助字幕数据；
对脉码调制的辅助字幕数据执行游程长度编码；以及
对所述游程长度编码辅助字幕数据进行可变长度编码。
19、如权利要求17所述的辅助字幕数据编码方法，其中所述量化步骤包括：
通过控制量化所述辅助字幕数据的量化级来控制所述编码辅助字幕数据的所述流速。
20、如权利要求19所述的辅助字幕数据编码方法，还包括：
生成一个控制所述流速时参考的装入块；以及
向所述装入块中装入信息标题并将其传送到多路复用器以与所述相应视频图像多路复用。
21、如权利要求20所述的辅助字幕数据编码方法，还包括：
存储彩色分量的一个彩色查询表；
在生成所述装入块时参照所述彩色查询表；以及
在所述装入块中存储所述彩色查询表以传输到所述多路复用器。
22、如权利要求21所述的辅助字幕数据编码方法，还包括步骤：彩色划变所述辅助字幕。
23、如权利要求22所述的辅助字幕数据编码方法，其特征在于所述彩色划变步骤包括用具有彩色划变格式的彩色查询表取代所述彩色查询表。
24、如权利要求16所述的辅助字幕数据编码方法，其特征在于通过从一个键盘键入所述辅助字幕并显示所述键入辅助字幕来产生所述辅助字幕。
25、如权利要求16所述的辅助字幕数据编码方法，其特征在于通过从一个使用飞点扫描器的外部图像源自动抽取所述辅助字幕来产生所述辅助字幕。
26、一种辅助字幕数据解码方法，用于对由一个信号分离器从视频图像分离出的编码辅助字幕进行解码并用于将所述辅助字幕叠加到所述视频图像上，所述方法包括如下步骤：
调整所述编码辅助字幕的流速，以与从所述视频图像中选定的相应视频图像的显示同时从缓冲器读出所述编码辅助字幕；
将所述编码辅助字幕解码成解码辅助字幕；
将所述解码辅助字幕与所述相应视频图像混合以使得解码辅助字幕被叠加在所述相应视频图像上；以及
根据一个指定的再现模式有选择地缓冲提供给所述缓冲器的位流。
27、如权利要求26所述的辅助字幕数据解码方法，还包括通过设置所述缓冲器装置的一个I/O端口的带宽来调度向所述缓冲器的读/写访问，所述带宽通过用所述信号分离器分离的数据的速率除以所述位流的所述流速来确定。
28、如权利要求26所述的辅助字幕数据解码方法，其中所述解码步骤包括：
对从所述缓冲器读出的所述辅助字幕进行反相可变长度编码；以及
对所述反相可变长度编码辅助字幕进行反相游程长度编码。
29、如权利要求28所述的辅助字幕数据解码方法，还包括将所述反相游程长度编码辅助字幕经3∶4过滤成为一个4∶3视频图像格式。
30、如权利要求26所述的辅助字幕数据解码方法，其中所述辅助字幕由像素构成，并且还包括：
根据所述解码辅助字幕从一个彩色查询表中产生彩色分量；
确定辅助字幕中每个像素彩色分量的混合比；以及
混合按照所述混合比的所述彩色分量和所述解码辅助字幕。
CN96105754A 1995-03-20 1996-03-20 辅助字幕编码/解码方法和装置 Expired - Lifetime CN1117485C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP085956/95 1995-03-20
JP085956/1995 1995-03-20
JP8595695 1995-03-20
JP7295990A JPH08322046A (ja) 1995-03-20 1995-10-20 データ符号化／復号化方法および装置、および符号化データ記録媒体
JP295990/95 1995-10-20
JP295990/1995 1995-10-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNB031014402A Division CN1233176C (zh) 1995-03-20 1996-03-20 处理辅助字幕数据的辅助字幕处理器

Publications (2)

Publication Number Publication Date
CN1141562A CN1141562A (zh) 1997-01-29
CN1117485C true CN1117485C (zh) 2003-08-06

Family

ID=26426962

Family Applications (2)

Application Number Title Priority Date Filing Date
CN96105754A Expired - Lifetime CN1117485C (zh) 1995-03-20 1996-03-20 辅助字幕编码/解码方法和装置
CNB031014402A Expired - Lifetime CN1233176C (zh) 1995-03-20 1996-03-20 处理辅助字幕数据的辅助字幕处理器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB031014402A Expired - Lifetime CN1233176C (zh) 1995-03-20 1996-03-20 处理辅助字幕数据的辅助字幕处理器

Country Status (10)

Country Link
US (1) US5731847A (zh)
EP (2) EP0734180B1 (zh)
JP (1) JPH08322046A (zh)
KR (1) KR100381989B1 (zh)
CN (2) CN1117485C (zh)
AT (2) ATE240627T1 (zh)
AU (1) AU706455B2 (zh)
CA (1) CA2172011C (zh)
DE (2) DE69637052T2 (zh)
MY (1) MY115006A (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293981B (zh) * 1995-07-21 1996-12-21 Philips Electronics Nv
EP0765082A3 (en) * 1995-09-25 1999-04-07 Sony Corporation Subtitle signal encoding/decoding
KR100218434B1 (ko) * 1996-06-21 1999-09-01 구자홍 디브이디 재생기의 문자 표시 장치 및 방법
US6209028B1 (en) 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
KR100246762B1 (ko) * 1997-07-19 2000-03-15 윤종용 비디오데이터 디코딩방법
GB9716545D0 (en) * 1997-08-06 1997-10-08 Nds Ltd A method and apparatus for switching between digital bit-streams
JP3039472B2 (ja) 1997-08-29 2000-05-08 日本電気株式会社 画像と音声の再生装置
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
US6901207B1 (en) * 2000-03-30 2005-05-31 Lsi Logic Corporation Audio/visual device for capturing, searching and/or displaying audio/visual material
JP3670934B2 (ja) 2000-06-01 2005-07-13 三洋電機株式会社 デジタルテレビ放送受信機における文字データの表示方法
TW519840B (en) * 2000-06-02 2003-02-01 Sony Corp Image coding apparatus and method, image decoding apparatus and method, and recording medium
JPWO2002037841A1 (ja) * 2000-11-02 2004-03-11 株式会社フジヤマ デジタル映像コンテンツの配信システム及び再生方法並びにその再生プログラムを記録した記録媒体
US7117231B2 (en) * 2000-12-07 2006-10-03 International Business Machines Corporation Method and system for the automatic generation of multi-lingual synchronized sub-titles for audiovisual data
JP4038996B2 (ja) 2001-04-27 2008-01-30 松下電器産業株式会社 信号処理装置および信号処理方法
KR100457512B1 (ko) * 2001-11-29 2004-11-17 삼성전자주식회사 광 기록 매체, 광 기록 매체 재생 장치 및 방법
KR100939711B1 (ko) * 2002-12-12 2010-02-01 엘지전자 주식회사 텍스트 기반의 서브타이틀 재생장치 및 방법
JP3775385B2 (ja) * 2003-01-17 2006-05-17 コニカミノルタフォトイメージング株式会社 情報が付加された動画の再生方法および再生用プログラムを記憶した記憶媒体
US8978090B2 (en) * 2003-03-12 2015-03-10 Qualcomm Incorporated Multimedia transcoding proxy server for wireless telecommunication system
KR100788655B1 (ko) * 2003-11-10 2007-12-26 삼성전자주식회사 스타일 정보를 포함하는 텍스트 기반의 서브 타이틀데이터가 기록된 저장 매체, 재생 장치 및 그 재생 방법
KR100716970B1 (ko) * 2003-12-08 2007-05-10 삼성전자주식회사 디지털 저장 미디어의 트릭 재생 방법 및 그에 적합한디지털 저장 미디어 구동기
IL159838A0 (en) * 2004-01-13 2004-06-20 Yehuda Binder Information device
US20050196146A1 (en) * 2004-02-10 2005-09-08 Yoo Jea Y. Method for reproducing text subtitle and text subtitle decoding system
WO2005076601A1 (en) * 2004-02-10 2005-08-18 Lg Electronic Inc. Text subtitle decoder and method for decoding text subtitle streams
JP4189883B2 (ja) * 2004-06-24 2008-12-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像圧縮装置、画像処理システム、画像圧縮方法、及びプログラム
KR101061115B1 (ko) * 2004-08-13 2011-08-31 엘지전자 주식회사 디지털 방송 수신기 및 그의 서브타이틀 데이터 처리 방법
US20090009661A1 (en) * 2004-11-02 2009-01-08 Shizuo Murakami Captioned Still Picture Contents Producing Apparatus, Captioned Still Picture Contents Producing Program and Captioned Still Picture Contents Producing System
WO2006059779A1 (ja) 2004-12-02 2006-06-08 Sony Corporation 符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造
KR100615676B1 (ko) * 2005-01-11 2006-08-25 삼성전자주식회사 콘텐츠 재생장치 및 그의 ｇｕｉ화면 디스플레이방법
KR101360316B1 (ko) * 2006-06-09 2014-02-10 톰슨 라이센싱 클로즈드 캡션을 위한 시스템 및 방법
KR101158436B1 (ko) * 2006-06-21 2012-06-22 엘지전자 주식회사 디지털 방송과 부가 정보의 동기 제어 방법 및 이를구현하기 위한 디지털 방송용 단말기
JP2008294714A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 映像信号処理装置
WO2009023120A2 (en) * 2007-08-09 2009-02-19 Inlet Technologies Preserving captioning through video transcoding
JP5444611B2 (ja) * 2007-12-18 2014-03-19 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
US20090295987A1 (en) * 2008-05-30 2009-12-03 Mediatek Inc. Apparatus and Method for Processing a Vertical Blanking Interval Signal
TWI393086B (zh) * 2009-03-04 2013-04-11 Himax Media Solutions Inc 紅外線信號解碼系統以及紅外線信號解碼方法
US8786781B2 (en) 2009-04-09 2014-07-22 Ati Technologies Ulc Detection and enhancement of in-video text
CN105338394B (zh) 2014-06-19 2018-11-30 阿里巴巴集团控股有限公司 字幕数据的处理方法及系统
KR101789221B1 (ko) * 2015-07-16 2017-10-23 네이버 주식회사 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065143A (en) * 1988-09-26 1991-11-12 Apple Computer, Inc. Apparatus for converting an RGB signal into a composite video signal and its use in providing computer generated video overlays
AU682045B2 (en) * 1993-06-10 1997-09-18 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
DE69434718T2 (de) * 1993-06-30 2007-03-29 Sony Corp. Datendekodierungsverfahren und System
US5461619A (en) * 1993-07-06 1995-10-24 Zenith Electronics Corp. System for multiplexed transmission of compressed video and auxiliary data
US5684542A (en) * 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system

Also Published As

Publication number Publication date
EP0734180B1 (en) 2003-05-14
DE69628076T2 (de) 2004-03-11
MY115006A (en) 2003-03-31
CA2172011C (en) 2006-02-07
AU706455B2 (en) 1999-06-17
US5731847A (en) 1998-03-24
EP1301043B1 (en) 2007-04-25
CA2172011A1 (en) 1996-09-21
ATE240627T1 (de) 2003-05-15
JPH08322046A (ja) 1996-12-03
EP1301043A1 (en) 2003-04-09
DE69637052T2 (de) 2008-01-03
EP0734180A2 (en) 1996-09-25
CN1233176C (zh) 2005-12-21
KR100381989B1 (ko) 2003-08-21
CN1516477A (zh) 2004-07-28
AU4816796A (en) 1996-10-03
EP0734180A3 (en) 1999-01-13
DE69628076D1 (de) 2003-06-18
DE69637052D1 (de) 2007-06-06
CN1141562A (zh) 1997-01-29
KR960035613A (ko) 1996-10-24
ATE360961T1 (de) 2007-05-15

Similar Documents

Publication Publication Date Title
CN1117485C (zh) 辅助字幕编码/解码方法和装置
CN1144210C (zh) 子标题读出方法和设备
CN1249714C (zh) 多数据流搜索方法和装置
CN1237815C (zh) 字幕彩色划变与定位方法及装置
AU702797B2 (en) Apparatus and method for encoding and decoding digital video data operable to remove noise from subtitle data included therewith
MXPA96002842A (en) Method and multip data current search system
JPH08265661A (ja) 字幕データ符号化／復号化方法および装置、および符号化字幕データ記録媒体
CN1470128A (zh) 声音/图像数据记录重放装置和方法、以及声音/图像数据重放装置和方法
JPH0946630A (ja) 画像情報記録装置及び画像情報再生装置及び光ディスク
JPH07250279A (ja) 字幕データ復号化装置
JP4391187B2 (ja) データ復号方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20030806

EXPY Termination of patent right or utility model