JP2004201100A - 付加情報挿入装置及びその方法 - Google Patents
付加情報挿入装置及びその方法 Download PDFInfo
- Publication number
- JP2004201100A JP2004201100A JP2002368372A JP2002368372A JP2004201100A JP 2004201100 A JP2004201100 A JP 2004201100A JP 2002368372 A JP2002368372 A JP 2002368372A JP 2002368372 A JP2002368372 A JP 2002368372A JP 2004201100 A JP2004201100 A JP 2004201100A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- data
- date
- original
- subtitle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/216—Rewritable discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9265—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal
Abstract
【課題】記録するべきオーディオビデオ信号に付加情報を付加する付加情報を原オーディオビデオ信号に挿入されている原付加情報を基に自動的に生成して、自動的に生成された付加情報を記録するべきオーディオビデオ信号に挿入することを可能とする付加情報挿入装置を提供する。
【解決手段】デマルチプレクサ１０１は、ＤＶテープ再生機から入力したデジタルシリアル信号からサブコードデータを抽出し、日付データ比較部１３２に供給する。日付データ比較部１３２はサブコードデータから日時情報を抽出する。合成ビットマップデータ生成部１３５、サブピクチャデータ生成部１３６は、日時情報を表すサブピクチャデータを生成する。マルチプレクサ１８１は、記録するべきオーディオビデオデータにサブピクチャデータを挿入する。
【選択図】 図１
【解決手段】デマルチプレクサ１０１は、ＤＶテープ再生機から入力したデジタルシリアル信号からサブコードデータを抽出し、日付データ比較部１３２に供給する。日付データ比較部１３２はサブコードデータから日時情報を抽出する。合成ビットマップデータ生成部１３５、サブピクチャデータ生成部１３６は、日時情報を表すサブピクチャデータを生成する。マルチプレクサ１８１は、記録するべきオーディオビデオデータにサブピクチャデータを挿入する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報挿入装置及びその方法に関し、特に、ＤＶＤ(Digital Versatile Disc)等の記録媒体に記録するべきオーディオビデオ信号又は伝送するべきオーディオビデオ信号に付加情報をサブピクチャの形態で付加する付加情報挿入装置及びその方法に関する。
【０００２】
【従来の技術】
ＤＶＤの規格によれば、画面に表示する画像には、サブピクチャを挿入することができる。サブピクチャのサイズ及び位置は、任意であるが、最大で画面の有効領域全体を占める。また、サブピクチャの数は最大で３２個であり、視聴者がそれらのサブピクチャのうち表示するものを選択できる。勿論、サブピクチャを表示しないことも選択できる。プロフェッショナル向けのオーサリング機器で作成した映画ソフトの日本語字幕、英語字幕等がサブピクチャを利用して表示される。
【０００３】
なお、本発明に関連した先行技術文献としては、以下のものがある。
【０００４】
【特許文献１】
特開２０００−０３２３８８公報
【０００５】
特許文献１に記載の発明は、日付データ及び時刻データ等をサブピクチャとしてＤＶＤに記録するものであるが、記録するべき日付データ及び時刻データをユーザがキーボードユニットを用いて入力しなければならない。
【０００６】
【発明が解決しようとする課題】
ところで、近年、ＤＶＤ録画機が普及し、将来的にはＶＴＲ(Video Tape Recorder)はＤＶＤ録画機に置き換わると予想されている。
【０００７】
一般家庭のユーザは、例えば、ビデオカメラでビデオテープに記録した動画をＤＶＤ録画機を用いてＤＶＤにダビングしたり、テレビ放送をＤＶＤ録画機を用いてＤＶＤに録画する。
【０００８】
しかし、ビデオテープに記録されている撮影の日時や、テレビ放送に含まれている文字放送データ（例えば、映画ソフトの字幕）をＤＶＤ録画機でＤＶＤで録画する技術が従来無かった。従って、一般家庭のユーザは、ＤＶＤ録画機を持っていながら、サブピクチャを有効に利用することができなかった。これは、ＤＶＤに動画を記録する場合のみならず、ハードディスクドライブに記録する場合や動画を伝送する場合にも当てはまることである。
【０００９】
そこで、本発明は、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報を原オーディオビデオ信号に挿入されている原付加情報を基に自動的に生成して、自動的に生成された付加情報を記録又は伝送するべきオーディオビデオ信号に挿入することを可能とする付加情報挿入装置及びその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明によれば、付加情報付きの原オーディオビデオ信号のうちの前記付加情報を基に二次付加情報を生成し、該二次付加情報を前記原オーディオビデオ信号より得られる二次オーディオビデオ信号と共に記録媒体に記録し又は送信することを特徴とする付加情報挿入装置が提供される。
【００１１】
本発明によれば、記録又は伝送するべき二次オーディオビデオ信号の基となる原オーディオビデオ信号に挿入されている原付加情報を抽出する抽出手段と、前記原付加情報を基に、前記二次オーディオビデオ信号に付加するべき二次付加情報を生成する生成手段と、前記二次付加情報を前記二次オーディオビデオ信号に付加する付加手段と、を備えることを特徴とする付加情報挿入装置が提供される。
【００１２】
上記の付加情報挿入装置において、前記原付加情報は、原日時情報であってもよく、前記生成手段は、前記原日時情報を基に、該原日時情報が所定の日時単位で変化した時に変化する二次日時情報を前記二次付加情報として生成してもよい。
【００１３】
上記の付加情報挿入装置において、前記生成手段は、異なった日時単位毎に前記二次日時情報を生成し、前記付加手段は、異なった日時単位毎の前記二次日時情報を前記二次オーディオビデオ信号に付加してもよい。
【００１４】
上記の付加情報挿入装置において、前記原付加情報は、原字幕であってもよく、前記生成手段は、前記原字幕を基に、二次字幕情報を前記二次付加情報として生成してもよい。
【００１５】
上記の付加情報挿入装置において、前記生成手段は、各字幕が継続する時間についての情報を前記二次字幕情報に含める手段を備えていてもよい。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。以下の実施形態では、付加情報挿入装置の例としてサブピクチャ挿入装置をあげるが、本発明の付加情報挿入装置はサブピクチャ挿入装置に限定されたものではない。
【００１７】
［実施形態１］
実施形態１は、ＤＶテープに記録されているオーディオデータ及びビデオデータをＤＶＤにダビングする際に、ＤＶテープに記録されている撮影日時も加工後にＤＶＤにダビングするものである。
【００１８】
図１は、実施形態１によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００１９】
図１を参照すると、実施形態１によるサブピクチャ挿入装置は、デマルチプレクサ１０１、オーディオデータ圧縮部１１１、ビデオデータ伸張部１２１、ビデオデータ圧縮部１２２、日時データバッファ１３１、日時データ比較部１３２、文字コード／ビットマップ変換テーブル１３３、合成ビットマップデータバッファ１３４、合成ビットマップデータ生成部１３５、サブピクチャ生成部１３６、マルチプレクサ１８１及び記録部１８２を備える。
【００２０】
デマルチプレクサ１０１はＤＶテープ再生機１９２と、例えば、ＩＥＥＥ１３９４シリアルインターフェースにより接続されており、ＤＶテープ再生機１９２がＤＶテープ１９１から再生したオーディオデータ、圧縮ビデオデータ及びサブコードデータの時分割多重信号をＤＶテープ再生機１９２から入力する。そして、デマルチプレクサ１０１は、その時分割多重信号をオーディオデータ、圧縮ビデオデータ及びサブコードデータにデマルチプレクスして、オーディオデータをオーディオデータ圧縮部１１１に、ビデオデータをビデオデータ伸張部１２１に、サブコードデータを日時データ比較部１３２に供給する。
【００２１】
オーディオデータ圧縮部１１１は、オーディオデータをＤＶＤシステムで定められた方法により圧縮して、圧縮オーディオデータをマルチプレクサ１８１に供給する。なお、ＤＶフォーマットではオーディオデータが圧縮されていないためオーディオデータ伸張部をデマルチプレクサ１０１とオーディオデータ圧縮部１１１の間に置く必要はないが、ＤＶフォーマット以外のフォーマットの圧縮オーディオデータを入力する場合には、オーディオデータ伸張部をデマルチプレクサ１０１とオーディオデータ圧縮部１１１の間に置く必要がある。また、ＤＶＤ１９９に非圧縮オーディオデータを記録できる場合には、デマルチプレクサ１０１が出力する非圧縮オーディオデータをマルチプレクサ１８１に供給してもよい。
【００２２】
ビデオデータ伸張部１２１は、圧縮ビデオデータをＤＶシステムに従って伸張して、復元ビデオデータをビデオデータ圧縮部１２２に供給する。
【００２３】
ビデオデータ圧縮部１２２は、復元ビデオデータをＤＶＤシステムで定められた方法により圧縮して、再圧縮ビデオデータをマルチプレクサ１８１に供給する。なお、ＤＶＤ１９１に非圧縮ビデオデータを記録できる場合には、ビデオデータ伸張部１２１が出力する復元ビデオデータ（非圧縮ビデオデータ）をマルチプレクサ１８１に供給してもよい。
【００２４】
日時データバッファ１３１は、日時データを記憶する。
【００２５】
日時データ比較部１３２は、サブコードデータのうちの日時データを抽出し、抽出された日時データを日時データバッファ１３１に記憶されている日時データと比較し、日時データが更新されている場合に、日時データバッファ１３１の内容を新たな日時データに更新し、新たな日時データを合成ビットマップデータ生成部１３５に供給する。
【００２６】
文字コード／ビットマップ変換テーブル１３３は、各文字コードに対応する文字のイメージのビットマップを記憶する。なお、ＤＶＤシステムのサブピクチャの各画素は、背景画素、パターン画素、強調１画素又は強調２画素であり、２ビットで表されるが、例えば、日時データを表すためには、図３に示すように背景画素及びパターン画素を用いる。
【００２７】
合成ビットマップデータバッファ１３４は、合成ビットマップデータ生成部１３５が生成した合成ビットマップデータを記憶する。
【００２８】
合成ビットマップデータ生成部１３５は、日時データ比較部１３２から入力した日時データの各文字のビットマップを文字コード／ビットマップ変換テーブル１３３から検索し、日時データの全文字のビットマップを合成することにより、日時データの全文字のビットマップデータである合成ビットマップデータを生成し、合成ビットマップデータをサブピクチャデータ生成部１３６に供給する。
【００２９】
サブピクチャデータ生成部１３６は、合成ビットマップテーブルをＤＶＤシステムで定められた方法によりランレングス圧縮し、所定のヘッダを付加することにより、サブピクチャデータを生成し、サブピクチャデータをマルチプレクサ１８１に供給する。
【００３０】
マルチプレクサ１８１は、圧縮オーディオデータ、再圧縮ビデオデータ及びサブピクチャデータを時分割多重して、その結果得られる時分割多重信号を記録部１８２に供給する。
【００３１】
記録部１８２は、マルチプレクサ１８１から入力した時分割多重信号をＤＶＤ１９９に記録する。
【００３２】
次に、図２を参照して、実施形態１によるサブピクチャ挿入装置の動作について説明する。
【００３３】
まず、デマルチプレクサ１０１は、ＤＶテープ再生機１９２から入力する時分割多重信号の多重単位時間毎に、時分割多重信号をデマルチプレクスする（ステップＳ２０１）。
【００３４】
次に、日時データの処理、ビデオデータの処理及びオーディオデータの処理が平行して行われる。
【００３５】
日時データの処理では、まず、日時データ比較部１３２は、サブコードデータから日時データを抽出し（ステップＳ２１１）、抽出した日時データが日時データバッファ１３１に記憶されている日時データに対して更新されているか否かを判断し（ステップＳ２１２）、更新されていれば日時データバッファ１３１の内容を新たな日時データに更新し（ステップＳ２１３）、新たな日時データを合成ビットマップデータ生成部１３５に供給する。
【００３６】
日時データは、例えば、ビデオデータのフレームレートが２９．９７０Ｈｚであれば、約３３ミリ秒毎に更新されるが、日時データの更新は、ミリ秒単位、秒単位、分単位等のうちの何れかの単位で行う。選択した単位に応じて、日時データの比較する桁数、日時データバッファ１３１に記憶させる桁数を変える。
【００３７】
合成ビットマップデータ生成部１３５は、新たな日時データを入力すると、合成ビットマップデータバッファ１３４に記憶されている合成ビットマップデータをクリアし（ステップＳ２１４）、入力した日時データの文字毎にビットマップデータを文字コード／ビットマップ変換テーブル１３３から取得し（ステップＳ２１５）、取得したビットマップデータを合成ビットマップデータに追加する（ステップＳ２１６）動作を、日時データの全文字について繰り返し（ステップＳ２１７）、完成した合成ビットマップデータをサブピクチャ生成部１３６に供給する。
【００３８】
サブピクチャデータ生成部１３６は、入力した合成ビットマップデータを圧縮し（ステップＳ２１８）、ヘッダを付加することによりサブピクチャデータを生成し、サブピクチャデータをマルチプレクサに供給する（ステップＳ２１９）。
【００３９】
ビデオデータの処理では、まず、ビデオデータ伸張部１２１は、入力した圧縮ビデオデータを伸張して、伸張ビデオデータをビデオ圧縮部１２２に供給し（ステップＳ２３１）、ビデオデータ圧縮部１２２は、伸張ビデオデータを圧縮し、再圧縮ビデオデータをマルチプレクサ１８１に供給する（ステップＳ２３２）。
【００４０】
オーディオデータの処理では、オーディオデータ圧縮部１１１は、入力したオーディオデータを圧縮し、圧縮オーディオデータをマルチプレクサ１８１に供給する（ステップＳ２４１）。
【００４１】
マルチプレクサ１８１は、サブピクチャデータ生成部１３６からサブピクチャデータを入力し、ビデオデータ圧縮部１２２から再圧縮ビデオデータを入力し、オーディオデータ圧縮部１１１から圧縮オーディオデータを入力すると、これらのデータを時分割多重する（ステップＳ２５１）。
【００４２】
次に、ＤＶＤ１９９に記録するべき全フレームの処理が終了したか否かを判断する（ステップＳ２５２）。終了していなければ、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２５１までの処理を繰り返す。終了していれば、処理を終了する。
【００４３】
［実施形態２］
実施形態１では、１種類の日時データのみのサブピクチャを生成するとし、日時データを更新する単位をミリ秒単位、秒単位、分単位等から選択された１つのものとした。
【００４４】
実施形態２では、サブピクチャの数は最大で３２個あることに着目し、ＤＶテープ１９１から再生された日時データから複数種類の日時データのサブピクチャ（例えば、ミリ秒単位で更新される日時データのサブピクチャ、秒単位で更新される日時データのサブピクチャ、分単位で更新される日時データのサブピクチャ等）を生成する。複数のサブピクチャは、ＤＶＤ１９９に全て記録される。そして、ＤＶＤ１９９を再生する時に視聴者が必要なサブピクチャを選択する。
【００４５】
図４は、実施形態２によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００４６】
図１と図４を比較すると明らかなように、実施形態２によるサブピクチャ挿入装置が実施形態１によるサブピクチャ挿入装置と構成上異なる点は、日時データバッファ１３１が複数の日時データバッファ１３１−１、１３１−２、１３１−３、…、１３１−ｎに変更され、合成ビットマップデータバッファ１３４が複数の合成ビットマップデータバッファ１３４−１、１３４−２、１３４−３、…、１３４−ｎに変更されている点である。
【００４７】
日時データバッファ１３１−１、１３１−２、１３１−３、…、１３１−ｎのそれぞれは、各サブピクチャ毎の日時データを記憶する。例えば、日時データバッファ１３１−１は、ミリ秒単位の日時データを記憶し、日時データバッファ１３１−２は、秒単位の日時データを記憶し、日時データバッファ１３１−２は、分単位の日時データを記憶し、日時データバッファ１３１−ｎは、時間単位の日時データを記憶する。
【００４８】
合成ビットマップデータバッファ１３４−１、１３４−２、１３４−３、…１３４−ｎのそれぞれは、各サブピクチャ毎の合成ビットマップデータを記憶する。例えば、合成ビットマップデータバッファ１３４−１は、ミリ秒単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−２は、秒単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−３は、分単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−ｎは、時間単位の日時データの合成ビットマップデータを記憶する。
【００４９】
図５は、実施形態２によるサブピクチャ挿入装置の動作を示すフローチャートである。
【００５０】
図２と図５を比較すると明らかなように、実施形態２によるサブピクチャ挿入装置が実施形態１によるサブピクチャ挿入装置と動作上異なる点は、ステップＳ２１２がステップＳ２２０に置き換わり、ステップＳ２２１が挿入された点である。
【００５１】
ステップＳ２２１が挿入されたことにより、ステップＳ２２０〜Ｓ２１９が全てのサブピクチャについて繰り返される。従って、ステップＳ２５１では、全てのサブピクチャが再圧縮ビデオデータと圧縮オーディオデータと時分割多重される。
【００５２】
ステップＳ２２０では、繰り返し毎に異なる基準で日時データが更新されたか否かが判断される。すなわち、例えば、ミリ秒単位の日時データのサブピクチャについては、ミリ秒単位で日時データが更新されたか否かが判断され、秒単位の日時データのサブピクチャについては、秒単位で日時データが更新されたか否かが判断される。
【００５３】
［実施形態３］
実施形態３は、映画のテレビ放送をＤＶＤに記録する際に、字幕をサブピクチャとして記録するものである。特に、字幕の表示継続フレーム数を放送されている通りにする。
【００５４】
図６は、実施形態３によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００５５】
図６を参照すると、実施形態３によるサブピクチャ挿入装置は、オーディオＡ／Ｄ変換器１１２、オーディオデータ圧縮部１１１、圧縮オーディオデータバッファ１１３、ビデオＡ／Ｄ変換器１２３、ビデオデータ圧縮部１２２、圧縮ビデオデータバッファ１２４、字幕ビットマップ抽出部１４１、有効位置クロッピング、４色変換部１４２、字幕ビットマップ比較部１４３、字幕ビットマップバッファ１４４、表示継続フレーム数カウンタ１４５、サブピクチャ生成部１３６、マルチプレクサ１８１、全データバッファ１８３及び記録部１８２を備える。
【００５６】
オーディオＡ／Ｄ変換器１１２は、テレビチューナ１５０のオーディオチューナが出力するアナログのオーディオ信号をＡ／Ｄ変換してオーディオデータを得て、オーディオデータをオーディオデータ圧縮部１１１に供給する。オーディオ圧縮部１１１は、実施形態１のものと同様のものである。圧縮オーディオデータバッファ１１３は、圧縮オーディオデータを可変時間遅延させるものである。圧縮オーディオデータバッファ１１３からの圧縮オーディオデータの読出しのタイミングは字幕ビットマップ比較部１４３により制御される。この制御により、圧縮オーディオデータと字幕データの同期が取れるようになる。
【００５７】
ビデオＡ／Ｄ変換器１２３は、テレビチューナ１５０のビデオチューナが出力するアナログのビデオ信号をＡ／Ｄ変換してビデオデータを得て、ビデオデータをビデオ圧縮部１２２に供給する。ビデオ圧縮部１２２は、実施形態１のものと同様のものである。圧縮ビデオデータバッファ１２４は、圧縮ビデオデータを可変時間遅延させるものである。圧縮ビデオデータバッファ１２４からの圧縮ビデオデータの読出しのタイミングは字幕ビットマップ比較部１４３により制御される。この制御により、圧縮ビデオデータと字幕データの同期が取れるようになる。
【００５８】
字幕ビットマップ抽出部１４１は、テレビチューナ１５０の文字放送デコーダ１５０−３が出力する字幕ビットマップを抽出して、有効位置クロッピング(cropping)、４色変換部１４２に供給する。有効位置クロッピング、４色変換部１４２は、入力した字幕ビットマップから有効部分のみをクロッピングして、サブピクチャで用いる４色以下のビットマップに変換して、クロッピング及び変換がされた字幕ビットマップを字幕ビットマップ比較部１４３に供給する。４色以下のビットマップは、背景画素ビット及びパターン画素ビットの２色のみから成るビットマップであってもよい。字幕ビットマップバッファ１４４は、字幕ビットマップを一時的に記憶する。表示継続フレーム数カウンタ１４５は、各字幕の表示が継続しているフレーム数をカウントする。字幕ビットマップ比較部１４３は、有効位置クロッピング、４色変換部１４２から入力する字幕ビットマップと字幕ビットマップバッファ１４４に記憶されている字幕ビットマップの比較等の後述する処理を行う。また、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５を後述するように制御する。
【００５９】
サブピクチャデータ生成部１３６は、字幕ビットマップテーブルをＤＶＤシステムで定められた方法によりランレングス圧縮し、所定のヘッダを付加することにより、サブピクチャデータを生成し、サブピクチャデータをマルチプレクサ１８１に供給する。
【００６０】
マルチプレクサ１８１は、実施形態１のものと同様のものである。
【００６１】
全データバッファ１８３は、圧縮オーディオデータバッファ１１３、圧縮ビデオデータバッファ１２４及び字幕ビットマップ比較部１４３等で発生した圧縮オーディオデータ、圧縮ビデオデータバッファ及びサブピクチャデータのジッタを補償するものである。
【００６２】
記録部１８２は、全データバッファ１８３から入力した時分割多重信号をＤＶＤ１９９に記録する。
【００６３】
次に、図７を参照して、実施形態３によるサブピクチャ挿入装置の一部の動作について説明する。
【００６４】
ステップＳ３０１〜Ｓ３０３とステップＳ３０４〜Ｓ３０６は並列に且つ継続的に行われる。
【００６５】
ステップＳ３０１では、オーディオＡ／Ｄ変換器１１２は、オーディオ信号をＡ／Ｄ変換してオーディオデータを得る。ステップＳ３０２では、オーディオデータ圧縮部１１１は、オーディオデータを圧縮して、圧縮オーディオデータを得る。ステップＳ３０３では、オーディオデータ圧縮部１１１は、圧縮オーディオデータを圧縮オーディオデータバッファ１１３に書き込む。
【００６６】
ステップＳ３０４では、ビデオＡ／Ｄ変換器１２３は、ビデオ信号をＡ／Ｄ変換してビデオデータを得る。ステップＳ３０５では、ビデオデータ圧縮部１２２は、ビデオデータを圧縮して、圧縮ビデオデータを得る。ステップＳ３０６では、ビデオデータ圧縮部１２２は、圧縮ビデオデータを圧縮ビデオデータバッファ１２４に書き込む。
【００６７】
ステップＳ３０３及びステップＳ３０６からはステップＳ３０７に進み、ＤＶＤ１９９に記録するべき全てフレームについてのステップＳ３０１〜Ｓ３０６の処理が終了したか否かを判断し、そうであれば処理を終了し、そうでなければ、ステップＳ３０１及びＳ３０４に戻る。
【００６８】
次に、図８を参照して、実施形態３によるサブピクチャ挿入装置の他の部分の動作について説明する。
【００６９】
まず、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタをインクリメントする（ステップＳ３１１）。次に、字幕ビットマップ抽出部１４１は、字幕ビットマップを抽出する（ステップＳ３１２）。但し、字幕ビットマップが無ければ、何も抽出しない。次に、有効位置クロッピング、４色変換部１４２は、字幕の有効位置をクロッピングし、４色変換する（ステップＳ３１３）。但し、字幕ビットマップが無ければ、クロッピング及び４色変換の結果は何もない。
【００７０】
次に、字幕ビットマップ比較部１４３は、有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップと字幕ビットマップバッファ１４４に記憶されている字幕ビットマップを比較し、比較結果に応じて、ステップＳ３１１、Ｓ３２１、Ｓ３３１、Ｓ３４１及びＳ３５１のうちの何れかに進む。
【００７１】
図８で「Ａ」で示すのは、「字幕あり」から「字幕あり」に推移し、字幕の内容に変化がない場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、これと同一の字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７２】
図８で「Ｂ」で示すのは、「字幕なし」から「字幕あり」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されておらず、新たな字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７３】
図８で「Ｃ」で示すのは、「字幕あり」から「字幕あり」に推移し、字幕の内容に変化がある場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、これとは異なる字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７４】
図８で「Ｄ」で示すのは、「字幕あり」から「字幕なし」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力しなかった場合である。
【００７５】
図８で「Ｅ」で示すのは、「字幕なし」から「字幕なし」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されておらず、字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力しなかった場合である。
【００７６】
ステップＳ３１４の判断結果が「Ａ」である場合には、ステップＳ３１１に戻る。
【００７７】
ステップＳ３１４の判断結果が「Ｂ」である場合には、ステップＳ３２１に進む。ステップＳ３２１では、表示継続フレーム数カウンタ１４５をクリアする。次に、字幕ビットマップバッファ１４４の内容を有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップで更新する（ステップＳ３２２）。次に、サブピクチャ生成部１３６は、更新後の字幕ビットマップバッファ１４４内の字幕ビットマップを圧縮し（ステップＳ３２３）、ヘッダ付加等を行ってサブピクチャデータを生成する（ステップＳ３２４）。生成したサブピクチャデータはサブピクチャデータ生成部１３６に保持しておく。ステップＳ３２４からは、ステップＳ３１１に戻る。
【００７８】
ステップＳ３１４の判断結果が「Ｃ」である場合には、ステップＳ３３１に進む。ステップＳ３３１では、字幕ビットマップ比較部１４３の制御により、字幕継続中に蓄積されていた圧縮オーディオデータを圧縮オーディオデータバッファ１１３から読み出し、字幕継続中に蓄積されていた圧縮ビデオデータバッファ１２４から圧縮ビデオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する。また、ステップＳ３３１では、字幕ビットマップ比較部１４３の制御により、サブピクチャデータ生成部１３６に保持されているサブピクチャデータもマルチプレクサ１８１に供給する。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３３２）。次に、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５をクリアする（ステップＳ３３３）。次に、字幕ビットマップ比較部１４３は、字幕ビットマップバッファ１４４の内容を有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップで更新する（ステップＳ３３４）。次に、サブピクチャ生成部１３６は、字幕ビットマップバッファ１４４内の更新後の字幕ビットマップを圧縮し（ステップＳ３３５）、ヘッダ付加等を行ってサブピクチャデータを生成する（ステップＳ３３６）。生成したサブピクチャデータはサブピクチャ生成部１３６に保持しておく。ステップＳ３３６からは、ステップＳ３６１に進む。
【００７９】
ステップＳ３１４の判断結果が「Ｄ」である場合には、ステップＳ３４１に進む。ステップ３４１では、字幕ビットマップ比較部１４３の制御により、字幕継続中に蓄積されていた圧縮オーディオデータを圧縮オーディオデータバッファ１１３から読み出し、字幕継続中に蓄積されていた圧縮ビデオデータバッファ１２４から圧縮ビデオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する。また、ステップＳ３４１では、字幕ビットマップ比較部１４３の制御により、サブピクチャデータ生成部１３６に保持されているサブピクチャデータもマルチプレクサ１８１に供給する。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３４２）。次に、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５をクリアし（ステップＳ３４３）、字幕ビットマップバッファ１４４もクリアする（ステップＳ３４４）。次に、字幕ビットマップ比較部１４３の制御により、圧縮オーディオデータバッファ１１３から現フレームの圧縮オーディオデータを読み出し、圧縮ビデオデータバッファ１２４から現フレームの圧縮オーディオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する（ステップＳ３４５）。サブピクチャデータのマルチプレクサ１８１への供給は行わない。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３４６）。ステップＳ３４６からは、ステップＳ３６１に進む。
【００８０】
ステップＳ３１４の判断結果が「Ｅ」である場合には、ステップＳ３５１に進む。ステップＳ３５１では、字幕ビットマップ比較部１４３が、表示継続フレーム数カウンタ１４５をクリアする。次に、字幕ビットマップ比較部１４３の制御により、圧縮オーディオデータバッファ１１３から現フレームの圧縮オーディオデータを読み出し、圧縮ビデオデータバッファ１２４から現フレームの圧縮オーディオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する（ステップＳ３５２）。サブピクチャデータのマルチプレクサ１８１への供給は行わない。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３５３）。ステップＳ３５３からは、ステップＳ３６１に進む。
【００８１】
ステップＳ３６１では、ＤＶＤ１９９に記録するべき全フレーム終了したか否かを判断し、終了していれば、処理を終了し、そうでなければ、ステップＳ３１１に戻り、次のフレームの処理を開始する。
【００８２】
次に、図９を参照して、実施形態３によるサブピクチャ挿入装置の動作例を説明する。
【００８３】
図９の例では、第２〜４フレームに字幕Ｘがあり、第８〜１０フレームに字幕Ｙがあり、第１１〜１３フレームに字幕Ｚがある。他のフレームでは字幕はない。
【００８４】
現フレームの字幕ビットマップ（有効位置クロッピング、４色変換部１４２から字幕ビットマップ比較部１４３に供給される字幕ビットマップ）と前フレームの字幕ビットマップ（字幕ビットマップバッファ１４４内の字幕ビットマップ）とは、図９に示すようになり、両者の関係より、ステップＳ３１４の分岐先は、図９に示すようになる。これに従って、表示継続フレーム数カウンタ１４５の表示継続フレーム数は、図９に示すように変化する。また、図９の分岐先に従って、図９に示すように圧縮オーディオデータ及び圧縮ビデオデータが各々のバッファ１１３、１２４からマルチプレクサ１８１に供給される。「◎」は、バッファ１１３、１２４に字幕継続中に溜まっていた１以上のフレームのデータをマルチプレクサ１８１に供給することを示し、「○」は、現フレームのデータをマルチプレクサ１８１に供給することを意味する。具体的には、第５フレームでは、第２〜４フレームのデータがステップＳ３４１でマルチプレクサ１８１に供給され、第６フレームのデータがステップＳ３４５でマルチプレクサ１８１に供給され、第６フレームでは、第６フレームのデータがステップ３５２でマルチプレクサ１８１に供給され、第７フレームでは、第７フレームのデータがステップＳ３５２でマルチプレクサ１８１に供給され、第１１フレームでは、第８〜１０フレームのデータがステップ３３１でマルチプレクサ１８１に供給され、第１４フレームでは、第１１〜１３フレームのデータがステップＳ３４１でマルチプレクサ１８１に供給され、第１４フレームのデータがステップＳ３４５でマルチプレクサ１８１に供給され、第１５フレームでは、第１５フレームのデータがステップ３５２でマルチプレクサ１８１に供給される。
【００８５】
［実施形態４］
実施形態３では、サブピクチャ挿入装置は、テレビチューナ１５０から字幕をビットマップの形態で入力するとしたが、実施形態４では、サブピクチャ挿入装置は、テレビチューナ１５０から字幕を文字コードの形態で入力する。
【００８６】
図１０は、実施形態４によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。図６と図１０を比較すると明らかなように、実施形態４によるサブピクチャ挿入装置が実施形態３によるサブピクチャ挿入装置と異なる点は、サブピクチャ生成に関連した部分のみである。また、字幕のビットマップを出力する文字放送デコーダ１５０−３は、字幕の文字コードを出力する文字放送デコーダ１５０−３Ｂに置き換わり、これに伴い、テレビチューナ１５０はテレビチューナ１５０Ｂに置き換わっている。
【００８７】
字幕コード抽出部１５１は、字幕ビットマップ抽出部１４１に置き換わるものであり、字幕の文字コードを抽出する。字幕コード比較部１５２は、字幕ビットマップ比較部１４３に置き換わるものであり、字幕ビットマップ比較部１４３と同様の処理を、字幕ビットマップの代わりに字幕文字コードに基づいて行う。表示継続フレーム数カウンタ１４５は、実施形態３のものと同様のものである。字幕コードバッファ１５３は、字幕ビットマップバッファ１４４に置き換わるものであり、字幕の文字コードを記憶する。合成ビットマップ生成部１３５は、実施形態１の合成ビットマップ生成部１３５と同様のものであり、文字コード／ビットマップ変換テーブル１３３及び合成ビットマップデータバッファ１３４を用いて、字幕の合成ビットマップを生成する。文字コード／ビットマップ変換テーブル１３３及び合成ビットマップデータバッファ１３４は、実施形態１のものと同様のものである。サブピクチャデータ生成部１３６は、実施形態１のものと同様のものである。
【００８８】
実施形態４のサブピクチャ挿入装置の一部は、実施形態３と同様に図７に示す動作を行う。
【００８９】
図１１は、実施形態４によるサブピクチャ挿入装置の他の部分の動作を示す。図８と図１１を参照して、実施形態４によるサブピクチャ挿入装置の他の部分の動作が実施形態３によるサブピクチャ挿入装置と異なる点のみを説明する。
【００９０】
字幕ビットマップ抽出部１４１による字幕ビットマップの抽出（ステップＳ３１２）は、字幕コード抽出部１５１による字幕の文字コードの抽出（ステップＳ４１２）に置き換わる。有効位置クロッピング、４色変換部１４２による有効位置クロッピング及び４色変換（ステップＳ３１３）は無くなる。字幕ビットマップ比較部１４３による字幕ビットマップ比較（ステップＳ３１４）は、字幕コード比較部１５２による字幕の文字コードの比較（ステップＳ４１４）に置き換わる。
【００９１】
字幕ビットマップ比較部１４３による字幕ビットマップバッファ１４４の更新（ステップＳ３２２）は、字幕コード比較部１５２による字幕コードバッファ１５３の更新（ステップＳ４２２）に置き換わる。ステップＳ４２２とステップＳ３２３の間には、合成ビットマップ生成部１３５による字幕ビットマップ生成（ステップＳ４２３）が挿入される。ステップＳ４２３では、ステップＳ２１４〜Ｓ２１７（図２）が行われる。
【００９２】
字幕ビットマップ比較部１４３による字幕ビットマップバッファ１４４の更新（ステップＳ３３４）は、字幕コード比較部１５２による字幕コードバッファ１５３の更新（ステップＳ４３４）に置き換わる。ステップＳ４３４とステップＳ３３５の間には、合成ビットマップ生成部１３５による字幕ビットマップ生成（ステップＳ４３５）が挿入される。ステップＳ４３５では、ステップＳ２１４〜Ｓ２１７（図２）が行われる。
【００９３】
次に、サブピクチャデータの構造について図１２を参照して説明する。
【００９４】
サブピクチャデータは、サブピクチャユニット（ＳＰＵ）と呼ばれる基本単位で構成される。サブピクチャユニットは可変長であり、複数のパックに跨って収められる。図１２の例では、サブピクチャユニットＳＰＵ０は２個のパックの全てと１個のパックの一部を占める。図１２でＰＴＳで示すものは、プレゼンテーションタイムスタンプであり、コマンドテーブル（ＳＰ＿ＤＣＳＱＴ）の１つ目のコマンドを処理する時間を表す。
【００９５】
サブピクチャユニットは、ヘッダ（ＳＰＵＨ）、ランレングス圧縮された画素データ（ＰＸＤ）及びコマンドテーブル（ＳＰ＿ＤＣＳＱＴ）より構成される。画素データは圧縮前は１画素当たり２ビットより成る。上述したように、２ビットにより、各画素が背景画素、パターン画素、強調画素１及び強調画素２のうちのどれであるかが表される。各種類の画素の色はカラーコードとコントラストにより決定される。
【００９６】
コマンドテーブル（ＳＰ＿ＤＣＳＱＴ）は、複数部に分かれ、各部は、コマンドとそのコマンドを実行する時間情報ＳＴＭより構成される。コマンドは下表の通り９種類あり、時間情報ＳＴＭは、ＰＴＳからのオフセット値で表される。
【００９７】
【表１】
【００９８】
実施形態３及び４の字幕の表示継続フレーム数を指定するためには、そのフレーム数に相当する時間を時間情報ＳＴＭで表し、コマンドとしてサブピクチャオフのＳＴＰ＿ＤＳＰを用いればよい。こうすることにより、字幕のサブピクチャの表示が開始されてから時間情報ＳＴＭで表された時間が経過した時にそのサブピクチャの表示が終了するようになる。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報を原オーディオビデオ信号に挿入されている原付加情報を基に自動的に生成して、自動的に生成された付加情報を記録又は伝送するべきオーディオビデオ信号に挿入することが可能となるので、原オーディオビデオ信号に付加されていた付加情報を損なわずに記録又は伝送するべきオーディオビデオ信号に付加することが可能となる。
【０１００】
特に、事実上ユーザがマニュアル入力することが不可能である、刻々と変化する日時や字幕を扱うことができるので、ユーザにとって便利なものとなる。
【図面の簡単な説明】
【図１】本発明の実施形態１によるサブピクチャ挿入装置の構成を示すブロック図である。
【図２】本発明の実施形態１によるサブピクチャ挿入装置の動作を示すフローチャートである。
【図３】本発明の実施形態１によるサブピクチャ挿入装置が挿入した日時情報の表示画面の例である。
【図４】本発明の実施形態２によるサブピクチャ挿入装置の構成を示すブロック図である。
【図５】本発明の実施形態２によるサブピクチャ挿入装置の動作を示すフローチャートである。
【図６】本発明の実施形態３によるサブピクチャ挿入装置の構成を示すブロック図である。
【図７】本発明の実施形態３によるサブピクチャ挿入装置の一部の動作を示すフローチャートである。
【図８】本発明の実施形態３によるサブピクチャ挿入装置の他の部分の動作を示すフローチャートである。
【図９】本発明の実施形態３によるサブピクチャ挿入装置の動作例を示すタイミング図である。
【図１０】本発明の実施形態４によるサブピクチャ挿入装置の構成を示すブロック図である。
【図１１】本発明の実施形態３によるサブピクチャ挿入装置の一部の動作を示すフローチャートである。
【図１２】ＤＶＤ規格で定められるサブピクチャデータの構造を示すフォーマット図である。
【符号の説明】
１０１ デマルチプレクサ
１１１ オーディオデータ圧縮部
１１２ オーディオＡ／Ｄ変換器
１１３ 圧縮オーディオデータバッファ
１２１ ビデオデータ伸張部
１２２ ビデオデータ圧縮部
１２３ ビデオＡ／Ｄ変換器
１２４ 圧縮ビデオデータバッファ
１３１ 日時データバッファ
１３２ 日時データ比較部
１３３ 文字コード／ビットマップ変換テーブル
１３４ 合成ビットマップデータバッファ
１３５ 合成ビットマップデータ生成部
１３６ サブピクチャデータ生成部
１４１ 字幕ビットマップ抽出部
１４２ 有効位置クロッピング、４色変換部
１４３ 字幕ビットマップ比較部
１４４ 字幕ビットマップバッファ
１５１ 字幕コード抽出部
１５２ 字幕コード比較部
１５３ 字幕コードバッファ
１８１ マルチプレクサ
１８２ 記録部
１８３ 全データバッファ
【発明の属する技術分野】
本発明は、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報挿入装置及びその方法に関し、特に、ＤＶＤ(Digital Versatile Disc)等の記録媒体に記録するべきオーディオビデオ信号又は伝送するべきオーディオビデオ信号に付加情報をサブピクチャの形態で付加する付加情報挿入装置及びその方法に関する。
【０００２】
【従来の技術】
ＤＶＤの規格によれば、画面に表示する画像には、サブピクチャを挿入することができる。サブピクチャのサイズ及び位置は、任意であるが、最大で画面の有効領域全体を占める。また、サブピクチャの数は最大で３２個であり、視聴者がそれらのサブピクチャのうち表示するものを選択できる。勿論、サブピクチャを表示しないことも選択できる。プロフェッショナル向けのオーサリング機器で作成した映画ソフトの日本語字幕、英語字幕等がサブピクチャを利用して表示される。
【０００３】
なお、本発明に関連した先行技術文献としては、以下のものがある。
【０００４】
【特許文献１】
特開２０００−０３２３８８公報
【０００５】
特許文献１に記載の発明は、日付データ及び時刻データ等をサブピクチャとしてＤＶＤに記録するものであるが、記録するべき日付データ及び時刻データをユーザがキーボードユニットを用いて入力しなければならない。
【０００６】
【発明が解決しようとする課題】
ところで、近年、ＤＶＤ録画機が普及し、将来的にはＶＴＲ(Video Tape Recorder)はＤＶＤ録画機に置き換わると予想されている。
【０００７】
一般家庭のユーザは、例えば、ビデオカメラでビデオテープに記録した動画をＤＶＤ録画機を用いてＤＶＤにダビングしたり、テレビ放送をＤＶＤ録画機を用いてＤＶＤに録画する。
【０００８】
しかし、ビデオテープに記録されている撮影の日時や、テレビ放送に含まれている文字放送データ（例えば、映画ソフトの字幕）をＤＶＤ録画機でＤＶＤで録画する技術が従来無かった。従って、一般家庭のユーザは、ＤＶＤ録画機を持っていながら、サブピクチャを有効に利用することができなかった。これは、ＤＶＤに動画を記録する場合のみならず、ハードディスクドライブに記録する場合や動画を伝送する場合にも当てはまることである。
【０００９】
そこで、本発明は、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報を原オーディオビデオ信号に挿入されている原付加情報を基に自動的に生成して、自動的に生成された付加情報を記録又は伝送するべきオーディオビデオ信号に挿入することを可能とする付加情報挿入装置及びその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明によれば、付加情報付きの原オーディオビデオ信号のうちの前記付加情報を基に二次付加情報を生成し、該二次付加情報を前記原オーディオビデオ信号より得られる二次オーディオビデオ信号と共に記録媒体に記録し又は送信することを特徴とする付加情報挿入装置が提供される。
【００１１】
本発明によれば、記録又は伝送するべき二次オーディオビデオ信号の基となる原オーディオビデオ信号に挿入されている原付加情報を抽出する抽出手段と、前記原付加情報を基に、前記二次オーディオビデオ信号に付加するべき二次付加情報を生成する生成手段と、前記二次付加情報を前記二次オーディオビデオ信号に付加する付加手段と、を備えることを特徴とする付加情報挿入装置が提供される。
【００１２】
上記の付加情報挿入装置において、前記原付加情報は、原日時情報であってもよく、前記生成手段は、前記原日時情報を基に、該原日時情報が所定の日時単位で変化した時に変化する二次日時情報を前記二次付加情報として生成してもよい。
【００１３】
上記の付加情報挿入装置において、前記生成手段は、異なった日時単位毎に前記二次日時情報を生成し、前記付加手段は、異なった日時単位毎の前記二次日時情報を前記二次オーディオビデオ信号に付加してもよい。
【００１４】
上記の付加情報挿入装置において、前記原付加情報は、原字幕であってもよく、前記生成手段は、前記原字幕を基に、二次字幕情報を前記二次付加情報として生成してもよい。
【００１５】
上記の付加情報挿入装置において、前記生成手段は、各字幕が継続する時間についての情報を前記二次字幕情報に含める手段を備えていてもよい。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。以下の実施形態では、付加情報挿入装置の例としてサブピクチャ挿入装置をあげるが、本発明の付加情報挿入装置はサブピクチャ挿入装置に限定されたものではない。
【００１７】
［実施形態１］
実施形態１は、ＤＶテープに記録されているオーディオデータ及びビデオデータをＤＶＤにダビングする際に、ＤＶテープに記録されている撮影日時も加工後にＤＶＤにダビングするものである。
【００１８】
図１は、実施形態１によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００１９】
図１を参照すると、実施形態１によるサブピクチャ挿入装置は、デマルチプレクサ１０１、オーディオデータ圧縮部１１１、ビデオデータ伸張部１２１、ビデオデータ圧縮部１２２、日時データバッファ１３１、日時データ比較部１３２、文字コード／ビットマップ変換テーブル１３３、合成ビットマップデータバッファ１３４、合成ビットマップデータ生成部１３５、サブピクチャ生成部１３６、マルチプレクサ１８１及び記録部１８２を備える。
【００２０】
デマルチプレクサ１０１はＤＶテープ再生機１９２と、例えば、ＩＥＥＥ１３９４シリアルインターフェースにより接続されており、ＤＶテープ再生機１９２がＤＶテープ１９１から再生したオーディオデータ、圧縮ビデオデータ及びサブコードデータの時分割多重信号をＤＶテープ再生機１９２から入力する。そして、デマルチプレクサ１０１は、その時分割多重信号をオーディオデータ、圧縮ビデオデータ及びサブコードデータにデマルチプレクスして、オーディオデータをオーディオデータ圧縮部１１１に、ビデオデータをビデオデータ伸張部１２１に、サブコードデータを日時データ比較部１３２に供給する。
【００２１】
オーディオデータ圧縮部１１１は、オーディオデータをＤＶＤシステムで定められた方法により圧縮して、圧縮オーディオデータをマルチプレクサ１８１に供給する。なお、ＤＶフォーマットではオーディオデータが圧縮されていないためオーディオデータ伸張部をデマルチプレクサ１０１とオーディオデータ圧縮部１１１の間に置く必要はないが、ＤＶフォーマット以外のフォーマットの圧縮オーディオデータを入力する場合には、オーディオデータ伸張部をデマルチプレクサ１０１とオーディオデータ圧縮部１１１の間に置く必要がある。また、ＤＶＤ１９９に非圧縮オーディオデータを記録できる場合には、デマルチプレクサ１０１が出力する非圧縮オーディオデータをマルチプレクサ１８１に供給してもよい。
【００２２】
ビデオデータ伸張部１２１は、圧縮ビデオデータをＤＶシステムに従って伸張して、復元ビデオデータをビデオデータ圧縮部１２２に供給する。
【００２３】
ビデオデータ圧縮部１２２は、復元ビデオデータをＤＶＤシステムで定められた方法により圧縮して、再圧縮ビデオデータをマルチプレクサ１８１に供給する。なお、ＤＶＤ１９１に非圧縮ビデオデータを記録できる場合には、ビデオデータ伸張部１２１が出力する復元ビデオデータ（非圧縮ビデオデータ）をマルチプレクサ１８１に供給してもよい。
【００２４】
日時データバッファ１３１は、日時データを記憶する。
【００２５】
日時データ比較部１３２は、サブコードデータのうちの日時データを抽出し、抽出された日時データを日時データバッファ１３１に記憶されている日時データと比較し、日時データが更新されている場合に、日時データバッファ１３１の内容を新たな日時データに更新し、新たな日時データを合成ビットマップデータ生成部１３５に供給する。
【００２６】
文字コード／ビットマップ変換テーブル１３３は、各文字コードに対応する文字のイメージのビットマップを記憶する。なお、ＤＶＤシステムのサブピクチャの各画素は、背景画素、パターン画素、強調１画素又は強調２画素であり、２ビットで表されるが、例えば、日時データを表すためには、図３に示すように背景画素及びパターン画素を用いる。
【００２７】
合成ビットマップデータバッファ１３４は、合成ビットマップデータ生成部１３５が生成した合成ビットマップデータを記憶する。
【００２８】
合成ビットマップデータ生成部１３５は、日時データ比較部１３２から入力した日時データの各文字のビットマップを文字コード／ビットマップ変換テーブル１３３から検索し、日時データの全文字のビットマップを合成することにより、日時データの全文字のビットマップデータである合成ビットマップデータを生成し、合成ビットマップデータをサブピクチャデータ生成部１３６に供給する。
【００２９】
サブピクチャデータ生成部１３６は、合成ビットマップテーブルをＤＶＤシステムで定められた方法によりランレングス圧縮し、所定のヘッダを付加することにより、サブピクチャデータを生成し、サブピクチャデータをマルチプレクサ１８１に供給する。
【００３０】
マルチプレクサ１８１は、圧縮オーディオデータ、再圧縮ビデオデータ及びサブピクチャデータを時分割多重して、その結果得られる時分割多重信号を記録部１８２に供給する。
【００３１】
記録部１８２は、マルチプレクサ１８１から入力した時分割多重信号をＤＶＤ１９９に記録する。
【００３２】
次に、図２を参照して、実施形態１によるサブピクチャ挿入装置の動作について説明する。
【００３３】
まず、デマルチプレクサ１０１は、ＤＶテープ再生機１９２から入力する時分割多重信号の多重単位時間毎に、時分割多重信号をデマルチプレクスする（ステップＳ２０１）。
【００３４】
次に、日時データの処理、ビデオデータの処理及びオーディオデータの処理が平行して行われる。
【００３５】
日時データの処理では、まず、日時データ比較部１３２は、サブコードデータから日時データを抽出し（ステップＳ２１１）、抽出した日時データが日時データバッファ１３１に記憶されている日時データに対して更新されているか否かを判断し（ステップＳ２１２）、更新されていれば日時データバッファ１３１の内容を新たな日時データに更新し（ステップＳ２１３）、新たな日時データを合成ビットマップデータ生成部１３５に供給する。
【００３６】
日時データは、例えば、ビデオデータのフレームレートが２９．９７０Ｈｚであれば、約３３ミリ秒毎に更新されるが、日時データの更新は、ミリ秒単位、秒単位、分単位等のうちの何れかの単位で行う。選択した単位に応じて、日時データの比較する桁数、日時データバッファ１３１に記憶させる桁数を変える。
【００３７】
合成ビットマップデータ生成部１３５は、新たな日時データを入力すると、合成ビットマップデータバッファ１３４に記憶されている合成ビットマップデータをクリアし（ステップＳ２１４）、入力した日時データの文字毎にビットマップデータを文字コード／ビットマップ変換テーブル１３３から取得し（ステップＳ２１５）、取得したビットマップデータを合成ビットマップデータに追加する（ステップＳ２１６）動作を、日時データの全文字について繰り返し（ステップＳ２１７）、完成した合成ビットマップデータをサブピクチャ生成部１３６に供給する。
【００３８】
サブピクチャデータ生成部１３６は、入力した合成ビットマップデータを圧縮し（ステップＳ２１８）、ヘッダを付加することによりサブピクチャデータを生成し、サブピクチャデータをマルチプレクサに供給する（ステップＳ２１９）。
【００３９】
ビデオデータの処理では、まず、ビデオデータ伸張部１２１は、入力した圧縮ビデオデータを伸張して、伸張ビデオデータをビデオ圧縮部１２２に供給し（ステップＳ２３１）、ビデオデータ圧縮部１２２は、伸張ビデオデータを圧縮し、再圧縮ビデオデータをマルチプレクサ１８１に供給する（ステップＳ２３２）。
【００４０】
オーディオデータの処理では、オーディオデータ圧縮部１１１は、入力したオーディオデータを圧縮し、圧縮オーディオデータをマルチプレクサ１８１に供給する（ステップＳ２４１）。
【００４１】
マルチプレクサ１８１は、サブピクチャデータ生成部１３６からサブピクチャデータを入力し、ビデオデータ圧縮部１２２から再圧縮ビデオデータを入力し、オーディオデータ圧縮部１１１から圧縮オーディオデータを入力すると、これらのデータを時分割多重する（ステップＳ２５１）。
【００４２】
次に、ＤＶＤ１９９に記録するべき全フレームの処理が終了したか否かを判断する（ステップＳ２５２）。終了していなければ、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２５１までの処理を繰り返す。終了していれば、処理を終了する。
【００４３】
［実施形態２］
実施形態１では、１種類の日時データのみのサブピクチャを生成するとし、日時データを更新する単位をミリ秒単位、秒単位、分単位等から選択された１つのものとした。
【００４４】
実施形態２では、サブピクチャの数は最大で３２個あることに着目し、ＤＶテープ１９１から再生された日時データから複数種類の日時データのサブピクチャ（例えば、ミリ秒単位で更新される日時データのサブピクチャ、秒単位で更新される日時データのサブピクチャ、分単位で更新される日時データのサブピクチャ等）を生成する。複数のサブピクチャは、ＤＶＤ１９９に全て記録される。そして、ＤＶＤ１９９を再生する時に視聴者が必要なサブピクチャを選択する。
【００４５】
図４は、実施形態２によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００４６】
図１と図４を比較すると明らかなように、実施形態２によるサブピクチャ挿入装置が実施形態１によるサブピクチャ挿入装置と構成上異なる点は、日時データバッファ１３１が複数の日時データバッファ１３１−１、１３１−２、１３１−３、…、１３１−ｎに変更され、合成ビットマップデータバッファ１３４が複数の合成ビットマップデータバッファ１３４−１、１３４−２、１３４−３、…、１３４−ｎに変更されている点である。
【００４７】
日時データバッファ１３１−１、１３１−２、１３１−３、…、１３１−ｎのそれぞれは、各サブピクチャ毎の日時データを記憶する。例えば、日時データバッファ１３１−１は、ミリ秒単位の日時データを記憶し、日時データバッファ１３１−２は、秒単位の日時データを記憶し、日時データバッファ１３１−２は、分単位の日時データを記憶し、日時データバッファ１３１−ｎは、時間単位の日時データを記憶する。
【００４８】
合成ビットマップデータバッファ１３４−１、１３４−２、１３４−３、…１３４−ｎのそれぞれは、各サブピクチャ毎の合成ビットマップデータを記憶する。例えば、合成ビットマップデータバッファ１３４−１は、ミリ秒単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−２は、秒単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−３は、分単位の日時データの合成ビットマップデータを記憶し、合成ビットマップデータバッファ１３４−ｎは、時間単位の日時データの合成ビットマップデータを記憶する。
【００４９】
図５は、実施形態２によるサブピクチャ挿入装置の動作を示すフローチャートである。
【００５０】
図２と図５を比較すると明らかなように、実施形態２によるサブピクチャ挿入装置が実施形態１によるサブピクチャ挿入装置と動作上異なる点は、ステップＳ２１２がステップＳ２２０に置き換わり、ステップＳ２２１が挿入された点である。
【００５１】
ステップＳ２２１が挿入されたことにより、ステップＳ２２０〜Ｓ２１９が全てのサブピクチャについて繰り返される。従って、ステップＳ２５１では、全てのサブピクチャが再圧縮ビデオデータと圧縮オーディオデータと時分割多重される。
【００５２】
ステップＳ２２０では、繰り返し毎に異なる基準で日時データが更新されたか否かが判断される。すなわち、例えば、ミリ秒単位の日時データのサブピクチャについては、ミリ秒単位で日時データが更新されたか否かが判断され、秒単位の日時データのサブピクチャについては、秒単位で日時データが更新されたか否かが判断される。
【００５３】
［実施形態３］
実施形態３は、映画のテレビ放送をＤＶＤに記録する際に、字幕をサブピクチャとして記録するものである。特に、字幕の表示継続フレーム数を放送されている通りにする。
【００５４】
図６は、実施形態３によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。
【００５５】
図６を参照すると、実施形態３によるサブピクチャ挿入装置は、オーディオＡ／Ｄ変換器１１２、オーディオデータ圧縮部１１１、圧縮オーディオデータバッファ１１３、ビデオＡ／Ｄ変換器１２３、ビデオデータ圧縮部１２２、圧縮ビデオデータバッファ１２４、字幕ビットマップ抽出部１４１、有効位置クロッピング、４色変換部１４２、字幕ビットマップ比較部１４３、字幕ビットマップバッファ１４４、表示継続フレーム数カウンタ１４５、サブピクチャ生成部１３６、マルチプレクサ１８１、全データバッファ１８３及び記録部１８２を備える。
【００５６】
オーディオＡ／Ｄ変換器１１２は、テレビチューナ１５０のオーディオチューナが出力するアナログのオーディオ信号をＡ／Ｄ変換してオーディオデータを得て、オーディオデータをオーディオデータ圧縮部１１１に供給する。オーディオ圧縮部１１１は、実施形態１のものと同様のものである。圧縮オーディオデータバッファ１１３は、圧縮オーディオデータを可変時間遅延させるものである。圧縮オーディオデータバッファ１１３からの圧縮オーディオデータの読出しのタイミングは字幕ビットマップ比較部１４３により制御される。この制御により、圧縮オーディオデータと字幕データの同期が取れるようになる。
【００５７】
ビデオＡ／Ｄ変換器１２３は、テレビチューナ１５０のビデオチューナが出力するアナログのビデオ信号をＡ／Ｄ変換してビデオデータを得て、ビデオデータをビデオ圧縮部１２２に供給する。ビデオ圧縮部１２２は、実施形態１のものと同様のものである。圧縮ビデオデータバッファ１２４は、圧縮ビデオデータを可変時間遅延させるものである。圧縮ビデオデータバッファ１２４からの圧縮ビデオデータの読出しのタイミングは字幕ビットマップ比較部１４３により制御される。この制御により、圧縮ビデオデータと字幕データの同期が取れるようになる。
【００５８】
字幕ビットマップ抽出部１４１は、テレビチューナ１５０の文字放送デコーダ１５０−３が出力する字幕ビットマップを抽出して、有効位置クロッピング(cropping)、４色変換部１４２に供給する。有効位置クロッピング、４色変換部１４２は、入力した字幕ビットマップから有効部分のみをクロッピングして、サブピクチャで用いる４色以下のビットマップに変換して、クロッピング及び変換がされた字幕ビットマップを字幕ビットマップ比較部１４３に供給する。４色以下のビットマップは、背景画素ビット及びパターン画素ビットの２色のみから成るビットマップであってもよい。字幕ビットマップバッファ１４４は、字幕ビットマップを一時的に記憶する。表示継続フレーム数カウンタ１４５は、各字幕の表示が継続しているフレーム数をカウントする。字幕ビットマップ比較部１４３は、有効位置クロッピング、４色変換部１４２から入力する字幕ビットマップと字幕ビットマップバッファ１４４に記憶されている字幕ビットマップの比較等の後述する処理を行う。また、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５を後述するように制御する。
【００５９】
サブピクチャデータ生成部１３６は、字幕ビットマップテーブルをＤＶＤシステムで定められた方法によりランレングス圧縮し、所定のヘッダを付加することにより、サブピクチャデータを生成し、サブピクチャデータをマルチプレクサ１８１に供給する。
【００６０】
マルチプレクサ１８１は、実施形態１のものと同様のものである。
【００６１】
全データバッファ１８３は、圧縮オーディオデータバッファ１１３、圧縮ビデオデータバッファ１２４及び字幕ビットマップ比較部１４３等で発生した圧縮オーディオデータ、圧縮ビデオデータバッファ及びサブピクチャデータのジッタを補償するものである。
【００６２】
記録部１８２は、全データバッファ１８３から入力した時分割多重信号をＤＶＤ１９９に記録する。
【００６３】
次に、図７を参照して、実施形態３によるサブピクチャ挿入装置の一部の動作について説明する。
【００６４】
ステップＳ３０１〜Ｓ３０３とステップＳ３０４〜Ｓ３０６は並列に且つ継続的に行われる。
【００６５】
ステップＳ３０１では、オーディオＡ／Ｄ変換器１１２は、オーディオ信号をＡ／Ｄ変換してオーディオデータを得る。ステップＳ３０２では、オーディオデータ圧縮部１１１は、オーディオデータを圧縮して、圧縮オーディオデータを得る。ステップＳ３０３では、オーディオデータ圧縮部１１１は、圧縮オーディオデータを圧縮オーディオデータバッファ１１３に書き込む。
【００６６】
ステップＳ３０４では、ビデオＡ／Ｄ変換器１２３は、ビデオ信号をＡ／Ｄ変換してビデオデータを得る。ステップＳ３０５では、ビデオデータ圧縮部１２２は、ビデオデータを圧縮して、圧縮ビデオデータを得る。ステップＳ３０６では、ビデオデータ圧縮部１２２は、圧縮ビデオデータを圧縮ビデオデータバッファ１２４に書き込む。
【００６７】
ステップＳ３０３及びステップＳ３０６からはステップＳ３０７に進み、ＤＶＤ１９９に記録するべき全てフレームについてのステップＳ３０１〜Ｓ３０６の処理が終了したか否かを判断し、そうであれば処理を終了し、そうでなければ、ステップＳ３０１及びＳ３０４に戻る。
【００６８】
次に、図８を参照して、実施形態３によるサブピクチャ挿入装置の他の部分の動作について説明する。
【００６９】
まず、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタをインクリメントする（ステップＳ３１１）。次に、字幕ビットマップ抽出部１４１は、字幕ビットマップを抽出する（ステップＳ３１２）。但し、字幕ビットマップが無ければ、何も抽出しない。次に、有効位置クロッピング、４色変換部１４２は、字幕の有効位置をクロッピングし、４色変換する（ステップＳ３１３）。但し、字幕ビットマップが無ければ、クロッピング及び４色変換の結果は何もない。
【００７０】
次に、字幕ビットマップ比較部１４３は、有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップと字幕ビットマップバッファ１４４に記憶されている字幕ビットマップを比較し、比較結果に応じて、ステップＳ３１１、Ｓ３２１、Ｓ３３１、Ｓ３４１及びＳ３５１のうちの何れかに進む。
【００７１】
図８で「Ａ」で示すのは、「字幕あり」から「字幕あり」に推移し、字幕の内容に変化がない場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、これと同一の字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７２】
図８で「Ｂ」で示すのは、「字幕なし」から「字幕あり」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されておらず、新たな字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７３】
図８で「Ｃ」で示すのは、「字幕あり」から「字幕あり」に推移し、字幕の内容に変化がある場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、これとは異なる字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力した場合である。
【００７４】
図８で「Ｄ」で示すのは、「字幕あり」から「字幕なし」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されていて、字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力しなかった場合である。
【００７５】
図８で「Ｅ」で示すのは、「字幕なし」から「字幕なし」に推移した場合、すなわち、字幕ビットマップバッファ１４４に字幕ビットマップが記憶されておらず、字幕ビットマップを有効位置クロッピング、４色変換部１４２から入力しなかった場合である。
【００７６】
ステップＳ３１４の判断結果が「Ａ」である場合には、ステップＳ３１１に戻る。
【００７７】
ステップＳ３１４の判断結果が「Ｂ」である場合には、ステップＳ３２１に進む。ステップＳ３２１では、表示継続フレーム数カウンタ１４５をクリアする。次に、字幕ビットマップバッファ１４４の内容を有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップで更新する（ステップＳ３２２）。次に、サブピクチャ生成部１３６は、更新後の字幕ビットマップバッファ１４４内の字幕ビットマップを圧縮し（ステップＳ３２３）、ヘッダ付加等を行ってサブピクチャデータを生成する（ステップＳ３２４）。生成したサブピクチャデータはサブピクチャデータ生成部１３６に保持しておく。ステップＳ３２４からは、ステップＳ３１１に戻る。
【００７８】
ステップＳ３１４の判断結果が「Ｃ」である場合には、ステップＳ３３１に進む。ステップＳ３３１では、字幕ビットマップ比較部１４３の制御により、字幕継続中に蓄積されていた圧縮オーディオデータを圧縮オーディオデータバッファ１１３から読み出し、字幕継続中に蓄積されていた圧縮ビデオデータバッファ１２４から圧縮ビデオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する。また、ステップＳ３３１では、字幕ビットマップ比較部１４３の制御により、サブピクチャデータ生成部１３６に保持されているサブピクチャデータもマルチプレクサ１８１に供給する。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３３２）。次に、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５をクリアする（ステップＳ３３３）。次に、字幕ビットマップ比較部１４３は、字幕ビットマップバッファ１４４の内容を有効位置クロッピング、４色変換部１４２から入力した字幕ビットマップで更新する（ステップＳ３３４）。次に、サブピクチャ生成部１３６は、字幕ビットマップバッファ１４４内の更新後の字幕ビットマップを圧縮し（ステップＳ３３５）、ヘッダ付加等を行ってサブピクチャデータを生成する（ステップＳ３３６）。生成したサブピクチャデータはサブピクチャ生成部１３６に保持しておく。ステップＳ３３６からは、ステップＳ３６１に進む。
【００７９】
ステップＳ３１４の判断結果が「Ｄ」である場合には、ステップＳ３４１に進む。ステップ３４１では、字幕ビットマップ比較部１４３の制御により、字幕継続中に蓄積されていた圧縮オーディオデータを圧縮オーディオデータバッファ１１３から読み出し、字幕継続中に蓄積されていた圧縮ビデオデータバッファ１２４から圧縮ビデオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する。また、ステップＳ３４１では、字幕ビットマップ比較部１４３の制御により、サブピクチャデータ生成部１３６に保持されているサブピクチャデータもマルチプレクサ１８１に供給する。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３４２）。次に、字幕ビットマップ比較部１４３は、表示継続フレーム数カウンタ１４５をクリアし（ステップＳ３４３）、字幕ビットマップバッファ１４４もクリアする（ステップＳ３４４）。次に、字幕ビットマップ比較部１４３の制御により、圧縮オーディオデータバッファ１１３から現フレームの圧縮オーディオデータを読み出し、圧縮ビデオデータバッファ１２４から現フレームの圧縮オーディオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する（ステップＳ３４５）。サブピクチャデータのマルチプレクサ１８１への供給は行わない。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３４６）。ステップＳ３４６からは、ステップＳ３６１に進む。
【００８０】
ステップＳ３１４の判断結果が「Ｅ」である場合には、ステップＳ３５１に進む。ステップＳ３５１では、字幕ビットマップ比較部１４３が、表示継続フレーム数カウンタ１４５をクリアする。次に、字幕ビットマップ比較部１４３の制御により、圧縮オーディオデータバッファ１１３から現フレームの圧縮オーディオデータを読み出し、圧縮ビデオデータバッファ１２４から現フレームの圧縮オーディオデータを読み出し、これらのデータをマルチプレクサ１８１に供給する（ステップＳ３５２）。サブピクチャデータのマルチプレクサ１８１への供給は行わない。次に、マルチプレクサ１８１は、供給されたデータを時間軸多重する（ステップＳ３５３）。ステップＳ３５３からは、ステップＳ３６１に進む。
【００８１】
ステップＳ３６１では、ＤＶＤ１９９に記録するべき全フレーム終了したか否かを判断し、終了していれば、処理を終了し、そうでなければ、ステップＳ３１１に戻り、次のフレームの処理を開始する。
【００８２】
次に、図９を参照して、実施形態３によるサブピクチャ挿入装置の動作例を説明する。
【００８３】
図９の例では、第２〜４フレームに字幕Ｘがあり、第８〜１０フレームに字幕Ｙがあり、第１１〜１３フレームに字幕Ｚがある。他のフレームでは字幕はない。
【００８４】
現フレームの字幕ビットマップ（有効位置クロッピング、４色変換部１４２から字幕ビットマップ比較部１４３に供給される字幕ビットマップ）と前フレームの字幕ビットマップ（字幕ビットマップバッファ１４４内の字幕ビットマップ）とは、図９に示すようになり、両者の関係より、ステップＳ３１４の分岐先は、図９に示すようになる。これに従って、表示継続フレーム数カウンタ１４５の表示継続フレーム数は、図９に示すように変化する。また、図９の分岐先に従って、図９に示すように圧縮オーディオデータ及び圧縮ビデオデータが各々のバッファ１１３、１２４からマルチプレクサ１８１に供給される。「◎」は、バッファ１１３、１２４に字幕継続中に溜まっていた１以上のフレームのデータをマルチプレクサ１８１に供給することを示し、「○」は、現フレームのデータをマルチプレクサ１８１に供給することを意味する。具体的には、第５フレームでは、第２〜４フレームのデータがステップＳ３４１でマルチプレクサ１８１に供給され、第６フレームのデータがステップＳ３４５でマルチプレクサ１８１に供給され、第６フレームでは、第６フレームのデータがステップ３５２でマルチプレクサ１８１に供給され、第７フレームでは、第７フレームのデータがステップＳ３５２でマルチプレクサ１８１に供給され、第１１フレームでは、第８〜１０フレームのデータがステップ３３１でマルチプレクサ１８１に供給され、第１４フレームでは、第１１〜１３フレームのデータがステップＳ３４１でマルチプレクサ１８１に供給され、第１４フレームのデータがステップＳ３４５でマルチプレクサ１８１に供給され、第１５フレームでは、第１５フレームのデータがステップ３５２でマルチプレクサ１８１に供給される。
【００８５】
［実施形態４］
実施形態３では、サブピクチャ挿入装置は、テレビチューナ１５０から字幕をビットマップの形態で入力するとしたが、実施形態４では、サブピクチャ挿入装置は、テレビチューナ１５０から字幕を文字コードの形態で入力する。
【００８６】
図１０は、実施形態４によるサブピクチャ挿入装置及びその周辺部の構成を示すブロック図である。図６と図１０を比較すると明らかなように、実施形態４によるサブピクチャ挿入装置が実施形態３によるサブピクチャ挿入装置と異なる点は、サブピクチャ生成に関連した部分のみである。また、字幕のビットマップを出力する文字放送デコーダ１５０−３は、字幕の文字コードを出力する文字放送デコーダ１５０−３Ｂに置き換わり、これに伴い、テレビチューナ１５０はテレビチューナ１５０Ｂに置き換わっている。
【００８７】
字幕コード抽出部１５１は、字幕ビットマップ抽出部１４１に置き換わるものであり、字幕の文字コードを抽出する。字幕コード比較部１５２は、字幕ビットマップ比較部１４３に置き換わるものであり、字幕ビットマップ比較部１４３と同様の処理を、字幕ビットマップの代わりに字幕文字コードに基づいて行う。表示継続フレーム数カウンタ１４５は、実施形態３のものと同様のものである。字幕コードバッファ１５３は、字幕ビットマップバッファ１４４に置き換わるものであり、字幕の文字コードを記憶する。合成ビットマップ生成部１３５は、実施形態１の合成ビットマップ生成部１３５と同様のものであり、文字コード／ビットマップ変換テーブル１３３及び合成ビットマップデータバッファ１３４を用いて、字幕の合成ビットマップを生成する。文字コード／ビットマップ変換テーブル１３３及び合成ビットマップデータバッファ１３４は、実施形態１のものと同様のものである。サブピクチャデータ生成部１３６は、実施形態１のものと同様のものである。
【００８８】
実施形態４のサブピクチャ挿入装置の一部は、実施形態３と同様に図７に示す動作を行う。
【００８９】
図１１は、実施形態４によるサブピクチャ挿入装置の他の部分の動作を示す。図８と図１１を参照して、実施形態４によるサブピクチャ挿入装置の他の部分の動作が実施形態３によるサブピクチャ挿入装置と異なる点のみを説明する。
【００９０】
字幕ビットマップ抽出部１４１による字幕ビットマップの抽出（ステップＳ３１２）は、字幕コード抽出部１５１による字幕の文字コードの抽出（ステップＳ４１２）に置き換わる。有効位置クロッピング、４色変換部１４２による有効位置クロッピング及び４色変換（ステップＳ３１３）は無くなる。字幕ビットマップ比較部１４３による字幕ビットマップ比較（ステップＳ３１４）は、字幕コード比較部１５２による字幕の文字コードの比較（ステップＳ４１４）に置き換わる。
【００９１】
字幕ビットマップ比較部１４３による字幕ビットマップバッファ１４４の更新（ステップＳ３２２）は、字幕コード比較部１５２による字幕コードバッファ１５３の更新（ステップＳ４２２）に置き換わる。ステップＳ４２２とステップＳ３２３の間には、合成ビットマップ生成部１３５による字幕ビットマップ生成（ステップＳ４２３）が挿入される。ステップＳ４２３では、ステップＳ２１４〜Ｓ２１７（図２）が行われる。
【００９２】
字幕ビットマップ比較部１４３による字幕ビットマップバッファ１４４の更新（ステップＳ３３４）は、字幕コード比較部１５２による字幕コードバッファ１５３の更新（ステップＳ４３４）に置き換わる。ステップＳ４３４とステップＳ３３５の間には、合成ビットマップ生成部１３５による字幕ビットマップ生成（ステップＳ４３５）が挿入される。ステップＳ４３５では、ステップＳ２１４〜Ｓ２１７（図２）が行われる。
【００９３】
次に、サブピクチャデータの構造について図１２を参照して説明する。
【００９４】
サブピクチャデータは、サブピクチャユニット（ＳＰＵ）と呼ばれる基本単位で構成される。サブピクチャユニットは可変長であり、複数のパックに跨って収められる。図１２の例では、サブピクチャユニットＳＰＵ０は２個のパックの全てと１個のパックの一部を占める。図１２でＰＴＳで示すものは、プレゼンテーションタイムスタンプであり、コマンドテーブル（ＳＰ＿ＤＣＳＱＴ）の１つ目のコマンドを処理する時間を表す。
【００９５】
サブピクチャユニットは、ヘッダ（ＳＰＵＨ）、ランレングス圧縮された画素データ（ＰＸＤ）及びコマンドテーブル（ＳＰ＿ＤＣＳＱＴ）より構成される。画素データは圧縮前は１画素当たり２ビットより成る。上述したように、２ビットにより、各画素が背景画素、パターン画素、強調画素１及び強調画素２のうちのどれであるかが表される。各種類の画素の色はカラーコードとコントラストにより決定される。
【００９６】
コマンドテーブル（ＳＰ＿ＤＣＳＱＴ）は、複数部に分かれ、各部は、コマンドとそのコマンドを実行する時間情報ＳＴＭより構成される。コマンドは下表の通り９種類あり、時間情報ＳＴＭは、ＰＴＳからのオフセット値で表される。
【００９７】
【表１】
実施形態３及び４の字幕の表示継続フレーム数を指定するためには、そのフレーム数に相当する時間を時間情報ＳＴＭで表し、コマンドとしてサブピクチャオフのＳＴＰ＿ＤＳＰを用いればよい。こうすることにより、字幕のサブピクチャの表示が開始されてから時間情報ＳＴＭで表された時間が経過した時にそのサブピクチャの表示が終了するようになる。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、記録又は伝送するべきオーディオビデオ信号に付加情報を付加する付加情報を原オーディオビデオ信号に挿入されている原付加情報を基に自動的に生成して、自動的に生成された付加情報を記録又は伝送するべきオーディオビデオ信号に挿入することが可能となるので、原オーディオビデオ信号に付加されていた付加情報を損なわずに記録又は伝送するべきオーディオビデオ信号に付加することが可能となる。
【０１００】
特に、事実上ユーザがマニュアル入力することが不可能である、刻々と変化する日時や字幕を扱うことができるので、ユーザにとって便利なものとなる。
【図面の簡単な説明】
【図１】本発明の実施形態１によるサブピクチャ挿入装置の構成を示すブロック図である。
【図２】本発明の実施形態１によるサブピクチャ挿入装置の動作を示すフローチャートである。
【図３】本発明の実施形態１によるサブピクチャ挿入装置が挿入した日時情報の表示画面の例である。
【図４】本発明の実施形態２によるサブピクチャ挿入装置の構成を示すブロック図である。
【図５】本発明の実施形態２によるサブピクチャ挿入装置の動作を示すフローチャートである。
【図６】本発明の実施形態３によるサブピクチャ挿入装置の構成を示すブロック図である。
【図７】本発明の実施形態３によるサブピクチャ挿入装置の一部の動作を示すフローチャートである。
【図８】本発明の実施形態３によるサブピクチャ挿入装置の他の部分の動作を示すフローチャートである。
【図９】本発明の実施形態３によるサブピクチャ挿入装置の動作例を示すタイミング図である。
【図１０】本発明の実施形態４によるサブピクチャ挿入装置の構成を示すブロック図である。
【図１１】本発明の実施形態３によるサブピクチャ挿入装置の一部の動作を示すフローチャートである。
【図１２】ＤＶＤ規格で定められるサブピクチャデータの構造を示すフォーマット図である。
【符号の説明】
１０１ デマルチプレクサ
１１１ オーディオデータ圧縮部
１１２ オーディオＡ／Ｄ変換器
１１３ 圧縮オーディオデータバッファ
１２１ ビデオデータ伸張部
１２２ ビデオデータ圧縮部
１２３ ビデオＡ／Ｄ変換器
１２４ 圧縮ビデオデータバッファ
１３１ 日時データバッファ
１３２ 日時データ比較部
１３３ 文字コード／ビットマップ変換テーブル
１３４ 合成ビットマップデータバッファ
１３５ 合成ビットマップデータ生成部
１３６ サブピクチャデータ生成部
１４１ 字幕ビットマップ抽出部
１４２ 有効位置クロッピング、４色変換部
１４３ 字幕ビットマップ比較部
１４４ 字幕ビットマップバッファ
１５１ 字幕コード抽出部
１５２ 字幕コード比較部
１５３ 字幕コードバッファ
１８１ マルチプレクサ
１８２ 記録部
１８３ 全データバッファ
Claims (12)
- 付加情報付きの原オーディオビデオ信号のうちの前記付加情報を基に二次付加情報を生成し、該二次付加情報を前記原オーディオビデオ信号より得られる二次オーディオビデオ信号と共に記録媒体に記録し又は送信することを特徴とする付加情報挿入装置。
- 記録又は伝送するべき二次オーディオビデオ信号の基となる原オーディオビデオ信号に挿入されている原付加情報を抽出する抽出手段と、
前記原付加情報を基に、前記二次オーディオビデオ信号に付加するべき二次付加情報を生成する生成手段と、
前記二次付加情報を前記二次オーディオビデオ信号に付加する付加手段と、
を備えることを特徴とする付加情報挿入装置。 - 請求項２に記載の付加情報挿入装置において、
前記原付加情報は、原日時情報であり、
前記生成手段は、前記原日時情報を基に、該原日時情報が所定の日時単位で変化した時に変化する二次日時情報を前記二次付加情報として生成することを特徴とする付加情報挿入装置。 - 請求項２に記載の付加情報挿入装置において、
前記生成手段は、異なった日時単位毎に前記二次日時情報を生成し、
前記付加手段は、異なった日時単位毎の前記二次日時情報を前記二次オーディオビデオ信号に付加することを特徴とする付加情報挿入装置。 - 請求項２に記載の付加情報挿入装置において、
前記原付加情報は、原字幕であり、
前記生成手段は、前記原字幕を基に、二次字幕情報を前記二次付加情報として生成することを特徴とする付加情報挿入装置。 - 請求項５に記載の付加情報挿入装置において、
前記生成手段は、各字幕が継続する時間についての情報を前記二次字幕情報に含める手段を備えることを特徴とする付加情報挿入装置。 - 付加情報付きの原オーディオビデオ信号のうちの前記付加情報を基に二次付加情報を生成し、該二次付加情報を前記原オーディオビデオ信号より得られる二次オーディオビデオ信号と共に記録媒体に記録し又は送信することを特徴とする付加情報挿入方法。
- 記録又は伝送するべき二次オーディオビデオ信号の基となる原オーディオビデオ信号に挿入されている原付加情報を抽出する抽出ステップと、
前記原付加情報を基に、前記二次オーディオビデオ信号に付加するべき二次付加情報を生成する生成ステップと、
前記二次付加情報を前記二次オーディオビデオ信号に付加する付加ステップと、
を有することを特徴とする付加情報挿入方法。 - 請求項８に記載の付加情報挿入方法において、
前記原付加情報は、原日時情報であり、
前記生成ステップでは、前記原日時情報を基に、該原日時情報が所定の日時単位で変化した時に変化する二次日時情報を前記二次付加情報として生成することを特徴とする付加情報挿入方法。 - 請求項８に記載の付加情報挿入方法において、
前記生成ステップでは、異なった日時単位毎に前記二次日時情報を生成し、
前記付加ステップでは、異なった日時単位毎の前記二次日時情報を前記二次オーディオビデオ信号に付加することを特徴とする付加情報挿入方法。 - 請求項８に記載の付加情報挿入方法において、
前記原付加情報は、原字幕であり、
前記生成ステップでは、前記原字幕を基に、二次字幕情報を前記二次付加情報として生成することを特徴とする付加情報挿入方法。 - 請求項１１に記載の付加情報挿入方法において、
前記生成ステップは、各字幕が継続する時間についての情報を前記二次字幕情報に含めるサブステップを有することを特徴とする付加情報挿入方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002368372A JP2004201100A (ja) | 2002-12-19 | 2002-12-19 | 付加情報挿入装置及びその方法 |
| US10/738,994 US20040133926A1 (en) | 2002-12-19 | 2003-12-19 | Additional information inserting apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002368372A JP2004201100A (ja) | 2002-12-19 | 2002-12-19 | 付加情報挿入装置及びその方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004201100A true JP2004201100A (ja) | 2004-07-15 |
Family
ID=32677115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002368372A Pending JP2004201100A (ja) | 2002-12-19 | 2002-12-19 | 付加情報挿入装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040133926A1 (ja) |
| JP (1) | JP2004201100A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007105514A1 (ja) * | 2006-03-10 | 2007-09-20 | Pioneer Corporation | 情報記録装置および情報記録方法 |
| JP2007243706A (ja) * | 2006-03-09 | 2007-09-20 | Victor Co Of Japan Ltd | データフォーマット変換装置及びデータフォーマット変換方法 |
| WO2007114023A1 (ja) * | 2006-03-30 | 2007-10-11 | Pioneer Corporation | 情報記録装置および情報記録方法 |
| JP2008228242A (ja) * | 2007-03-16 | 2008-09-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像再生装置 |
| JP2009049726A (ja) * | 2007-08-21 | 2009-03-05 | Sony Corp | 情報変換装置、情報変換方法およびプログラム |
| JP2010045505A (ja) * | 2008-08-11 | 2010-02-25 | Sony Corp | 情報記録装置、撮像装置、情報記録方法およびプログラム |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008294714A (ja) * | 2007-05-24 | 2008-12-04 | Panasonic Corp | 映像信号処理装置 |
| TW201039628A (en) * | 2009-04-30 | 2010-11-01 | Mitac Int Corp | Subtitle generation system and method thereof |
| JP2010283568A (ja) * | 2009-06-04 | 2010-12-16 | Sony Corp | 字幕情報解析装置および字幕情報解析方法 |
| US8989508B2 (en) * | 2012-09-28 | 2015-03-24 | Sharp Kabushiki Kaisha | Electronic device for signaling a sub-picture buffer parameter |
| JP6050083B2 (ja) * | 2012-10-18 | 2016-12-21 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
| IL225480A (en) * | 2013-03-24 | 2015-04-30 | Igal Nir | A method and system for automatically adding captions to broadcast media content |
| US8872969B1 (en) * | 2013-09-03 | 2014-10-28 | Nvidia Corporation | Dynamic relative adjustment of a color parameter of at least a portion of a video frame/image and/or a color parameter of at least a portion of a subtitle associated therewith prior to rendering thereof on a display unit |
-
2002
- 2002-12-19 JP JP2002368372A patent/JP2004201100A/ja active Pending
-
2003
- 2003-12-19 US US10/738,994 patent/US20040133926A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007243706A (ja) * | 2006-03-09 | 2007-09-20 | Victor Co Of Japan Ltd | データフォーマット変換装置及びデータフォーマット変換方法 |
| WO2007105514A1 (ja) * | 2006-03-10 | 2007-09-20 | Pioneer Corporation | 情報記録装置および情報記録方法 |
| WO2007114023A1 (ja) * | 2006-03-30 | 2007-10-11 | Pioneer Corporation | 情報記録装置および情報記録方法 |
| JP2008228242A (ja) * | 2007-03-16 | 2008-09-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像再生装置 |
| JP4634410B2 (ja) * | 2007-03-16 | 2011-02-16 | 日本電信電話株式会社 | 映像再生装置，映像再生方法および字幕重畳装置 |
| JP2009049726A (ja) * | 2007-08-21 | 2009-03-05 | Sony Corp | 情報変換装置、情報変換方法およびプログラム |
| US8280219B2 (en) | 2007-08-21 | 2012-10-02 | Sony Corporation | Apparatus, method, and program for converting information |
| JP2010045505A (ja) * | 2008-08-11 | 2010-02-25 | Sony Corp | 情報記録装置、撮像装置、情報記録方法およびプログラム |
| US8466985B2 (en) | 2008-08-11 | 2013-06-18 | Sony Corporation | Information recording apparatus, imaging apparatus, information recording method and medium storing a program generating a transport data stream and utilizing a modified digital video pack |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040133926A1 (en) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6424792B1 (en) | Subtitle encoding/decoding method and apparatus | |
| KR100606150B1 (ko) | 기록 장치 및 방법, 재생 장치 및 방법,기록/재생 장치 및 방법, 및 기록 매체 | |
| JP4224690B2 (ja) | 記録方法、記録装置、再生方法、再生装置および撮像装置 | |
| EP0755161A2 (en) | Encoding and decoding data, and data searching | |
| KR100444637B1 (ko) | 비디오정보전송방법,정보캐리어,비디오정보수신장치,비디오정보전송장치 | |
| JP4450021B2 (ja) | 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム | |
| JP2004201100A (ja) | 付加情報挿入装置及びその方法 | |
| WO2000027113A1 (fr) | Appareil et procede d'enregistrement et de reproduction | |
| JP2005312022A (ja) | 映像音声記録再生装置、及びデジタルビデオカメラ | |
| JP2009177619A (ja) | 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム | |
| US20050069289A1 (en) | Transport stream recording/editing device and recording/editing method | |
| JP4030276B2 (ja) | デジタル映像記録再生装置 | |
| JP3925487B2 (ja) | 撮像装置と撮像方法 | |
| JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 | |
| JP3039472B2 (ja) | 画像と音声の再生装置 | |
| JP2000278643A (ja) | データ変換装置 | |
| JP3556311B2 (ja) | 記録媒体再生装置 | |
| JP3825894B2 (ja) | 映像記録装置 | |
| JP3910149B2 (ja) | 番組録画装置、番組再生装置、及び番組録画方法 | |
| JP2005191764A (ja) | 画像記録装置 | |
| JPH10164512A (ja) | データ処理同期装置 | |
| JP4725675B2 (ja) | 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム | |
| JP4366609B2 (ja) | 記録方法、記録装置、再生方法、再生装置、記録再生装置および記録再生方法 | |
| JPH10145733A (ja) | 動画像信号の記録再生方法 | |
| JP3948068B2 (ja) | 情報信号処理装置及び情報信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060529 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060619 |