JP4030055B2 - フォーマット変換回路 - Google Patents
フォーマット変換回路 Download PDFInfo
- Publication number
- JP4030055B2 JP4030055B2 JP2002342268A JP2002342268A JP4030055B2 JP 4030055 B2 JP4030055 B2 JP 4030055B2 JP 2002342268 A JP2002342268 A JP 2002342268A JP 2002342268 A JP2002342268 A JP 2002342268A JP 4030055 B2 JP4030055 B2 JP 4030055B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- bytes
- data
- mpeg2
- packet header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フォーマット変換回路に関し、さらに詳しくは、ビデオデータのフォーマットをＭＰＥＧ２(Moving Picture Experts Group phase 2)−ＴＳ(Transport Stream)の疑似フォーマットに変換するフォーマット変換回路に関する。
【０００２】
【従来の技術】
図１１は、従来のビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。このビデオデータキャプチャシステムは、既存のデジタル放送受信機用システムチップ１にキャプチャ回路３を追加することにより、アナログビデオ信号をキャプチャし、そのキャプチャしたビデオデータをシステムメモリに転送する。
【０００３】
現在提供されているデジタル放送受信機用システムチップ１は、図１１に示すように、ＣＰＵ（中央演算処理装置）１１と、ＭＰＥＧデコーダ１２と、オーディオデコーダ１３と、ビデオエンコーダ１４と、外部バスインタース１５と、内部ローカルバス１６と、メモリコントローラ１７と、デマルチプレクサ１８と、その他の回路群１９とを備える。
【０００４】
デジタル放送受信機用システムチップ１を用い、ＮＴＳＣ(National Television System Committee)やＰＡＬ(Phase Alternating Line)形式などのアナログビデオ信号をキャプチャしてシステムメモリ２に転送するためには、デジタル放送受信機用システムチップ１の外部にキャプチャ回路３を追加する必要がある。
【０００５】
キャプチャ回路３は、１フレーム分のビデオデータを蓄積するフレームバッファメモリ３１と、フレームバッファメモリ３１の読出及び書込動作を制御するメモリコントローラ３２と、フレームバッファメモリ３１から読み出された１フレーム分のビデオデータを外部バス４経由でデジタル放送受信機用システムチップ１に転送するデータ転送インターフェース３３とを備える。
【０００６】
アナログビデオ信号はビデオデコーダ５によりＩＴＵＲ−ＢＴ．６５６又は６０１形式のデジタルビデオデータに変換され、キャプチャ回路３に入力される。キャプチャ回路３は入力されたビデオデータを蓄積し、その蓄積したビデオデータをフレーム単位で一括してデジタル放送受信機用システムチップ１に転送する。デジタル放送受信機用システムチップ１において、外部バス４経由で転送されたビデオデータは外部バスインターフェース１５により内部ローカルバス１６に転送される。メモリコントローラ１７は、内部ローカルバス１６に転送されたビデオデータをシステムメモリ２に書き込む。
【０００７】
キャプチャ回路３をデジタル放送受信機用システムチップ１に内蔵することも可能であるが、ビデオデータのインターフェース用にピン数が増え、キャプチャ回路３の追加により回路規模が大きくなる。その結果、デジタル放送受信機用システムチップ１のコストが高くなる。
【０００８】
【特許文献１】
特開平１０−１１６０６４号公報
【特許文献２】
特開平９−３２２１４８号公報
【特許文献３】
特開平１０−１９８６３２号公報
【０００９】
【発明が解決しようとする課題】
本発明の目的は、既存のデジタル放送受信機用システムチップをそのまま用い、キャプチャ回路を追加することなく、外部から与えられるビデオデータのキャプチャを可能とするフォーマット変換回路を提供することである。
【００１０】
【課題を解決するための手段】
本発明によるフォーマット変換回路は、各フレームを構成する複数のラインデータとそれらラインデータの間に水平同期信号とを含むビデオデータのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換してデジタル放送受信機用システムチップに出力するフォーマット変換回路であって、ＦＩＦＯメモリと、ヘッダ発生回路と、同期タイミング検出回路と、カウンタと、スイッチとを備える。ＦＩＦＯメモリは、ビデオデータのクロックに応答してビデオデータを記憶するためのものである。ヘッダ発生回路は、ビデオデータのクロックに応答してＭＰＥＧ２−ＴＳに従うパケットヘッダを発生する。同期タイミング検出回路は、ビデオデータの水平同期信号を検出する。カウンタは、同期タイミング検出回路により検出された水平同期信号に応答してリセットされ、ヘッダ発生回路から出力されたパケットヘッダのバイト数とＦＩＦＯメモリから読み出されたビデオデータのバイト数とをカウントする。スイッチは、カウンタによりカウントされたパケットヘッダのバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達するまでヘッダ発生回路により発生されたパケットヘッダを選択し、カウンタによりカウントされたパケットヘッダのバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達した後はＦＩＦＯメモリから読み出されたビデオデータを選択し、カウンタによりカウントされたビデオデータのバイト数がＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達するまでＦＩＦＯメモリから読み出されたビデオデータを選択し、カウンタによりカウントされたビデオデータのバイト数がＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達した後はヘッダ発生回路により発生されたパケットヘッダを選択する。
【００１１】
このフォーマット変換回路では、選択手段によりビデオデータはＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数（具体的には１８４バイト）ごとに分割され、分割されたビデオデータの間にＭＰＥＧ２−ＴＳに従ってパケットヘッダが挿入される。これにより、ビデオデータのフォーマットはＭＰＥＧ２−ＴＳに似たフォーマットに変換される。この変換されたビデオデータをデジタル放送受信機用システムチップにそのＭＰＥＧ２−ＴＳ用の入力ポートから入力すれば、そのシステムチップはそのビデオデータを正規のデータと同等に処理する。その結果、キャプチャしたビデオデータをシステムメモリまで転送することができる。また、ビデオデータは分割され、そのまま出力されるので、フォーマット変換はリアルタイムに行われる。しかもビデオデータのある水平同期信号とその次の水平同期信号との間にパケットヘッダ及びペイロードの複数の組み合わせが出力されるので、パケットヘッダの挿入に伴うビデオデータの処理の遅れは水平同期期間で吸収される。
【００１３】
以上の結果、本発明によるフォーマット変換回路は、既存のデジタル放送受信機用システムチップをそのまま用い、キャプチャ回路を追加することなく、外部から与えられるビデオデータのキャプチャが可能である。
【００１４】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明を援用する。
【００１５】
図１は、本発明の実施の形態によるフォーマット変換回路１００を含むビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。図１に示すように、このビデオデータキャプチャシステムでは、図１１に示したキャプチャ回路３の代わりにフォーマット変換回路１００が追加される。フォーマット変換回路１００は、ビデオデコーダ５から出力されたデジタルビデオデータＶＤのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換する。ＭＰＥＧ２−ＴＳの疑似フォーマットに変換されたビデオデータ（以下「ＭＰＥＧ２−ＴＳデータ」という。）ＭＤは、デジタル放送受信機用システムチップ１のＭＰＥＧ２−ＴＳ用入力ポートを通じてデマルチプレクサ１８に与えられる。デマルチプレクサ１８は、ＭＰＥＧ２−ＴＳのデータパケットを処理するための回路である。デマルチプレクサ１８及びＭＰＥＧ２−ＴＳ用入力ポートは、既存のデジタル放送受信機用システムチップ１に常設されている。
【００１６】
ここで、デジタルビデオデータＶＤはたとえばＩＴＵＲ−ＢＴ．６５６形式の場合は８ビットであり、その中に水平同期信号や垂直同期信号などの制御信号を含む。デジタルビデオデータＶＤはＩＴＵＲ−ＢＴ．６５６形式に限定されることなく、たとえばＩＴＵＲ−ＢＴ．６０１形式などでもよい。
【００１７】
フォーマット変換回路１００によりフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換してＭＰＥＧ２−ＴＳデータＭＤをデマルチプレクサ１８に入力すれば、デマルチプレクサ１８はその入力されたＭＰＥＧ２−ＴＳデータＭＤをＭＰＥＧ２−ＴＳに規定された真のデータと同等に処理する。その結果、入力されたＭＰＥＧ２−ＴＳデータＭＤは内部ローカルバス１６及びメモリコントローラ１７経由でシステムメモリ２に転送され得る。システムメモリ２は、ＣＰＵ１１のワーク領域とデコーダ１２，１３及びグラフィックス２０に関連するワーク領域とを有する。このようにキャプチャされたビデオデータをシステムメモリ２に取り込めば、グラフィックス２０はそのビデオデータをグラフィック処理することができる。
【００１８】
フォーマット変換回路１００の詳細を説明する前に、既存のデジタル放送受信機用システムチップ１に常設されているデマルチプレクサ１８の機能を説明する。
【００１９】
デマルチプレクサ１８は、図２に示すように、（１）パケット同期機能、（２）ＰＩＤ(Packet Identification)フィルタリング機能、（３）クロックリカバリ機能、（４）スクランブル解除機能、（５）エラー処理機能、（６）データ処理機能（ＰＥＳ(Packetized Elementary Stream)又はＥＳパケット組み立て）、（７）データ転送機能という、概ね７つの機能を有する。ＭＰＥＧ２−ＴＳの各データパケットは１８８バイトの固定長を有する。各データパケットは、最小４バイトのパケットヘッダと、データ本体の情報を含むペイロードとからなる。パケットヘッダは、パケットの先頭を示す同期バイト、パケットの個別ストリームの属性を示すＰＩＤなどを含む。
【００２０】
デマルチプレクサ１８はパケット同期機能により同期バイトを検出し、連続したＭＰＥＧ２−ＴＳデータＭＤを１８８バイトのデータパケットに分割する。続いて、デマルチプレクサ１８はＰＩＤフィルタリング機能によりＰＩＤを参照し、必要なデータパケットを抽出する。続いて、デマルチプレクサ１８はデータ処理機能により、抽出したデータパケットを必要な形式に組み立てＰＩＤごとに管理する。続いて、デマルチプレクサ１８はデータ転送機能により、クロックリカバリ関連のデータをクロックリカバリ機能に転送し、スクランブル解除関連のデータをスクランブル解除機能に転送し、エラー処理関連のデータをエラー処理機能に転送し、ビデオデータをＭＰＥＧデコーダ１２に転送し、オーディオデータをオーディオデコーダ１３に転送し、その他のデータをシステムメモリ２に転送する。その他の機能は必要に応じてシステムメモリ１のデータを処理し、転送する。
【００２１】
以上の説明から明らかなように、デマルチプレクサ１８を利用してビデオデータをシステムメモリ２まで転送するためには、図３に示すように、同期バイト及びＰＩＤを含む４バイトのパケットヘッダをビデオデータ１８４バイトごとに挿入すればよい。フォーマット変換回路１００はこのようなフォーマット変換を行うためのものであるが、図１１に示した従来のキャプチャ回路３には必要なフレームバッファメモリ３１を不要とするために、次の２つの条件を満足する必要がある。
（１）フォーマット変換をリアルタイムで行うこと
（２）入力されるビデオデータＶＤのサンプリングクロックと出力されるＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックとを同期させること
【００２２】
図３に示したようにビデオデータＶＤを１８４バイト単位で断片化し、その間にパケットヘッダを挿入しなければならないのであるから、上記（１）の条件を満足するためには、図４に示したように１８４バイトのビデオデータＶＤを受け取る間に１８８バイトのＭＰＥＧ２−ＴＳデータＭＤを処理する方法が考えられる。この場合、入力されるビデオデータＶＤの転送速度と出力されるＭＰＥＧ２−ＴＳデータＭＤの転送速度との間には次式の関係が成立する必要がある。
【００２３】
ＭＰＥＧ２−ＴＳデータ転送速度＝１８８／１８４×ビデオデータ転送速度
しかし、この方法ではＭＰＥＧ２−ＴＳデータＭＤをビデオデータＶＤの約１．０２倍の速度で転送しなければならず、ビデオデータＶＤのサンプリングクロックに同期してＭＰＥＧ２−ＴＳデータＭＤを転送することができない。よって、この方法では上記（２）の条件を満足しない。
【００２４】
一方、上記（２）の条件を満足するためには、図５に示したように入力されるビデオデータＶＤ及び出力されるＭＰＥＧ２−ＴＳデータＭＤを同じサンプリングクロックで処理しかつ転送する方法が考えられる。しかし、この方法ではＭＰＥＧ２−ＴＳデータＭＤの転送が１８４バイトのデータパケットごとにパケットヘッダの４バイト分だけ遅れる。よって、この方法を単純に採用すると、上記（１）の条件を満足しなくなる。本発明の実施の形態によるフォーマット変換回路１００はこの後者の方法を採用しながらも上記（１）の条件も満足するように構成される。以下にその構成を説明する。
【００２５】
図６にビデオデータＶＤのフレーム構成を示す。図６から明らかなように、１フレームはｎ本のラインから構成され、これらのラインが逐次的に並んでビデオデータＶＤを構成する。このビデオデータＶＤには、映像の有効データが存在しない２種類の同期期間が存在する。１つは水平同期期間であり、もう１つは垂直同期期間である。水平同期期間はライン間に存在し、垂直同期期間はフレーム間に存在する。
【００２６】
図５に示した方法ではパケットヘッダを挿入する分だけ疑似ＭＰＥＧ２−ＴＳフォーマットへの変換処理が遅れるが、本発明の実施の形態によるフォーマット変換回路１００はビデオデータＶＤに存在する水平同期期間を利用してこの遅れを吸収する。この遅れを吸収するための方法を図７に示す。
【００２７】
図７に示すように、入力されたビデオデータＶＤは複数に分断され、出力されるべきＭＰＥＧ２−ＴＳデータＭＤのペイロードとなる。各ペイロードの前にはＭＰＥＧ２−ＴＳに規定されたパケットヘッダが挿入される。図７に示した例では、ラインＸの有効データの転送が終了した後に未だペイロードが転送されている。しかし、このペイロードの転送もラインＸに続く水平同期期間中に終了する。この水平同期期間が終了して次のラインＸ＋１の有効データの転送が開始すると、再びペイロードの転送が開始する。１ラインのデータを１８８バイトのペイロードに分断すると、１８８バイト未満の端数データが生じる場合がある。この場合は、端数データにダミーデータを付加して１８８バイトのペイロードとすればよい。このような方法でビデオデータＶＤのフォーマットを疑似ＭＰＥＧ２−ＴＳに変換すると、ビデオデータＶＤの水平同期期間中に有効データが存在しない空白期間が生じる。このような空白期間は垂直同期期間でも同様に生じる。本発明によるフォーマット変換回路１００は、このような空白期間を除く期間で有効なデータが存在することを示すデータバリッド信号を生成するように構成される。
【００２８】
図８にこのような動作を実現するフォーマット変換回路１００の詳細を示す。図８に示すように、フォーマット変換回路１００は、ＦＩＦＯ(First-In First-Out)メモリ１０１と、ヘッダ発生回路１０２と、同期タイミング検出回路１０３と、カウンタ１０４と、スイッチ１０５とを備える。フォーマット変換回路１００にはビデオデータＶＤ及びそのサンプリングクロックＣＫが入力される。ＩＴＵＲ−ＢＴ．６５６形式のビデオデータＶＤの場合、水平同期信号や垂直同期信号などの制御信号はビデオデータＶＤに埋め込まれている。制御信号がビデオデータＶＤに埋め込まれていない場合、制御信号はビデオデータＶＤと併せて入力される。フォーマット変換回路１００からはＭＰＥＧ２−ＴＳデータＭＤが出力されるとともに、ビデオデータＶＤのサンプリングクロックＣＫがＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックＣＫとしてそのまま出力される。また、フォーマット変換回路１００からは出力されるＭＰＥＧ２−ＴＳデータＭＤの有効性を示すデータバリッド信号ＤＶも併せて出力される。
【００２９】
ＦＩＦＯメモリ１０１は、ビデオデータＶＤのサンプリングクロックＣＫに応答してビデオデータＶＤを記憶する。すなわち、ＦＩＦＯメモリ１０１は、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータＶＤを書き込み、かつ、同じサンプリングクロックＣＫに同期してビデオデータＶＤを読み出す。ＦＩＦＯメモリ１０１はまた、後述するカウンタ１０４から出力されたデータバリッド信号ＤＶが活性化されるとリセットされ、その記憶したビデオデータＶＤを消去する。
【００３０】
ヘッダ発生回路１０２は、ビデオデータＶＤのサンプリングクロックＣＫに応答してＭＰＥＧ２−ＴＳに従うパケットヘッダを発生する。パケットヘッダは、ＭＰＥＧ２−ＴＳに規定された通りのＰＩＤ及び同期バイトを含む。
【００３１】
同期タイミング検出回路１０３は、ビデオデータＶＤのサンプリングクロックＣＫに応答してビデオデータＶＤの水平同期信号を検出し、カウンタ１０４及びＦＩＦＯメモリ１０１に通知する。
【００３２】
カウンタ１０４は、同期タイミング検出回路１０３により検出された水平同期信号に応答してリセットされ、ヘッダ発生回路１０２から出力されたパケットヘッダのバイト数とＦＩＦＯメモリ１０１から読み出されたビデオデータＶＤのバイト数とをカウントする。
【００３３】
スイッチ１０５は、カウンタ１０４によりカウントされたバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数（具体的には４バイト）に達するまでヘッダ発生回路１０２により発生されたパケットヘッダを選択し、カウンタ１０４によりカウントされたバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数（具体的には４バイト）に達した後はＦＩＦＯメモリ１０１から読み出されたビデオデータを選択する。スイッチ１０５は具体的には、２つの入力端子１０５１及び１０５２と、出力端子１０５３とを有する。入力端子１０５１はＦＩＦＯメモリ１０１から出力されるビデオデータを受ける。入力端子１０５２はヘッダ発生回路１０２から出力されるパケットヘッダを受ける。スイッチ１０５はカウンタ１０４から出力されるセレクト信号ＳＥに応答して切り換わる。具体的には、カウンタ１０４のカウント値が「４」以下のとき出力端子１０５３は入力端子１０５２に接続され、カウンタ１０４のカウント値が「４」を超えたとき出力端子１０５３は入力端子１０５１に接続される。
【００３４】
次に、図９及び図１０のタイミング図を参照し、以上のように構成されたフォーマット変換回路１００の動作を説明する。
【００３５】
図９及び図１０に示すように、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータＶＤがＦＩＦＯメモリ１０１に書き込まれる。具体的には、サンプリングクロックＣＫの１サイクルごとに１バイトのビデオデータＶＤが書き込まれる。本例では、１水平期間（ある水平同期期間から次の水平同期期間までの期間）内に１４４０バイトの有効なビデオデータＶＤが入力される。水平同期期間内には無効な（無意味な）データが入力される。水平同期信号ＨＳは水平同期期間でＬ（論理ロー）レベルに活性化され、水平期間でＨ（論理ハイ）レベルに非活性化される。図９及び図１０ではビデオデータＶＤとは別に水平同期信号ＨＳが示されているが、ＩＴＵＲ−ＢＴ．６５６形式のビデオデータＶＤの場合、水平同期信号ＨＳはビデオデータＶＤに埋め込まれている。したがって、この場合、水平同期信号ＨＳはビデオデータＶＤから抽出される。
【００３６】
水平同期信号ＨＳがＬレベルに非活性化されている水平同期期間ではセレクト信号ＳＥはＬレベルであるから、ヘッダ発生回路１０２から出力された４バイトのパケットヘッダはスイッチ１０５により選択され、ＭＰＥＧ２−ＴＳデータＭＤとして出力される。カウンタ１０４はこのパケットヘッダのバイト数をカウントするから、カウント値ＣＶは「０」から「４」になる。カウント値が「０」でなくなると、カウンタ１０４はデータバリッド信号ＤＶをＨレベルに活性化する。
【００３７】
水平同期期間が終了すると、有効なビデオデータＶＤが順次ＦＩＦＯメモリ１０１に書き込まれ、直ちに読み出される。カウント値が「４」を超え「５」になると、カウンタ１０４はセレクト信号ＳＥをＨレベルに変更する。これにより、スイッチ１０５が切り換わり、４バイトのパケットヘッダに続いてＦＩＦＯメモリ１０１から読み出されたビデオデータが選択され、ＭＰＥＧ２−ＴＳデータＭＤのペイロードとして出力される。
【００３８】
カウンタ１０４はパケットヘッダに引き続き、ＦＩＦＯメモリ１０１から読み出されたビデオデータのバイト数をカウントする。カウンタ１０４が１８４バイト目のビデオデータをカウントすると、カウント値は「１８８」に達する。この時点でフォーマット変換回路１００は１８４バイトのビデオデータをＭＰＥＧ２−ＴＳデータＭＤのペイロードとして出力したことになるから、カウンタ１０４はセレクト信号ＳＥをＬレベルに変更し、再びヘッダ発生回路１０２から出力されたパケットヘッダを選択するようスイッチ１０５を切り換える。
【００３９】
以降、上記と同じ動作を繰り返す。ただし、最初の１８４バイトのビデオデータＶＤはリアルタイムにＭＰＥＧ２−ＴＳデータＭＤとして出力されるが、２番目以降の１８４バイトのビデオデータＶＤはその前に挿入されるパケットヘッダの分だけ遅れて出力される。たとえば、２番目の１８４バイトのビデオデータＶＤ（１８５〜３６８）は４バイト分だけ遅れ、３番目の１８４バイトのビデオデータＶＤ（３６９〜５５２）は８バイト（＝４バイト×２）分だけ遅れ、最後（７番目）の１８４バイトのビデオデータＶＤ（１２８８〜１４４０）は２８バイト（＝４バイト×７）分だけ遅れる。
【００４０】
本例ではビデオデータＶＤは１４４０バイトであるから、１８４バイトのペイロードに分割されると、最後のペイロードは１５２（１４４０÷１８４の余り）バイトしかない。そこで、最後のペイロードには３２（＝１８４−１５２）バイトのダミーデータが付加される。ダミーデータはどのようなデータであってもよいが、ここではＦＩＦＯメモリ１０１から任意に読み出したデータがダミーデータとされる。カウンタ１０４は有効なデータに引き続きダミーデータもカウントし、カウント値ＣＶが「１８８」に達すると、セレクト信号ＳＥをＬレベルに変更し、さらにデータバリッド信号ＤＶをＬレベルに非活性化する。
【００４１】
次のラインのビデオデータＶＤも上記と同様に処理される。次のラインのビデオデータＶＤのフォーマット変換が開始するとき、カウンタ１０４はデータバリッド信号ＤＶを再びＨレベルに活性化する。ＦＩＦＯメモリ１０１は前のラインのビデオデータＶＤを消去するために、このＨレベルのデータバリッド信号ＤＶに応答してリセットされる。
【００４２】
以上のように本発明の実施の形態では、４バイトのパケットヘッダを挿入する期間中に入力されたビデオデータＶＤをＦＩＦＯメモリ１０１に留めておく必要がある。したがって、ＦＩＦＯメモリ１０１に必要な容量は一般に次式で表される。
【００４３】
ＦＩＦＯのサイズ＝｛（ビデオデータ１ライン分のバイト数／１８４）−Ａ｝×パケットヘッダのバイト数
Ａ＝０：ビデオデータ１ライン分のバイト数が１８４で割り切れない場合
Ａ＝１：ビデオデータ１ライン分のバイト数が１８４で割り切れる場合
本例では、ビデオデータ１ライン分のバイト数＝１４４４０で、パケットヘッダのバイト数＝４であるから、Ａ＝０となり、ＦＩＦＯメモリ１０１に必要な容量は次式により２８バイトとなる。
【００４４】
ＦＩＦＯのサイズ＝｛（１４４０／１８４）−０｝×４＝２８（バイト）
したがって、従来のフレームバッファメモリ３１に必要な容量に比べ、本発明の実施の形態のＦＩＦＯメモリ１０１に必要な容量は大幅に小さくなる。具体的には、ＮＴＳＣの場合、有効なデータ量は１ライン当たり１４４０バイトで、１フレームには４８５ラインが存在するから、１フレーム当たりのデータ量は６９８４００バイト（＝１４４０バイト×４８５ライン）となる。よって、従来のフレームバッファメモリ３１には６９８４００バイトの容量が必要であるのに対し、本発明の実施の形態のＦＩＦＯメモリ１０１にはわずか２８バイトの容量しか必要でない。
【００４５】
以上のように本発明の実施の形態によれば、フォーマット変換回路１００はビデオデータＶＤのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換しているため、その変換したＭＰＥＧ２−ＴＳデータＭＤをデジタル放送受信機用システムチップ１にＭＰＥＧ２−ＴＳ用入力ポートから入力すれば、デマルチプレクサ１８はその入力されたＭＰＥＧ２−ＴＳデータＭＤを正規のＭＰＥＧ２−ＴＳデータと同等に処理する。その結果、従来のようにキャプチャ回路３を用いることなく、キャプチャしたビデオデータＶＤをシステムメモリ２まで転送することができる。また、フォーマット変換回路１００は、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータをＦＩＦＯメモリ１０１に書き込み、かつ、同じサンプリングクロックＣＫに同期してＦＩＦＯメモリ１０１からビデオデータを読み出し、さらにビデオデータＶＤのサンプリングクロックＣＫをそのままＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックＣＫとして出力するようにしているため、ＭＰＥＧ２−ＴＳデータＭＤをビデオデータＶＤと同期させることができる。しかも、フォーマット変換回路１００はパケットヘッダの挿入に伴うビデオデータＶＤの処理の遅れを水平同期期間で吸収するようにしているため、フォーマット変換をリアルタイムで行うことができる。
【００４６】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態によるフォーマット変換回路を含むビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。
【図２】図１に示したデジタル放送受信機用システムチップのデマルチプレクサによるＭＰＥＧ２−ＴＳデータの処理方法を説明するための図である。
【図３】図１に示したビデオデコーダから出力されるビデオデータのフォーマット変換方法の一例を説明するための図である。
【図４】フォーマット変換方法の他の例を説明するための図である。
【図５】図１に示したフォーマット変換回路によるフォーマット変換方法を説明するための図である。
【図６】図１に示したビデオデコーダから出力されるビデオデータのフレーム構成を示す図である。
【図７】図１に示したフォーマット変換回路によるフォーマット変換方法の全容を説明するための図である。
【図８】図１に示したフォーマット変換回路の構成を示す機能ブロック図である。
【図９】図８に示したフォーマット変換回路の動作を示すタイミング図である。
【図１０】図９に続くタイミング図である。
【図１１】従来のビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。
【符号の説明】
１００ フォーマット変換回路
１０１ ＦＩＦＯメモリ
１０２ ヘッダ発生回路
１０３ 同期タイミング検出回路
１０４ カウンタ
１０５ スイッチ
【発明の属する技術分野】
本発明は、フォーマット変換回路に関し、さらに詳しくは、ビデオデータのフォーマットをＭＰＥＧ２(Moving Picture Experts Group phase 2)−ＴＳ(Transport Stream)の疑似フォーマットに変換するフォーマット変換回路に関する。
【０００２】
【従来の技術】
図１１は、従来のビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。このビデオデータキャプチャシステムは、既存のデジタル放送受信機用システムチップ１にキャプチャ回路３を追加することにより、アナログビデオ信号をキャプチャし、そのキャプチャしたビデオデータをシステムメモリに転送する。
【０００３】
現在提供されているデジタル放送受信機用システムチップ１は、図１１に示すように、ＣＰＵ（中央演算処理装置）１１と、ＭＰＥＧデコーダ１２と、オーディオデコーダ１３と、ビデオエンコーダ１４と、外部バスインタース１５と、内部ローカルバス１６と、メモリコントローラ１７と、デマルチプレクサ１８と、その他の回路群１９とを備える。
【０００４】
デジタル放送受信機用システムチップ１を用い、ＮＴＳＣ(National Television System Committee)やＰＡＬ(Phase Alternating Line)形式などのアナログビデオ信号をキャプチャしてシステムメモリ２に転送するためには、デジタル放送受信機用システムチップ１の外部にキャプチャ回路３を追加する必要がある。
【０００５】
キャプチャ回路３は、１フレーム分のビデオデータを蓄積するフレームバッファメモリ３１と、フレームバッファメモリ３１の読出及び書込動作を制御するメモリコントローラ３２と、フレームバッファメモリ３１から読み出された１フレーム分のビデオデータを外部バス４経由でデジタル放送受信機用システムチップ１に転送するデータ転送インターフェース３３とを備える。
【０００６】
アナログビデオ信号はビデオデコーダ５によりＩＴＵＲ−ＢＴ．６５６又は６０１形式のデジタルビデオデータに変換され、キャプチャ回路３に入力される。キャプチャ回路３は入力されたビデオデータを蓄積し、その蓄積したビデオデータをフレーム単位で一括してデジタル放送受信機用システムチップ１に転送する。デジタル放送受信機用システムチップ１において、外部バス４経由で転送されたビデオデータは外部バスインターフェース１５により内部ローカルバス１６に転送される。メモリコントローラ１７は、内部ローカルバス１６に転送されたビデオデータをシステムメモリ２に書き込む。
【０００７】
キャプチャ回路３をデジタル放送受信機用システムチップ１に内蔵することも可能であるが、ビデオデータのインターフェース用にピン数が増え、キャプチャ回路３の追加により回路規模が大きくなる。その結果、デジタル放送受信機用システムチップ１のコストが高くなる。
【０００８】
【特許文献１】
特開平１０−１１６０６４号公報
【特許文献２】
特開平９−３２２１４８号公報
【特許文献３】
特開平１０−１９８６３２号公報
【０００９】
【発明が解決しようとする課題】
本発明の目的は、既存のデジタル放送受信機用システムチップをそのまま用い、キャプチャ回路を追加することなく、外部から与えられるビデオデータのキャプチャを可能とするフォーマット変換回路を提供することである。
【００１０】
【課題を解決するための手段】
本発明によるフォーマット変換回路は、各フレームを構成する複数のラインデータとそれらラインデータの間に水平同期信号とを含むビデオデータのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換してデジタル放送受信機用システムチップに出力するフォーマット変換回路であって、ＦＩＦＯメモリと、ヘッダ発生回路と、同期タイミング検出回路と、カウンタと、スイッチとを備える。ＦＩＦＯメモリは、ビデオデータのクロックに応答してビデオデータを記憶するためのものである。ヘッダ発生回路は、ビデオデータのクロックに応答してＭＰＥＧ２−ＴＳに従うパケットヘッダを発生する。同期タイミング検出回路は、ビデオデータの水平同期信号を検出する。カウンタは、同期タイミング検出回路により検出された水平同期信号に応答してリセットされ、ヘッダ発生回路から出力されたパケットヘッダのバイト数とＦＩＦＯメモリから読み出されたビデオデータのバイト数とをカウントする。スイッチは、カウンタによりカウントされたパケットヘッダのバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達するまでヘッダ発生回路により発生されたパケットヘッダを選択し、カウンタによりカウントされたパケットヘッダのバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達した後はＦＩＦＯメモリから読み出されたビデオデータを選択し、カウンタによりカウントされたビデオデータのバイト数がＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達するまでＦＩＦＯメモリから読み出されたビデオデータを選択し、カウンタによりカウントされたビデオデータのバイト数がＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達した後はヘッダ発生回路により発生されたパケットヘッダを選択する。
【００１１】
このフォーマット変換回路では、選択手段によりビデオデータはＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数（具体的には１８４バイト）ごとに分割され、分割されたビデオデータの間にＭＰＥＧ２−ＴＳに従ってパケットヘッダが挿入される。これにより、ビデオデータのフォーマットはＭＰＥＧ２−ＴＳに似たフォーマットに変換される。この変換されたビデオデータをデジタル放送受信機用システムチップにそのＭＰＥＧ２−ＴＳ用の入力ポートから入力すれば、そのシステムチップはそのビデオデータを正規のデータと同等に処理する。その結果、キャプチャしたビデオデータをシステムメモリまで転送することができる。また、ビデオデータは分割され、そのまま出力されるので、フォーマット変換はリアルタイムに行われる。しかもビデオデータのある水平同期信号とその次の水平同期信号との間にパケットヘッダ及びペイロードの複数の組み合わせが出力されるので、パケットヘッダの挿入に伴うビデオデータの処理の遅れは水平同期期間で吸収される。
【００１３】
以上の結果、本発明によるフォーマット変換回路は、既存のデジタル放送受信機用システムチップをそのまま用い、キャプチャ回路を追加することなく、外部から与えられるビデオデータのキャプチャが可能である。
【００１４】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明を援用する。
【００１５】
図１は、本発明の実施の形態によるフォーマット変換回路１００を含むビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。図１に示すように、このビデオデータキャプチャシステムでは、図１１に示したキャプチャ回路３の代わりにフォーマット変換回路１００が追加される。フォーマット変換回路１００は、ビデオデコーダ５から出力されたデジタルビデオデータＶＤのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換する。ＭＰＥＧ２−ＴＳの疑似フォーマットに変換されたビデオデータ（以下「ＭＰＥＧ２−ＴＳデータ」という。）ＭＤは、デジタル放送受信機用システムチップ１のＭＰＥＧ２−ＴＳ用入力ポートを通じてデマルチプレクサ１８に与えられる。デマルチプレクサ１８は、ＭＰＥＧ２−ＴＳのデータパケットを処理するための回路である。デマルチプレクサ１８及びＭＰＥＧ２−ＴＳ用入力ポートは、既存のデジタル放送受信機用システムチップ１に常設されている。
【００１６】
ここで、デジタルビデオデータＶＤはたとえばＩＴＵＲ−ＢＴ．６５６形式の場合は８ビットであり、その中に水平同期信号や垂直同期信号などの制御信号を含む。デジタルビデオデータＶＤはＩＴＵＲ−ＢＴ．６５６形式に限定されることなく、たとえばＩＴＵＲ−ＢＴ．６０１形式などでもよい。
【００１７】
フォーマット変換回路１００によりフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換してＭＰＥＧ２−ＴＳデータＭＤをデマルチプレクサ１８に入力すれば、デマルチプレクサ１８はその入力されたＭＰＥＧ２−ＴＳデータＭＤをＭＰＥＧ２−ＴＳに規定された真のデータと同等に処理する。その結果、入力されたＭＰＥＧ２−ＴＳデータＭＤは内部ローカルバス１６及びメモリコントローラ１７経由でシステムメモリ２に転送され得る。システムメモリ２は、ＣＰＵ１１のワーク領域とデコーダ１２，１３及びグラフィックス２０に関連するワーク領域とを有する。このようにキャプチャされたビデオデータをシステムメモリ２に取り込めば、グラフィックス２０はそのビデオデータをグラフィック処理することができる。
【００１８】
フォーマット変換回路１００の詳細を説明する前に、既存のデジタル放送受信機用システムチップ１に常設されているデマルチプレクサ１８の機能を説明する。
【００１９】
デマルチプレクサ１８は、図２に示すように、（１）パケット同期機能、（２）ＰＩＤ(Packet Identification)フィルタリング機能、（３）クロックリカバリ機能、（４）スクランブル解除機能、（５）エラー処理機能、（６）データ処理機能（ＰＥＳ(Packetized Elementary Stream)又はＥＳパケット組み立て）、（７）データ転送機能という、概ね７つの機能を有する。ＭＰＥＧ２−ＴＳの各データパケットは１８８バイトの固定長を有する。各データパケットは、最小４バイトのパケットヘッダと、データ本体の情報を含むペイロードとからなる。パケットヘッダは、パケットの先頭を示す同期バイト、パケットの個別ストリームの属性を示すＰＩＤなどを含む。
【００２０】
デマルチプレクサ１８はパケット同期機能により同期バイトを検出し、連続したＭＰＥＧ２−ＴＳデータＭＤを１８８バイトのデータパケットに分割する。続いて、デマルチプレクサ１８はＰＩＤフィルタリング機能によりＰＩＤを参照し、必要なデータパケットを抽出する。続いて、デマルチプレクサ１８はデータ処理機能により、抽出したデータパケットを必要な形式に組み立てＰＩＤごとに管理する。続いて、デマルチプレクサ１８はデータ転送機能により、クロックリカバリ関連のデータをクロックリカバリ機能に転送し、スクランブル解除関連のデータをスクランブル解除機能に転送し、エラー処理関連のデータをエラー処理機能に転送し、ビデオデータをＭＰＥＧデコーダ１２に転送し、オーディオデータをオーディオデコーダ１３に転送し、その他のデータをシステムメモリ２に転送する。その他の機能は必要に応じてシステムメモリ１のデータを処理し、転送する。
【００２１】
以上の説明から明らかなように、デマルチプレクサ１８を利用してビデオデータをシステムメモリ２まで転送するためには、図３に示すように、同期バイト及びＰＩＤを含む４バイトのパケットヘッダをビデオデータ１８４バイトごとに挿入すればよい。フォーマット変換回路１００はこのようなフォーマット変換を行うためのものであるが、図１１に示した従来のキャプチャ回路３には必要なフレームバッファメモリ３１を不要とするために、次の２つの条件を満足する必要がある。
（１）フォーマット変換をリアルタイムで行うこと
（２）入力されるビデオデータＶＤのサンプリングクロックと出力されるＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックとを同期させること
【００２２】
図３に示したようにビデオデータＶＤを１８４バイト単位で断片化し、その間にパケットヘッダを挿入しなければならないのであるから、上記（１）の条件を満足するためには、図４に示したように１８４バイトのビデオデータＶＤを受け取る間に１８８バイトのＭＰＥＧ２−ＴＳデータＭＤを処理する方法が考えられる。この場合、入力されるビデオデータＶＤの転送速度と出力されるＭＰＥＧ２−ＴＳデータＭＤの転送速度との間には次式の関係が成立する必要がある。
【００２３】
ＭＰＥＧ２−ＴＳデータ転送速度＝１８８／１８４×ビデオデータ転送速度
しかし、この方法ではＭＰＥＧ２−ＴＳデータＭＤをビデオデータＶＤの約１．０２倍の速度で転送しなければならず、ビデオデータＶＤのサンプリングクロックに同期してＭＰＥＧ２−ＴＳデータＭＤを転送することができない。よって、この方法では上記（２）の条件を満足しない。
【００２４】
一方、上記（２）の条件を満足するためには、図５に示したように入力されるビデオデータＶＤ及び出力されるＭＰＥＧ２−ＴＳデータＭＤを同じサンプリングクロックで処理しかつ転送する方法が考えられる。しかし、この方法ではＭＰＥＧ２−ＴＳデータＭＤの転送が１８４バイトのデータパケットごとにパケットヘッダの４バイト分だけ遅れる。よって、この方法を単純に採用すると、上記（１）の条件を満足しなくなる。本発明の実施の形態によるフォーマット変換回路１００はこの後者の方法を採用しながらも上記（１）の条件も満足するように構成される。以下にその構成を説明する。
【００２５】
図６にビデオデータＶＤのフレーム構成を示す。図６から明らかなように、１フレームはｎ本のラインから構成され、これらのラインが逐次的に並んでビデオデータＶＤを構成する。このビデオデータＶＤには、映像の有効データが存在しない２種類の同期期間が存在する。１つは水平同期期間であり、もう１つは垂直同期期間である。水平同期期間はライン間に存在し、垂直同期期間はフレーム間に存在する。
【００２６】
図５に示した方法ではパケットヘッダを挿入する分だけ疑似ＭＰＥＧ２−ＴＳフォーマットへの変換処理が遅れるが、本発明の実施の形態によるフォーマット変換回路１００はビデオデータＶＤに存在する水平同期期間を利用してこの遅れを吸収する。この遅れを吸収するための方法を図７に示す。
【００２７】
図７に示すように、入力されたビデオデータＶＤは複数に分断され、出力されるべきＭＰＥＧ２−ＴＳデータＭＤのペイロードとなる。各ペイロードの前にはＭＰＥＧ２−ＴＳに規定されたパケットヘッダが挿入される。図７に示した例では、ラインＸの有効データの転送が終了した後に未だペイロードが転送されている。しかし、このペイロードの転送もラインＸに続く水平同期期間中に終了する。この水平同期期間が終了して次のラインＸ＋１の有効データの転送が開始すると、再びペイロードの転送が開始する。１ラインのデータを１８８バイトのペイロードに分断すると、１８８バイト未満の端数データが生じる場合がある。この場合は、端数データにダミーデータを付加して１８８バイトのペイロードとすればよい。このような方法でビデオデータＶＤのフォーマットを疑似ＭＰＥＧ２−ＴＳに変換すると、ビデオデータＶＤの水平同期期間中に有効データが存在しない空白期間が生じる。このような空白期間は垂直同期期間でも同様に生じる。本発明によるフォーマット変換回路１００は、このような空白期間を除く期間で有効なデータが存在することを示すデータバリッド信号を生成するように構成される。
【００２８】
図８にこのような動作を実現するフォーマット変換回路１００の詳細を示す。図８に示すように、フォーマット変換回路１００は、ＦＩＦＯ(First-In First-Out)メモリ１０１と、ヘッダ発生回路１０２と、同期タイミング検出回路１０３と、カウンタ１０４と、スイッチ１０５とを備える。フォーマット変換回路１００にはビデオデータＶＤ及びそのサンプリングクロックＣＫが入力される。ＩＴＵＲ−ＢＴ．６５６形式のビデオデータＶＤの場合、水平同期信号や垂直同期信号などの制御信号はビデオデータＶＤに埋め込まれている。制御信号がビデオデータＶＤに埋め込まれていない場合、制御信号はビデオデータＶＤと併せて入力される。フォーマット変換回路１００からはＭＰＥＧ２−ＴＳデータＭＤが出力されるとともに、ビデオデータＶＤのサンプリングクロックＣＫがＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックＣＫとしてそのまま出力される。また、フォーマット変換回路１００からは出力されるＭＰＥＧ２−ＴＳデータＭＤの有効性を示すデータバリッド信号ＤＶも併せて出力される。
【００２９】
ＦＩＦＯメモリ１０１は、ビデオデータＶＤのサンプリングクロックＣＫに応答してビデオデータＶＤを記憶する。すなわち、ＦＩＦＯメモリ１０１は、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータＶＤを書き込み、かつ、同じサンプリングクロックＣＫに同期してビデオデータＶＤを読み出す。ＦＩＦＯメモリ１０１はまた、後述するカウンタ１０４から出力されたデータバリッド信号ＤＶが活性化されるとリセットされ、その記憶したビデオデータＶＤを消去する。
【００３０】
ヘッダ発生回路１０２は、ビデオデータＶＤのサンプリングクロックＣＫに応答してＭＰＥＧ２−ＴＳに従うパケットヘッダを発生する。パケットヘッダは、ＭＰＥＧ２−ＴＳに規定された通りのＰＩＤ及び同期バイトを含む。
【００３１】
同期タイミング検出回路１０３は、ビデオデータＶＤのサンプリングクロックＣＫに応答してビデオデータＶＤの水平同期信号を検出し、カウンタ１０４及びＦＩＦＯメモリ１０１に通知する。
【００３２】
カウンタ１０４は、同期タイミング検出回路１０３により検出された水平同期信号に応答してリセットされ、ヘッダ発生回路１０２から出力されたパケットヘッダのバイト数とＦＩＦＯメモリ１０１から読み出されたビデオデータＶＤのバイト数とをカウントする。
【００３３】
スイッチ１０５は、カウンタ１０４によりカウントされたバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数（具体的には４バイト）に達するまでヘッダ発生回路１０２により発生されたパケットヘッダを選択し、カウンタ１０４によりカウントされたバイト数がＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数（具体的には４バイト）に達した後はＦＩＦＯメモリ１０１から読み出されたビデオデータを選択する。スイッチ１０５は具体的には、２つの入力端子１０５１及び１０５２と、出力端子１０５３とを有する。入力端子１０５１はＦＩＦＯメモリ１０１から出力されるビデオデータを受ける。入力端子１０５２はヘッダ発生回路１０２から出力されるパケットヘッダを受ける。スイッチ１０５はカウンタ１０４から出力されるセレクト信号ＳＥに応答して切り換わる。具体的には、カウンタ１０４のカウント値が「４」以下のとき出力端子１０５３は入力端子１０５２に接続され、カウンタ１０４のカウント値が「４」を超えたとき出力端子１０５３は入力端子１０５１に接続される。
【００３４】
次に、図９及び図１０のタイミング図を参照し、以上のように構成されたフォーマット変換回路１００の動作を説明する。
【００３５】
図９及び図１０に示すように、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータＶＤがＦＩＦＯメモリ１０１に書き込まれる。具体的には、サンプリングクロックＣＫの１サイクルごとに１バイトのビデオデータＶＤが書き込まれる。本例では、１水平期間（ある水平同期期間から次の水平同期期間までの期間）内に１４４０バイトの有効なビデオデータＶＤが入力される。水平同期期間内には無効な（無意味な）データが入力される。水平同期信号ＨＳは水平同期期間でＬ（論理ロー）レベルに活性化され、水平期間でＨ（論理ハイ）レベルに非活性化される。図９及び図１０ではビデオデータＶＤとは別に水平同期信号ＨＳが示されているが、ＩＴＵＲ−ＢＴ．６５６形式のビデオデータＶＤの場合、水平同期信号ＨＳはビデオデータＶＤに埋め込まれている。したがって、この場合、水平同期信号ＨＳはビデオデータＶＤから抽出される。
【００３６】
水平同期信号ＨＳがＬレベルに非活性化されている水平同期期間ではセレクト信号ＳＥはＬレベルであるから、ヘッダ発生回路１０２から出力された４バイトのパケットヘッダはスイッチ１０５により選択され、ＭＰＥＧ２−ＴＳデータＭＤとして出力される。カウンタ１０４はこのパケットヘッダのバイト数をカウントするから、カウント値ＣＶは「０」から「４」になる。カウント値が「０」でなくなると、カウンタ１０４はデータバリッド信号ＤＶをＨレベルに活性化する。
【００３７】
水平同期期間が終了すると、有効なビデオデータＶＤが順次ＦＩＦＯメモリ１０１に書き込まれ、直ちに読み出される。カウント値が「４」を超え「５」になると、カウンタ１０４はセレクト信号ＳＥをＨレベルに変更する。これにより、スイッチ１０５が切り換わり、４バイトのパケットヘッダに続いてＦＩＦＯメモリ１０１から読み出されたビデオデータが選択され、ＭＰＥＧ２−ＴＳデータＭＤのペイロードとして出力される。
【００３８】
カウンタ１０４はパケットヘッダに引き続き、ＦＩＦＯメモリ１０１から読み出されたビデオデータのバイト数をカウントする。カウンタ１０４が１８４バイト目のビデオデータをカウントすると、カウント値は「１８８」に達する。この時点でフォーマット変換回路１００は１８４バイトのビデオデータをＭＰＥＧ２−ＴＳデータＭＤのペイロードとして出力したことになるから、カウンタ１０４はセレクト信号ＳＥをＬレベルに変更し、再びヘッダ発生回路１０２から出力されたパケットヘッダを選択するようスイッチ１０５を切り換える。
【００３９】
以降、上記と同じ動作を繰り返す。ただし、最初の１８４バイトのビデオデータＶＤはリアルタイムにＭＰＥＧ２−ＴＳデータＭＤとして出力されるが、２番目以降の１８４バイトのビデオデータＶＤはその前に挿入されるパケットヘッダの分だけ遅れて出力される。たとえば、２番目の１８４バイトのビデオデータＶＤ（１８５〜３６８）は４バイト分だけ遅れ、３番目の１８４バイトのビデオデータＶＤ（３６９〜５５２）は８バイト（＝４バイト×２）分だけ遅れ、最後（７番目）の１８４バイトのビデオデータＶＤ（１２８８〜１４４０）は２８バイト（＝４バイト×７）分だけ遅れる。
【００４０】
本例ではビデオデータＶＤは１４４０バイトであるから、１８４バイトのペイロードに分割されると、最後のペイロードは１５２（１４４０÷１８４の余り）バイトしかない。そこで、最後のペイロードには３２（＝１８４−１５２）バイトのダミーデータが付加される。ダミーデータはどのようなデータであってもよいが、ここではＦＩＦＯメモリ１０１から任意に読み出したデータがダミーデータとされる。カウンタ１０４は有効なデータに引き続きダミーデータもカウントし、カウント値ＣＶが「１８８」に達すると、セレクト信号ＳＥをＬレベルに変更し、さらにデータバリッド信号ＤＶをＬレベルに非活性化する。
【００４１】
次のラインのビデオデータＶＤも上記と同様に処理される。次のラインのビデオデータＶＤのフォーマット変換が開始するとき、カウンタ１０４はデータバリッド信号ＤＶを再びＨレベルに活性化する。ＦＩＦＯメモリ１０１は前のラインのビデオデータＶＤを消去するために、このＨレベルのデータバリッド信号ＤＶに応答してリセットされる。
【００４２】
以上のように本発明の実施の形態では、４バイトのパケットヘッダを挿入する期間中に入力されたビデオデータＶＤをＦＩＦＯメモリ１０１に留めておく必要がある。したがって、ＦＩＦＯメモリ１０１に必要な容量は一般に次式で表される。
【００４３】
ＦＩＦＯのサイズ＝｛（ビデオデータ１ライン分のバイト数／１８４）−Ａ｝×パケットヘッダのバイト数
Ａ＝０：ビデオデータ１ライン分のバイト数が１８４で割り切れない場合
Ａ＝１：ビデオデータ１ライン分のバイト数が１８４で割り切れる場合
本例では、ビデオデータ１ライン分のバイト数＝１４４４０で、パケットヘッダのバイト数＝４であるから、Ａ＝０となり、ＦＩＦＯメモリ１０１に必要な容量は次式により２８バイトとなる。
【００４４】
ＦＩＦＯのサイズ＝｛（１４４０／１８４）−０｝×４＝２８（バイト）
したがって、従来のフレームバッファメモリ３１に必要な容量に比べ、本発明の実施の形態のＦＩＦＯメモリ１０１に必要な容量は大幅に小さくなる。具体的には、ＮＴＳＣの場合、有効なデータ量は１ライン当たり１４４０バイトで、１フレームには４８５ラインが存在するから、１フレーム当たりのデータ量は６９８４００バイト（＝１４４０バイト×４８５ライン）となる。よって、従来のフレームバッファメモリ３１には６９８４００バイトの容量が必要であるのに対し、本発明の実施の形態のＦＩＦＯメモリ１０１にはわずか２８バイトの容量しか必要でない。
【００４５】
以上のように本発明の実施の形態によれば、フォーマット変換回路１００はビデオデータＶＤのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換しているため、その変換したＭＰＥＧ２−ＴＳデータＭＤをデジタル放送受信機用システムチップ１にＭＰＥＧ２−ＴＳ用入力ポートから入力すれば、デマルチプレクサ１８はその入力されたＭＰＥＧ２−ＴＳデータＭＤを正規のＭＰＥＧ２−ＴＳデータと同等に処理する。その結果、従来のようにキャプチャ回路３を用いることなく、キャプチャしたビデオデータＶＤをシステムメモリ２まで転送することができる。また、フォーマット変換回路１００は、ビデオデータＶＤのサンプリングクロックＣＫに同期してビデオデータをＦＩＦＯメモリ１０１に書き込み、かつ、同じサンプリングクロックＣＫに同期してＦＩＦＯメモリ１０１からビデオデータを読み出し、さらにビデオデータＶＤのサンプリングクロックＣＫをそのままＭＰＥＧ２−ＴＳデータＭＤのサンプリングクロックＣＫとして出力するようにしているため、ＭＰＥＧ２−ＴＳデータＭＤをビデオデータＶＤと同期させることができる。しかも、フォーマット変換回路１００はパケットヘッダの挿入に伴うビデオデータＶＤの処理の遅れを水平同期期間で吸収するようにしているため、フォーマット変換をリアルタイムで行うことができる。
【００４６】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態によるフォーマット変換回路を含むビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。
【図２】図１に示したデジタル放送受信機用システムチップのデマルチプレクサによるＭＰＥＧ２−ＴＳデータの処理方法を説明するための図である。
【図３】図１に示したビデオデコーダから出力されるビデオデータのフォーマット変換方法の一例を説明するための図である。
【図４】フォーマット変換方法の他の例を説明するための図である。
【図５】図１に示したフォーマット変換回路によるフォーマット変換方法を説明するための図である。
【図６】図１に示したビデオデコーダから出力されるビデオデータのフレーム構成を示す図である。
【図７】図１に示したフォーマット変換回路によるフォーマット変換方法の全容を説明するための図である。
【図８】図１に示したフォーマット変換回路の構成を示す機能ブロック図である。
【図９】図８に示したフォーマット変換回路の動作を示すタイミング図である。
【図１０】図９に続くタイミング図である。
【図１１】従来のビデオデータキャプチャシステムの全体構成を示す機能ブロック図である。
【符号の説明】
１００ フォーマット変換回路
１０１ ＦＩＦＯメモリ
１０２ ヘッダ発生回路
１０３ 同期タイミング検出回路
１０４ カウンタ
１０５ スイッチ
Claims (3)
- 各フレームを構成する複数のラインデータとそれらラインデータの間に水平同期信号とを含むビデオデータのフォーマットをＭＰＥＧ２−ＴＳの疑似フォーマットに変換してデジタル放送受信機用システムチップに出力するフォーマット変換回路であって、
前記ビデオデータのクロックに応答して前記ビデオデータを記憶するためのＦＩＦＯメモリと、
前記ビデオデータのクロックに応答して前記ＭＰＥＧ２−ＴＳに従うパケットヘッダを発生するヘッダ発生回路と、
前記ビデオデータの水平同期信号を検出する同期タイミング検出回路と、
前記同期タイミング検出回路により検出された水平同期信号に応答してリセットされ、前記ヘッダ発生回路から出力されたパケットヘッダのバイト数と前記ＦＩＦＯメモリから読み出されたビデオデータのバイト数とをカウントするカウンタと、
前記カウンタによりカウントされたパケットヘッダのバイト数が前記ＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達するまで前記ヘッダ発生回路により発生されたパケットヘッダを選択し、前記カウンタによりカウントされたパケットヘッダのバイト数が前記ＭＰＥＧ２−ＴＳに規定されたパケットヘッダのバイト数に達した後は前記ＦＩＦＯメモリから読み出されたビデオデータを選択し、前記カウンタによりカウントされたビデオデータのバイト数が前記ＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達するまで前記ＦＩＦＯメモリから読み出されたビデオデータを選択し、前記カウンタによりカウントされたビデオデータのバイト数が前記ＭＰＥＧ２−ＴＳに規定されたペイロードのバイト数に達した後は前記ヘッダ発生回路により発生されたパケットヘッダを選択するスイッチとを備えたことを特徴とするフォーマット変換回路。 - 請求項１に記載のフォーマット変換回路であって、
前記カウンタは、前記パケットヘッダ及び前記ビデオデータのバイト数をカウントしている間、前記ＭＰＥＧ２−ＴＳの疑似フォーマットに変換されたデータの有効性を示すデータバリッド信号を出力することを特徴とするフォーマット変換回路。 - 請求項２に記載のフォーマット変換回路であって、
前記ＦＩＦＯメモリは、前記カウンタから出力されたデータバリッド信号に応答してリセットされ、その記憶したビデオデータを消去することを特徴とするフォーマット変換回路。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342268A JP4030055B2 (ja) | 2002-11-26 | 2002-11-26 | フォーマット変換回路 |
| US10/716,791 US8014452B2 (en) | 2002-11-26 | 2003-11-19 | Format conversion circuit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342268A JP4030055B2 (ja) | 2002-11-26 | 2002-11-26 | フォーマット変換回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004179854A JP2004179854A (ja) | 2004-06-24 |
| JP4030055B2 true JP4030055B2 (ja) | 2008-01-09 |
Family
ID=32704377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002342268A Expired - Fee Related JP4030055B2 (ja) | 2002-11-26 | 2002-11-26 | フォーマット変換回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8014452B2 (ja) |
| JP (1) | JP4030055B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3786121B2 (ja) * | 2004-03-09 | 2006-06-14 | セイコーエプソン株式会社 | データ転送制御装置及び電子機器 |
| GB2412825B (en) * | 2004-03-31 | 2007-05-23 | Sony Uk Ltd | Packet-based video network |
| JP2006268260A (ja) * | 2005-03-23 | 2006-10-05 | Seiko Epson Corp | データ転送制御装置及び電子機器 |
| JP2012257041A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 通信装置、通信システム、通信方法及びプログラム |
| US8664984B2 (en) * | 2012-06-01 | 2014-03-04 | Lsi Corporation | Pulse synchronizer circuit |
| US9392214B2 (en) | 2013-02-06 | 2016-07-12 | Gyrus Acmi, Inc. | High definition video recorder/player |
| US10361814B2 (en) * | 2016-06-15 | 2019-07-23 | Friday Harbor Llc | Encoding for frameless packet transmissions |
| US10560357B2 (en) | 2017-11-28 | 2020-02-11 | Marvell World Trade Ltd. | Distributed checksum calculation for communication packets |
| US10469633B2 (en) | 2018-03-29 | 2019-11-05 | Marvell World Trade Ltd. | Low-latency pipeline for media-to-ethernet frame packaging |
| US10673994B2 (en) * | 2018-03-29 | 2020-06-02 | Marvell International Ltd. | Network packet generator employing multiple header templates and configurable hardware registers |
| JP2020141256A (ja) * | 2019-02-28 | 2020-09-03 | ソニーセミコンダクタソリューションズ株式会社 | 復調回路、復調方法、送信装置 |
| CN112188137B (zh) * | 2019-07-01 | 2022-07-08 | 北京华航无线电测量研究所 | 基于fpga的高帧频逐行图像转换至标清pal隔行图像实现方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4237553A (en) * | 1978-12-26 | 1980-12-02 | Bell Telephone Laboratories, Incorporated | Data packet multiplexing in a staggered fashion |
| EP0705034B1 (en) * | 1994-09-28 | 2001-05-16 | Matsushita Electric Industrial Co., Ltd. | Digital signal processing suitable for a non-standard analogue video signal |
| JP3977881B2 (ja) | 1996-05-29 | 2007-09-19 | 株式会社日立製作所 | 受信装置 |
| US5812760A (en) * | 1996-06-25 | 1998-09-22 | Lsi Logic Corporation | Programmable byte wise MPEG systems layer parser |
| JP3926873B2 (ja) * | 1996-10-11 | 2007-06-06 | 株式会社東芝 | コンピュータシステム |
| US5831690A (en) * | 1996-12-06 | 1998-11-03 | Rca Thomson Licensing Corporation | Apparatus for formatting a packetized digital datastream suitable for conveying television information |
| JPH10198632A (ja) | 1997-01-13 | 1998-07-31 | Matsushita Electric Ind Co Ltd | Ｐｃカード |
| US5844615A (en) * | 1997-01-16 | 1998-12-01 | General Instrument Corporation | Communication of VBI data in digital television data streams |
| WO1998043423A1 (fr) | 1997-03-25 | 1998-10-01 | Sony Corporation | Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme |
| US6233253B1 (en) * | 1997-05-23 | 2001-05-15 | Thomson Licensing S.A. | System for digital data format conversion and bit stream generation |
| US6553147B2 (en) * | 1998-10-05 | 2003-04-22 | Sarnoff Corporation | Apparatus and method for data partitioning to improving error resilience |
| JP2000165445A (ja) | 1998-11-30 | 2000-06-16 | Sony Corp | データパケット化装置及び方法並びにデータ多重化装置 |
| JP2000209580A (ja) * | 1999-01-13 | 2000-07-28 | Canon Inc | 画像処理装置およびその方法 |
| JP2001251266A (ja) | 2000-03-07 | 2001-09-14 | Sony Corp | データ送出装置及びトランスポートストリーム生成装置並びにそのデータストリーム生成方法 |
| MXPA01012005A (es) * | 2000-03-27 | 2002-05-06 | Koninkl Philips Electronics Nv | Metodo de insercion de datos de un segundo tipo en una corriente de entrada de un primer tipo. |
| KR100673419B1 (ko) * | 2000-12-28 | 2007-01-24 | 엘지전자 주식회사 | 전송 시스템 및 데이터 처리 방법 |
| US7356051B2 (en) * | 2001-01-24 | 2008-04-08 | Broadcom Corporation | Digital visual interface with audio and auxiliary data cross reference to related applications |
| FR2821998A1 (fr) * | 2001-03-06 | 2002-09-13 | Koninkl Philips Electronics Nv | Procede de codage d'images numeriques base sur la dissimulation d'erreurs |
| JP2003304560A (ja) * | 2002-04-10 | 2003-10-24 | Sony Corp | デジタルビデオエンコーダ |
| US7027515B2 (en) * | 2002-10-15 | 2006-04-11 | Red Rock Semiconductor Ltd. | Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream |
-
2002
- 2002-11-26 JP JP2002342268A patent/JP4030055B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-19 US US10/716,791 patent/US8014452B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US8014452B2 (en) | 2011-09-06 |
| JP2004179854A (ja) | 2004-06-24 |
| US20040165666A1 (en) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4030055B2 (ja) | フォーマット変換回路 | |
| US6807191B2 (en) | Decoder for compressed and multiplexed video and audio data | |
| US6269107B1 (en) | Device and method for demultiplexing transport stream | |
| US6262775B1 (en) | Caption data processing circuit and method therefor | |
| JPH11261958A (ja) | 映像編集装置及び映像編集方法 | |
| CN101076121B (zh) | 流生成装置、成像装置、数据处理装置和流生成方法 | |
| US6434146B1 (en) | Use of sequencing information in a local header that allows proper synchronization of packets to subsidiary interfaces within the post-processing environment of an mpeg-2 packet demultiplexing architecture | |
| CN101009849A (zh) | 一种基于usb2.0接口的音视频数据传输方法 | |
| EP1278378A1 (en) | Recording apparatus, special playback system, medium and information object | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP2004350292A (ja) | Ｄｖｂ−ａｓｉ方式のデジタル放送受信器の非同期伝送ストリーム受信装置及びその非同期伝送ストリーム伝送方法 | |
| JPH08275151A (ja) | 多重化圧縮画像音声データの分配復号装置 | |
| CN113794849B (zh) | 用于图像数据同步的装置、方法及图像采集系统 | |
| JP2009182754A (ja) | 画像処理装置 | |
| JP2885217B2 (ja) | Ｍｐｅｇデータ処理回路 | |
| KR100991122B1 (ko) | 데이터 패킷 전송 방법 및 디바이스 | |
| US7248780B2 (en) | Reproducing device, medium, information aggregate, transmitting medium, and recording medium | |
| JP2006332821A (ja) | デジタル放送受信装置、およびデジタル放送受信方法 | |
| US20050078675A1 (en) | Method and device for processing DTV data | |
| JP3705231B2 (ja) | トランスポートストリーム・スプライサー | |
| JP4296671B2 (ja) | データ送信装置、データ受信装置、データ送信方法及びデータ受信方法 | |
| KR100348263B1 (ko) | 디지털 인터페이스 장치 | |
| JP4987957B2 (ja) | ヘッド分離型撮像装置、その制御ユニット、および信号処理方法 | |
| JPH06319110A (ja) | ディジタル信号受信装置 | |
| JP4160294B2 (ja) | デジタル放送番組中継送出システムとその放送局及びデジタル放送信号同期処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070227 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20071012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071012 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |