JP2010171919A - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
JP2010171919A
JP2010171919A JP2009128830A JP2009128830A JP2010171919A JP 2010171919 A JP2010171919 A JP 2010171919A JP 2009128830 A JP2009128830 A JP 2009128830A JP 2009128830 A JP2009128830 A JP 2009128830A JP 2010171919 A JP2010171919 A JP 2010171919A
Authority
JP
Japan
Prior art keywords
frame
decoding
time
acquired
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009128830A
Other languages
English (en)
Other versions
JP4987034B2 (ja
Inventor
Tomoko Miki
智子 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009128830A priority Critical patent/JP4987034B2/ja
Priority to US12/625,109 priority patent/US20100166080A1/en
Publication of JP2010171919A publication Critical patent/JP2010171919A/ja
Application granted granted Critical
Publication of JP4987034B2 publication Critical patent/JP4987034B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50Tuning indicators; Automatic tuning control

Abstract

【課題】入力される映像データが変化した後に、最初に映像が表示されるまでの時間を可及的に短縮することができる映像表示装置を提供する。
【解決手段】復号タイミング発生部14を、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点で復号タイミング信号を発生するように構成する。たとえば、復号可能フレームの全体が取得された時点で復号タイミング信号を発生するように構成する。または復号可能フレームの一部が取得された時点であって、復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号を発生するように構成する。また表示タイミング発生部15を、入力端子10に入力される映像データが変化したとき、その変化後に最初に表示可能な表示可能フレームが取得された時点で表示タイミング信号を発生するように構成する。
【選択図】図1

Description

本発明は、映像表示装置に関し、より詳細には、デジタル放送の番組の映像を表示する映像表示装置に関する。
デジタル放送による番組の放送には、MPEG(Moving Picture Experts Group)−2およびMPEG−4などのデジタル圧縮技術が用いられている。デジタル放送を受信するテレビジョン受像機(以下「テレビ」という場合がある)では、放送規格および運用で規定された送信データおよび条件で送られる放送信号を受信し、規定された条件で復号して、番組の映像を表示する。したがって、テレビの視聴者が選局操作をしてから、選局したチャンネルの番組の映像がテレビの表示画面に表示されるまでの時間がアナログ放送に比べて長く、チャンネル選局後、画像が出力されるまでに長時間を要するという問題がある。
このような問題の改善策として、選局したチャンネルの番組の画像が出力されるまでの間に他の画像を出力することによって、利用者の心理的負担を軽減するデジタル放送受信装置が提案されている(たとえば特許文献1参照)。またデジタル放送に関する技術ではないが、ビデオデコーダにおけるデコード開始タイミングを示すデータと、時刻を表すデータとを比較し、その比較結果に対応してビットストリームに指定されているより高い転送レートでビデオデータをビデオコードバッファに書き込み、再生開始時の応答性を高めるように構成される多重化データ分離装置が提案されている(たとえば特許文献2参照)。
特開2005−295028号公報 特開平6−333341号公報
前述の特許文献1に開示される技術のように、選局したチャンネルの番組の画像が出力されるまでの間に他の画像を挿入する場合でも、所望の番組を見るまでの時間を短縮することはできない。また前述の特許文献2に開示される技術は、既に記録されている番組の出画タイミングを早めるための技術であり、放送番組のチャンネルを選局するときに、選局したチャンネルの番組の出画を早めることはできず、画像が出力されるまでの時間を短縮することができない。
このように特許文献1,2に開示される技術を用いても、選局したチャンネルの番組の画像が出力されるまでの時間を短縮することはできず、利用者にとって利便性が低いという問題がある。
本発明の目的は、入力される映像データが変化した後に、最初に映像が表示されるまでの時間、たとえばチャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる映像表示装置を提供することである。
本発明の映像表示装置は、符号化された複数のフレームを含む映像データを復号して表示する映像表示装置であって、前記映像データが入力される入力手段と、前記入力手段に入力された前記映像データの各フレームを復号する復号タイミングを表す復号タイミング信号を発生する復号タイミング発生手段と、前記復号タイミング信号に基づいて、前記入力手段に入力された前記映像データの各フレームを復号する復号手段と、前記復号手段によって復号された各フレームを出力する表示タイミングを表す表示タイミング信号を発生する表示タイミング発生手段と、前記表示タイミング信号に基づいて、前記復号された各フレームを出力する出力手段とを備え、前記復号タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点で前記復号タイミング信号を発生し、前記表示タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、その変化後に最初に表示可能な表示可能フレームが取得された時点で前記表示タイミング信号を発生することを特徴とする。
本発明の映像表示装置によれば、入力手段に入力される映像データが変化したとき、その変化後に最初に復号可能フレームが取得された時点で、復号タイミング発生手段によって復号タイミング信号が発生され、最初の復号可能フレームが復号手段によって復号される。また入力手段に入力される映像データの変化後に最初に表示可能フレームが取得された時点で、表示タイミング発生手段によって表示タイミング信号が発生され、最初の表示可能フレームが出力手段によって出力される。
これによって、入力手段に入力される映像データが変化した後に、最初に映像が表示されるまでの時間を短縮することができる。したがって、チャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる。
本発明の第1の実施の形態における映像表示装置1の構成を示すブロック図である。 本発明の第1の実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 本発明の第1の実施の形態における表示タイミングの発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。 本発明の第1の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 従来技術における復号タイミング発生処理に関する復号タイミング発生部の処理手順を示すフローチャートである。 従来技術における表示タイミング発生処理に関する表示タイミング発生部の処理手順を示すフローチャートである。 本発明の第2の実施の形態における復号タイミング発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 本発明の第2の実施の形態における表示タイミング発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。 本発明の第3の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 本発明の第4の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 本発明の第5の実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 デコードバッファ13の蓄積量と、復号タイミングおよび表示タイミングとの関係を模式的に示す図である。
<第1の実施の形態>
図1は、本発明の第1の実施の形態における映像表示装置1の構成を示すブロック図である。映像表示装置1は、入力端子10、ストリームIF(Interface)11、PES(Packetized Elementary Stream)処理部12、デコードバッファ13、復号タイミング発生部14、デコーダ15、フレームバッファ16、表示タイミング発生部17、システムタイムクロック(System Time Clock;略称:STC)発生部18および出力端子19を備え構成される。入力端子10は入力手段に相当し、復号タイミング発生部14は復号タイミング発生手段に相当し、デコーダ15は復号手段に相当し、表示タイミング発生部17は表示タイミング発生手段に相当し、出力端子19は出力手段に相当する。
入力端子10には、たとえば放送局から送信され、不図示の受信アンテナによって受信されたデジタル放送信号に含まれる映像データが入力される。入力端子10に入力された映像データは、複数のフレームを含んでおり、フレーム単位で、ストリームIF11に入力される。
ストリームIF11は、入力された映像データから、PESパケットを取り出し、PES処理部12に与える。PESパケットは、圧縮および符号化された映像をパケット化したデータである。映像は、復号および再生の単位ごとにPESパケットに納められる。PESパケットは、メディア再生の時間管理を行う単位となる。
PESパケットは、同じPID(Packet Identification)番号を有する複数のトランスポートストリーム(Transport Stream;略称:TS)パケットのペイロード(payload)に分割されて伝送される。TSは188バイト固定長のTSパケットから成り、デジタル放送を含むリアルタイム伝送・通信系で用いられる。各TSパケットは、4バイトの固定のヘッダ部を有し、残りの184バイトはペイロード部で構成される。ヘッダ部にはPIDが含まれており、パケットの識別が可能である。
PES処理部12は、ストリームIF11から与えられるPESのヘッダ部に含まれる情報の解析を行い、当該情報を復号タイミング発生部14および表示タイミング発生部17に与えると共に、ペイロードデータをデコードバッファ13に与える。
STC発生部18は、たとえばTSに含まれるプログラム時刻基準値(Program Clock Reference;略称:PCR)、またはPESに含まれるシステム時刻基準参照値(System Clock Reference;略称:SCR)を用いて発生したシステム時刻基準値(STC)を、復号タイミング発生部14および表示タイミング発生部17に与える。ここで、STCは、映像または音声の同期をとるための時刻の基準値であり、PCRは、番組上での時刻を示すデータであり、SCRは、ストリーム上での時刻を示すデータである。
復号タイミング発生部14は、PES処理部12から与えられる前記PESパケットに含まれる情報に基づいて、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、発生した復号タイミング信号をデコードバッファ13に与える。さらに具体的に述べると、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点、本実施の形態では復号可能フレームの全体が取得された時点で前記復号タイミング信号を発生する。入力端子10に入力される映像データの変化には、入力端子10への映像ストリームの入力開始を含む。
デコードバッファ13は、PES処理部12から与えられるペイロードデータを一時的に記憶し、PESレイヤ以下のデータの解析を行う。そして、デコードバッファ13は、復号タイミング発生部14から与えられる復号タイミング信号が表す復号タイミングに合わせて、映像データをデコーダ15に与える。デコーダ15は、デコードバッファ13から映像データが与えられると、与えられた映像データを復号し、復号したデータ(以下「復号データ」という)をフレームバッファ16に与える。
表示タイミング発生部17は、PES処理部12から与えられる前記PESパケットに含まれる情報に基づいて、フレームバッファ16から映像データを出力して不図示の表示部に表示するタイミングを表す表示タイミング信号を発生し、発生した表示タイミング信号をフレームバッファ16に与える。
フレームバッファ16は、デコーダ15から与えられる復号データを一時的に記憶し、表示タイミング発生部17から与えられる表示タイミング信号が表す表示タイミングに合わせて、前記復号データを出力端子19から不図示の表示部に出力する。これによって映像が表示部に表示される。
図2は、本発明の第1の実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。図2に示すフローチャートでは、本実施の形態の映像表示装置1がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップa1に移行する。
ステップa1では、復号タイミング発生部14は、フレーム全体を復号することができるフレームである復号可能フレームが存在するか否か、すなわち復号可能フレームがストリームIF11を介して取得されたか否かを判断する。復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、復号可能フレームが存在するか否かを判断する。
具体的に述べると、フレーム間予測を用いずに符号化されるフレーム、たとえば後述するIフレーム(Intra-coded Frame)となるフレームがストリームIF11に入力された場合、そのフレームに関する映像データのみで、そのフレーム全体を復号することができるので、復号タイミング発生部14は、復号可能フレームが存在すると判断する。
フレーム間予測を用いて符号化されるフレームがストリームIF11に入力された場合、そのフレームに関する映像データだけでは、そのフレーム全体を復号することができないので、復号タイミング発生部14は、そのフレームの符号化に用いられる他のフレームが入力されているか否かに基づいて、復号可能フレームが存在するか否かを判断する。フレーム間予測を用いて符号化されるフレームが入力される前に、そのフレームの符号化に用いられる他のフレームが入力されていれば、そのフレーム全体を復号することができるので、復号タイミング発生部14は、復号可能フレームが存在すると判断する。そのフレームの符号化に用いられる他のフレームが入力されていなければ、そのフレーム全体を復号することができないので、復号タイミング発生部14は、そのフレームは復号可能フレームではないと判断して、復号可能フレームが存在しないと判断する。
さらに具体的に述べると、本実施の形態では、復号タイミング発生部14は、ステップa1において、復号可能フレームの全体が取得されたか否か、より詳細には、復号可能フレームに関する映像データの全てが取得されたか否かに基づいて、復号可能フレームが存在するか否かを判断する。復号タイミング発生部14は、復号可能フレームの全体が取得されたと判断すると、復号可能フレームが存在すると判断し、復号可能フレームの全体が取得されていないと判断すると、復号可能フレームが存在しないと判断する。ステップa1において、復号可能フレームが存在すると判断された場合はステップa2に移行し、復号可能フレームが存在しないと判断された場合は、復号可能フレームが存在すると判断されるまで待機する。
ステップa2では、復号タイミング発生部14は、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、デコードバッファ13に与える。ステップa2の処理の終了後は、全ての処理手順を終了する。
以上のように本実施の形態では、復号タイミング発生部14は、図2に示すフローチャートに従い、復号可能フレームが存在すると判断すると、復号タイミング信号を発生する。図2に示すフローチャートの処理は、入力端子10に入力される映像データが変化すると開始され、ステップa1において、復号可能フレームが取得されたと判断されるとステップa2に移行する。より詳細には、ステップa1において、復号可能フレームの全体が取得されたと判断されるとステップa2に移行する。つまり、復号タイミング信号は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点、本実施の形態では復号可能フレームの全体が取得された時点で発生される。したがって、復号タイミング発生部14は、ストリームIF11への入力ストリームが変化した直後、フレーム全体を復号することができる最初のフレーム、たとえば、GOP(Group of Picture)単位でシーケンスヘッダが挿入されているような場合であれば、最初に検出されたシーケンスヘッダから数えて最初のIフレームとなるフレームを検出したタイミングで、復号タイミング信号を発生する。
図3は、本発明の第1の実施の形態における表示タイミングの発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。図3に示すフローチャートも、図2に示すフローチャートと同様に、本実施の形態の映像表示装置1がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップb1に移行する。
ステップb1では、表示タイミング発生部17は、表示可能なフレームである表示可能フレームが存在するか否かを判断する。表示タイミング発生部17は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、表示可能フレームが存在するか否かを判断する。具体的には、表示タイミング発生部17は、デコーダ15から出力されてフレームバッファ16に格納されたデータが表示可能な状態になったこと、すなわちデコードが終了していてかつ表示順が元画と同じになったことを検出すると、表示可能フレームが存在すると判断する。ステップb1において、表示可能フレームが存在すると判断された場合はステップb2に移行し、表示可能フレームが存在しないと判断された場合は、表示可能フレームが存在すると判断されるまで待機する。
ステップb2では、表示タイミング発生部17は、表示するタイミングを表す表示タイミング信号を発生させ、フレームバッファ16に与える。ステップb2の処理の終了後は、全ての処理手順を終了する。
以上のように本実施の形態では、表示タイミング発生部17は、図3に示すフローチャートに従い、デコーダ15から出力されフレームバッファ16に格納されたデータが表示可能な状態になったこと、すなわちデコードが終了していてかつ表示順が元画と同じになったことを検出し、表示タイミング信号を発生する。これによって、デコードが終了していてかつ表示順が元画と同じになったタイミングにおいて、表示タイミング信号が発生される。たとえばストリーム変化後最初の表示可能タイミングは、ストリーム変化後最初のIフレームのデコードが完了したタイミング、すなわちストリーム変化後最初のIフレームに関する全てのデータがデコードされたタイミングであり、このタイミングで表示タイミング信号が発生される。
図4は、本発明の第1の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図4では、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図4では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図4(a)は、元画のフレームを表し、図4(b)は、送受信ストリームにおけるフレームを表し、図4(c)は、通常表示のフレームを表し、図4(d)は、高速選局表示のフレームを表している。図4では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
図4において、Ix(xは正の整数)は、Iフレームを表し、Bx(xは正の整数)はBフレーム(Bi-directional Predicted Frame)を表している。Iフレームは、フレーム間予測を用いずに符号化されるフレームであり、Bフレームは、フレーム間予測を用いて符号化されるフレームであり、前方向予測、後方向予測、両方向予測のうちのいずれかを選択して符号化されるフレームである。
本実施の形態において、フレームB2およびフレームB3は、フレームI0を用いた予測変換によって生成されたフレームであり、フレームB5およびフレームB6は、フレームI1およびフレームI4を用いた予測変換によって生成されたフレームであるとする。元画が図4(a)に示すように、I0,B2,B3,I1,B5,B6,I4の順であれば、送信ストリームは、I0,B2,B3,I1,I4,B5,B6の順となる。このとき、受信ストリームが、図4において二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信したとすると、B2およびB3は復号できないので、復号(以下「デコード」という場合がある)および表示可能なフレームは、I1,B5,B6,I4となる。すなわち、ストリーム受信開始後最初の復号可能フレームはI1となる。
したがって、前述の図2のステップa1において、復号タイミング発生部14によって復号可能フレームが存在すると判断されるタイミングは時刻t1となる。そして、この後のデコーダ15における復号による遅延を零としているので、前述の図3のステップb1において、表示タイミング発生部17によって表示可能フレームが存在すると判断されるタイミングも時刻t1となる。
次に復号可能になるフレームはI4であり、このフレームI4の復号可能タイミングは時刻t2であるが、表示可能タイミングは、元画の順に従って時刻t5となる。フレームI1の次に表示すべきフレームが復号可能となるタイミングおよび復号後の表示可能タイミングは時刻t3となり、フレームI1から数えて3番目に表示すべきフレームが復号可能となるタイミングおよび復号後の表示可能タイミングは時刻t4となる。
他方、従来技術による復号および表示を行う場合、すなわち本実施の形態を適用せずに復号および表示を行う場合、各フレームの復号タイミングは、PESヘッダ内に挿入されている復号用時刻情報(Decoding Time Stamp;略称:DTS)で示される時刻となり、表示タイミングはPESヘッダ内に挿入されている提示時刻情報(Presentation Time Stamp;略称:PTS)で示される時刻となる。したがって図4(c)に示すように、フレームI1が最終的に表示されるタイミングは、PTSで示される時刻t1aとなる。
図5は、従来技術における復号タイミング発生処理に関する復号タイミング発生部の処理手順を示すフローチャートである。図5は、図4(c)に示す通常表示における復号タイミング発生処理の処理手順を示すフローチャートに相当する。
ステップc1では、復号タイミング発生部は、DTSからデコード時刻tdを取得する。ステップc1において、デコード時刻tdが復号タイミング発生部によって取得されると、ステップc2に移行する。
ステップc2では、復号タイミング発生部は、STCの基準時刻tsを取得する。ステップc2において、STCの基準時刻tsが復号タイミング発生部によって取得されると、ステップc3に移行する。
ステップc3では、復号タイミング発生部は、基準時刻tsとデコード時刻tdとが一致するか否かを判断する。ステップc3において、基準時刻tsとデコード時刻tdとが一致する(ts=td)と判断された場合はステップc4に移行し、基準時刻tsとデコード時刻tdとが一致しないと判断された場合はステップc2に戻り、前述と同様の処理を行う。つまり、復号タイミング発生部は、基準時刻tsがデコード時刻tdになるまで待機する。
ステップc4では、復号タイミング発生部は、復号タイミング信号を発生してデコードバッファに与える。ステップc4の処理の終了後は、全ての処理手順を終了する。このように従来技術では、PESヘッダ内に挿入されているDTSで示されるデコード時刻tdにおいて、復号タイミング信号が発生される。
図6は、従来技術における表示タイミング発生処理に関する表示タイミング発生部の処理手順を示すフローチャートである。図6は、図4(c)に示す通常表示における表示タイミング発生処理の処理手順を示すフローチャートに相当する。
ステップd1では、表示タイミング発生部は、PTSから提示時刻tpを取得する。ステップd1において、提示時刻tpが表示タイミング発生部によって取得されると、ステップd2に移行する。
ステップd2では、表示タイミング発生部は、STCの基準時刻tsを取得する。ステップd2において、STCの基準時刻tsが表示タイミング発生部によって取得されると、ステップd3に移行する。
ステップd3では、基準時刻tsと提示時刻tpとが一致するか否かを判断する。ステップd3において、基準時刻tsと提示時刻tpとが一致する(ts=tp)と判断された場合はステップd4に移行し、基準時刻tsと提示時刻tpとが一致しないと判断された場合は、ステップd2に戻り、前述と同様の処理を行う。つまり、表示タイミング発生部は、基準時刻tsが提示時刻tpになるまで待機する。
ステップd4では、表示タイミング発生部は、表示タイミング発生信号を発生させて、フレームバッファに与える。ステップd4の処理の終了後は、全ての処理手順を終了する。このように従来技術では、PESヘッダ内に挿入されているPTSで示される提示時刻tpにおいて、表示タイミング信号が発生される。たとえば、前述の図4(c)に示すように、フレームI1が表示されるタイミングは、PTSで示される提示時刻である時刻t1aとなる。つまり従来技術では、ストリーム変化後最初のフレームがPTSで示される提示時刻t1aよりも前に表示可能な状態になっていたとしても、PTSで示される提示時刻t1aまでは表示されない。したがって、図4(d)に示す本実施の形態による高速選局表示と比べると、映像ストリームが開始または変化してから映像を表示するまでの時間が長くなっている。
以上のように本実施の形態においては、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームが取得された時点、具体的には復号可能フレームの全体が取得された時点で復号タイミング信号が発生され、表示可能フレームが取得された時点で表示タイミングが発生される。つまり、本実施の形態では、受信ストリーム中に復号可能フレームが存在すると判断されると、DTSに拘わらず、即座に復号タイミング信号が発生されて、復号可能フレームが復号される。また表示可能フレームが存在すると判断されると、PTSに拘わらず、即座に表示タイミング信号が発生されて、表示可能フレームが表示される。このように本実施の形態では、受信ストリームのうち最初に到着した復号可能フレームを即座に復号し、また、復号後のデータを即座に表示する。
これによって、入力端子10に入力される映像データである映像ストリームが変化した後に映像を表示するまでの時間を短縮することができる。したがって、デジタル放送のチャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる。つまり、選局時の切換え表示において、切換わり後の映像が表示されるまでの時間を短縮することができる。
また本実施の形態では、フレームの表示タイミングを、復号した順にするのではなく、元画順にするので、乱れのない画像を表示することができる。
以上のように本実施の形態では、フレームという単位で、復号タイミングおよび表示タイミングの発生方法を説明したが、フレーム単位に限らず、フィールド単位またはピクチャ単位であっても本実施の形態と同様に好適に実施可能である。
<第2の実施の形態>
次に、本発明の第2の実施の形態の映像表示装置について説明する。前述の第1の実施の形態では、映像ストリームデータに揺らぎがなく、また映像表示装置1内の処理に要する時間が零であると想定して説明したが、本実施の形態では、揺らぎおよび処理遅延についても考慮した映像表示装置について説明する。本実施の形態の映像表示装置は、復号タイミングの発生処理および表示タイミングの発生処理が異なること以外は、前述の第1の実施の形態の映像表示装置1と同一であるので、異なる部分について説明し、共通する説明を省略する。
本実施の形態では、復号タイミング発生部14は、PES処理部12から与えられる前記PESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、発生した復号タイミング信号をデコードバッファ13に与える。
また表示タイミング発生部17は、PES処理部12から与えられる前記PESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、フレームバッファ16から映像データを出力して不図示の表示部に表示するタイミングを表す表示タイミング信号を発生し、発生した表示タイミング信号をフレームバッファ16に与える。
図7は、本発明の第2の実施の形態における復号タイミング発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。復号タイミングの発生処理の開始直後は、第1の実施の形態と同様に図2に示すフローチャートに従った処理を行う。ただし、図2に示すステップa2では、復号タイミング発生部14は、復号タイミング信号を発生するとともに、最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0を取得しておく。この後、2フレーム目以降の復号タイミングの発生処理は、以下に述べる図7に示すフローチャートの処理手順に従って行われる。すなわち図2に示すフローチャートの全ての処理手順が終了すると、図7に示すフローチャートの処理が開始され、ステップe1に移行する。
ステップe1では、復号タイミング発生部14は、復号可能フレームが存在するか否かを判断する。ステップe1では、復号タイミング発生部14は、復号可能フレームの少なくとも一部が取得されたと判断すると、復号可能フレームが存在すると判断する。ステップe1において、復号可能フレームが存在すると判断された場合はステップe2に移行し、復号可能フレームが存在しないと判断された場合は、復号可能フレームが存在すると判断されるまで待機する。
ステップe2では、復号タイミング発生部14は、DTSからデコード時刻tdを取得する。ステップe2において、デコード時刻tdが復号タイミング発生部14によって取得されると、ステップe3に移行する。
ステップe3では、復号タイミング発生部14は、ステップe2で取得したデコード時刻tdを、予め取得している最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0に基づいて求めた補正デコード時刻tdαに補正する。具体的な補正処理は後述する。ステップe3において、デコード時刻tdが復号タイミング発生部14によって補正デコード時刻tdαに補正されると、ステップe4に移行する。
ステップe4では、復号タイミング発生部14は、STCの基準時刻tsを取得する。ステップe4において、STCの基準時刻tsが復号タイミング発生部14によって取得されると、ステップe5に移行する。
ステップe5では、復号タイミング発生部14は、基準時刻tsと補正デコード時刻tdαとが一致するか否かを判断する。ステップe5において、基準時刻tsと補正デコード時刻tdαとが一致する(ts=tdα)と判断された場合はステップe6に移行し、基準時刻tsと補正デコード時刻tdαとが一致しないと判断された場合はステップe4に戻り、前述と同様の処理を行う。つまり、復号タイミング発生部14は、基準時刻tsが補正デコード時刻tdになるまで待機する。
ステップe6では、復号タイミング発生部14は、復号タイミング信号を発生させ、デコードバッファ13に与える。ステップe6の処理の終了後は、全ての処理手順を終了する。
図8は、本発明の第2の実施の形態における表示タイミング発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。表示タイミングの発生処理の開始直後は、第1の実施の形態と同様に図3に示すフローチャートに従った処理を行う。ただし、図3に示すステップb2では、表示タイミング発生部17は、表示タイミング信号を発生するとともに、最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0を取得しておく。この後、2フレーム目以降の表示タイミングの発生処理は、以下に述べる図8に示すフローチャートの処理手順に従って行われる。すなわち図3に示すフローチャートの全ての処理手順が終了すると、図8に示すフローチャートの処理が開始され、ステップf1に移行する。
ステップf1では、表示タイミング発生部17は、表示可能フレームが存在するか否かを判断する。ステップf1において、表示可能フレームが存在すると判断された場合はステップf2に移行し、表示可能フレームが存在しないと判断された場合は、表示可能フレームが存在すると判断されるまで待機する。
ステップf2では、表示タイミング発生部17は、PTSから提示時刻tpを取得する。ステップf2において、表示タイミング発生部17によって提示時刻tpが取得されると、ステップf3に移行する。
ステップf3では、表示タイミング発生部17は、ステップf2で取得された提示時刻tpを、予め取得している最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0に基づいて求めた補正提示時刻tpαに補正する。具体的な補正処理は後述する。ステップf3において、提示時刻tpが表示タイミング発生部17によって補正提示時刻tpαに補正されると、ステップf4に移行する。
ステップf4では、表示タイミング発生部17は、STCの基準時刻tsを取得する。ステップf4において、STCの基準時刻tsが表示タイミング発生部17によって取得されると、ステップf5に移行する。
ステップf5では、表示タイミング発生部17は、基準時刻tsと補正提示時刻tpαとが一致するか否かを判断する。ステップf5において、基準時刻tsと補正提示時刻tpαとが一致する(ts=tpα)と判断された場合はステップf6に移行し、基準時刻tsと補正提示時刻tpαとが一致しないと判断された場合は、ステップf4に戻り、前述と同様の処理を行う。つまり、表示タイミング発生部17は、基準時刻tsが補正提示時刻tpになるまで待機する。
ステップf6では、表示タイミング発生部17は、表示タイミング発生信号を発生させ、フレームバッファ16に与える。ステップf6の処理の終了後は、全ての処理手順を終了する。
以上のように本実施の形態においては、2フレーム目以降のフレームについては、復号タイミング発生部14は、PES処理部12から与えられるPESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、STCで示される基準時刻tsが、DTSで示されるデコード時刻tdを補正した補正デコード時刻tdαになった時点で、復号タイミング信号を発生する。また表示タイミング発生部17は、PES処理部12から与えられるPESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、STCで示される基準時刻tsが、PTSで示される提示時刻tpを補正した補正提示時刻tpαになった時点で、表示タイミング信号を発生する。
したがって、映像表示装置に入力される映像ストリームデータに揺らぎがあった場合においても、また、映像の入力から表示までの処理が固定遅延ではないような場合であっても、乱れのない映像を表示することができる。
また本実施の形態では、復号タイミングおよび表示タイミングの両方でタイミング補正をしているので、復号されたデータが表示されるまでに待たされるような場合であっても、その待ち時間が少なく、表示のためのバッファ量を少なくすることができる。
次に、タイミング発生の補正処理について説明する。本実施の形態において、復号タイミングのためのDTSの補正値である補正デコード時刻tdαは、最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0を用いて、以下の式(1)によって算出する。
tdα=td−(td0−tc0) …(1)
ここで、td0−tc0は、最初の復号可能フレームにおけるDTSで示されるデコード時刻td0からの実際の復号タイミング時刻tc0のずれ量を表す。
また、表示タイミングのためのPTSの補正値である補正提示時刻tpαは、最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0を用いて、以下の式(2)によって算出する。
tpα=tp−(tp0−tq0) …(2)
ここで、tp0−tq0は、最初の復号可能フレームにおけるPTSで示される提示時刻tp0からの実際に発生した表示タイミング時刻tq0のずれ量を表す。
上記式(1)に基づく補正および式(2)に基づく補正を、以下の説明では「線形補正」という。
以上のように本実施の形態においては、最初の復号および表示タイミングに基づいて、2フレーム目以降の復号および表示タイミングが線形補正される。つまり、最初の復号および表示タイミングのずれ量と同じ分だけ、2フレーム目以降の復号および表示タイミングをずらして、復号タイミング信号および表示タイミング信号が発生される。
これによって、元画のフレーム間隔と同じ間隔で、フレームを表示することができる。したがって、第1の実施の形態と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を早めることができると共に、元画のフレーム間隔と同じ間隔でフレームを表示することができる。
以上に述べた第1および第2の実施の形態では、復号タイミングおよび表示タイミングの両方を補正する方法について述べたが、復号および表示のそれぞれに係わるバッファの量が充分であるような場合においては、どちらか一方だけを補正する方法も実施できる。
<第3の実施の形態>
前述の第2の実施の形態ではタイミング発生における補正方法を線形補正としたが、本発明の第3の実施の形態では別の補正方法を採用する。本実施の形態の映像表示装置は、タイミング発生における補正方法以外については、第2の実施の形態の映像表示装置と同様である。
本実施の形態におけるタイミング発生の補正処理について説明する。最初の復号タイミングの発生および表示タイミングの発生までは、第2の実施の形態と同様である。この後、2番目となる復号タイミングを入力映像データが指定した時刻、すなわちDTSで示されるデコード時刻tdに等しくなる時刻まで待つ。すなわち、補正式は以下の式(3)となる。
tdα=td …(3)
また、2番目となる表示タイミングを入力映像データが指定した時刻すなわちPTSで示される提示時刻tpに等しくなる時刻まで待つ。すなわち、補正式は以下の式(4)となる。
tpα=tp …(4)
図9は、本発明の第3の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図9では、図4と同様に、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図9では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図9(a)は、元画のフレームを表し、図9(b)は、送受信ストリームにおけるフレームを表し、図9(c)は、通常表示のフレームを表し、図9(d)は、高速選局表示のフレームを表している。図9では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
前述の図4に示す場合と同様に、二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信する場合、ストリーム受信開始後最初の復号可能フレームおよび表示可能フレームはI1である。この最初の復号可能フレームI0の復号タイミングおよび表示可能フレームI0の表示タイミングは、本実施の形態においても、時刻t1となる。
本実施の形態においては、最初の復号および表示タイミングから次の復号および表示タイミングまでを、入力映像データが指定する時刻まで待つ。具体的に述べると、図9(d)に示すように、2番目の復号可能フレームI4の復号可能タイミングは、復号可能となった時刻である図4に示す時刻t2ではなく、復号可能フレームI1のDTSで示されるデコード時刻となり、表示可能タイミングは、PTSで示される提示時刻t14となる。
3番目の復号可能フレームB5の復号可能タイミングは、DTSで示されるデコード時刻t12となり、遅延を零と想定すると、表示可能タイミングもPTSで規定される提示時刻t12となる。つまり、本実施の形態では、時刻t1において最初の表示可能フレームI0が表示された後、最初の表示可能フレームI0のPTSで示される提示時刻t11から、フレームI0から始まるGOP単位の表示が開始される。
前述の図4に示す第1の実施の形態と比較すると、第1の実施の形態では、最初の表示可能フレームI0が表示された時刻t1から、最初の表示可能フレームI0のPTSで示される提示時刻t1aまでの間の時刻t2において、フレームI0から始まるGOP単位の表示が開始される。これに対し、本実施の形態では、最初の表示可能フレームI0が表示された時刻t1から、最初の表示可能フレームI0のPTSで示される提示時刻t11までの間の時刻t10では、GOP単位の表示は開始されず、PTSで示される提示時刻t11で開始される。
このように最初の復号および表示タイミングから次の復号および表示タイミングまでを、入力映像データが指定する時刻まで待つことによって、次のフレームが表示されるときには入力映像データが指定する時刻にフレームを表示することができる。また2番目以降のフレームの表示タイミングは、入力映像データが指定する提示時刻tpであるので、元画のフレーム間隔と同じ間隔でフレームを表示することができる。
したがって、第1および第2の実施の形態と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を短縮することができるとともに、2番目以降のフレームについては、入力映像データが指定する時刻に、元画のフレーム間隔と同じ間隔で表示することができる。
<第4の実施の形態>
本発明の第4の実施の形態では、第2および第3の実施の形態とは異なる補正方法を採用する。本実施の形態の映像表示装置は、タイミング発生における補正方法以外については、第2および第3の実施の形態の映像表示装置と同様である。
本実施の形態におけるタイミング発生の補正処理について説明する。最初の復号タイミングの発生および表示タイミングの発生までは、第2の実施の形態と同様である。2番目以降の復号可能フレームの復号タイミングのためのDTSの補正値である補正デコード時刻tdαは、以下の式(5)によって算出する。
tdα=td−(td0−tc0)×γ(0≦γ≦1) …(5)
ここで、td0−tc0は、最初の復号可能フレームにおけるDTSで示されるデコード時刻td0からの実際の復号タイミング時刻tc0のずれ量を表し、γはデコード時刻補正係数を表す。本実施の形態では、式(5)に示すデコード時刻補正係数γを時刻の経過とともに、1から0へ減じていく。これによって復号タイミングが、時間の経過とともに、入力映像データが指定した時刻、すなわちDTSで示されるデコード時刻tdに近づいていく。
また、2番目以降の表示可能フレームの表示タイミングのためのPTSの補正値である補正提示時刻tpαは、以下の式(6)によって算出する。
tpα=tp−(tp0−tq0)×η(0≦η≦1) …(6)
ここで、tp0−tq0は、最初の復号可能フレームにおけるPTSで示される提示時刻tp0からの実際に発生した表示タイミング時刻tq0のずれ量を表し、ηは提示時刻補正係数を表す。本実施の形態では、式(6)に示す提示時刻補正係数ηを時刻の経過とともに、1から0へ減じていく。これによって表示タイミングが、時刻の経過と共に、入力映像データが指定した時刻、すなわちPTSで示される提示時刻tpへ近づいていく。
図10は、本発明の第4の実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図10では、図4と同様に、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図10では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図10(a)は、元画のフレームを表し、図10(b)は、送受信ストリームにおけるフレームを表し、図10(c)は、通常表示のフレームを表し、図10(d)は、高速選局表示のフレームを表している。図10では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
前述の図4に示す場合と同様に、二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信する場合、ストリーム受信開始後最初の復号可能フレームおよび表示可能フレームはI1である。この最初の復号可能フレームI0の復号タイミングおよび表示可能フレームI0の表示タイミングは、本実施の形態においても、時刻t1となる。
本実施の形態においては、2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正する。具体的に述べると、図10(d)に示すように、2番目の復号可能フレームI4の復号可能タイミングは、復号可能となった時刻t21ではなく、前述の式(5)に基づいて補正された補正デコード時刻tdαとなり、表示可能タイミングは、前述の式(6)に基づいて補正された補正提示時刻tpαである時刻t24となる。
3番目の復号可能フレームB5の復号可能タイミングは、前述の式(5)に基づいて補正された補正デコード時刻tdαである時刻t22となり、遅延を零と想定すると、表示可能タイミングも前述の式(6)に基づいて補正された補正提示時刻である時刻t22となる。つまり、本実施の形態では、時刻t1において最初の表示可能フレームI0が表示された後、最初の表示可能フレームI0のPTSで示される提示時刻t1に基づいて補正した補正提示時刻t21から、フレームI0から始まるGOP単位の表示が開始される。
前述のように式(5)に示すデコード時刻補正係数γおよび式(6)に示す提示時刻補正係数ηは、時刻の経過とともに1から0へと減じられるので、各フレームの表示間隔は、徐々に大きくなっていく。具体的に述べると、図10(d)に示すように、時刻t21から時刻t22までの間隔、時刻t22から時刻23までの間隔、および時刻t23から時刻t24までの間隔は、この順に徐々に大きくなっていく。
このように2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正することによって、第1〜第3の実施の形態と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を短縮することができるとともに、一定時間の経過後には、表示すべき時刻通りに映像を表示することができる。
また本実施の形態では、2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正するので、最初の映像が表示されてから、表示すべき時刻通りに映像を表示するまでの時間においても、乱れはもちろん、違和感のない映像を表示することができる。
<第5の実施の形態>
次に、本発明の第5の実施の形態の映像表示装置について説明する。本実施の形態の映像表示装置は、復号タイミングの発生処理が異なること以外は、前述の第1〜第4の実施の形態の映像表示装置と同一であるので、異なる部分について説明し、共通する説明を省略する。
前述の第1〜第4の実施の形態では、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの全体が取得された時点で復号タイミング信号を発生する。これに対し、本実施の形態では、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの一部が取得された時点であって、前記復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号を発生する。
図11は、本発明の第5の実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。図11に示すフローチャートも、図2に示すフローチャートと同様に、本実施の形態の映像表示装置がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップg1に移行する。
ステップg1では、復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、先行復号可能フレームが存在するか否かを判断する。具体的に述べると、ステップg1において、復号タイミング発生部14は、復号可能フレームが存在し、かつ、その復号可能フレームの一部、より詳細には、その復号可能フレームに関する映像データの一部であって、予め定める設定蓄積量のデータがデコードバッファ13に蓄積されたと判断すると、先行復号可能フレームが存在すると判断する。復号タイミング発生部14は、復号可能フレームが存在しない、または復号可能フレームが存在するが、設定蓄積量のデータがデコードバッファ13に蓄積されていないと判断すると、先行復号可能フレームが存在しないと判断する。
設定蓄積量は、本実施の形態では、デコーダ15によって復号可能フレームの復号を開始するのに充分なデータ量、より詳細には、デコーダ15によって復号可能フレームの復号を開始するために必要な最低限のデータ量に選ばれる。ステップg1において、先行復号可能フレームが存在すると判断された場合はステップg2に移行し、先行復号可能フレームが存在しないと判断された場合は、先行復号可能フレームが存在すると判断されるまで待機する。
ステップg2では、復号タイミング発生部14は、復号タイミング信号を発生し、デコードバッファ13に与える。ステップg2の処理の終了後は、全ての処理手順を終了する。
次に、先行復号可能フレームの存在タイミングについて説明する。図12は、デコードバッファ13の蓄積量と、復号タイミングおよび表示タイミングとの関係を模式的に示す図である。図12(a)は、本発明の第1の実施の形態におけるデコードバッファ13の蓄積量と復号タイミングおよび表示タイミングとの関係を示す図であり、図12(b)は、本発明の第5の実施の形態におけるデコードバッファ13の蓄積量と復号タイミングおよび表示タイミングとの関係を示す図である。図12(a)および図12(b)において、デコードバッファ蓄積量に関する横軸は、x軸を表し、縦軸は、y軸を表す。またx軸、ならびに復号タイミングおよび表示タイミングに関する横軸は、時刻tを表す。図12(a)および図12(b)では、前述の図4(b)に示す送受信ストリームと同様の送受信ストリームが送受信される場合を示す。
まず、図12(a)に示す第1の実施の形態の場合における復号可能フレーム存在タイミングについて説明する。図12(a)に示すように、デコードバッファ13には、順次データが蓄積されている。復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、その情報に含まれる各フレームのピクチャタイプに関する情報、たとえば、そのフレームがIフレームであるか、Bフレームであるかの情報を、そのフレームに関するデータであるピクチャデータの先頭で取得することができる。したがって復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、時刻tbI1において、デコードバッファ13に最初の復号可能フレームであるフレームI1のデータが蓄積され始める、すなわちデータの蓄積開始時刻が時刻tbI1であると判断することができる。
この時刻tbI1からデコードバッファ13にデータを蓄積していき、フレームI1の全体が復号可能となるタイミング、すなわちフレームI1に関する全てのデータの蓄積が完了するタイミングである時刻tdI1までデータの蓄積を行う。時刻tdI1において、フレームI1の全てのデータがデコードバッファ13に蓄積されると、復号タイミング発生部14は、フレームI1の復号タイミングであると判断し、復号タイミング信号を発生する。これによってデコードバッファ13からデコーダ15へのデータの出力が開始され、デコーダ15によるデコードが開始される。つまり、この時刻tdI1が、復号可能フレームが存在すると判断されるタイミング、すなわち復号可能フレームの存在タイミングとなる。このデコード開始時刻tdI1からフレームI1のデコード終了時刻tpI1までの間の時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
続いて、デコードバッファ13は蓄積を継続し、次に入力されるフレームであるフレームI4のデータを蓄積する。さらにデコードバッファ13は蓄積を継続し、復号タイミング発生部14は、次のタイミングで出力するフレームであるフレームB5の全てのデータがデコードバッファ13に蓄積されるのを待って、フレームB5の復号タイミングである時刻tdB5を判断する。すなわち時刻tdB5において、フレームB5の全てのデータがデコードバッファ13に蓄積されると、復号タイミング発生部14によって、フレームB5の復号タイミングであると判断されて復号タイミング信号が発生され、デコードバッファ13からデコーダ15へのデータの出力が開始され、デコーダ15によるデコードが開始される。時刻tdB5からフレームB5のデコード終了時刻tpB5までの間の時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
さらに、デコードバッファ13は蓄積を継続し、復号タイミング発生部14は、次のタイミングで出力するフレームであるフレームB6のデータがデコードバッファ13に蓄積されるのを待って、フレームB6の復号タイミングである時刻tdB6を判断する。時刻tdB6からフレームB6のデコード終了時刻tpB6までの時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
フレームB6のデコード終了時刻tpB6が経過すると、デコーダ15は、次のデコードを開始できるので、復号タイミング発生部14は、フレームB6のデコード終了時刻tpB6と同じ時刻tpI4において、次のタイミングで出力するフレームであるフレームI4の復号タイミング信号を発生する。時刻tdI4からフレームI4のデコード終了時刻tpI4までの時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
次に、図12(b)に示す第5の実施の形態の場合における先行復号可能フレームの存在タイミングについて説明する。時刻tbI1においてデータの蓄積が開始されることの判断は前述と同様である。時刻tbI1からデコードバッファ13にデータを蓄積していくが、本実施の形態では、復号タイミング発生部14は、復号を行うフレームI1のデータが全て蓄積される時刻tdI1よりも前の時刻tdI1−において、復号タイミング信号を発生させる。時刻tdI1−は、時刻tdI1−から復号を開始して時刻tpI1−に復号が終了すると仮定した場合に、時刻tpI1−までにデコードバッファ13にフレームI1を復号するために充分なデータが蓄積されることを担保する時刻となる。具体的には、時刻tdI1−は、デコーダ15によって復号可能フレームの復号を開始するのに充分なデータ量、本実施の形態では、デコーダ15によって復号可能フレームの復号の開始するために必要な最低限のデータ量のデータがデコードバッファ13に蓄積される時刻に選ばれる。
時刻tpI1−は、デコード時間を0とした場合、理想的にはデコードバッファ13にフレームI1の全てのデータの蓄積が完了する時刻であり、以下のようにして求められる。まず、デコードバッファ13にデータを蓄積するスピードを、以下の式(7)に示すように線形で近似する。
y=ax (a>0) …(7)
また、デコードバッファ13からデコーダ15にデータを出力するスピードを、以下の式(8)に示すように線形で近似する。
y=b(x−tdI1) (b<0) …(8)
このようにデコードバッファ13にデータを蓄積するスピードおよびデコードバッファ13からデコーダ15にデータを出力するスピードをそれぞれ式(7)および式(8)に示すように線形で近似した場合、式(7)に示す直線と式(8)に示す直線との交点のx座標が時刻tdI1−となる。以下、同様にして各フレームB5,B6,I4の全てのデータが蓄積される時刻tdB5−,tdB6−,tdI4−に先だって、時刻tdB5−,tdB6−,tdI4−において、復号タイミング発生部14で復号タイミング信号を発生させ、デコーダ15による復号を開始させることができる。
したがって、第5の実施の形態では、第1の実施の形態に比べて、各復号可能フレームの復号開始タイミングを早めることができる。これによって、デコーダ15による復号の終了タイミングを早めることができるので、第1の実施の形態における各フレームの表示時刻tpI1,tpB5,tpB6,tpI4よりも早い時刻tpI1−,tpB5−,tpB6−,tpI4−において、各フレームを表示することができる。
以上のように本実施の形態によれば、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの一部が取得された時点であって、復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号が発生される。これによって、前述の第1〜第4の各実施の形態よりも早いタイミングでフレームを表示することができる。
以上に述べた本実施の形態では、2フレーム目以降のフレームについても、先行復号可能フレームが存在すると判断した時点で復号タイミング発生部14によって復号タイミング信号を発生し、各フレームの復号が完了した時点で表示タイミング発生部17によって表示タイミング信号を発生する。これに限定されず、前述の第2〜第4の実施の形態のように、2フレーム目以降のフレームについては、STCで示される基準時刻tsが補正デコード時刻tdαになった時点で復号タイミング信号を発生させ。STCで示される基準時刻tsが補正提示時刻tpαになった時点で表示タイミング信号を発生させるようにしてもよい。
1 映像表示装置、11 ストリームIF、12 PES処理部、13 デコードバッファ、14 復号タイミング発生部、15 デコーダ、16 フレームバッファ、17 表示タイミング発生部、18 STC発生部。

Claims (8)

  1. 符号化された複数のフレームを含む映像データを復号して表示する映像表示装置であって、
    前記映像データが入力される入力手段と、
    前記入力手段に入力された前記映像データの各フレームを復号する復号タイミングを表す復号タイミング信号を発生する復号タイミング発生手段と、
    前記復号タイミング信号に基づいて、前記入力手段に入力された前記映像データの各フレームを復号する復号手段と、
    前記復号手段によって復号された各フレームを出力する表示タイミングを表す表示タイミング信号を発生する表示タイミング発生手段と、
    前記表示タイミング信号に基づいて、前記復号された各フレームを出力する出力手段とを備え、
    前記復号タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点で前記復号タイミング信号を発生し、
    前記表示タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、その変化後に最初に表示可能な表示可能フレームが取得された時点で前記表示タイミング信号を発生することを特徴とする映像表示装置。
  2. 前記最初に復号可能フレームが取得された時点は、前記復号可能フレームの全体が取得された時点であることを特徴とする請求項1に記載の映像表示装置。
  3. 前記最初に復号可能フレームが取得された時点は、前記復号可能フレームの一部が取得された時点であって、前記復号可能フレームの全体が取得される時点よりも早い時点であることを特徴とする請求項1に記載の映像表示装置。
  4. 前記復号タイミング発生手段は、
    前記最初に復号可能フレームが取得された時点から後に復号可能フレームが取得されると、取得された前記復号可能フレームに対して予め定められるデコード時刻を補正した補正デコード時刻において前記復号タイミング信号を発生することを特徴とする請求項1〜3のいずれか1つに記載の映像表示装置。
  5. 前記表示タイミング発生手段は、
    前記最初に表示可能フレームが取得された時点から後に表示可能フレームが取得されると、取得された前記表示可能フレームに対して予め定められる提示時刻を補正した補正提示時刻において前記表示タイミング信号を発生することを特徴とする請求項1〜4のいずれか1つに記載の映像表示装置。
  6. 前記補正提示時刻は、
    最初の表示可能フレームの予め定められる提示時刻からの前記表示タイミング信号が発生された時刻のずれ量を、取得された前記表示可能フレームに対して予め定められる提示時刻から差し引いた時刻であることを特徴とする請求項5に記載の映像表示装置。
  7. 前記補正提示時刻は、取得された前記表示可能フレームに対して予め定められる提示時刻であることを特徴とする請求項5に記載の映像表示装置。
  8. 前記補正提示時刻は、
    取得された前記表示可能フレームに対して予め定められる提示時刻に段階的に近づくように選ばれることを特徴とする請求項5に記載の映像表示装置。
JP2009128830A 2008-12-26 2009-05-28 映像表示装置 Expired - Fee Related JP4987034B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009128830A JP4987034B2 (ja) 2008-12-26 2009-05-28 映像表示装置
US12/625,109 US20100166080A1 (en) 2008-12-26 2009-11-24 Video display apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008332495 2008-12-26
JP2008332495 2008-12-26
JP2009128830A JP4987034B2 (ja) 2008-12-26 2009-05-28 映像表示装置

Publications (2)

Publication Number Publication Date
JP2010171919A true JP2010171919A (ja) 2010-08-05
JP4987034B2 JP4987034B2 (ja) 2012-07-25

Family

ID=42284948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009128830A Expired - Fee Related JP4987034B2 (ja) 2008-12-26 2009-05-28 映像表示装置

Country Status (2)

Country Link
US (1) US20100166080A1 (ja)
JP (1) JP4987034B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206257A (ja) * 2009-02-27 2010-09-16 Mega Chips Corp 再生システム、プログラムおよび再生方法
JP2012124746A (ja) * 2010-12-09 2012-06-28 Mitsubishi Electric Corp 映像表示装置及び映像表示方法
JP2012518950A (ja) * 2009-02-23 2012-08-16 クゥアルコム・インコーポレイテッド ビデオ・コンテンツ・プレゼンテーション
JP2012165380A (ja) * 2011-02-04 2012-08-30 Thomson Licensing 帯域幅最適化を備えた高速チャンネル変更を伴うストリームの対策
JP2012222511A (ja) * 2011-04-06 2012-11-12 Panasonic Corp 動画像復号化装置及びデジタルテレビ受信装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031338B (zh) * 2019-12-17 2021-09-28 杭州当虹科技股份有限公司 一种改善在线信源速率异常的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070004A (ja) * 2001-08-29 2003-03-07 Matsushita Electric Ind Co Ltd 画像復号化装置、および画像復号化方法
JP2005012310A (ja) * 2003-06-17 2005-01-13 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2005020429A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム
JP2006319956A (ja) * 2005-04-13 2006-11-24 Matsushita Electric Ind Co Ltd Mpeg符号化ストリーム復号装置
JP2007124419A (ja) * 2005-10-28 2007-05-17 Kddi Corp デジタル信号伝送方法ならびに送信装置および受信装置
JP2008141277A (ja) * 2006-11-30 2008-06-19 Sanyo Electric Co Ltd デコード回路

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291306A (en) * 1989-09-25 1994-03-01 Canon Kabushiki Kaisha Image reproducing apparatus
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
US5778139A (en) * 1995-05-29 1998-07-07 Samsung Electronics Co., Ltd. Digital video data recording with outer-error-correction coding of trick-play data and apparatus for use therewith
US6756974B2 (en) * 1997-09-24 2004-06-29 Canon Kabushiki Kaisha Display control apparatus and method
EP1095520A2 (en) * 1998-06-29 2001-05-02 Limt Technology AB Method and apparatus for splicing data streams
US7551672B1 (en) * 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
TW200642450A (en) * 2005-01-13 2006-12-01 Silicon Optix Inc Method and system for rapid and smooth selection of digitally compressed video programs
ATE516666T1 (de) * 2005-12-23 2011-07-15 Koninkl Philips Electronics Nv Einrichtung und verfahren zum verarbeiten eines datenstroms
WO2008056622A1 (en) * 2006-11-06 2008-05-15 Panasonic Corporation Receiver
CN101543078B (zh) * 2007-03-30 2011-10-05 索尼株式会社 信息处理设备和方法
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070004A (ja) * 2001-08-29 2003-03-07 Matsushita Electric Ind Co Ltd 画像復号化装置、および画像復号化方法
JP2005012310A (ja) * 2003-06-17 2005-01-13 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2005020429A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム
JP2006319956A (ja) * 2005-04-13 2006-11-24 Matsushita Electric Ind Co Ltd Mpeg符号化ストリーム復号装置
JP2007124419A (ja) * 2005-10-28 2007-05-17 Kddi Corp デジタル信号伝送方法ならびに送信装置および受信装置
JP2008141277A (ja) * 2006-11-30 2008-06-19 Sanyo Electric Co Ltd デコード回路

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012518950A (ja) * 2009-02-23 2012-08-16 クゥアルコム・インコーポレイテッド ビデオ・コンテンツ・プレゼンテーション
US8978077B2 (en) 2009-02-23 2015-03-10 Qualcomm Incorporated Video content presentation
JP2010206257A (ja) * 2009-02-27 2010-09-16 Mega Chips Corp 再生システム、プログラムおよび再生方法
JP2012124746A (ja) * 2010-12-09 2012-06-28 Mitsubishi Electric Corp 映像表示装置及び映像表示方法
JP2012165380A (ja) * 2011-02-04 2012-08-30 Thomson Licensing 帯域幅最適化を備えた高速チャンネル変更を伴うストリームの対策
JP2012222511A (ja) * 2011-04-06 2012-11-12 Panasonic Corp 動画像復号化装置及びデジタルテレビ受信装置

Also Published As

Publication number Publication date
US20100166080A1 (en) 2010-07-01
JP4987034B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
JP6313704B2 (ja) 受信装置およびその同期処理方法
JP6184408B2 (ja) 受信装置及びその受信方法
US20090116814A1 (en) Reproducer, portable telephone, and reproducing method
JP4987034B2 (ja) 映像表示装置
EP2545708B1 (en) Method and system for inhibiting audio-video synchronization delay
JP6333173B2 (ja) 受信装置および受信方法
US20110075997A1 (en) Decoding earlier frames with dts/pts backward extrapolation
JP5465278B2 (ja) 映像表示装置
US8238446B2 (en) Method and apparatus for reproducing digital broadcasting
JP4613860B2 (ja) Mpeg符号化ストリーム復号装置
JP2006254298A (ja) 動画再生装置及び動画再生方法
JP3350365B2 (ja) 映像同期信号補正装置
WO2014115295A1 (ja) ビデオ表示装置及びビデオ表示方法
JP6464647B2 (ja) 動画像処理方法、動画像の送信装置、動画像処理システムおよび動画像処理プログラム
EP4195673A1 (en) Synchronization of media streams
JP2004350237A (ja) ストリーム切り替え装置、ストリーム切り替え方法及びストリーム切り替えプログラム、並びに、表示時刻補正装置
JP2002281498A (ja) 受信再生装置
JP3671969B2 (ja) データ多重方法及び多重データ復号方法
JP2004320787A (ja) 連続メディア切り出し装置
CN111988641A (zh) 传输流复用音视频时间同步方法
KR20100059009A (ko) 디지털 방송장치 및 디지털 방송방법
EP1392059A1 (en) Medium data transmission system and medium data transmission method
JP2008278012A (ja) ビットストリーム差替装置
JP2004158921A (ja) データ送信装置及びデータ受信装置
JP2009060324A (ja) タイムスタンプ付加装置およびタイムスタンプ付加方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111205

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20111205

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4987034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees