JP2009512331A - モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム - Google Patents

モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム Download PDF

Info

Publication number
JP2009512331A
JP2009512331A JP2008535469A JP2008535469A JP2009512331A JP 2009512331 A JP2009512331 A JP 2009512331A JP 2008535469 A JP2008535469 A JP 2008535469A JP 2008535469 A JP2008535469 A JP 2008535469A JP 2009512331 A JP2009512331 A JP 2009512331A
Authority
JP
Japan
Prior art keywords
media
channel
stream
field
elementary stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008535469A
Other languages
English (en)
Other versions
JP4855472B2 (ja
Inventor
ヨン−ジョー・ソン
キ−ホ・ジュン
ヨン−クウォン・リム
ジェ−チャン・ジョン
クーク−フイ・イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2009512331A publication Critical patent/JP2009512331A/ja
Application granted granted Critical
Publication of JP4855472B2 publication Critical patent/JP4855472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23LFOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L17/00Food-from-the-sea products; Fish products; Fish meal; Fish-egg substitutes; Preparation or treatment thereof
    • A23L17/75Coating with a layer, stuffing, laminating, binding or compressing of original fish pieces
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23LFOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L3/00Preservation of foods or foodstuffs, in general, e.g. pasteurising, sterilising, specially adapted for foods or foodstuffs
    • A23L3/40Preservation of foods or foodstuffs, in general, e.g. pasteurising, sterilising, specially adapted for foods or foodstuffs by drying or kilning; Subsequent reconstitution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23VINDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00Food compositions, function of food ingredients or processes for food or foodstuffs
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23VINDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2300/00Processes
    • A23V2300/10Drying, dehydrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Nutrition Science (AREA)
  • Polymers & Plastics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Food Science & Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Zoology (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Circuits Of Receivers In General (AREA)
  • Television Systems (AREA)

Abstract

本発明は、モバイル放送システムにおいてデータストリームを受信して表示する移動端末の場面構成を制御するための方法、装置、及びシステムを提供する。論理チャンネルが一つの物理チャンネルに多重化される場合に、多重化されたチャンネルは、順次に復号化されてメディアに表示される。循環場面構成は、一つのメディアにチャンネルを指定された順序で交互に表示する。組合せ場面構成では、従来のLASeR技術に新たなノードを追加する。画面の構成のために、時間情報及び場面トランジション効果のためのフィールドが提案される。これにより、チャンネル変更による遅延時間を減少させ、ユーザーが直接チャンネルを切り替えながらコンテンツを検索する不便さを解消する。また、追加的なモザイクチャンネルなしに、サービス提供者から受信したストリームソースノード情報を用いて動的に多重チャンネルメディアを構成する。

Description

本発明は、モバイル放送システムにおける移動端末のディスプレイ技術に関するもので、特にモバイル放送システムでデータストリームを受信してディスプレイするための移動端末の場面構成の制御方法及び装置とそのシステムに関する。
LASeR(Lightweight Application Scene Representation)は、通信リソースが不足した携帯電話のような移動端末を用いる豊富なマルチメディアサービスのためのマルチメディアコンテンツのフォーマットである。このLASeRは、MPEG(Moving Picture Experts Group)−4 BIFS(Binary Format for Scene)の技術に類似している。BIFSはすべてのマルチメディアコンテンツに対する場面記述(scene description)の標準であり、LASeRは携帯電話のように小さいディスプレイサイズはもちろんネットワーク帯域幅も減少されたマルチメディア端末に対する場面記述の標準である。
上記BIFSは、オブジェクト基盤のシステムに使用される。オブジェクト基盤のシステムでは、マルチメディアがオブジェクトのセットからなる。各メディアの時間的及び空間的情報は指示される必要がある。例えば、天気予報を放送する場合に、気象キャスター、気象キャスターの背景としてディスプレイされる気象チャート、気象キャスターの音声、及び背景音楽のような4個のオブジェクトが考えられる。これら複数のオブジェクトが独立的に存在する場合に、一つの場面を記述するためには、オブジェクトそれぞれの位置、現れる時点、及び消える時点を定めなければならない。この定義がBIFSである。関連情報はBIFSによるバイナリファイルに格納されるため、格納容量が減少される。
しかしながら、BIFSは、MPEG−4システム標準文書(ISO/IEC14496−1)に記述されたように、200ページ程度の大量のデータを有している。したがって、移動端末のように利用可能なリソースが不足している通信環境では、BIFSを使用するのが難しいため、その対案として提示されたものがLASeRである。LASeRは、場面記述、ビデオ、オーディオ、メディア、フォント、メタデータ(metadata)のような相互に異なるエレメンタリストリーム(Elementary Stream:以下、“ES”と称する)を多重化及び同期化し、複雑度を最小化してメモリと電力に制限のある移動端末で、多様なマルチメディアの自由な表現と相互作用のために提案された技術である。エレメンタリストリームは、上記のような一般的な意味を有している。ESは、ディスプレイされる多重チャンネルを構成する個々の論理チャンネルを意味すると考えられる。
LASeRのESは、命令語(command)を含むアクセス単位(Access Unit:AU)で構成される。この命令語は、特定時間の場面特性を変更するのに利用される。同時に遂行されるべき命令語は、一つのAUにグループ化される。このAUは、一つの場面メディア、短い音、一つのグラフィックメディア、及び短いアニメーションなどとなることができる。LASeRブラウザは、ESを定められた順序でディスプレイする。ESの間には、階層構造(hierarchy)が存在する。LASeRブラウザは、(1)パケット受信、(2)パケット復号化(一つのメディア、一つのビデオクリップなどのAU別復元)、(3)命令語の実行、(4)オーディオ/ビデオなどオブジェクトレンダリング、(5)ユーザー相互作用遂行(選択、ドラッグなど)、(6)ローカル接続又は外部情報ソースとの接続、のような順に場面をディスプレイする。
一方、LASeRとW3C(World Wide Web Consortium)との融合(convergence)のための標準化が進められている。SVG標準を用いると、オーディオ、ビデオ、文字、メディア、多面体などを表現することができる。このSVGに関連して、従来のLASeR技術は、多重チャンネルに対してチャンネルモザイク(mosaic)サービスを提供するように、SVG1.1のクリップパス(clip path)を用いて映画タイル(movie tile)を構成する技術だけが提案された。移動端末にLASeR技術を利用すると、移動端末の画面メディアがタイル化されるときに、サービス中のチャンネルストリームコンテンツを識別するのに問題が発生する。移動端末にこのLASeR技術を用いることは、既存の放送サービスを受信する端末及び個人用コンピュータ(PC)システムより移動端末の画面サイズが小さいので、チャンネルのディスプレイを容易にする。
例えば、現在まで提案された多重チャンネルメディア構成のためのストリームソース技術は、チャンネルモザイクサービスのために複数のメディアを一つのチャンネルで多重化して符号化した別途のモザイクサービス用チャンネルを割り当て、サービス中である複数の放送サービスチャンネルを一つの画面(screen)にディスプレイする。このようなモザイクチャンネルサービスがモバイル放送に適用される場合に、ネットワークインフラ構築に多くのコストがかかるようになる。限定されたチャンネルリソースを考慮すると、一つのビデオチャンネルをモザイクサービス専用として実現することはモバイル放送環境で実際的に難しい。複数のメディアがストリームソース方式で処理され、一つのチャンネルに多重化して符号化される場合には、メディア品質が低下するという問題点があった。
したがって、限定されたチャンネルリソースを考慮すると、メディア品質の低下を減少させるように、モザイクサービスのために専用の一つのビデオチャンネルを実際に実現するために改善されたシステム及び方法が要求される。
したがって、上記のような問題点を解決するために提供された本発明の目的は、ストリームソース方式で放送サービスを提供するモバイル放送システムにおける移動端末にディスプレイされる場面構成を制御するための方法、装置、及びシステムを提供することにある。
また、本発明の目的は、モバイル放送システムにおいて複数の論理チャンネルが一つの物理チャンネルに多重化される場合に、放送サービスを受信するための移動端末にディスプレイされるように場面構成を制御するための方法、装置、及びシステムを提供することにある。
さらに、本発明の目的は、モバイル放送システムにおいて、複数の論理チャンネルを一つの物理チャンネルに多重化する場合に、別途のモザイクチャンネルを伝送せずに、移動端末に多重化されたチャンネルメディアを構成してディスプレイできる多重チャンネルの場面構成を制御するための方法、装置、及びシステムを提供することにある。
上記した目的を達成するために、本発明の実施形態の一態様によると、モバイル放送システムの移動端末にディスプレイされる多重チャンネルの場面構成を制御するための方法であって、サービス提供者から放送サービスのための複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信する段階と、受信した物理チャンネルを論理チャンネル別に逆多重化して復号化する段階と、ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで論理チャンネル別エレメンタリストリームをメディアにディスプレイする段階とを有することを特徴とする。
本発明の実施形態の別の態様によると、モバイル放送システムの携帯端末における放送サービスを受信する装置であって、サービス提供者から放送サービスのための複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信する受信器と、受信した物理チャンネルを論理チャンネル別に逆多重化するデマルチプレクサと、論理チャンネル別エレメンタリストリームを分けて格納するバッファと、ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで論理チャンネル別エレメンタリストリームをメディアにディスプレイするための動作を制御するメディアコンポジターとを含むことを特徴とする。
本発明の実施形態のさらに別の態様によると、少なくとも一つの移動端末へ放送サービスを提供するモバイル放送システムであって、放送サービスのために複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信するサービス提供手段と、通信ネットワークを介して物理チャンネル及びストリームソースノード情報を受信して多重チャンネルのメディアをディスプレイする移動端末とを含み、上記移動端末は、受信した物理チャンネルを論理チャンネル別に逆多重化するデマルチプレクサと、論理チャンネル別エレメンタリストリームを分割して格納するバッファと、ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで前記論理チャンネル別エレメンタリストリームをメディアにディスプレイする動作を制御するメディアコンポジターとを含むことを特徴とする。
本発明によると、モバイル放送システムの端末は、サービス提供者から受信したストリームソース情報を用いて論理的に多重化されたチャンネルを受信してメディア構成を制御することができる。
また、本発明は、別途のモザイクチャンネルを利用せずに、論理的に多重化されたチャンネルの場面を構成することによって、チャンネルリソースを効率的に利用することができる。
本発明は、モバイル放送システムで多重化されたチャンネルのメディアを構成するために、複数のチャンネル別メディアを一つのモザイクチャンネルに多重化して符号化する場合に発生するメディア品質の低下を防止することができる。
なお、本発明は、モバイル放送システムでチャンネル循環のメディア構成又は組合せの場面構成を制御することで、ユーザーが制限されたサイズの端末画面を介してもサービス内容を容易に識別でき、ユーザーの入力なしにすべてのチャンネルを循環してディスプレイすることができる。
さらに、本発明は、従来のLASeR技術に提案されたチャンネルモザイクサービスと統合されることができる。したがって、本発明の実施形態は、従来のLASeR技術と互換され、同期化パケット構造及びSVG(Scalable Vector Graphics)を用いる効率的なメディア構成に従来のLASeRの特徴を有効に使用することができる。
以下、本発明の好ましい実施形態を添付の図面を参照して詳細に説明する。
本発明の実施形態において、本発明の範囲及び精神を外れることなく、多様な変形が可能であることは、当該技術分野における通常の知識を有する者には明らかである。また、本発明に関連した公知の機能または構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。
本発明の実施形態は、基本概念によると、モバイル放送システムにおいて複数の論理チャンネルが一つの物理チャンネルに多重化される場合に、メディア構成のための別途のチャンネルを伝送しない状態で、受信端で端末が多重化されたメディアチャンネルを直接構成してディスプレイするためのストリームソースノード構造を提案する。本発明の第1の実施形態によるストリームソースノードを用いるモザイクチャンネル構成方法は、現在提供されるすべての多重チャンネルが一つの画面(screen)にディスプレイ可能にする。この実施形態によると、全体画面をタイル形態に分割し、各分割領域に一つのチャンネルをディスプレイする。本発明の第2の実施形態は、現在提供されるチャンネルを時間シーケンスによりディスプレイするためのチャンネル循環方式の場面構成を制御するための方法を提案する。チャンネル循環方式が論理的に多重化されたチャンネルを一つのメディアに一定の順序に従って交互にディスプレイする場合に、一つのチャンネルのみが制限されたサイズの携帯端末の画面にディスプレイされる。これは、サービスのコンテンツをユーザーが容易に識別可能にする。本発明の第3の実施形態は、制限されたサイズの携帯端末の画面を効率的に利用できるチャンネルモザイク場面構成(channel mosaic scene structure)とチャンネル循環場面構成(channel circulation scene structure)との組み合わせを提供する。本発明の第3の実施形態は、ユーザーが別途にキー入力を遂行せずに、現在提供されるすべてのチャンネルを順次に検索できるチャンネル循環方式の利点が得られる。以下に、多重チャンネル場面構成サービスのための本発明の実施形態について詳細に説明する。
図1は、本発明の実施形態によるモバイル放送システムにおける、多重チャンネルの場面構成のためのストリームソースの構成の一例を示す。図1に示すように、ストリームソースノード(Stream Source Node)100のタイプは、多重チャンネル場面構成のためのLASeR技術を基にする。
ストリームソースノード100から伝送される情報は、ストリームソースの固有識別子(ID)フィールド110と、メディア表現方式として静的モザイク(static mosaic)構成モードを示す静的モザイクフィールド120及び動的モザイク(dynamic mosaic)構成モードを示す動的モザイクフィールド130を含む。また、静的モザイクフィールド120は、ストリームソースが参照するメディアソースのIDを表すためのソースフィールド121と、現在場面(scene)の構成に使用されるソースのインデックスを表すためのソースインデックス(source index)フィールド122と、バッファサイズを表すための幅(width)フィールド123及び高さ(height)フィールド124とを含む。
静的モザイクフィールド120は、置き換え(replace)フィールド125、ユーズオールド(useOld)フィールド126、及びキープオールド(keepOld)フィールド127を含む。置き換えフィールド125は、ソースインデックス122がディスプレイモード(display mode)に変更されると、すぐにメディアを切り替える。useOldフィールド126は、新たなソースインデックスのメディア構成が準備されるまで、以前のソースインデックスをメディアに継続して構成する。keepOldフィールド127は、useOldモードと類似概念で、新たなソースインデックスのメディア構成が準備されるまで、以前のソースインデックスを継続して受信しつつ、この以前のソースインデックスを復号化してメディアに構成する。一方、動的モザイクフィールド130は、再生リスト(playList)フィールド133、タイル(tile)フィールド134、及び組合せ(combination)フィールド135を含む。再生リストフィールド133は、グループで構成された相互に異なるストリームを順次にメディアにディスプレイする。タイルフィールド134は、グループで構成されたすべてのストリームを一つのメディアにディスプレイする。これら2つの方式は、組合せフィールド135で組合せられる。さらに、動的モザイクフィールド130は、上記のタイル方式又は組合せ方式でメディアを構成するために各ソースストリーム(例えば、各エレメンタリストリーム)に割り当てられたディスプレイ時間を表すためのスロットタイム(slotTime)フィールド131、及び一つのソースストリームが他のソースストリームに切り替えられるときに使用されるトランジション効果(transitionEffect)フィールド132をさらに含むことができる。
下記の<表1>は、ストリームソースノード100に含まれる各フィールドを示す。
Figure 2009512331
下記の<表2A>及び<表2B>は、ストリームソースノード100がXML(extensible markup language)で表現されている記述を示す。便宜上、一つの記述が、<表2A>及び<表2B>に分けて示される。
Figure 2009512331
Figure 2009512331
以下、図1のストリームソース100を用いる本発明の実施形態を詳細に説明する。
図2は、本発明の第1の実施形態によるチャンネルモザイクサービスの一例を示す。
図2を参照すると、チャンネルモザイクメディア構成方式は、端末のメディアをタイルモードに分割して復号化されたチャンネル(例えば、チャンネルA〜チャンネルF)のコンテンツを分割された各領域に各々ディスプレイすることによって、一つのメディアに提供されているすべてのチャンネルのコンテンツをディスプレイするために必要な場面構成を制御するための技術である。タイルモード134が図1のストリームソースノード100の動的モザイク構成モードを示す動的モザイクフィールド130で選択されたときに、メディアは、図2に示すようなチャンネルモザイク方式で構成される。
図3は、本発明の第2の実施形態によるチャンネル循環方式の場面構成の一例を示す。
図3を参照すると、一つのグループで結合されて多重化された各チャンネル(チャンネルA〜チャンネルF)のESは、割り当てられたスロットタイム(slotTime)フィールド131によって指示されるディスプレイ時間の間に移動端末の画面にディスプレイされ、次のチャンネルのESに切り替えられる。チャンネルが切り替えられると、下記の<表3>に例示されたトランジション効果を使用して場面構成を制御することができる。
下記の<表3>は、トランジション効果フィールド132の例として、チャンネルのトランジション効果と構成要素を示す。
Figure 2009512331
上記の<表3>において、フェードイン(fadeIn)効果はメディアを徐々に現れるようにする効果を、フェードアウト(fadeOut)効果はメディアが徐々に消えるようにする効果を、クロスフェード(crossFade)効果は既存のメディアが新たなメディアに切り替わりながら所定の時間の間に2つのメディアが重なる効果を、それぞれ意味する。ワイプ(wipe)効果は、既存のメディアが左側、右側、上側、下側に消えた領域に新たなメディアが現れる効果である。ページ効果(pageEffect)は、新たなメディア又は以前のメディアがページを捲られるような効果を意味する。分割(split)効果は、既存のメディアが分割されて消えて新たなメディアが現れる効果を意味する。ズーム(zoom)効果は、新たなメディア又は以前のメディアが小さいサイズで現れ若しくは消え、又は徐々に全体画面を占めるような効果を意味する。
本発明の第3の実施形態は、チャンネルモザイク場面構成モードの短所を補完し、チャンネル循環場面構成の長所を有するように組合せ方式(Hybrid)で場面構成を制御する方法である。
図4は、本発明の第3の実施形態による組合せ方式の場面構成の一例を示す。
図4を参照すると、ディスプレイされる全体画面(entire screen)は、移動端末のディスプレイ手段を介してメインメディア領域41とサブメディア領域43とにクリップパス(clipPath)技術を用いて分割される。例えば、サブメディア領域43より大きいメインメディア領域41には本発明の第2の実施形態で説明したチャンネル循環方式を用いて、多重チャンネル411のコンテンツをチャンネル循環場面の構成サービスのために割り当てられる。このとき、サブメディア領域43は、復号化されたチャンネルのコンテンツを該当チャンネル領域(チャンネルA〜チャンネルF)に各々ディスプレイすることによって、一つのメディアに提供されているすべてのチャンネルのコンテンツが提供される。
図5は、本発明の実施形態によるモバイル放送システムの受信器を示すブロック構成図である。
図5において、デマルチプレクサ500は、一つの物理チャンネルを介して伝送された複数の論理チャンネルをチャンネル別に分離する。分離されたチャンネルは、複数のデコーディングバッファ530、すなわち530〜530に割り当てられる。複数のデコーディングバッファ530と選択的に又は循環的に接続されるデコーダ550は、各デコーディングバッファ530に格納されている論理チャンネルのフレームを選択又は循環する。デコーダ550は、該当論理チャンネルを復号化して構成メモリ(Composition Memory:CM)570に出力する。そして、ディスプレイされるメディアを構成するために、メディアコンポジター(compositor)590は、構成メモリ570に格納されている復号化された各論理チャンネルのフレームを端末の画面に構成及びディスプレイする。
図5で、メディアコンポジター590は、場面構成方式により本発明の第1の実施形態によるチャンネルモザイク方式の場面構成制御を遂行したり、第2の実施形態によるチャンネル循環方式の場面構成制御を遂行したり、第3の実施形態による組合せ方式の場面構成制御を遂行したりするように構成される。図5において、メディアコンポジター590は、チャンネル循環方式、組合せ方式、又はチャンネルモザイク方式の場面構成を選択的に制御することも可能である。
以下、本発明の実施形態による多重チャンネルの場面構成を制御する方法について、図6乃至図8を参照して説明する。下記に説明されるこの方法は、図5のメディアコンポジター590の動作を示す。
図6は、本発明の第2の実施形態によるチャンネル循環方式の場面構成を制御する方法を示すフローチャートである。
ステップ601で、移動端末がサービス提供者から多重チャンネルのLASeRデータストリームを受信すると、デマルチプレクサ510は、ステップ603で、多重化された論理チャンネルをチャンネル別に分離してデコーディングバッファ530に割り当てる。デコーダ550は、各デコーディングバッファ530に出力される論理チャンネルを循環し、関連した論理チャンネルをESに復号化して構成メモリ570に出力する。図5のメディアコンポジター590は、復号されたチャンネル別ESが構成メモリ570に伝送されると、ステップ605で、内部構成タイマ(図示せず)を初期化する。ステップ607で、構成メモリ570からチャンネル別ESのフレームが定められた順番により又はランダムに読み出されて移動端末の画面にディスプレイされる。このフレームは、メディアコンポジター590によって読み出され、ディスプレイされる。
ステップ609で、メディアコンポジター590は、内部構成タイマを介して計数された論理チャンネルのディスプレイ時間が各ESの指定されたスロット時間(slotTime(n))だけ経過したか否かを判定する。このスロット時間(slotTime(n))が経過していない場合は、メディアコンポジター590はステップ607に進んで、関連論理チャンネルの場面を継続してディスプレイする。構成タイマがスロット時間(slotTime(n))に至った場合には、メディアコンポジター590はステップ611に進む。ステップ611で、メディアコンポジター590は、場面トランジション効果を適用するか否かを判断する。場面トランジション効果が設定されていると、メディアコンポジター590は、ステップ613で場面トランジション効果を適用した後に、ステップ605に進んでタイマの初期化を遂行し、次の論理チャンネルのESを画面にディスプレイする。
図7は、本発明の第3の実施形態による組合せ方式の場面構成を制御するための方法を示すフローチャートである。
ステップ701で、移動端末がサービス提供者から多重チャンネルのLASeRデータストリームを受信すると、デマルチプレクサ510は、ステップ703で、多重化された論理チャンネルをチャンネル別に分離してデコーディングバッファ530に割り当てる。デコーダ550は、各デコーディングバッファ530に出力される論理チャンネルを循環し、関連した論理チャンネルをESに復号化して構成メモリ570に出力する。ステップ705で、メディアコンポジター590は、端末にディスプレイされる全体画面を、チャンネル循環場面構成のためのメインメディア領域41と、チャンネル別領域が割り当てられるサブメディア領域43に分割する。メディアコンポジター590は、図4の例示のようにクリップパスを用いて全体画面を分割する。
ステップ707で、メディアコンポジター590は、構成メモリ570からチャンネル別領域に該当するESのフレームを読み出して該当チャンネル別領域に割り当ててディスプレイする。ステップ705でメディア分割動作を遂行したメディアコンポジター590は、ステップ709で、メインメディア領域41にディスプレイされるチャンネル循環場面構成のために内部構成タイマを初期化する。ステップ711で、メディアコンポジター590は、構成メモリ570から定められた順番により又はランダムにチャンネル別ESのフレームを読み出し、メインメディア領域41にディスプレイする。図7において、ステップ707及び711の動作は区分したが、同時に遂行することもできる。
ステップ713で、メディアコンポジター590は、内部構成タイマを介して計数された論理チャンネルのディスプレイ時間が指定されたスロット時間(slotTime(n))だけ経過したか否かを判定する。このスロット時間(slotTime(n))が経過していない場合は、メディアコンポジター590はステップ711に進んで、関連論理チャンネルの場面を継続してディスプレイする。構成タイマがスロット時間(slotTime(n))に至った場合には、メディアコンポジター590はステップ715に進む。ステップ715で、メディアコンポジター590は、場面トランジション効果を適用するか否かを判断する。場面トランジション効果が設定されていると、メディアコンポジター590は、ステップ717で場面トランジション効果を適用した後に、ステップ709に進んでタイマの初期化を遂行し、次の論理チャンネルのESを画面にディスプレイする。
図8は、本発明の実施形態により、図5のメディアコンポジター590でチャンネルモザイク方式、チャンネル循環方式、又は組合せ方式の場面構成を選択的に遂行する動作を示すフローチャートである。
図8において、ステップ801で、移動端末がサービス提供者から多重チャンネルのLASeRデータストリームを受信すると、デマルチプレクサ510は、ステップ803で、多重化された論理チャンネルをチャンネル別に分離してデコーディングバッファ530に割り当てる。デコーダ550は、各デコーディングバッファ530に出力される論理チャンネルを循環し、関連した論理チャンネルをESに復号化して構成メモリ570に出力する。ステップ805で、メディアコンポジター590は、新たなグループIDを有する物理チャンネルが受信されたとき、該当グループIDのディスプレイモードを判定する。
図1のストリームソースノード100と同様に、動的モザイクフィールド130は、グループで構成された相互に異なるストリームを順次に場面にディスプレイするための再生リストフィールド133と、グループで構成されたすべてのストリームを一つの場面にディスプレイするためのタイルフィールド134と、2つの方式が組み合わせられた組合せフィールド135とを含む。これら3つのフィールドに従ったディスプレイモードが可能である。
ステップ805で判定されたディスプレイモードが、ステップ807で図1のタイルフィールド134によって指示されるチャンネルモザイク場面構成である場合に、メディアコンポジター590は、ステップ809で、クリップパス情報を用いて画面を分割し、各論理チャンネル別に領域を割り当てる。ステップ811で、メディアコンポジター590は、構成メモリ570からチャンネル別領域に該当するESのフレームを読み出してディスプレイする。
ステップ805で判定されたディスプレイモードが、ステップ817で図1の再生リストフィールド133によって指示されたチャンネル循環場面構成である場合に、メディアコンポジター590は、ステップ819でタイマを初期化し、ステップ821で構成メモリ570から一つの論理チャンネルのESを読み出してディスプレイする。ステップ823で、メディアコンポジター590は、内部構成タイマを介して計数された論理チャンネルのディスプレイ時間が指定されたスロット時間(slotTime(n))だけ経過したか否かを判定する。このスロット時間(slotTime(n))が経過しないと、メディアコンポジター590はステップ821に進んで、関連論理チャンネルの場面を継続してディスプレイする。構成タイマがスロット時間(slotTime(n))に至った場合には、メディアコンポジター590はステップ825に進む。ステップ825で、メディアコンポジター590は、場面(scene)トランジション効果を適用するか否かを判断する。場面トランジション効果が設定されていると、メディアコンポジター590は、ステップ827で場面トランジション効果を適用した後に、ステップ819に進んでタイマの初期化を遂行し、次の論理チャンネルのESを画面にディスプレイする。
ステップ805で判断されたディスプレイモードがステップ813で図1の組合せフィールド135によって指示される組合せ場面構成である場合に、メディアコンポジター590は、ステップ815で、クリップパスを用いて全体画面をメインメディア領域41とサブメディア領域43とに分割する。サブメディア領域43のディスプレイ動作は、ステップ811で、各チャンネル別に領域を割り当てる。メインメディア領域41のディスプレイ動作において、メディアコンポジター590は、ステップ819で、メインメディア領域にディスプレイされるチャンネル循環場面構成のためにタイマを初期化し、構成メモリ570から各チャンネルのESを読み出して画面にディスプレイする。一つのチャンネルのディスプレイ時間が指定されたスロットタイムだけ経過すると、メディアコンポジター590は、明示されたトランジション効果をチェックしてトランジション効果を適用した後に次の論理チャンネルのESをディスプレイする動作を反復する。
上記のように本発明の実施形態は、チャンネルモザイクサービスのために移動端末のメディアをタイル中へ分割してそれぞれのチャンネルをディスプレイする場合に、サービス中である論理チャンネルのストリームコンテンツを識別するのに発生する問題点を解決するようにチャンネル循環場面構成及び組合せ場面構成を定義し、このために新たなノード及び方法を定義することができる。
以下、図9及び図10を参照して別途のモザイクチャンネルを利用せずに、ユーザー端末が多重チャンネルのメディアを構成する本発明の他の実施形態を説明する。
本発明の実施形態では、複数の論理チャンネルを一つの物理チャンネルに多重化してサービスする場合に、別途のモザイクチャンネルを伝送せずに、端末のデコーダで復号化されたストリームソースノード情報をメディアコンポジターに伝達して動的に多重チャンネルのメディア構成のためのモザイクチャンネルを構成する。サービス提供者は、多重化された論理チャンネルに対する情報と多重チャンネルのメディアを構成するための構成情報とが含まれた図9のストリームソースノード情報をユーザー端末に提供する。
図9は、本発明の実施形態によるモバイル放送システムにおける多重チャンネルの場面構成のためのストリームソース構成の他の例を示す。
図9のストリームソースノード900は、従来のLASeR技術のストリームソースノードを拡張した構造である。ストリームソースノード900を介して伝送される情報は、ストリームソースの固有IDフィールド910、ソースフィールド920、ソースインデックスフィールド930、バッファサイズ(width、height)フィールド940、及びモードフィールド950を含む。ソースフィールド920は、ストリームソースが参照するメディアソース、すなわちES(論理チャンネル)のIDのリストを表す。ソースインデックスフィールド930は、現在端末を介してディスプレイされている場面構成に使用されるメディアソースのインデックスを表す。図9に示すように、幅/高さ(width、height)フィールド940は、バッファサイズを表し、モードフィールド950はディスプレイモードを表す。
図9において、ソースフィールド920に含まれるメディアソースIDは、例えばユーザーによって視聴されるヒット率の高いチャンネルの中から選択される。モードフィールド950は、ソースインデックスが変更される場合にすぐにメディアを切り替えする置き換え(replace)フィールド951と、新たなソースインデックスのメディア構成が準備されるまで、以前のソースインデックスを引続きメディアに構成するuseOldフィールド952と、useOldモードと類似概念で新たなソースインデックスのメディア構成が準備されるまで、サービス提供者から以前のソースインデックスを引続き受信しつつ、これを復号化してメディアに構成するkeepOldフィールド953と、相互に異なるソースを順次にメディアにディスプレイする再生リストモード(playList)フィールド954とを含む。本発明の実施形態では、再生リストモードを用いてモザイク方式又は循環方式(round-robin)でメディアを構成するために各ESに割り当てられたディスプレイ時間であるスロット時間フィールド954a、及び一つのESが他のESに切り替えるトランジション効果フィールド954bがさらに定義される。
下記の<表4>は、図9のストリームソースノード900に含まれる各フィールドを示す。
Figure 2009512331
図9のストリームソースノード900を用いて多重チャンネル場面構成を制御する場合に、チャンネル循環方式の場面構成の一例は図3に示すようである。各チャンネル切り替えの際に適用されるトランジション効果及び構成要素は、上記の<表3>に示される。したがって、その詳細な説明は省略する。
論理的に多重化されたチャンネルに対して、チャンネルモザイク場面構成のようなディスプレイ構成が、ストリームソースノード900を用いてサービス中である多重化されたチャンネルを一つのメディアにディスプレイするために提供される。また、一つのメディアに定められた手順により多重化されたチャンネルを循環的にディスプレイするためのチャンネル循環場面構成、及びチャンネルモザイク場面構成とチャンネル循環場面構成とを組み合わされた状態で多重化されたチャンネルをディスプレイするための組合せ場面構成も提供される。前述したディスプレイ構成は、本発明の他の実施形態にも適用することができる。
本発明の実施形態が適用されたユーザー端末は、図5の構成を適用することができる。本発明の実施形態において、図5のデコーダ550は、サービス提供者から受信したストリームソースノード900の情報を復号化してメディアコンポジター590に伝送する。メディアコンポジター590は、チャンネルモザイク場面構成、チャンネル循環場面構成から選択された方式でストリームソースノード900の情報を用いて動的に多重チャンネルメディアを構成する。
チャンネル循環場面構成の例として、デマルチプレクサ510は一つの物理チャンネルに伝送された複数の論理チャンネルを分離して各デコーディングバッファ530に割り当てる。デコーダ500は、サービス提供者から受信したストリームソースノード900の情報を復号化してメディアコンポジター590に伝送すると共に、各デコーディングバッファ531〜531に格納されている論理チャンネルのデータを循環し、該当論理チャンネルのデータを復号化して構成メモリ570に伝送する。メディアコンポジター590は、ストリームソースノード900の情報を参照して構成メモリ570に格納されている復号化された各論理チャンネルのフレームをメディアに構成及びディスプレイする。
図10は、図9のストリームソースを用いる多重チャンネルの場面構成を制御する方法を示すフローチャートである。
図10に示すように、ステップ1001で、移動端末がサービス提供者から伝送されたLASeRデータストリームを受信すると、ステップ1003で、デマルチプレクサ510は、多重化された複数の論理チャンネルをチャンネル別に分離して複数のデコーディングバッファ530に割り当てる。デコーダ550は、各デコーディングバッファ530に出力されるチャンネル別ストリームを復号化して各論理チャンネルの復号化されたESを構成メモリ570に伝送する。ステップ1005で、メディアコンポジター590は、新たなグループIDを有する物理チャンネルが到着したときに、該当グループIDのディスプレイモードを判定する。
ステップ1007で判断された場面構成モードがチャンネルモザイク場面構成である場合に、ステップ1009で、メディアコンポジター590は、デコーダ550から受信したストリームソースノード900の情報を用いて各チャンネル別に領域を割り当てる。そして、ステップ1011で、メディアコンポジター590は、構成メモリ570からチャンネル別領域に該当するESのフレームを読み出してディスプレイする。
また、ステップ1013で判断された場面構成モードがチャンネル循環場面構成である場合に、メディアコンポジター590はタイマを初期化し、構成メモリ570から該当ESを読み出して画面にディスプレイする。一つの論理チャンネルのディスプレイ時間が指定されたスロットタイムだけ経過すると、メディアコンポジター590は、明示されたトランジション効果をチェックしてこのトランジション効果後に次の論理チャンネルのESをディスプレイする。ステップ1015乃至1023は、図8のステップ819乃至827の動作と同一なので、その詳細な説明を省略する。
従来のLASeR技術は、別途のモザイクチャンネルを伝送して多重チャンネル場面構成のためのサービスを提供する。しかしながら、本発明の実施形態では、複数の論理チャンネルが一つの物理チャンネルに多重化された場合に、端末は、別途のモザイクチャンネルを利用しなくても、サービス提供者からの複数のESを一つのグループで表現する。多様な多重チャンネルメディアは、メディア構成情報を含むストリームソースノード900の情報を用いて動的に構成されることができる。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を外れない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
本発明の実施形態によるモバイル放送システムにおける多重チャンネルの場面構成のためのストリームソースの構成の一例を示す図である。 本発明の第1の実施形態によるチャンネルモザイクサービスの一例を示す図である。 本発明の第2の実施形態によるチャンネル循環方式の場面構成の一例を示す図である。 本発明の第3の実施形態による組合せ方式の場面構成の一例を示す図である。 本発明の実施形態によるモバイル放送システムにおける受信機を示すブロック構成図である。 本発明の第2の実施形態によるチャンネル循環方式の場面構成の制御方法を示すフローチャートである。 本発明の第3の実施形態による組合せ方式の場面構成の制御方法を示すフローチャートである。 本発明の実施形態により、チャンネルモザイク方式、チャンネル循環方式、又は組合せ方式の場面構成を選択的に遂行する動作を示すフローチャートである。 本発明の実施形態によるモバイル放送システムにおける多重チャンネルの場面構成のためのストリームソース構造の他の例を示す図である。 図9のストリームソースを用いる多重チャンネルの場面構成を制御する方法を示すフローチャートである。
符号の説明
100 ストリームソースノード
110 固有識別子(ID)フィールド
120 静的モザイクフィールド
121 ソースフィールド
122 ソースインデックスフィールド
123 幅フィールド
124 高さフィールド
125 置き換えフィールド
126 ユーズオールドフィールド
127 キープオールドフィールド
130 動的モザイクフィールド
131 スロットタイムフィールド
132 トランジション効果フィールド
133 再生リストフィールド
134 タイルフィールド
135 組合せフィールド
500 受信機
510 デマルチプレクサ
530 複数のデコーディングバッファ
531、531、531、531 個々のデコーディングバッファ
550 デコーダ
570 構成メモリ
590 メディアコンポジター

Claims (32)

  1. モバイル放送システムの移動端末にディスプレイされる多重チャンネルの場面構成を制御するための方法であって、
    サービス提供者から放送サービスのための複数の論理チャンネルが多重化された物理チャンネルと前記場面構成を制御するためのストリームソースノード情報とを受信する段階と、
    前記受信した物理チャンネルを前記論理チャンネル別に逆多重化して復号化する段階と、
    前記ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで前記論理チャンネル別エレメンタリストリームをメディアにディスプレイする段階と、
    を有することを特徴とする方法。
  2. 前記物理チャンネルを受信した後に、前記物理チャンネルのグループ識別子の少なくとも一つのディスプレイモードを判定する段階をさらに有することを特徴とする請求項1に記載の方法。
  3. 前記少なくとも一つのディスプレイモードがチャンネルモザイク場面構成をなす場合に、多重領域を前記論理チャンネル別に割り当て、論理チャンネル別多重領域に前記エレメンタリストリームのフレームをディスプレイする段階をさらに有することを特徴とする請求項1に記載の方法。
  4. 前記少なくとも一つのディスプレイモードがチャンネル循環場面構成をなす場合に、前記論理チャンネル別にスロット時間の間に前記エレメンタリストリームを循環してディスプレイする段階をさらに有することを特徴とする請求項1に記載の方法。
  5. 前記スロット時間が経過した場合に、場面トランジション効果が適用されるか否かを判定する段階と、
    前記場面トランジション効果が適用されると、前記エレメンタリストリームの循環の際に場面トランジション効果を適用する段階と、
    をさらに有することを特徴とする請求項4に記載の方法。
  6. 前記少なくとも一つのディスプレイモードが組合せ場面構成をなす場合に、クリップパスを用いて前記メディアをメインメディア領域とサブメディア領域とに分ける段階と、
    前記メインメディア領域で前記論理チャンネル別スロット時間の間に前記エレメンタリストリームを循環してディスプレイする段階と、
    前記サブメディア領域で前記論理チャンネル別に前記エレメンタリストリームを分けてディスプレイする段階と、
    をさらに有することを特徴とする請求項1に記載の方法。
  7. 前記ストリームソースノード情報は、
    メディア表現のための静的モザイク構成方法を示す静的モザイクフィールドと、
    メディア表現のための動的モザイク構成方法を示す動的モザイクフィールドと、
    のうちの少なくとも一つを含むことを特徴とする請求項1に記載の方法。
  8. 前記静的モザイクフィールドは、
    前記ストリームソースによって参照される論理チャンネル別エレメンタリストリームの識別子リストを示すソースフィールドと、
    現在場面の構成に使用されるエレメンタリストリームのインデックスを示すソースインデックスフィールドと、
    前記エレメンタリストリームが格納されるバッファのサイズを示すフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項7に記載の方法。
  9. 前記静的モザイクフィールドは、
    前記ソースインデックスが変更されるときにメディアを切り替える置き換えフィールドと、
    新たなソースインデックスのメディア構成が準備されるまで、以前ソースインデックスのエレメンタリストリームをメディアに継続して構成するユーズオールドフィールドと、
    前記新たなソースインデックスのメディア構成が準備されるまで、前記以前ソースインデックスのエレメンタリストリームを継続して受信しつつ、前記以前ソースインデックスのエレメンタリストリームを復号化して、前記復号化されたエレメンタリストリームを前記メディアに構成するキープオールドフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項8に記載の方法。
  10. 前記動的構成フィールドは、
    前記少なくとも一つのディスプレイモードにグループの異なるストリームをメディアに順次にディスプレイする再生リストフィールドと、
    前記少なくとも一つのディスプレイモードに前記グループのすべてのストリームを一つのメディアにディスプレイするタイルフィールドと、
    前記少なくとも一つのディスプレイモードに前記チャンネル循環場面構成と前記チャンネルモザイク場面構成とを組み合わせた組合せフィールドと、
    のうちの少なくとも一つを含むことを特徴とする請求項7に記載の方法。
  11. 前記ストリームソースノード情報は、前記論理チャンネル別エレメンタリストリームがディスプレイされるスロット時間を表すスロット時間フィールドを含むことを特徴とする請求項1に記載の方法。
  12. 前記ストリームソースノード情報は、前記論理チャンネル別エレメンタリストリームが切り替えられるときに、場面トランジション効果を表すトランジション効果フィールドを含むことを特徴とする請求項1に記載の方法。
  13. モバイル放送システムの携帯端末における放送サービスを受信する装置であって、
    サービス提供者から放送サービスのための複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信する受信器と、
    前記受信した物理チャンネルを前記論理チャンネル別に逆多重化するデマルチプレクサと、
    前記論理チャンネル別エレメンタリストリームを分けて格納するバッファと、
    前記ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで前記論理チャンネル別エレメンタリストリームをメディアにディスプレイするための動作を制御するメディアコンポジターと、
    を含むことを特徴とする装置。
  14. 前記メディアコンポジターは、前記物理チャンネルを受信した後に、前記物理チャンネルのグループ識別子の少なくとも一つのディスプレイモードを判定するようにさらに構成されることを特徴とする請求項13に記載の装置。
  15. 前記メディアコンポジターは、前記少なくとも一つのディスプレイモードがチャンネルモザイク場面構成である場合に、論理チャンネル別多重領域を割り当て、前記論理チャンネル別多重領域に該当エレメンタリストリームのフレームをディスプレイするように動作をさらに制御することを特徴とする請求項13に記載の装置。
  16. 前記メディアコンポジターは、前記少なくとも一つのディスプレイモードがチャンネル循環場面構成をなす場合に、前記論理チャンネル別にスロット時間の間に前記エレメンタリストリームを循環してディスプレイするための動作をさらに制御することを特徴とする請求項13に記載の装置。
  17. 前記メディアコンポジターは、前記スロット時間が経過すると、場面トランジション効果を適用するか否かを判定し、前記場面トランジション効果が適用されると、前記エレメンタリストリームの循環時に場面トランジション効果を適用する動作をさらに制御することを特徴とする請求項16に記載の装置。
  18. 前記メディアコンポジターは、前記少なくとも一つのディスプレイモードが組合せ場面構成をなす場合に、クリップパスを用いて前記メディアをメインメディア領域とサブメディア領域とに分割し、前記メインメディア領域で前記論理チャンネル別にスロット時間の間前記エレメンタリストリームを循環してディスプレイし、前記サブメディア領域で前記論理チャンネル別に前記エレメンタリストリームを分割してディスプレイする動作をさらに制御することを特徴とする請求項13に記載の装置。
  19. 前記ストリームソースノード情報は、
    メディア表現のための静的モザイク構成方法を示す静的モザイクフィールドと、
    メディア表現のための動的モザイク構成方法を示す動的モザイクフィールドと、
    のうちの少なくとも一つを含むことを特徴とする請求項13に記載の装置。
  20. 前記静的モザイクフィールドは、
    前記ストリームソースによって参照される前記論理チャンネル別エレメンタリストリームの識別子リストを表すソースフィールドと、
    現在場面構成に使用されるエレメンタリストリームのインデックスを表すソースインデックスフィールドと、
    前記エレメンタリストリームが格納されるバッファのサイズを表すフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項19に記載の装置。
  21. 前記静的モザイクフィールドは、
    前記ソースインデックスが変更されるときにメディアを切り替える置き換えフィールドと、
    新たなソースインデックスのメディア構成が準備されるまで、以前ソースインデックスのエレメンタリストリームをメディアに継続して構成するユーズオールドフィールドと、
    前記新たなソースインデックスのメディア構成が準備されるまで、前記以前ソースインデックスのエレメンタリストリームを継続して受信しつつ、前記以前ソースインデックスのエレメンタリストリームを復号化して、前記復号化されたエレメンタリストリームを前記メディアに構成するキープオールドフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項20に記載の装置。
  22. 前記動的モザイクフィールドは、
    前記少なくとも一つのディスプレイモードにグループの異なるストリームをメディアに順次にディスプレイする再生リストフィールドと、
    前記少なくとも一つのディスプレイモードに前記グループのすべてのストリームを一つのメディアにディスプレイするタイルフィールドと、
    前記少なくとも一つのディスプレイモードに前記チャンネル循環場面構成と前記チャンネルモザイク場面構成とを組み合わせた組合せフィールドと、
    のうちの少なくとも一つを含むことを特徴とする請求項19に記載の装置。
  23. 前記ストリームソースノード情報は、前記論理チャンネル別エレメンタリストリームがディスプレイされるスロット時間を表すスロット時間フィールドを含むことを特徴とする請求項13に記載の装置。
  24. 前記ストリームソースノード情報は、前記論理チャンネル別エレメンタリストリームが切り替えられるときに場面トランジション効果を表すトランジション効果フィールドを含むことを特徴とする請求項13に記載の装置。
  25. 少なくとも一つの移動端末へ放送サービスを提供するモバイル放送システムであって、
    前記放送サービスのために複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信するサービス提供手段と、
    通信ネットワークを介して前記物理チャンネル及び前記ストリームソースノード情報を受信して多重チャンネルのメディアをディスプレイする移動端末と、を含み、
    前記移動端末は、
    前記受信した物理チャンネルを前記論理チャンネル別に逆多重化するデマルチプレクサと、
    前記論理チャンネル別エレメンタリストリームを分割して格納するバッファと、
    前記ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで前記論理チャンネル別エレメンタリストリームをメディアにディスプレイする動作を制御するメディアコンポジターと、
    を含むことを特徴とするシステム。
  26. モバイル放送システムの受信器であって、
    一つの物理チャンネルを介して伝送された複数の論理チャンネルをチャンネル別に分離するデマルチプレクサと、
    複数の論理チャンネルフレームを格納するための複数のデコーディングバッファと、
    前記複数のデコーディングバッファに接続して前記複数の論理チャンネルフレームを選択するデコーダと、
    復号化された論理チャンネルのフレームを格納するための構成メモリと、
    前記構成メモリに格納された前記復号化された論理チャンネルそれぞれのフレームを構成してディスプレイするコンポジターと、
    を含むことを特徴とする受信器。
  27. 前記コンポジターは、端末の画面に前記構成メモリに格納された前記復号化された論理チャンネルそれぞれのフレームを構成してディスプレイすることを特徴とする請求項26に記載の受信器。
  28. モバイル放送システムの移動端末における放送サービスを受信する装置であって、
    サービス提供者から放送サービスのための複数の論理チャンネルが多重化された物理チャンネルと場面構成を制御するためのストリームソースノード情報とを受信する受信器と、
    前記受信した物理チャンネルを前記論理チャンネル別に逆多重化するデマルチプレクサと、
    前記論理チャンネル別エレメンタリストリームを分割して格納するバッファと、
    を含むことを特徴とする装置。
  29. 前記ストリームソースノード情報から提供される少なくとも一つのディスプレイモードで前記論理チャンネル別エレメンタリストリームをメディアにディスプレイする動作を制御するメディアコンポジターをさらに含むことを特徴とする請求項28に記載の装置。
  30. 前記メディアコンポジターは、前記物理チャンネルを受信した後に、前記物理チャンネルのグループ識別子の少なくとも一つのディスプレイモードを判断するようにさらに構成されることを特徴とする請求項29記載の装置。
  31. 前記静的モザイクフィールドは、
    前記ソースインデックスが変更されるときにメディアを直ちに切り替える置き換えフィールドと、
    新たなソースインデックスのメディア構成が準備されるまで、以前ソースインデックスのエレメンタリストリームをメディアに継続して構成するユーズオールドフィールドと、
    前記新たなソースインデックスのメディア構成が準備されるまで、前記以前ソースインデックスのエレメンタリストリームを継続して受信しつつ、前記以前ソースインデックスのエレメンタリストリームを復号化して、前記復号化されたエレメンタリストリームを前記メディアに構成するキープオールドフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項9に記載の方法。
  32. 前記静的モザイクフィールドは、
    前記ソースインデックスが変更されるときにメディアを直ちに切り替える置き換えフィールドと、
    新たなソースインデックスのメディア構成が準備されるまで、以前ソースインデックスのエレメンタリストリームをメディアに継続して構成するユーズオールドフィールドと、
    前記新たなソースインデックスのメディア構成が準備されるまで、前記以前ソースインデックスのエレメンタリストリームを継続して受信しつつ、前記以前ソースインデックスのエレメンタリストリームを復号化して、前記復号化されたエレメンタリストリームを前記メディアに構成するキープオールドフィールドと、
    のうちの少なくとも一つをさらに含むことを特徴とする請求項21に記載の装置。
JP2008535469A 2005-10-14 2006-10-16 モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム Expired - Fee Related JP4855472B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20050097242 2005-10-14
KR10-2005-0097242 2005-10-14
KR10-2006-0003339 2006-01-11
KR20060003339 2006-01-11
KR10-2006-0028672 2006-03-29
KR1020060028672A KR101224256B1 (ko) 2005-10-14 2006-03-29 레이저 기반의 이동 단말을 위한 다중채널의 장면구성 제어방법 및 장치
PCT/KR2006/004181 WO2007043850A1 (en) 2005-10-14 2006-10-16 Method, apparatus and system for controlling a scene structure of multiple channels to be displayed on a mobile terminal in a mobile broadcast system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011180233A Division JP5289522B2 (ja) 2005-10-14 2011-08-22 モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム

Publications (2)

Publication Number Publication Date
JP2009512331A true JP2009512331A (ja) 2009-03-19
JP4855472B2 JP4855472B2 (ja) 2012-01-18

Family

ID=38176772

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008535469A Expired - Fee Related JP4855472B2 (ja) 2005-10-14 2006-10-16 モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム
JP2011180233A Expired - Fee Related JP5289522B2 (ja) 2005-10-14 2011-08-22 モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011180233A Expired - Fee Related JP5289522B2 (ja) 2005-10-14 2011-08-22 モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム

Country Status (7)

Country Link
US (1) US8442121B2 (ja)
EP (1) EP1775955A3 (ja)
JP (2) JP4855472B2 (ja)
KR (1) KR101224256B1 (ja)
CN (1) CN101331772B (ja)
RU (1) RU2378766C1 (ja)
WO (1) WO2007043850A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536101B (zh) * 2006-10-19 2012-03-28 Lg电子株式会社 编码方法和装置以及解码方法和装置
KR100790191B1 (ko) * 2007-01-16 2008-01-02 삼성전자주식회사 LASeR 컨텐츠를 이용한 방송 화면 제공 방법, 이를위한 DVB―H 시스템 및 단말
EP2149256B1 (fr) * 2007-05-30 2018-04-04 Orange Generation d'une mosaique tv personnalisable
KR100827339B1 (ko) * 2007-06-15 2008-05-06 (주)파인원커뮤니케이션즈 레이저 서비스에 의한 네이티브 데이터베이스로의 접근방법및 그 레이저 단말기
KR20080114496A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치
KR101356163B1 (ko) * 2007-07-12 2014-01-24 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 채널정보 표시 방법과방송정보 표시 방법
US8595341B2 (en) * 2008-06-30 2013-11-26 At&T Intellectual Property I, L.P. System and method for travel route planning
KR101525248B1 (ko) * 2008-07-16 2015-06-04 삼성전자주식회사 리치미디어 서비스를 제공하는 방법 및 장치
US9600573B2 (en) 2011-07-14 2017-03-21 Sirius Xm Radio Inc. Systems and methods for implementing dynamic banks of subchannels for broadcast or streamed content services featured favorites
MX344100B (es) * 2011-07-14 2016-12-05 Sirius Xm Radio Inc Servicios de colocacion en memoria cache de contenido en sistemas de entrega de contenido de satelite y satelite/ip ("colocacion en memoria cache de contenido").
US20130027562A1 (en) * 2011-07-26 2013-01-31 Lee Boohee System and method for image processing using mosaic techniques
JP5979406B2 (ja) * 2012-02-22 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
GB201208389D0 (en) * 2012-05-10 2012-06-27 Samsung Electronics Co Ltd Integrated circuit, communication unit, wireless communication system and methods therefor
US9621616B2 (en) 2013-09-16 2017-04-11 Sony Corporation Method of smooth transition between advertisement stream and main stream
JP6708407B2 (ja) * 2015-12-25 2020-06-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101893A (ja) * 2001-09-20 2003-04-04 Canon Inc 受信システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101930B2 (ja) * 1990-06-11 1995-11-01 日本ビクター株式会社 テレビジョン受像機
US5696500A (en) 1995-08-18 1997-12-09 Motorola, Inc. Multi-media receiver and system therefor
KR19980043984A (ko) * 1996-12-05 1998-09-05 배순훈 다수의 피아이피 화면에 의한 채널탐색 텔레비젼 및 그 탐색방법
US6072808A (en) * 1997-12-23 2000-06-06 Intel Corporation Method of providing and retrieving a data segment
US6204887B1 (en) * 1998-12-11 2001-03-20 Hitachi America, Ltd. Methods and apparatus for decoding and displaying multiple images using a common processor
JP2001148816A (ja) * 1999-11-19 2001-05-29 Matsushita Electric Ind Co Ltd 合成画面放送装置および受信装置
US6539545B1 (en) * 2000-01-28 2003-03-25 Opentv Corp. Interactive television system and method for simultaneous transmission and rendering of multiple encoded video streams
JP4552290B2 (ja) * 2000-08-21 2010-09-29 ソニー株式会社 データ伝送装置及び方法、データ処理装置及び方法
EP1291017A3 (en) * 2001-09-10 2003-07-02 Warner-Lambert Company Use of statins to inhibit formation of osteoclasts
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
JP4366912B2 (ja) * 2002-09-10 2009-11-18 ソニー株式会社 復号装置及び復号方法
KR20040070507A (ko) * 2003-02-03 2004-08-11 엘지전자 주식회사 디지털 텔레비전의 부화면 선호채널 탐색 방법
US7907665B2 (en) * 2003-03-14 2011-03-15 Lsi Corporation Multi-channel video compression system
KR20040088732A (ko) 2003-04-10 2004-10-20 삼성전자주식회사 무선통신 시스템에서 순방향 패킷 데이터 채널을 이용한방송 서비스 방법
JP2004334058A (ja) * 2003-05-12 2004-11-25 Hitachi Ltd 表示装置および表示制御方法
JP3754975B2 (ja) * 2003-11-18 2006-03-15 キヤノン株式会社 情報処理装置及び情報処理方法
GB0402637D0 (en) * 2004-02-06 2004-03-10 Nokia Corp Mobile telecommunications apparatus
KR20050090302A (ko) 2004-03-08 2005-09-13 경희대학교 산학협력단 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101893A (ja) * 2001-09-20 2003-04-04 Canon Inc 受信システム

Also Published As

Publication number Publication date
JP5289522B2 (ja) 2013-09-11
RU2008114397A (ru) 2009-10-20
WO2007043850A1 (en) 2007-04-19
KR101224256B1 (ko) 2013-01-18
JP4855472B2 (ja) 2012-01-18
CN101331772A (zh) 2008-12-24
US20070107018A1 (en) 2007-05-10
US8442121B2 (en) 2013-05-14
RU2378766C1 (ru) 2010-01-10
JP2011244484A (ja) 2011-12-01
KR20070041295A (ko) 2007-04-18
EP1775955A3 (en) 2016-08-24
CN101331772B (zh) 2010-09-29
EP1775955A2 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
JP5289522B2 (ja) モバイル放送システムにおける移動端末の画面ディスプレイのための多重チャンネルの場面構成の制御方法及び装置とそのシステム
US8750337B2 (en) Apparatus and method for managing a preference channel in a mobile broadcast system
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
US20110043614A1 (en) Content transmission method and display device
JPH1127641A (ja) テレビジョン受信機
US7515207B2 (en) Television broadcast receiving apparatus, program information processing method and program information processing program
JP2014534695A (ja) コンテンツディスプレイ方法、コンテンツ同期化方法、放送コンテンツディスプレイ方法及びディスプレイ装置
KR20080057972A (ko) 프리뷰 기능을 갖는 멀티미디어 데이터 인코딩/디코딩 방법및 장치
KR20160108342A (ko) 계층화된 코딩된 콘텐츠를 멀티플렉싱하기 위한 방법 및 장치
KR102151297B1 (ko) 서버 장치, 클라이언트 장치, 콘텐츠 배신 방법, 콘텐츠 재생 방법, 및 컴퓨터 판독가능 기록매체
CN109845280A (zh) 基于流媒体的音视频播放方法及装置
JP2006211668A (ja) 多重画面を提供するトランスポートストリーム受信装置及びその制御方法
KR20100131365A (ko) 채널 변경 지연을 줄이기 위한 스트리밍 서버, 이동 단말기 및 그 방법
JP6563814B2 (ja) 受信装置、受信方法、送信装置、及び送信方法
CN101984655A (zh) 数字电视接收装置及其换台方法
JP2010016618A (ja) 映像再生装置及び映像再生方法
JP2005176094A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
CN114640862A (zh) 视频处理方法、装置、计算机可读存储介质和处理器
JPH11346349A (ja) 番組伝送方法、番組伝送装置、番組受信装置および媒体
JP2010213109A (ja) 映像配信制御サーバ、受信端末、映像簡略化多重化装置、映像配信方法およびプログラム
JP2004260426A (ja) ビット列伝送装置及び方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110622

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4855472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees