JP2012502357A - テレビ用モジュラー式フレキシブルソフトウェアアーキテクチャ - Google Patents

テレビ用モジュラー式フレキシブルソフトウェアアーキテクチャ Download PDF

Info

Publication number
JP2012502357A
JP2012502357A JP2011526099A JP2011526099A JP2012502357A JP 2012502357 A JP2012502357 A JP 2012502357A JP 2011526099 A JP2011526099 A JP 2011526099A JP 2011526099 A JP2011526099 A JP 2011526099A JP 2012502357 A JP2012502357 A JP 2012502357A
Authority
JP
Japan
Prior art keywords
pim
performance
alcu
event
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011526099A
Other languages
English (en)
Inventor
トーマス ピー ドーソン
アルシン リュー
カイ リュー
アンディー グエン
リン ジュン ウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2012502357A publication Critical patent/JP2012502357A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44521Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526Plug-ins; Add-ons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4433Implementing client middleware, e.g. Multimedia Home Platform [MHP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

テレビ製品ごとに固有のコードを有するのではなく、共通のコードベースを業務の複数の製品及び複数の製品系列に対して与える。組込みシステムを、ネットワーク接続を通してブレードアップすることができる。ソフトウェアアーキテクチャによって、プラグインモジュールのミドルウェアを通して複数の製品の提供をサポートし、そして2D及び3Dグラフィック用の標準化されたハードウェアの加速を与える、フレキシブルなアプローチが可能となる。プラグインが可能なことにより、販売後の性能の追加及びグレードアップが可能となる。

Description

本発明は、テレビ(TV)用モジュラー式フレキシブルソフトウェアアーキテクチャに関する。
既存のTV用アーキテクチャは、機能が固定されたモデルをベースとしており、したがってその製品の寿命全体にわたって機能を変更することはできない。機能特性及びアプリケーションは製品の性能(feature)の決定時に固定され、その後に変わることはない。この種のアーキテクチャは、個々の製品の性能を顧客に届けられた後に更新できるようには設計されていなかった。
本明細書では、「フレキシブル」とは、TVが顧客に届けられたあとに希望に応じてグレードアップできることをいう。さらに、「フレキシブル」の必要性は、顧客へ届けた後にグレードアップすることを越え、特に、より「モジュラー式」でより「フレキシブル」であるとは、発売されたときの製品の性能を発展させ、修正させるものであり、より有益なものとなりうる。
したがって、有形なコンピュータ読取可能な記憶媒体上に具現化されるTVシステムアーキテクチャには、アプリケーションロジック調整ユニット(application logic coordination unit:ALCU)、およびALCUと通信する複数のプラグインモジュール(PIM)が含まれる。各PIMは、要求されるTVシステムの性能を表す。PIM間の相互作用は、製品の差異化をサポートして製品ごとに固有のものとなるよう、PIMレベルで定義される。すなわち、複数のPIMの特定の組み合わせによって、異なるモデルごとに異なったものとなるよう、製品化ごとの更なる差異化を提供する。さらに、新しいPIMを追加することによって、この新しいPIMを、他の特定のPIMをチェックし自分の動作を当該他のPIMに基づいて適合化するようプログラムすることができる。例えば、新しいPIMがTVのモデルIDを読み取ることができるようにすることができる。
別の側面では、一つの方法として、第1及び第2のTVシステムのモデル系列に、両方のモデル系列に共通のアプリケーションロジック調整ユニット(ALCU)を設けることができる。この方法では、さらにALCUと通信することができるよう構成した複数のプラグインモジュール(PIM)を設け、各PIMは要求されるTVシステムの性能を表し、ALCUはPIM間での情報の伝達(routing)を行う。第1のモデル系列内のPIMのセットは、第2のモデル系列内のPIMのセットと異なっていてもよい。このPIMのセットは、特定のTVモデルについて意図されている所望の性能を確立するために確立されてもよい。PIMの組み合わせは、さらなる製品の差異化を加えるために、修正されたPIMを含んでいてもよい。
別の側面では、ディスプレイシステムには、ビデオディスプレイ、およびソフトウェア内に組み込まれたTVの性能のアーキテクチャを実現するプロセッサ回路が含まれる。このアーキテクチャには、アプリケーションロジック調整ユニット(application logic coordination unit:ALCU)、およびALCUと通信する複数のプラグインモジュール(PIM)が含まれる。各PIMは、要求されるTVシステムの性能を表す。ALCUはPIM間での情報の伝達(routing)を行う。そして、ALCUと通信するPIMと協働するように、ALCUに新しいPIMを追加することができる。
いくつかの実施例においては、第1の性能を与えるPIMは、第1のモデル系列における第1のアプリケーションの開始の判定を実行し、第1の性能を与えるPIMは、第2のモデル系列における第2のアプリケーションの開始の判定を実行する。第2のアプリケーションの開始の判定は、第1のアプリケーションの開始の判定とは異なる。いくつかの実例では、第1の性能を与えるPIMは、第1のモデル系列の第1のイベントのための登録をし、第1の性能を与えるPIMは、第2のモデル系列の第2のイベントのための登録をする。第2のイベントは第1のイベントとは異なるものである。PIM間の相互作用は、製品ごとに固有のものとなるよう、PIMレベルで定義することができる。
非限定的な例では、各PIMは、特定のモデル系列に固有のインターフェースコードと、PIMが使われるすべてのモデル系列に共通の性能コードを含む。インターフェースコーは、ALCUを通して受け取った他のPIMからのコールを、性能コードが理解できるコールに翻訳する。ALCUは、パブリックインターフェース、ユーティリティインターフェース、およびPIMインターフェースを含むことができる。
本願発明の構成及び動作に関する詳細は、図面を参照することによってより良く理解できる。図面では、同じ符号は同じ構成部分を示している。
本発明が使用される一例の環境を示した概略ブロック図である。 本発明に従った一例のアーキテクチャの概略ブロック図である。 本実施形態のALCUを示す図である。 本実施形態のアーキテクチャがどのように機能するかを示した図である。 製品固有のブラウザPIM58が、特定のキーイベントとして示されるアプリケーションの開始イベント、アプリケーションの再開イベント、アプリケーションの一時停止イベント、アプリケーションの終了イベントを含むアプリケーションのアクションイベントを、ブラウザPIM58と関連づけられたAPI60が待つコールに翻訳することを示した図である。 符号X2で示したモジュール式のグラフィックPIM62を設けることができることを示した図である。
最初に図1を参照すると、システム10は、ビジュアルディスプレイ12を含むものとして示されている。本実施形態は、ビジュアルディスプレイ12はTV用ビデオディスプレイであり、フラットパネル型マトリックスタイプのディスプレイ等とすることができるが、これに限定されるものではない。
システム10は、ディスプレイ12及びTVチューナ16を支持するTV筐体14を含んでいる。TVチューナ16は、ケーブルヘッドエンド、セットトップボックス、衛星受信器、地上波放送アンテナなどの、TV番組の信号源18からの信号を受信する。チューナ16は、後述のようにセットボックスの一部である場合もあるが、典型的には筐体14上に設けられる。
筐体14には、TVプロセッサ20が含まれている。TVプロセッサ20は、1枚又は複数枚のディスク型記録装置、ソリッドステート記録装置といった物理的なコンピュータ読取可能な記録媒体22に記録された本ロジックの実装されたソフトウェアなどの情報にアクセスすることができる。ユーザのコマンドはリモートコントロール24から受信することができる。
下記の開示は、筐体14内の媒体22に記録されるソフトウェア実装されたPIMに焦点を当てるが、いくつかの実施例では、PIMを、セットボックスなどの外部装置と通信するためのソフトウェアドライバに接続することもできる。いずれの場合もPIMは、媒体22に記録するために、TVへのネットワーク接続、ユニバーサルシリアルバス(USB)小型ドライブ、その他の方法によって転送することができる。さらに別の実施例として、PIMが外部プラグインカードとして実装される場合には、TVプロセッサ20から計算負荷の高いタスクを軽減するために、このようなタスクを実行する特化されたハードウェアを、カードに含めることもできる。こうすることにより、外部プラグインカードとして実装する場合の追加コストを正当化することができる。例えば、プラグインカードが1枚又は複数枚のPIMカードを与えるのに使われている場合には、現在表示されているビデオの中の人の顔を認識し特定するという複雑な連想サーチを、そのプラグインカードに行わせて負荷を軽減させることができる。このような性能のためのPIMは、スクリーンイメージのビデオキャプチャを取り込み、これをカードにある外部プロセッサに送るために、PIM間の通信を実行する。その場合、戻りのデータ要求は、後述のALCUに送信され、ALCUはその結果をディスプレイのPIMに伝達し結果を報告する。すなわち、後述の図2に示すように、「性能C」などのアイテムが、外部プロセッサ又はその他のUSB小型ドライブコントローラなどの外部装置に対するインターフェースとなりうる。
図1に示すように、システム10は、TVの筐体に機械的に固定されるセットトップボックスやセットバックボックスなどのセットボックス26を含むことができ、これは筐体内部の部品と電気的に接続される。セットボックス26はボックスプロセッサ28を含むことができ、これは1つ又は複数のコンピュータ読取可能な記録媒体30にアクセスして本アーキテクチャを実行する。本発明がボックスプロセッサ28と協働するTVプロセッサ20によって実行され、又は、セットボックス26がない場合は本発明がTVプロセッサ20によって実行されることが理解される。
望ましくは、システム10にコンピュータの広域ネットワークインターフェース32が含まれていてもよく、この場合はセットボックス26に設けられ、ボックスプロセッサ28が、インターネットなどの広域ネットワークへのアクセス及びインターネットからの後述のモジュールの受信を制御する。インターフェース32は有線又は無線のモデムとすることができるが、これに限定されるものではない。
本発明の実施形態には、単一のコードベースからアップグレード可能な製品の範囲をサポートするための基礎を構築することが含まれる。さらに後述する非限定的なアーキテクチャの例は、「プラグインアプリケーション」の概念を、「プラグインミドルウェア」まで広げる。これは、単なるユーザインターフェース(UI)以上のダウンロード可能な「プラグイン」が加わることを意味する。新たな機能及び性能を、標準化された一貫した方法でシステムに追加することができる。さらに後述する非限定的なアーキテクチャの例は、開発段階及び製品が届けられた後の両方において、単一のソースコードベースで製品系列に対して追加され又は削除される種々の性能のため機構を、ダウンロード可能な「プラグイン」モジュールとして提供する。さらに後述する非限定的なアーキテクチャの例はさらに、より効率的な製品開発及び迅速な市場への投入を可能にする。
さらに後述する非限定的なアーキテクチャの例は、全体的なイベントの数を最小限におさえながら標準化された、しかし拡張可能なイベントの受け渡し、製品の提供を定義するグループ化されたモジュールセット、他の製品セットについての開発を継続可能としつつ一つの製品セットについて変更を凍結することができること、及び、ミドルウェアコンポーネントを全体のシステムに接続可能にする標準的な機構、を提供する。
したがって、各TV製品は、一般的なソフトウェアモジュールの単純な選択された組み合わせではない。製品にわたって同じままとすることが可能な共通コードは、各製品について固有にする必要があるコードとは区別される。
各ユニークなモジュールは、PIM(プラグインモジュール)と呼ばれる。各PIMは、それぞれのTVシステムの性能を表し、これにより複数の性能が、アプリケーションロジック調整ユニット(ALCU)への共通インターフェースを用いるPIMを通してアーキテクチャに挿入される。ALCUは、PIM間で、コール及びイベントの伝達を行う。PIMインターフェースは、PIMインターフェースを初期化(initialize)、ロード(load)、システムイベントへの反応(react)、及びイベント及びアクションの開始を可能にするすべてのPIMについて、アプリケーションプログラミングインターフェース(API)エントリーの共通のセットを含んでいる。
各PIMは、それが表すモジュール間で、リモートコマンドからALCUによって使用される一般化されたシステムインターフェースへの入力のようなプロキシの役割を果たす。各PIMはまた、製品の固有のコードの収容庫(repository)としての役割も果たす。PIMを通してALCUに接続される各ソフトウェアモジュールは、製品固有のエレメントはPIM内に保持されて、「製品中立(product newtral)」に保たれる。これによって、将来における各製品内での差異化を可能にしつつ、性能を製品間で共有することができる。
したがって、システム全体の動作は、中央論理制御ユニットによって定義され、各モジュールの個々の動作はプラグインをベースに追加することが可能である。個々のシステムモジュールそれぞれは互いに透明性があり、他のモジュールに影響を与えることなく変更や入れ換えが可能である。修正された又は入れ換えられたモジュールは、そのPIMにおいてそのシステム動作を定義することが必要なだけであり、このPIMがそのモジュールを、ALCUを通してシステム全体に接続する。
ここで図2を参照する。基礎となるソフトウェアモジュールをここではアプリケーションロジック調整ユニット(ALCU)34と呼ぶ。これはソフトウェアによって実行される性能であるPIM36の間でアプリケーション動作及びシステムのイベントを伝達しあい、そして、性能PIM36の間で動作を同期させる。この異なるPIM36の組み合わせによって異なるTVシステム製品の品揃えを提供し、異なる製品パッケージとして販売することができ、また、家庭に設置後にインターネットから個別にTVシステムにダウンロートすることが可能になり、それによって例えばパッケージ内の既存のモジュールをアップグレードしたり、TVシステムに新しい性能を追加するために、新しい性能の対価と引き換えに新しいモジュールをパッケージに追加することができる。
図2に示すように、各PIMには、性能定義及び実行コードサブモジュール38が含まれている。これはPIM毎に固有である。また、各PIM36には、すべてのPIMについて同じ共通コードモジュール40が含まれている。この理由については後述する。各PIM36には、また、ALCU34のインターフェース44と通信するALCUインターフェース42が含まれている。このインターフェース42及び44によって、ALCU34からPIM36を追加し又は削除することを容易にする共通インターフェーススキームが定義される。
各PIM36は、ソフトウェアを提供してTVシステム10のためにそれぞれの性能を確立するのに加え、ALCU34にコールバック(callback)を追加して必要に応じてモジュール製品特有の動作を定義することができる。これについては、以下により詳しく説明する。ALCU34は1つの具体例として、シングルトンC++クラスとして実装することができる。したがって、ALCU34は、システム及びアクションイベントをPIM間で分配する伝達機構である。各PIM36は、後述するようにALCU34インターフェースを通してイベントをALCU34のイベントキューに追加することができる。
ALCU34は、PIM間で情報を伝達するのに加え、現在アクティブなアプリケーションを監視するとともに、リストデータのスタックにおける親子関係を監視する。このリストデータの構造は兄弟アプリケーションの関係を表している。
アクション及びイベントは、アクション、あるいはイベントに関するいくつかの情報の受け渡しを実行するように要求されたように定義される。アクションの一例は、1つのPIM36によってアプリケーションを開始するようにとの要求であり、イベントの一例は、開始された他のPIMと関連のあるアプリケーションへ伝達されるキーボードのキーのイベントである。
PIMに必要とされるインターフェース44に加え、図3に示すALCU34の例は、PIMのインストールと削除を制御するためのパブリックAPI46を有する。さらに、ALCU34には、ALCU34のユーティリティのための内部API48を含んでおり、これは、ルーティング(伝達)動作を行えるようにする共通のルーティンを与える。
このように、ALCU34の基礎アーキテクチャは、複数のPIMを接続する共通の手段、PIMの接続を制御するインターフェース、そしてALCU34及びPIMが使うことのできる共通のユーティリティインターフェースを与える。各PIMはアクションを発することができ、これはALCU34を通って別のPIMにルーティングされる。ALCU34はPIMからイベントを受信し、これをイベントキュー(event queue)に追加する。イベントキューの各アイテムは順番に処理され、目的とするPIMへ送信される。すべてのファンクションコール(function call)に対するメッセージをシステム内で処理するのではなく、メッセージの追加を各PIMベースで有利に行うことによって、ルーティングシステムのオーバーヘッドを減らすことができる。多くのPIMへのブロードキャストイベントは、各PIMレジスタがコールバックハンドラを有し、興味のある各種のイベントを受信することによってハンドルされる。
ALCU34のイベントキューは、ALCU34がすべてのシステムのイベントを処理できるようコアデータ構造である。イベントキューは、早く来たものから順に処理する単純なFIFOキュー、或いは最もプライオリティが高いイベントを時間切れに間に合うよう最初に処理するプライオリティキューとして実装することができる。このようなルーティング機構の複雑さは、製品に合わせて作ることができる。
ALCU34のイベントフォーマットは、ビット列の使われていない整数によって指定することができる。この整数には、モジュールID、イベントのタイプ、サブイベントのタイプ、そして1つ又は複数のイベントフラグを含めることができる。ここで、モジュールIDはイベントのソースPIMを示し、イベントのタイプは何が送られたかを指定する。サブイベントのタイプ及びイベントフラグは、パラメータ及び修飾句(qualifier)をイベントに追加することができる。
全体的なイベントはシステム全体で定義されるが、イベント及びサブイベントの組み合わせは、ALCU34に、ルーティングの粒度(granularity)を要求に合わせるための柔軟性を与える。イベントを受信するために、各PIMレジスタは、PIMが受け取ろうとするイベント及びサブイベントのためのイベントハンドラを登録する。そしてALCU34はイベントを、そのように登録されたイベントハンドラか、或いは不要なブロードキャスティングや多重キャスティングメッセージを避けるために登録されたサブイベントハンドラへ転送する。
各PIMは、ベースPIMインターフェースに由来し、これは、由来するクラスによって実装される純粋に仮想的な多くの方法を有するC++アブストラクトクラスとすることができる。各PIMはそれ自身のインストール、削除、初期化、そしてシャットダウンをサポートすることができる。各PIMはアプリケーションの開始、システムイベント、或いはキーイベント(key event)を受信するエントリーポイントを有する。
PIMは、その機能によっては、すべてのイベントタイプを処理しなくてもよい。例えば、リモートコントロールのキー入力を受信する性能を与えるPIMであれば、これがアプリケーション開始リクエストを受信したときに警報又はエラーを発するようにしてもよい。
ALCU34のパブリックインターフェース46は、ALCU34内部にアクセスするシステムモジュールのためのCインターフェースとすることができる。このパブリックインターフェースは、ALCU34のイベントキューの全体的な制御のためのものであり、例えば、PIMのインストール及び削除、ALCU34を例示すること、システムの状態ステータスを得ること、及びアプリケーションの親子関係及び兄弟関係を得ることに供する。
ALCU34のユーティリティインターフェース50は、ALCU34及びPIMの両方が使用することができるユーティリティとのインターフェースの役割をする。これらのユーティリティは、アクティブなアプリケーションのIDを返し、システム状態を質問し、PIMの動作を特定するのに必要なコールバックを追加し又は削除するといった、有益な機能である。ALCU34のユーティリティインターフェース50はまた、ALCU34のベースユニットに、システムプラットフォームにアクセスするためのアブストラクションレイヤーを与え、これによりシステムプラットフォームの詳細がALCU34のベースユニット部から引き出される。これはイベントのルーティングの機構である。
上記のアーキテクチャがどのように機能するかという例として、図4を参照する。ここで「キーイベント」は、リモートコントロール24上のキーを操作するユーザによって生成されるものとする。キーイベントはTVプロセッサによって検出され、その唯一の機能がALCUにコマンド受信(キーイベント)を知らせることであるPIM52を通してALCU34に渡される。このキーイベントはALCU34の中のイベントキューに加えられる。このキーイベントは、最初に来たものからオーダーされる。キュー内のイベントは削除され、そしてキーイベントのためのコールバックを登録してある別のPIM56へ伝達される。重要な処理は、アーキテクチャの構造を通して調停される。
例えば、キーイベントPIMに加え、PIMは製品に特有のブラウザPIM部58を含めることもできる。これは特定のモデル系列のためのもので、そのPIMと別のPIMとのインターラクションを定義する。同様に、ウェブブラウザ機能を与えるブラウザ機能部60を含めることができ、これはすべてのモデル系列について共通である。このようなPIMは、特定の製品系列の設計及び提供しようとする性能の組み合わせに依存して、いくつかの製品系列においてはキーイベントPIMからのキーイベントを受信するよう登録されているが、別の製品系列では登録されていない、ということがありうる。
別のPIM、例えばブラウザPIM58が、リモートコントロール24から発せられるキーイベントを受信するよう登録されている場合には、このキーイベントは、ALCU34のユーティリティを通してフィルタリングされるようにしてもよい。これによって、どのフレームワーク内のどのアプリケーションが現在TV上で注目されているかを決定することができる。これは、PIMがキー入力を見ることを可能にし、さらにシステムの動作をPIMモジュール内で切り離して、ホットキー(hot-key)のサポートを可能にする。ALCU34はアクティブなアプリケーション、及びアプリケーション間の親子関係を監視する。親アプリケーションは、複数の子アプリケーションを持つことができる。
単一のブラウザPIMを複数のTVのモデル系列に設けることができる一方で、このようなブラウザモジュールを、特定のモデル系列用に高機能又は低機能の希望に合わせて設計することができる。これは、モデル系列ごとに、いくつかのイベントを一つのモデル系列のために、別のイベントを別のモデル系列のためにというようにイベントハンドラを登録することによって、各PIMをそのシステムの動作を定義するようにプログラミングできるからである。PIMがALUC34から伝送されたイベントを受信すると、イベントはさらにPIMで、関連するモジュール動作/機能コールに翻訳される。
性能PIMを、異なる製品ごとに単一のコードベース内でさらに簡便に追加・削除できるようにするために、上記アーキテクチャは、上述のインターフェース及び機能を用いてPIMを「差し込み可能(pluggable)」にする。例えば、ブラウザPIMは、全体のシステムアーキテクチャに影響を与えることなく交換することができる。この目的のために、ブラウザPIMはパブリックインターフェースを備えており、これはブラウザPIMからコールされるPIMのパブリック機能を定義する。ALCU34がブラウザPIMをコークするたびに、ブラウザPIMはそのコールを翻訳し、PIMのパブリック機能を呼び出す。このようにして、システムアーキテクチャに影響を与えず、ブラウザPIMを追加し、削除し、別のブラウザPIMと交換することができる。
図5は、製品固有のブラウザPIM58が、特定のキーイベントとして示されるアプリケーションの開始イベント、アプリケーションの再開イベント、アプリケーションの一時停止イベント、アプリケーションの終了イベントを含むアプリケーションのアクションイベントを、ブラウザPIM58と関連づけられたAPI60が待つコールに翻訳することを示しており、これはすべてのモデル系列に共通のものである。例えば、ブラウザPIM58がこのモデル系列に固有のアプリケーションの開始イベントを受信したときは、ブラウザPIM58はブラウザAPI60のパブリック機能を呼び出して、選択されたブラウザのウィンドウを表示する。ブラウザPIM58がアプリケーションの終了イベントを示すキーイベントを受信したときは、ブラウザAPI60を呼び出してそのウィンドウを閉じる。ブラウザPIM58はまた、図5に示したキーフォーマットの変換の役割を担う。
このように、ブラウザPIM58は、ALCU34から受信した生のキー入力をブラウザが要求するキーフォーマットに変換する。ブラウザPIM58はまた、ネットワークイベントを特定のブラウサイベントに翻訳する。異なるブラウザを使うということは、新たなブラウザのコールのセットに必要な翻訳を処理する新たなPIMを生成することを意味する。併せて、図5に示したブラウザPIM58及びブラウザAPI60の両方を、そのためにAPI60が構成され特定のブラウザの機能を与える、単一のPIMと見なすこともできる。
図6に示すように、符号X2で示したモジュール式のグラフィックPIM62を設けることもできる。本質的に、グラフィックPIM62と関連づけられたブラウザ60及びグラフィックレンダラ(graphic renderer)64は共にグラフィックレンダラエージェントであり、図6に示すように、それぞれは互いに独立してディスプレイ12に表示するためのグラフィックをレンダリングすることができる。グラフィックレンダラ64及びブラウザAPI60のそれぞれの出力68、70の合成(composite)処理を調整して最終的なスクリーンディスプレイに供給するための、グラフィックマネージャPIM66を設けることができる。グラフィックレンダラ64は、2D又は3Dのレンダラであってもよく、また、オープンジーエル(OpenGL)をサポートするものでもよい。
各PIMは、製品固有のアプリケーションごとの開始を含むPIMレベルでのインターラクションを定義することが可能であることにより、前述のように異なるモデル系列用に適合するように潜在的に用意することができる。上記のプラグインアーキテクチャを用い、上記の各PIMによって、既存のシステムに比べシステムインテグレーションに要する時間を大幅に削減できる。多くの個別のPIMを短時間で新たなシステムに組み込むことが可能である。ソフトウェアの再使用可能性(reusability)を高めることによって、最終的なソフトウェアの安定性が向上し、ソフトウェアのメインテナンスに要するマンパワーも削減できる。PIMはインターネットからダウンロード可能であるので、このような本発明を備えたTVは、長期間にわたり新たな性能を追加することが可能となる。
上述のPIMに加え、限定的ではないが、PIMに次のような性能を設けることができる。すなわち、インターネットサーチ、インターネットビデオ、地域別のサービス、地図、電話機能、通信機能、コミュニティフォトサービスのアップロード/ダウンロード(例えば、Flickr)、支払い機能、情報オーバーレイ(例えば、My Page)、放送に同期したオーバーレイ、コンピュータゲーム、診断、EPG、DVRなどである。ホームネットワーク機能を有するPIMを設けることもできる。これには写真、音楽、ビデオを共有するPIM、DLNN PIM、電話からブルートゥース等を介してTVにデータを送るプッシュPIMなどが含まれる。
クロスメディアバー(cross-media bar)PIM、お気に入りPIM、デバイス統合PIMを含む3D GUI PIMなどを設けてもよい。
上述のように、PIMは、モデル系列に応じて何らかのコールを登録し、これによりアプリケーションの開始を受信したときに、PIMは、アプリケーションの開始の判定を行うための方法を呼び出す。もし返された値が間違いであれば、PIMはその関連するアプリケーションを開始しない。さらに、あるモデル系列内のアプリケーションは、ユーザが選択を行うまでは他のアプリケーションの開始をブロックし、別のモデル系列ではアプリケーションが他のアプリケーションをブロックしないようにすることもできる。
各PIMは、そのモデル系列のための適切なコールを登録するようPIMをプログラミングすることによって、そして、PIMが特定の系列のための要望されるアプリケーションの開始の判定を行うようプログラミングすることによって、特定のモデル系列用に適合して設計することができるので、その同じPIMを、各系列のための異なる動作を有する複数のモデル系列において使用することが可能である。
例えば、ハイエンドのモデル系列ではその製品に元々備わるユーザインターフェース、ネットワーク機能、及びブラウザユーザインターフェースの性能を要求するかもしれないが、そのような場合には、元々備わるユーザインターフェースを表すPIM、HDワールド(HD World)のような性能を表す1つ又は複数のネットワーク機能PIM、デジタルビデオレコーダ、デジタルリビングネットワークアライアンス(digital living network alliance:DLNA)などをALCUにプラグインすることができる。
一方、一段低いレベルのモデル系列では、ネットワーク機能とエーウェブブラウザ(A Web Browser)ユーザインターフェース(例えば、セットアップ用のローカルページ)を与えるよう設計することができ、そのような場合には、DLNA、EPG及びホームセキュリティを与えるPIMをALCUにプラグインすることができる。もう一段低いレベルのモデルには、元々備わるユーザインターフェース及びネットワーク機能を与えるように設計し、DVR、ブルートゥース電話、そしてリモートコントロール機能をALCUにプラグインすることができる。さらに一段低いレベルのモデルでは、ネットワーク機能がなく、元々備わるユーザインターフェースを与えるよう設計することができ、その場合には、ブルーレイDVD PIM及びブルートゥース電話PIMをALCUにプラグインすることができる。一番低いレベルのモデルでは、拡張ユーザインターフェースはなくTV接続だけができるよう設計するこができ、その場合は、無線A/V接続PIM及びリモートコントロールPIMだけを設けることができる。
TV用のモジュール式フレキシブルソフトウェアの非限定的なアーキテクチャの例について詳細に説明してきたが、本発明に含まれる発明の主題は、特許請求の範囲の記載によってのみ限定されるものと解すべきである。

Claims (15)

  1. ビデオディスプレイ(12)、
    ソフトウェアで実現されるテレビ性能アーキテクチャを実装するプロセッサ回路(20)であって、
    アプリケーションロジック調整ユニット(ALCU)(34)と、
    前記ALCU(34)と通信する複数のプラグインモジュール(PIM)(36)であって、それぞれが所望のテレビシステム性能を表し、ここでALCU(34)は情報をPIMの間で伝達する、PIMと、
    を含むディスプレイシステムであって、
    前記ALCU(34)と通信するPIMと協働する新たなPIMを前記ALCU(34)に追加することができ、
    イベントはシステム全体で定義され、
    各PIMは、当該PIMが受信しようとするイベントのための少なくとも1つのイベントハンドラを登録し、前記ALCU34は続いてどのイベントをどのイベントハンドラに伝達するかを、当該イベントハンドラによって供給された所望のイベントの表示によって決定する
    ことを特徴とする、ディスプレイシステム。
  2. 第1の性能を与えるPIM(36)は、第1のモデル系列内で第1のアプリケーションの開始の判定を実行し、第1の性能を与えるPIM(36)は、第2のモデル系列内で第2のアプリケーションの開始の判定を実行し、前記第2のアプリケーションの開始の判定は前記第1のアプリケーションの開始の判定とは異なるものである、請求項1に記載のシステム。
  3. 第1の性能を与えるPIM(36)は、第1のモデル系列において第1のイベントを登録し、第1の性能を与えるPIMは、第2のモデル系列において第2のイベントを登録し、前記第2のイベントは前記第1のイベントとは異なるものである、請求項1に記載のシステム。
  4. PIM間でのインターラクションは製品固有のPIMレベルで定義される、請求項1に記載のシステム。
  5. 各PIM(36)は、
    特定のモデル系列に特有のインターフェースコードと、
    そのPIMが使用されるすべてのモデル系列に共通の性能コードと
    を含んでいる請求項1に記載のシステム。
  6. 前記インターフェースコードは、別のPIMからALCU(34)を通して受信したコールを、性能コードが理解できるコールに翻訳する、請求項5に記載のシステム。
  7. 前記ACLU(34)は、パブリックインターフェース、ユーティリティインターフェース、およびPIMインターフェースを含んでいる、請求項1に記載のシステム。
  8. テレビシステムの第1及び第2のモデル系列に、両モデル系列に共通のアプリケーションロジック調整ユニット(ALCU)を設ける工程と、
    前記ALCU(34)と通信するよう構成され、それぞれが所望のテレビシステム性能を表す複数のプラグインモジュール(PIM)(36)であって、ALCU(34)は情報をPIMの間で伝達し、第1のモデル系列のPIMのセットは第2のモデル系列のPIMのセットとは異なっている、そのようなPIMを設ける工程と、を含み、
    第1の性能を与えるPIM(36)は、第1のモデル系列内で第1のアプリケーションの開始の判定を実行し、第1の性能を与えるPIM(36)は、第2のモデル系列内で第2のアプリケーションの開始の判定を実行し、前記第2のアプリケーションの開始の判定は前記第1のアプリケーションの開始の判定とは異なるものである、ことを特徴とする方法。
  9. 販売された後に第1のモデル系列のテレビに新たなPIM(36)をダウンロードして、前記PIM(36)によって表される、当該ダウンロード前は当該テレビになかった性能を当該テレビに与える段階、を含むことを特徴とする請求項8に記載の方法。
  10. 第1の性能を与えるPIM(36)は、第1のモデル系列内で第1のイベントを登録し、第1の性能を与えるPIM(36)は、第2のモデル系列内で第2のイベントを登録し、前記第2のイベントは前記第1のイベントとは異なるものである、請求項8に記載の方法。
  11. PIM間でのインターラクションは製品固有のPIMレベルで定義される、請求項8に記載の方法。
  12. 各PIM(36)は、
    特定のモデル系列に特有のインターフェースコードと、
    そのPIMが使用されるすべてのモデル系列に共通の性能コードと
    を含んでおり、前記インターフェースコードは当該モデル系列の所望の性能に特有である、請求項8に記載の方法。
  13. 前記インターフェースコードは、別のPIMからALCU(34)を通して受信したコールを、性能コードが理解できるコールに翻訳する、請求項12に記載の方法。
  14. 前記ACLU(34)は、パブリックインターフェース、ユーティリティインターフェース、およびPIMインターフェースを含んでいる、請求項8に記載の方法。
  15. 少なくとも第1のPIMは、いくつかの製品系列において第2のPIMからの所定のイベントを受信するよう登録し、他の製品系列においてそのように登録していない、請求項1に記載のシステム。
JP2011526099A 2008-09-03 2009-08-20 テレビ用モジュラー式フレキシブルソフトウェアアーキテクチャ Pending JP2012502357A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US19098908P 2008-09-03 2008-09-03
US61/190,989 2008-09-03
US12/274,702 2008-11-20
US12/274,702 US8339514B2 (en) 2008-09-03 2008-11-20 Modular flexible software architecture for TV
PCT/US2009/054433 WO2010027687A1 (en) 2008-09-03 2009-08-20 Modular flexible software architecture for tv

Publications (1)

Publication Number Publication Date
JP2012502357A true JP2012502357A (ja) 2012-01-26

Family

ID=41726977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011526099A Pending JP2012502357A (ja) 2008-09-03 2009-08-20 テレビ用モジュラー式フレキシブルソフトウェアアーキテクチャ

Country Status (8)

Country Link
US (1) US8339514B2 (ja)
EP (1) EP2321732B1 (ja)
JP (1) JP2012502357A (ja)
KR (1) KR101254406B1 (ja)
CN (1) CN102144224A (ja)
CA (1) CA2736003A1 (ja)
MX (1) MX2011002225A (ja)
WO (1) WO2010027687A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100350A1 (en) 2011-12-28 2013-07-04 Samsung Electronics Co., Ltd. Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
EP2620865A3 (en) * 2012-01-27 2016-08-24 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
CN104767950B (zh) * 2014-11-08 2019-01-08 晶晨半导体(上海)股份有限公司 插卡式电视
CN111177071B (zh) * 2019-12-12 2023-07-07 广州地理研究所 Flickr平台的图片下载方法及装置
CN113473098B (zh) * 2021-08-20 2023-03-24 Vidaa(荷兰)国际控股有限公司 显示设备及显示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002541751A (ja) * 1999-04-12 2002-12-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 適応可能なアップグレード能力を有する消費者電子機器
JP2003509788A (ja) * 1999-09-15 2003-03-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタル・テレビ受信機若しくは他のホスト装置と通信するダウンロード可能なエージェント・プログラムを有する着脱式カード・システム
JP2003304458A (ja) * 2002-04-10 2003-10-24 Sharp Corp デジタルテレビ受信機およびそれに接続可能な拡張装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367571A (en) * 1992-12-02 1994-11-22 Scientific-Atlanta, Inc. Subscriber terminal with plug in expansion card
US5440632A (en) * 1992-12-02 1995-08-08 Scientific-Atlanta, Inc. Reprogrammable subscriber terminal
US6151077A (en) * 1994-12-22 2000-11-21 U.S. Philips Corporation Interface system for a television receiver
US5787259A (en) * 1996-03-29 1998-07-28 Microsoft Corporation Digital interconnects of a PC with consumer electronics devices
US6138271A (en) * 1996-06-26 2000-10-24 Rockwell Technologies, Llc Operating system for embedded computers
KR100225037B1 (ko) * 1996-12-23 1999-10-15 구자홍 모듈티브이와 모듈티브이 제어 방법
US7295752B1 (en) * 1997-08-14 2007-11-13 Virage, Inc. Video cataloger system with audio track extraction
US6052750A (en) * 1998-01-06 2000-04-18 Sony Corporation Of Japan Home audio/video network for generating default control parameters for devices coupled to the network, and replacing updated control parameters therewith
US6654931B1 (en) * 1998-01-27 2003-11-25 At&T Corp. Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
EP1135878B1 (de) * 1998-12-02 2002-07-24 Swisscom Mobile AG Mobilgerat und verfahren zum empfangen und filtern aus den programmbegleitenden daten auf grund der bestimmten position
US6272575B1 (en) * 1999-02-26 2001-08-07 Lucent Technologies Inc. Modular digital assistant
US6363434B1 (en) * 1999-03-30 2002-03-26 Sony Corporation Of Japan Method of managing resources within a network of consumer electronic devices
US6785903B1 (en) * 2000-04-05 2004-08-31 K Tech Telecommunications, Inc. Digital television translator with PSIP update
US20020078262A1 (en) * 2000-12-14 2002-06-20 Curl Corporation System and methods for providing compatibility across multiple versions of a software system
KR100377361B1 (ko) * 2001-02-27 2003-03-26 삼성전자주식회사 모듈 및/또는 모듈 기능의 선택에 대한 식별음을 제공하는모듈라 텔레비젼
US6941559B2 (en) * 2001-02-28 2005-09-06 Sharp Laboratories Of America Software bus and interface for digital television application software environments
US7859601B2 (en) * 2001-04-12 2010-12-28 Sony Corporation Signal processing device, housing rack, and connector
US7814516B2 (en) * 2001-05-03 2010-10-12 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices
US20030050983A1 (en) * 2001-09-12 2003-03-13 Johnson Paul A. External event processor system and method
US7451460B2 (en) * 2001-11-15 2008-11-11 General Instrument Corporation Programming interface for configuring a television settop terminal
JP3596770B2 (ja) * 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
US20030233667A1 (en) * 2002-06-17 2003-12-18 Abs-Cbn Broadcasting Corporation Method and apparatus for implementing a scaled upgrading of an upgradeable set-top box
JP3942495B2 (ja) 2002-06-21 2007-07-11 株式会社ルネサステクノロジ 半導体装置
US20050062888A1 (en) * 2003-09-19 2005-03-24 Wood Anthony John Apparatus and method for presentation of portably-stored content on an high-definition display
US7523145B2 (en) * 2004-04-22 2009-04-21 Opentv, Inc. System for managing data in a distributed computing system
TWI252036B (en) * 2004-04-28 2006-03-21 Quanta Comp Inc Television
WO2005109908A2 (en) * 2004-04-30 2005-11-17 Vulcan Inc. Maintaining a graphical user interface state that is based on a selected piece of content
US7425992B2 (en) * 2004-10-29 2008-09-16 Sharp Laboratories Of America, Inc. Method and apparatus for upgrading a television system
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US20070091206A1 (en) * 2005-10-25 2007-04-26 Bloebaum L S Methods, systems and computer program products for accessing downloadable content associated with received broadcast content
US20070107019A1 (en) * 2005-11-07 2007-05-10 Pasquale Romano Methods and apparatuses for an integrated media device
US8756633B2 (en) * 2005-12-19 2014-06-17 At&T Intellectual Property I, L.P Methods, systems, and computer program products for selectively facilitating internet content and/or alerts on a television crawl screen, closed caption and/or picture-in-picture area
US9153125B2 (en) * 2005-12-20 2015-10-06 Savant Systems, Llc Programmable multimedia controller with programmable services
US8144266B2 (en) * 2007-02-27 2012-03-27 Sony Corporation Module system for permitting storage device interface with TV
US8134565B2 (en) * 2008-08-08 2012-03-13 Dell Products, Lp System, module and method of enabling a video interface within a limited resource enabled information handling system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002541751A (ja) * 1999-04-12 2002-12-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 適応可能なアップグレード能力を有する消費者電子機器
JP2003509788A (ja) * 1999-09-15 2003-03-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタル・テレビ受信機若しくは他のホスト装置と通信するダウンロード可能なエージェント・プログラムを有する着脱式カード・システム
JP2003304458A (ja) * 2002-04-10 2003-10-24 Sharp Corp デジタルテレビ受信機およびそれに接続可能な拡張装置

Also Published As

Publication number Publication date
CA2736003A1 (en) 2010-03-11
WO2010027687A4 (en) 2010-05-27
WO2010027687A1 (en) 2010-03-11
EP2321732A1 (en) 2011-05-18
KR101254406B1 (ko) 2013-04-15
EP2321732B1 (en) 2014-10-29
US8339514B2 (en) 2012-12-25
CN102144224A (zh) 2011-08-03
MX2011002225A (es) 2011-04-07
KR20110065494A (ko) 2011-06-15
US20100057968A1 (en) 2010-03-04
EP2321732A4 (en) 2011-09-28

Similar Documents

Publication Publication Date Title
US9854296B2 (en) Distributed system architecture for control of a set top box
EP1617333B1 (en) Video device, video module unit, and video device operation method
US20130066947A1 (en) System and Method for Managing Applications for Multiple Computing Endpoints and Multiple Endpoint Types
US9658864B2 (en) Method and device for creation of integrated user interface
MXPA05012647A (es) Metodo y sistema para el intercambio de datos entre sistemas de computo y pantallas auxiliares.
BR112021009629A2 (pt) método de processamento do conteúdo da interface de usuário, sistema, e, mídia legível por computador não transitória
KR20110040604A (ko) 클라우드 서버, 클라이언트 단말, 디바이스, 클라우드 서버의 동작 방법 및 클라이언트 단말의 동작 방법
JP2012502357A (ja) テレビ用モジュラー式フレキシブルソフトウェアアーキテクチャ
WO2018014794A1 (zh) 一种智能电视系统
US10178170B2 (en) Browser-based virtual media administration
US20130145357A1 (en) Integrating applications
CN112445545B (zh) 一种网页应用的启动方法及显示设备
JP2007523413A (ja) 電子コンテンツ処理システムおよび方法
CN111324411B (zh) 显示设备中用户界面的升级方法及显示设备
CN102426537A (zh) Cad中外部集成进程调用主程序进程的方法及装置
CN102652307B (zh) 用于计算机架构的即插即用支持的方法以及系统
JP2006135982A (ja) ネットワーク接続装置、映像情報機器、情報送受信機器、及びネットワーク接続プログラム
CN112487322B (zh) 一种第三方应用Loading页面的加载方法及显示设备
CN113542824B (zh) 一种显示设备及应用界面的显示方法
EP1988686B1 (en) Metadata communication system
CN111818368B (zh) 管理显示设备权限的方法、移动终端以及服务器
US9674307B1 (en) Running mobile applications in a distributed client-server model using selective delegation of hardware and software contexts to the client
CN110971938B (zh) 数据传输方法、装置及系统
US20230111113A1 (en) Page loading method and display apparatus
CN114567804A (zh) 显示设备以及显示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131010

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140515

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140630

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140711