JP2009294579A - 音声出力装置、システム、及び方法 - Google Patents

音声出力装置、システム、及び方法 Download PDF

Info

Publication number
JP2009294579A
JP2009294579A JP2008150355A JP2008150355A JP2009294579A JP 2009294579 A JP2009294579 A JP 2009294579A JP 2008150355 A JP2008150355 A JP 2008150355A JP 2008150355 A JP2008150355 A JP 2008150355A JP 2009294579 A JP2009294579 A JP 2009294579A
Authority
JP
Japan
Prior art keywords
audio
content
received
identification information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008150355A
Other languages
English (en)
Other versions
JP5073591B2 (ja
Inventor
Yu Miyazaki
祐 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2008150355A priority Critical patent/JP5073591B2/ja
Publication of JP2009294579A publication Critical patent/JP2009294579A/ja
Application granted granted Critical
Publication of JP5073591B2 publication Critical patent/JP5073591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】複数の利用者がそれぞれ対応する画面を操作することができると共に、当該画面に対応する音声をそれぞれ個別に視聴することができる装置を提供すること。
【解決手段】音声出力装置10は、携帯電話機60a,60b,60c,60dの一から携帯電話機IDと共に、音声情報を含むコンテンツ識別情報を受信し、受信したコンテンツ識別情報に基づいて音声情報を含むコンテンツを受信し、受信したコンテンツに係る画面を出力すると共に、受信した音声情報を、受信した携帯電話機IDに基づいて識別した携帯電話機60a,60b,60c,60dにチャネルIDを割り当てて送信する。
【選択図】図1

Description

本発明は、音声出力装置に関する。特に、コンテンツの音声を複数の操作端末に個別に送信する音声出力装置、システム、及び方法に関する。
従来、テレビ受像機の画面やコンピュータシステムの表示装置に用いられる画面は、より詳細な表示を求める使用者の要望により、高解像及び高品質が求められていた。近年、表示画面の製造技術の進歩により、高解像及び高品質の画面が製造されるようになり、更に、高解像及び高品質を保ちながら大きな画面を備えた表示装置が製造されるようになった。
このような、表示装置の画面の大型化を利用して、1画面を有効に活用した画像表示制御システムが知られている(特許文献1)。特許文献1の画像表示制御システムは、複数の携帯電話等からの遠隔操作によってテレビ等の画面上に表示するポインタを表示制御する。更に、遠隔操作する複数の携帯電話に応じて画面を分割し、携帯電話から受信した操作情報に基づいて画面の表示制御を行うことによって、複数の利用者の共同作業やコミュニケーションを行うことができる。
特開2006−58946号公報
しかしながら、特許文献1では、画面を複数の端末で共有し、同時に操作する技術や、画面を分割する技術等について開示されているが、それに伴う音声の制御については開示されていない。すなわち、特許文献1のようなシステムでは、画面を分割し、それぞれの画面で異なる映像を表示することはできても、それに伴う音声を取り扱うことができず、例えば、複数の利用者がWeb上の動画を再生する場合等、音声を伴うコンテンツに対応することができない。
ところで、映画やテレビ番組のような動画コンテンツに限らず、音声は、映像についての解説や説明をする音声、臨場感をもたらす効果音、雰囲気を醸し出すBGM等を含み、映像では伝えきれない情報を伝えることができる。このため、音声のない映像のみの提供では情報の伝達が不十分であり、利用者は、映像と音声とが提供されて始めて満足する。そこで、画面を分割して映像を提供する場合に、分割したそれぞれの画面の映像と音声を出力する装置が求められている。
本発明は、複数の利用者がそれぞれ対応する画面を操作することができると共に、当該画面に対応する音声をそれぞれ個別に視聴することができる装置を提供することを目的とする。
本発明では、以下のような解決手段を提供する。
(1) 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する方法であって、前記複数の操作端末の一から当該端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を受信するステップと、受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信するステップと、受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信するステップと、を含む方法。
(1)の構成によれば、本発明に係る方法は、複数の操作端末の一から当該端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を受信し、受信したコンテンツ識別情報に基づいて音声情報を含むコンテンツを受信し、受信したコンテンツに係る画面を出力すると共に、受信した音声情報を、受信した端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信する。
すなわち、本発明に係る方法は、複数の操作端末の一から受信した情報に基づいてコンテンツを受信し、受信したコンテンツに係る画面を出力すると共に、音声情報を、受信した端末識別情報に基づいて識別した操作端末に送信する。したがって、本発明に係る方法は、操作端末から受信した情報に基づいて受信した音声情報を、利用者が画面に対応する操作端末でそれぞれ個別に視聴することができる。
(2) 前記複数の操作端末の一から、コンテンツを同時に出力中の他のチャネルを識別するチャネル識別情報の指定と共に音声データの出力指令を受信するステップと、指定した前記チャネル識別情報に係る前記音声情報を、前記操作端末の一に送信するステップと、を更に含む(1)に記載の方法。
(2)の構成によれば、(1)に記載の構成に、更に、複数の操作端末の一から、コンテンツを同時に出力中の他のチャネルを識別するチャネル識別情報の指定と共に音声データの出力指令を受信し、指定したチャネル識別情報に係る音声情報を、操作端末の一に送信する。
すなわち、複数の操作端末の一から、指令を受信し、指定したチャネル識別情報に係る音声情報を、指令した操作端末の一に送信する。したがって、本発明に係る方法は、複数の利用者がそれぞれに対応する画面を操作する場合に、音声情報を、画面に対応する操作端末でそれぞれ個別に視聴することができ、更に、音声情報の出力指令をすることにより指令した操作端末で他の画面の音声を聴くこともできる。
(3) 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する音声出力装置であって、前記複数の操作端末の一から当該操作端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を受信する手段と、受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信する手段と、受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信する手段と、を含む音声出力装置。
すなわち、本発明に係る音声出力装置は、複数の操作端末の一から受信した情報に基づいてコンテンツを受信し、受信したコンテンツに係る画面を出力すると共に、音声情報を、受信した端末識別情報に基づいて識別した操作端末に送信する。したがって、本発明に係る音声出力装置によれば、操作端末から受信した情報に基づいて受信した音声情報を、利用者が画面に対応する操作端末でそれぞれ個別に視聴することができる。
(4) 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する音声出力装置を含むシステムであって、前記操作端末は、当該操作端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を送信する手段を備え、前記音声出力装置は、前記複数の操作端末の一から当該操作端末を識別する端末識別情報と共に、前記コンテンツ識別情報を受信する手段と、受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信する手段と、受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信する手段と、を備え、前記操作端末は、受信した前記音声情報を出力する手段を更に備えるシステム。
すなわち、本発明に係るシステムは、操作端末がコンテンツを識別するコンテンツ識別情報を送信し、音声出力装置が操作端末から受信した情報に基づいてコンテンツを受信し、受信したコンテンツに係る画面を出力すると共に、音声情報を、受信した端末識別情報に基づいて識別した操作端末に送信し、操作端末が受信した音声情報を出力する。したがって、本発明に係るシステムによれば、操作端末から受信した情報に基づいて受信した音声情報を、利用者が画面に対応する操作端末でそれぞれ個別に視聴することができる。
本発明によれば、複数の利用者がそれぞれ対応する画面を操作することができると共に、当該画面に対応する音声をそれぞれ個別に視聴することができる。
以下、本発明の実施形態について図を参照しながら説明する。
図1は、本発明の特徴を示す図である。図1は、本発明の一実施形態に係る音声出力装置10と、複数の操作端末として携帯電話機60a,60bとの動作を機能ブロック図で示し、本発明の特徴を示している。
音声出力装置10は、携帯電話機60a,60bを識別する携帯電話機IDと共に音声情報を含むコンテンツを識別するコンテンツ識別情報を受信する操作受信部11と、音声情報を含むコンテンツを受信するコンテンツ受信部12と、受信したコンテンツに係る画面を出力すると共に、音声情報を携帯電話機60a,60bに個別のチャネルとしてチャネルIDを割り当てて送信する画面出力部13及び音声送信部14と、を備えている。
コンテンツは、衛星放送、ケーブルテレビ、地上デジタルテレビジョン放送、地上アナログテレビジョン放送等のテレビジョン放送コンテンツ(TV放送コンテンツ)、インターネットを利用するWeb上の動画等のWebコンテンツ等を含む。コンテンツ識別情報は、例えば、TV放送コンテンツの場合は、テレビ放送局を選局するための放送局番号を示す情報であり、Webコンテンツの場合は、Webコンテンツのネットワーク上のアドレス(例えば、URL(Uniform Resource Locator))等を示す情報である。なお、携帯電話機60a、60bは、ディスプレイ20に表示されたWebコンテンツのアンカータグ(リンク)をクリックすることにより、コンテンツ識別情報を送信してもよい。
そして、操作受信部11は、複数の携帯電話機60a,60からコンテンツ識別情報(例えば、WebコンテンツのURL等)を取得し、コンテンツ受信部12は、コンテンツ識別情報(例えば、WebコンテンツのURL等)に基づいてコンテンツを受信する。画面出力部13及び音声送信部14は、受信したコンテンツに係る画面を出力すると共に、音声情報を携帯電話機60a,60bに送信する。
したがって、本発明の一実施形態に係る音声出力装置10は、コンテンツを受信し、受信したコンテンツに含まれる音声情報をコンテンツに係る画面と対応付けて携帯電話機60a,60bに送信することができる。
図2は、本発明の一実施形態に係る音声出力装置10の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。図1で示した本発明の特徴に加えて、設定されている音声データの出力先を変更する音声出力先変更部15を更に備えている。そして、音声出力装置10は、携帯電話機60a,60bから受信したコンテンツ識別情報に基づいてコンテンツを受信し、受信した画面データを出力すると共に、受信した音声データを携帯電話機60a,60bに送信する。更に、携帯電話機(例えば、チャネル1である携帯電話機60a)から、音声データの出力指令を受信し、指定されたチャネル(例えば、携帯電話機60bのチャネル2)の音声データを携帯電話機60aに送信する。
音声出力装置10と携帯電話機60a,60bとの通信は無線通信で行う。音声出力装置10は、無線通信装置として赤外線通信I/F1200を備え、時分割によるリアルタイム処理をする。
携帯電話機60a、60bは、音声出力装置10との無線通信装置として赤外線通信部65a、65bを備え、音声出力装置として音声出力部66a、66bを備え、音声をイヤホン67a、67bから出力することができる。無線通信は、例えば、赤外線通信としたが、ブルートゥース(登録商標)といった他の短距離無線通信等でもよい。
操作受信部11は、携帯電話機60a,60bから、携帯電話機IDと共に操作データを受信する。
受信する携帯電話機IDは、例えば、携帯電話番号を用いる。携帯電話機60a,60bの機種、製造メーカに関わらず、携帯電話機60a,60bを操作端末として識別することができる。
操作データは、携帯電話機60a,60bで押下されたキーのデータ等であり、コンテンツ識別情報等である。操作受信部11は、例えば、WebコンテンツのURLを、コンテンツ識別情報であるデータと、WebコンテンツのURLとを対応付けたテーブル(後述する図6のURLテーブル参照)に基づいて取得する。また、操作受信部11は、例えば、TV放送コンテンツの放送局番号を、押下されたキーのデータから取得する。
操作データがコンテンツ識別情報であって最初の場合には、操作受信部11は、チャネルIDを割り当て、携帯電話機IDと対応付けて記憶する。チャネルIDは、例えば、携帯電話機60a,60bから最初にコンテンツ識別情報を受信した順に割り当てた携帯電話機60a,60bに個別のチャネルであり、音声用チャネルIDと画面用チャネルIDとがある(後述する図7の出力チャネルテーブル参照)。
コンテンツ受信部12は、操作受信部11が取得したコンテンツ識別情報(例えば、WebコンテンツのURL、TV放送コンテンツの放送局番号等)に基づいてコンテンツを受信する。受信したコンテンツは、例えば、Webコンテンツの場合は、動画情報、テキスト情報、音声情報等と、Webコンテンツを再生するための制御情報等から構成されている。これらの情報に基づいて、画面データ及び音声データ等を取得し、記憶する。また、例えば、TV放送コンテンツの場合は、チューナ80で電波(無線、CATV等)を受信し、デジタルコンテンツに変換したデータをコンテンツ受信部12は取得し、取得したデータに基づき画面データ及び音声データ等を取得し、記憶する。
画面出力部13は、コンテンツ受信部12が記憶した画面データを、携帯電話機IDに対応付けられたチャネルIDと共に出力する。出力された画面データを入力したディスプレイ20は、入力した画面データと、チャネルIDとに基づいて分割した画面に表示することができる。ここで、ディスプレイ20は、ブラウン管表示装置(CRT)、液晶表示装置(LCD)等のディスプレイ装置でよい。また、音声出力装置10に接続され、画面出力部13からのデータに基づいて表示する装置であってもよいし、画面出力部13からのデータを処理するパソコン等に備えられる装置であってもよい。
音声送信部14は、コンテンツ受信部12が記憶した音声データを、携帯電話機IDに基づいてチャネルIDを割り当てて送信する。すなわち、取得したコンテンツの音声データに基づいて、コンテンツに対応する携帯電話機IDに対応付けられたチャネルIDにより送信データを作成し、赤外線通信により送信する。携帯電話機60a,60bは、赤外線通信部65a,65bを介して受信したデータの中から当該チャネルの音声データを取得し、取得した音声データに基づいて音声をイヤホン67a,67bに出力する。
音声出力先変更部15は、他のチャネルを識別するチャネル識別情報の指定と共に音声データの出力指令を受信する。例えば、音声用チャネルIDがチャネル1を割り当てられた携帯電話機60aから、チャネル2と音声出力指令とを受信すると、出力チャネルテーブルの携帯電話機60aに対応付けられた音声用チャネルIDをチャネル1からチャネル2に変更する。音声送信部14は、出力チャネルテーブルに基づいて、携帯電話機60aに、チャネル2の音声情報を送信する。
図3は、本発明の一実施形態に係る音声出力装置10の動作環境を示す図である。本発明の一実施例である音声出力装置10が、コンピュータネットワーク70(インターネット、LAN、WAN等)や、放送局90から放送を受信するチューナ80を介してコンテンツを受信する例を示している。
音声出力装置10は、複数の携帯電話機60a,60b,60c,60dから携帯電話機60a,60b,60c,60dを識別する携帯電話機端末IDと共にコンテンツ識別情報を受信する。そして、コンテンツ識別情報(例えば、WebコンテンツのURL等)によりネットワーク通信I/F1040を介してコンピュータネットワーク70と接続し、コンテンツを管理しているサーバからコンテンツを受信する。同様にして、コンテンツ識別情報(例えば、TV放送の放送局番号等)により受信した電波からデジタルコンテンツに変換したデータを第2通信I/F1090を介して受信する。
音声出力装置10は、受信したコンテンツに基づいて画面データを第1通信I/F1080を介して出力する。出力した画面データは、ディスプレイ20の分割された画面に表示される。
音声出力装置10は、受信したコンテンツに基づいて音声データを赤外線通信I/F1200を介して携帯電話機60a,60b,60c,60dに送信する。携帯電話機60a,60b,60c,60dは、赤外線通信部65a,65b,65c,65dを介して音声データを受信し、音声出力部66a,66b,66c,66dを介して音声をイヤホン67a,67b,67c,67dに出力する。このようにして画面及び音声をそれぞれ個別に視聴することができる。また、携帯電話機60a,60b,60c,60dは、指令することにより、音声出力装置10から受信する音声データを、別の携帯電話機60a,60b,60c,60dに出力中の音声データに変更することができる。例えば、携帯電話機60aで携帯電話機60dに出力中の音声を聴くことができる。
図4は、本発明の一実施形態に係る音声出力装置10のハードウェア構成の一例を示す図である。音声出力装置10は、CPU(Central Processing Unit)1010(マルチプロセッサ構成ではCPU_A1012等複数のCPUが追加されてもよい)、バスライン1005、コンピュータネットワーク用通信I/F1040、メインメモリ1050、BIOS(Basic Input Output System)1060、ハードディスク1070、第1通信I/F1080、第2通信I/F1090、赤外線通信I/F1200を備えている。
BIOS1060は、音声出力装置10の起動時にCPU1010が実行するブートプログラムや、ハードウェアに依存するプログラム等を格納する。
ハードディスク1070は、音声出力装置10が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶している。更に、URLテーブル(後述する図6)、出力チャネルテーブル(後述する図7)等の各種データ用のテーブルを構成可能である。
また、コンピュータネットワーク用通信I/F1040は、CPU1010を専用ネットワーク又は公共ネットワークを介してWebコンテンツ用サーバ等と接続できるようにするためのネットワーク・アダプタである。すなわち、CPU1010は、コンピュータネットワーク用通信I/F1040を介して、Webコンテンツを受信する。第2通信I/F1090は、他の装置とデータを送受信するためのインターフェース装置である。TV放送コンテンツに係る電波をデジタルコンテンツに変換したデータを受信する。
第1通信I/F1080は、他の装置とデータを送受信するためのインターフェース装置である。コンテンツの動画等を表示することができるディスプレイ20に接続することができる。すなわち、CPU1010は、ネットワーク通信I/F1040又は第2通信I/F1090を介して受信したコンテンツに係る画面を第1通信I/F1080を介して、ディスプレイ20に出力する。
赤外線通信I/F1200は、赤外線によりデータの送信を行う赤外線発光部1201と、赤外線によりデータの受信を行う赤外線受光部1202とからなる。赤外線発光部1201は、CPU1010が出力したデジタル信号をレベル変換し、変換した信号を変調し、変調した電気信号を赤外線発光素子により赤外線信号に変換し、出力する。赤外線受光部1202は、赤外線受光素子により受信した赤外線信号を電気信号に変換し、変換した電気信号をデジタル信号に変換する。ここでは赤外線通信を使用し、赤外線通信I/F1200を備える例を示しているが、例えば、ブルートゥース(登録商標)といった短距離無線通信等のI/Fを備えるとしてもよい。
図5は、本発明の一実施形態係る携帯電話機60aのハードウェア構成の一例を示す図である。図5に示すように、CPU(Central Processing Unit)2011、メモリ2012、操作部2013、表示部52a、通信部51a、音声出力部66a、マイク2018、インターフェース部2019、赤外線通信部65aがバスラインBUSにより接続されて携帯電話機60aを構成する。
CPU2011は、携帯電話機60aを統括的に制御する部分であり、メモリ2012に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。
メモリ2012は、ROM(Read Only Memory)又は、RAM(Random Access Memory)であってよく、携帯電話機60aで機能する各種プログラム及び、広告データを含む各種データを記憶する装置である。
操作部2013は、各種設定や入力操作を行う操作ボタン群、決定操作ボタン等を備えており、操作部2013による入力情報はCPU2011の制御下で処理される。ここで、操作部2013は、ユーザからの操作入力による押圧を感知して、CPU2011にBUSを介して信号を送信する。CPU2011は、この信号を受信することで、操作部2013への操作入力があったことを判断する。更に、操作部2013は、携帯電話機60aが折り畳み式の場合には、折り畳み状態から開く操作をユーザが行った場合に、この「開く」操作を検知するデバイスを含む。
表示部52aは、LCD(Liquid Crystal Display)や有機EL(Electoro Luminescence)によって構成され、各種データを表示する。
通信部51aは、携帯電話として機能するために無線通信に必要なアンテナ及びアンテナ信号処理回路等を含んで構成される。インターフェース部2019は、携帯電話機60aと周辺機器とを接続し、データの送受信や電源供給等を行う。
音声出力部66aは、電気信号を音声に変換し、スピーカ2017又はイヤホン67aから出力する。すなわち、CPU2011は、赤外線通信部65aにより受信した音声情報を再生し、再生した音声を音声出力部66aから出力する。マイク2018は、音声を電気信号に変換し、入力する。
赤外線通信部65aは、赤外線によりデータの送信を行う赤外線発光部2201と、赤外線によりデータの受信を行う赤外線受光部2202とからなる。赤外線発光部2201は、CPU2011が出力したデジタル信号をレベル変換し、変換した信号を変調し、変調した電気信号を赤外線発光素子により赤外線信号に変換し、出力する。赤外線受光部2202は、赤外線受光素子により受信した赤外線信号を電気信号に変換し、変換した電気信号をデジタル信号に変換する。ここでは赤外線通信を使用し、赤外線通信部65aを備える例を示しているが、例えば、ブルートゥース(登録商標)といった短距離無線通信等他の方法でもよい。このような赤外線通信部65aは、携帯電話機60aにもともと内蔵されているものでも、携帯電話機60a購入後、当該携帯電話機60aのインターフェース部2019に装着されるものでもよい。
図6は、本発明の一実施形態に係るURLテーブルを示す図である。URLテーブルは、WebコンテンツのURLを取得するときに操作受信部11等で参照される。
URLテーブルは、番号に対応付けて、WebコンテンツのURLを記憶している。番号は、例えば、URLを選択した番号等であり、URLに係る情報である。URLテーブルは、所定のサーバから予めダウンロード等により記憶している。音声出力装置10は、利用者からの携帯電話機60a,60b,60c,60dの操作により、URLテーブルの内容をディスプレイ20に表示させ、表示されたURLの中から利用者が選択し、選択した情報(例えば、選択した番号等)を受信することにより、受信したURLに係る情報に対応付けられたURLを取得することができる。
図7は、本発明の一実施形態に係る出力チャネルテーブルを示す図である。出力チャネルテーブルは、画面データ及び音声データを出力するときに画面出力部13、音声送信部14等で参照される。
出力チャネルテーブルは、携帯電話機IDに対応付けて、音声用チャネルIDと、画面用チャネルIDとコンテンツ情報とを記憶している。チャネルIDは、携帯電話機60a,60b,60c,60dから携帯電話機IDを最初に受信した時に音声用チャネルID及び画面用チャネルIDが割り当てられ、携帯電話機IDに対応付けて出力チャネルテーブルに記憶される。音声送信時は、受信した携帯電話機IDに対応付けられた音声用チャネルIDを割り当てて音声情報を送信する。画面出力時は、受信した携帯電話機IDに対応付けられた画面用チャネルIDと、画面データとを出力する。また、コンテンツ情報は、コンテンツ受信時に、取得したコンテンツに対応するチャネルIDを求めるために利用される。
図8、9及び10は、本発明の一実施形態に係る音声出力装置10の処理内容を示すフローチャートである。コンピュータネットワーク70を介してWebコンテンツを受信する場合を示している。なお、図8、9及び10に係る処理は、音声出力装置10の動作を管理するOS(Operating System)のマルチタスク機能の下で並行して動作する。
図8は、本発明の一実施形態に係る音声出力装置10の受信データ処理を示すフローチャートである。受信データ処理は、携帯電話機60a,60bからデータを受信すると開始し、処理を行った後に終了する。
ステップS101において、CPU1010は、携帯電話機60a,60bから受信したデータを取得する。より具体的には、CPU1010は、携帯電話機60a,60bから受信した携帯電話機IDと共に操作データを取得する。操作データは、操作(コンテンツを取得する指令、音声出力先を変更する指令等)の種別と、データ(例えば、WebコンテンツのURLを示すデータ、出力先のチャネルを示すデータ等)とから構成されている。その後、処理をステップS102に移す。
ステップS102において、CPU1010は、取得したデータがコンテンツ要求か否かを判断する。より具体的には、CPU1010は、取得したデータが携帯電話機IDと、Webコンテンツを取得する指令と、WebコンテンツのURLに係るデータとから構成されるデータか否かを判断する。この判断がYESの場合は、処理をステップS103に移し、NOの場合は処理をステップS107に移す。
ステップS103において、CPU1010は、最初か否かを判断する。より具体的には、CPU1010は、取得した携帯電話機IDに基づいて出力チャネルテーブルを検索し、携帯電話機IDを記憶しているか否かを判断する。携帯電話機IDを記憶している場合は、最初ではないと判断し処理をステップS105に移し、携帯電話機IDを記憶していない場合は最初であると判断し処理をステップS104に移す。
ステップS104において、CPU1010は、取得した携帯電話機IDと、割り当てたチャネルIDとを対応付けて出力チャネルテーブルに記憶する。より具体的には、CPU1010は、順に割り当てているチャネルIDの次のチャネルIDを割り当てる。例えば、チャネルIDとして、チャネル1とチャネル2とを割り当てている場合には、チャネル3を割り当てる。そして、音声出力テーブルの携帯電話機IDに対応付けて、音声用チャネルIDと画面用チャネルIDとに記憶し、記憶した音声用チャネルIDを携帯電話機IDと共に携帯電話機60a,60bに送信する。その後、処理をステップS105に移す。音声用チャネルIDを携帯電話機IDと共に受信した携帯電話機60a,60bは、携帯電話機IDに基づいて自己の音声用チャネルIDを記憶する。携帯電話機60a,60bは、音声データを受信する場合にこの記憶した音声用チャネルIDを用いて音声データを取得する。
ステップS105において、CPU1010は、取得したURLに係るデータに対応付けられたWebコンテンツのURLを取得する。より具体的には、CPU1010は、取得したURLに係るデータに基づいて、URLテーブルを検索し、検索したURLに係るデータに対応付けられたWebコンテンツのURLを取得する。URLテーブルは、適宜、携帯電話機60a,60bからの操作により利用者のために表示することができ、表示された中から利用者が選択できる。また、URLテーブルは、随時、コンピュータネットワーク70からダウンロードできる。取得したURLは、携帯電話機IDと対応付けて出力チャネルテーブルのコンテンツ情報に記憶する。その後、処理をステップS106に移す。
ステップS106において、CPU1010は、Webコンテンツを要求する。より具体的には、CPU1010は、取得したWebコンテンツのURLに基づいて、Webコンテンツを取得するためのコマンドを作成し、Webコンテンツを管理するサーバにコンピュータネットワーク70を介して送信する。その後、CPU1010は、処理を終了する。Webコンテンツの取得はコンテンツ処理で行う。
ステップS107において、CPU1010は、取得したデータが音声出力先を変更するデータか否かを判断する。この判断がYESの場合は、処理をステップS108に移し、NOの場合は処理を終了する。
ステップS108において、CPU1010は、取得した操作データに基づいて、出力チャネルテーブルの音声用チャネルIDを変更する。より具体的には、CPU1010は、携帯電話機IDに基づいて、出力チャネルテーブルを検索し、検索した携帯電話機IDに対応する音声用チャネルIDを、受信した音声用チャネルIDに変更して記憶する。その後、CPU1010は、処理を終了する。
図9は、本発明の一実施形態に係る音声出力装置10のコンテンツ処理を示すフローチャートである。コンテンツ処理は、Webコンテンツを受信すると開始し、処理を行った後に終了する。
ステップS201において、CPU1010は、コンピュータネットワーク70から受信したWebコンテンツを取得する。その後、処理をステップS202に移す。
ステップS202において、CPU1010は、取得したWebコンテンツの中から画面データ及び音声データを取得する。より具体的には、CPU1010は、取得したWebコンテンツの中からデータを復元し、音声データ、画面データ及び制御情報等を取得する。制御情報に、音声データと画面データとの同期を取るための時間情報等が含まれている場合には、その時間情報に基づいて音声データと画面データとをスケジュールしてもよい。その後、処理をステップS203に移す。
ステップS203において、CPU1010は、取得した音声データと、画面データとを記憶する。より具体的には、CPU1010は、出力チャネルテーブルに基づいて、取得したWebコンテンツのURLにより、音声用チャネルID及び画面用チャネルIDを取得する。そして、CPU1010は、取得した音声用チャネルID及び画面用チャネルIDに基づいて音声データと、画面データとを記憶する。音声データと画面データとをスケジュールした場合には、CPU1010は、スケジュールした画面データと音声データを、出力する時間ごとに記憶する。その後、CPU1010は、処理を終了する。
図10は、本発明の一実施形態に係る音声出力装置10の出力制御処理を示すフローチャートである。出力制御処理は、一定時間ごとに定期的に処理を開始し、処理を行った後に終了する。
ステップS301において、CPU1010は、出力すべき画面データがあるか否かを判断する。スケジュールしたデータを処理する場合には、CPU1010は、スケジュールされ出力する時間ごとに記憶された画面データに基づいて、出力する時間になった画面データがあるか否かを判断する。この判断がYESの場合は、処理をステップS302に移し、NOの場合は処理をステップS303に移す。
ステップS302において、CPU1010は、画面データを、出力チャネルテーブルの画面用チャネルIDと共に出力する。スケジュールしたデータを処理する場合には、CPU1010は、出力する時間になった画面データを、出力チャネルテーブルの画面用チャネルIDと共に出力する。その後、処理をステップS303に移す。出力されたディスプレイ20は、例えば、画面用チャネルIDに基づいて画面を分割し、画面データを表示する。
ステップS303において、CPU1010は、送信すべき音声データがあるか否かを判断する。スケジュールしたデータを処理する場合には、CPU1010は、スケジュールされ出力する時間ごとに記憶された音声データに基づいて、出力する時間になった音声データがあるか否かを判断する。この判断がYESの場合は、処理をステップS304に移し、NOの場合は処理を終了する。
ステップS304において、CPU1010は、携帯電話機60a,60bに音声データを送信する。より具体的には、CPU1010は、出力チャネルテーブルの音声用チャネルIDを割り当てて、赤外線通信部65aを介して携帯電話機60a,60bに送信する。スケジュールしたデータを処理する場合には、CPU1010は、出力する時間になった音声データを送信する。その後、CPU1010は、処理を終了する。音声データを送信された携帯電話機60a,60bは、赤外線通信部65aを介して受信し、記憶した音声用チャネルIDに基づいて、音声データを取得し、音声出力部66aを介してイヤホン67aに音声を出力する。
図11は、本発明の一実施形態に係る音声出力装置10による音声の出力と、画面の出力との例を示す図である。図11の例は、携帯電話機60a,60b,60c,60dが指定したコンテンツを、音声出力装置10を介して画面及び音声を視聴していることを示す例である。
音声出力装置10の赤外線通信I/F1200は、携帯電話機60a,60b,60c,60dから、操作データを受信し、受信した操作データに対応するコンテンツを受信し、受信したコンテンツに係る画面をディスプレイ20に出力すると共に、受信した音声データを携帯電話機60a,60b,60c,60dにチャネルIDを割り当てて送信している。携帯電話機60a,60b,60c,60dは、赤外線通信部65a,65b,65c,65dを介して音声データを受信し、受信した音声データを音声出力部66a,66b,66c,66dを介してイヤホン67a,67b,67c,67dに出力している。
例えば、チャネルIDは、操作をした順に、携帯電話機60aにチャネル1が割り当てられ、携帯電話機60bにチャネル2が割り当てられ、携帯電話機60cにチャネル3が割り当てられ、携帯電話機60dにチャネル4が割り当てられている。
一方、ディスプレイ20は、出力された画面を、画面と共に受信したチャネル情報に基づいて、画面を分割して表示している。例えば、ディスプレイ20は、画面と共に出力された携帯電話機60a,60b,60c,60dに対応するチャネルIDに基づいて、ディスプレイ20の画面を分割し、入力した画面を表示し、表示した画面の左上にそれぞれのチャネルID(例えば、1ch〜4ch)を表示している。
利用者は、携帯電話機60a,60b,60c,60dを操作することにより、対応するディスプレイ20の画面を操作することができ、画面に対応する音声をそれぞれ個別に視聴することができる。
更に、図12は、本発明の一実施形態に係る音声出力装置10による音声の出力と、画面の出力との別の例を示す図である。図12の例は、携帯電話機60a,60b,60c,60dが指定したコンテンツを、音声出力装置10を介して画面及び音声を視聴し、携帯電話機60bは、後述する処理により、チャネル2に替えてチャネル3の音声を聴いている状態を示す例である。以下にその処理の一例を示す。
まず、図11に示すように、音声出力装置10は、携帯電話機60a,60b,60c,60dに対応するコンテンツを受信し、受信したコンテンツに係る画面をディスプレイ20に出力すると共に、受信した音声情報を携帯電話機60a,60b,60c,60dにチャネルIDを割り当てて送信している。例えば、携帯電話機60aにチャネル1を割り当ててコンサートの音声を出力し、携帯電話機60bにチャネル2を割り当てて囲碁の実況音声を出力し、携帯電話機60cにチャネル3を割り当ててサッカーの実況音声を出力し、携帯電話機60dにチャネル4を割り当てて映画の音声を出力していることを示している。一方、図12は、音声出力装置10が、例えば、チャネル2が割り当てられた携帯電話機60bから、チャネル3の音声情報の指定を受信したことに応じて、指定した携帯電話機60bに割り当てられたチャネル2をチャネル3の音声に替えて送信し、チャネル2の囲碁の実況音声に替えてチャネル3のサッカーの実況音声を出力していることを示している。このようにして、携帯電話機60bのユーザは、普段は携帯電話機60cのユーザとは別のチャネルの音声を聴取しつつ、必要に応じて同時に出力中の他のチャネルの音声に切り替えて聴取することによって、他のユーザと音声を共有して聴取し、コミュニケーションを深めることができる。
本実施例によれば、音声出力装置10は、複数の携帯電話機60a,60b,60c,60dの一から携帯電話機IDと共に音声情報を含むコンテンツを識別するコンテンツ識別情報を受信し、受信したコンテンツ識別情報に基づいて音声情報を含むコンテンツを受信し、受信したコンテンツに係る画面をディスプレイ20に出力すると共に、受信した音声情報を、受信した携帯電話機IDに基づいて識別した携帯電話機60a,60b,60c,60dに個別のチャネルIDを割り当てて送信する。
更に、音声出力装置10は、携帯電話機60a,60b,60c,60dの一から、コンテンツを同時に出力中の他のチャネルを識別するチャネル識別情報の指定と共に音声データの出力指令を受信し、指定したチャネル識別情報に係る音声情報を、操作端末の一に送信する。
したがって、本発明の一実施形態に係る音声出力装置10は、携帯電話機60a,60b,60c,60dから受信した情報に基づいて受信したコンテンツに含まれる音声情報を、利用者がコンテンツに係る画面に対応する携帯電話機60a,60b,60c,60dでそれぞれ個別に視聴することができる。更に、音声情報の出力指令を受信することにより指令した操作端末(例えば、携帯電話機60b)で、指令した携帯電話機60bとは別の他の画面に対応する音声(例えば、携帯電話機60cに対応する画面の音声)を聴くこともできる。その結果、個別に視聴しながらも、必要に応じて画面と音声情報とを共有することによりコミュニケーションを深めることができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
本発明の特徴を示す図である。 本発明の一実施形態に係る音声出力装置10の機能を構成する構成部と、構成部が処理するデータとの関連を示す図である。 本発明の一実施形態に係る音声出力装置10の動作環境を示す図である。 本発明の一実施形態に係る音声出力装置10のハードウェア構成の一例を示す図である。 本発明の一実施形態係る携帯電話機60aのハードウェア構成の一例を示す図である。 本発明の一実施形態に係るURLテーブルを示す図である。 本発明の一実施形態に係る出力チャネルテーブルを示す図である。 本発明の一実施形態に係る音声出力装置10の受信データ処理を示すフローチャートである。 本発明の一実施形態に係る音声出力装置10のコンテンツ処理を示すフローチャートである。 本発明の一実施形態に係る音声出力装置10の出力制御処理を示すフローチャートである。 本発明の一実施形態に係る音声出力装置10による音声の出力と、画面の出力との例を示す図である。 本発明の一実施形態に係る音声出力装置10による音声の出力と、画面の出力との別の例を示す図である。
符号の説明
10 音声出力装置
11 操作受信部
12 コンテンツ受信部
13 画面出力部
14 音声送信部
15 音声出力先変更部
20 ディスプレイ
60a,60b,60c,60 携帯電話機
70 コンピュータネットワーク

Claims (4)

  1. 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する方法であって、
    前記複数の操作端末の一から当該操作端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を受信するステップと、
    受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信するステップと、
    受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信するステップと、を含む方法。
  2. 前記複数の操作端末の一から、前記コンテンツを同時に出力中の他のチャネルを識別するチャネル識別情報の指定と共に音声データの出力指令を受信するステップと、
    指定した前記チャネル識別情報に係る前記音声情報を、前記操作端末の一に送信するステップと、を更に含む請求項1に記載の方法。
  3. 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する音声出力装置であって、
    前記複数の操作端末の一から当該操作端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を受信する手段と、
    受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信する手段と、
    受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信する手段と、を含む音声出力装置。
  4. 複数の操作端末からの指令に基づいて同一ディスプレイに分割表示された複数のコンテンツの音声を前記複数の操作端末に個別に送信する音声出力装置を含むシステムであって、
    前記操作端末は、当該操作端末を識別する端末識別情報と共に、音声情報を含むコンテンツを識別するコンテンツ識別情報を送信する手段を備え、
    前記音声出力装置は、前記複数の操作端末の一から当該操作端末を識別する端末識別情報と共に、前記コンテンツ識別情報を受信する手段と、
    受信した前記コンテンツ識別情報に基づいて前記音声情報を含むコンテンツを受信する手段と、
    受信した前記コンテンツに係る画面を出力すると共に、受信した前記音声情報を、受信した前記端末識別情報に基づいて識別した操作端末に個別のチャネルを割り当てて送信する手段と、を備え、
    前記操作端末は、受信した前記音声情報を出力する手段を更に備えるシステム。
JP2008150355A 2008-06-09 2008-06-09 音声出力装置、システム、及び方法 Active JP5073591B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008150355A JP5073591B2 (ja) 2008-06-09 2008-06-09 音声出力装置、システム、及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008150355A JP5073591B2 (ja) 2008-06-09 2008-06-09 音声出力装置、システム、及び方法

Publications (2)

Publication Number Publication Date
JP2009294579A true JP2009294579A (ja) 2009-12-17
JP5073591B2 JP5073591B2 (ja) 2012-11-14

Family

ID=41542789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008150355A Active JP5073591B2 (ja) 2008-06-09 2008-06-09 音声出力装置、システム、及び方法

Country Status (1)

Country Link
JP (1) JP5073591B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150007080A (ko) * 2013-07-10 2015-01-20 엘지전자 주식회사 영상표시장치, 및 그 동작방법
EP2863643A1 (en) * 2013-10-02 2015-04-22 Nokia Corporation Audio and video synchronization
KR20160100705A (ko) * 2015-02-16 2016-08-24 부산대학교 산학협력단 화면분할 디지털 사이니지 시스템 및 서비스 제공 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0936886A (ja) * 1995-07-18 1997-02-07 Tokyo Electric Power Co Inc:The 子局アドレス設定方法
JPH11272781A (ja) * 1998-03-25 1999-10-08 Tsutomu Kanamori 投票システム
JP2000270238A (ja) * 1999-03-16 2000-09-29 Sharp Corp 多画面表示装置
JP2000295542A (ja) * 1999-04-12 2000-10-20 Sharp Corp 表示装置の制御方法、表示装置およびこれを制御する制御装置システム
JP2004187276A (ja) * 2002-11-19 2004-07-02 Canon Inc 表示装置及びリモコン装置
JP2006058946A (ja) * 2004-08-17 2006-03-02 Ntt Comware Corp 画像表示制御システム、画像表示制御方法、画像表示制御装置および携帯端末装置
JP2008028492A (ja) * 2006-07-19 2008-02-07 Sharp Corp 液晶テレビ
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
JP2009021753A (ja) * 2007-07-11 2009-01-29 Sharp Corp 映像表示装置,操作端末

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0936886A (ja) * 1995-07-18 1997-02-07 Tokyo Electric Power Co Inc:The 子局アドレス設定方法
JPH11272781A (ja) * 1998-03-25 1999-10-08 Tsutomu Kanamori 投票システム
JP2000270238A (ja) * 1999-03-16 2000-09-29 Sharp Corp 多画面表示装置
JP2000295542A (ja) * 1999-04-12 2000-10-20 Sharp Corp 表示装置の制御方法、表示装置およびこれを制御する制御装置システム
JP2004187276A (ja) * 2002-11-19 2004-07-02 Canon Inc 表示装置及びリモコン装置
JP2006058946A (ja) * 2004-08-17 2006-03-02 Ntt Comware Corp 画像表示制御システム、画像表示制御方法、画像表示制御装置および携帯端末装置
JP2008028492A (ja) * 2006-07-19 2008-02-07 Sharp Corp 液晶テレビ
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
JP2009021753A (ja) * 2007-07-11 2009-01-29 Sharp Corp 映像表示装置,操作端末

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150007080A (ko) * 2013-07-10 2015-01-20 엘지전자 주식회사 영상표시장치, 및 그 동작방법
KR102129926B1 (ko) * 2013-07-10 2020-07-03 엘지전자 주식회사 영상표시장치, 및 그 동작방법
EP2863643A1 (en) * 2013-10-02 2015-04-22 Nokia Corporation Audio and video synchronization
KR20160100705A (ko) * 2015-02-16 2016-08-24 부산대학교 산학협력단 화면분할 디지털 사이니지 시스템 및 서비스 제공 방법
KR101671861B1 (ko) * 2015-02-16 2016-11-03 부산대학교 산학협력단 화면분할 디지털 사이니지 시스템 및 서비스 제공 방법

Also Published As

Publication number Publication date
JP5073591B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP4772800B2 (ja) 放送コンテンツ情報提供方法およびそのシステム
US20070288954A1 (en) Wallpaper setting apparatus and method for audio channel in digital multimedia broadcasting service
US8947598B2 (en) Method for displaying wallpaper on digital broadcasting reception terminal
JP2010252323A (ja) チャネル設定方法及びこれを適用した放送受信装置
US20070141980A1 (en) Digital broadcasting reception apparatus and method for displaying broadcasting channel information using the same
US9357215B2 (en) Audio output distribution
US8949904B2 (en) Channel control method and apparatus
US20150230046A1 (en) Apparatus and method for playing music
JP2003209759A (ja) データ放送受信装置およびデータ放送受信システム
US8522296B2 (en) Broadcast receiving apparatus and method for configuring the same according to configuration setting values received from outside
US10425758B2 (en) Apparatus and method for reproducing multi-sound channel contents using DLNA in mobile terminal
US20070245365A1 (en) Display/response system, display/response apparatus and display/response program storage medium
JP2007266881A (ja) 表示回答システム、番組表示装置、および番組表示プログラム
JP5073591B2 (ja) 音声出力装置、システム、及び方法
KR20120009536A (ko) 디스플레이장치 및 그의 제어 방법
JP2007081816A (ja) 放送受信装置、放送受信方法、放送受信プログラム及びその記録媒体
KR20090015260A (ko) 다중 영상 표시 장치의 음향 출력 방법과 시스템 및 이에이용되는 이동통신 단말기
KR101982152B1 (ko) 방송 수신 장치에서 방송 서비스와 연동되어 부가 서비스를 제공하는 오브젝트를 처리하는 방법 및 이를 위한 장치
US20090013346A1 (en) Method for restricting viewing access to broadcast program and broadcast receiving apparatus using the same
KR101218466B1 (ko) 디지털 멀티미디어 방송 수신 장치 및 디지털 멀티미디어방송 수신 장치에서 디지털 멀티미디어 방송 채널 정보제공 방법
JP5271582B2 (ja) コンテンツデータ処理装置およびコンテンツデータ処理方法ならびにコンテンツデータ共有システム
JP2009212961A (ja) 情報提供システム、情報通信端末、情報提供装置、及び情報提供方法
JP2003124827A (ja) 放送受信装置
CN116916075A (zh) 一种显示设备以及声道信息的确定方法
KR20070076015A (ko) 디지털 방송 데이터 출력중 프로관련 정보를 검색하는 방법및 그를 위한 장치를 갖는 이동통신단말기

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120814

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120822

R150 Certificate of patent or registration of utility model

Ref document number: 5073591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350