JP2009020390A - 表示システム、表示装置および表示方法 - Google Patents

表示システム、表示装置および表示方法 Download PDF

Info

Publication number
JP2009020390A
JP2009020390A JP2007184101A JP2007184101A JP2009020390A JP 2009020390 A JP2009020390 A JP 2009020390A JP 2007184101 A JP2007184101 A JP 2007184101A JP 2007184101 A JP2007184101 A JP 2007184101A JP 2009020390 A JP2009020390 A JP 2009020390A
Authority
JP
Japan
Prior art keywords
image
information
connection
individual
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007184101A
Other languages
English (en)
Other versions
JP4407841B2 (ja
Inventor
Hiroyuki Ichieda
博行 市枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007184101A priority Critical patent/JP4407841B2/ja
Priority to US12/168,031 priority patent/US8384660B2/en
Publication of JP2009020390A publication Critical patent/JP2009020390A/ja
Application granted granted Critical
Publication of JP4407841B2 publication Critical patent/JP4407841B2/ja
Priority to US13/740,933 priority patent/US8760399B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0272Details of the structure or mounting of specific components for a projector or beamer module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/62Details of telephonic subscriber devices user interface aspects of conference calls

Abstract

【課題】容易かつセキュリティーの確保された接続を行うことができ、かつ、どの領域に画像が表示されるかを提示することが可能な表示システム等を提供すること。
【解決手段】プロジェクタ100が、複数の個別領域に区分された区分画像を生成する画像生成部114と、前記区分画像を表示する投写部130と、携帯電話200から画像情報および接続要求情報を受信する通信部190と、前記接続要求情報に基づき、接続を許可するかどうかを決定する判定部112とを含み、前記区分画像が、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、携帯電話200がプロジェクタ100に接続するための接続情報を示す個別接続画像を含み、携帯電話200が、前記個別接続画像を撮像して接続要求情報を生成する。
【選択図】図2

Description

本発明は、表示システム、表示装置および表示方法に関する。
近年、ネットワークを介してPC(Personal Computer)等の画像供給装置からプロジェクタ等の表示装置に画像情報を供給して画像を表示する場合も増えてきている。例えば、特開2004−133354号公報では、表示装置が、1画像を複数の領域に区分して各領域に複数の端末からの画像情報に基づく画像を表示することが記載されている。
しかし、特開2004−133354号公報の手法では、端末ごとにコネクションを確立し、端末ごとに送信要求、送信停止要求を行う必要がある。また、一般的にネットワーク接続を行う場合、セキュリティーを確保するため、パスワードやESSID(Extended Service Set Identifier)等の識別情報を用いて接続を確立する必要がある。このような場合、ユーザーは、識別情報を入力しなければならず、プレゼンテーションや会議が行われる場合のように、不特定多数の画像供給装置が表示装置に接続される場合には多大な手間がかかり、実用的ではない。
このような接続の制限や接続の手間の問題を解決する手法として、例えば、特開2002−351763号公報の手法のように、各端末が表示された2次元バーコード等をペンスキャナやCCDカメラ等で読み取ることによって接続を確立する手法が考えられる。また、特開2004−133354号公報の手法および特開2002−351763号公報の手法を組み合わせることにより、各端末が2次元バーコードを撮像して表示装置に接続し、表示装置が各端末からの画像情報に基づく画像を、1つの画像内の各端末に割り当てた個別の領域に表示する手法が考えられる。
特開2004−133354号公報 特開2002−351763号公報
しかし、この手法の場合、表示装置によって内部的に個別の領域が割り当てられるため、どの端末がどの領域に割り当てられるのかユーザーが把握することは困難である。また、この手法の場合、使用状況に応じてユーザーが所望の領域に所望の端末の画像を表示することも困難である。
本発明の目的は、少なくとも1台の画像供給装置と表示装置とが接続されて1つの画像内の複数の領域のいずれかに画像供給装置からの画像が表示される際に、容易かつセキュリティーの確保された接続を行うことができ、かつ、どの領域に画像が表示されるかを提示することが可能な表示システム、表示装置および表示方法を提供することにある。
上記課題を解決するため、本発明に係る表示システムは、少なくとも1台の画像供給装置と、当該少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置とを含む表示システムにおいて、前記表示装置は、複数の個別領域に区分された区分画像を生成する画像生成部と、前記区分画像を表示する表示部と、前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、前記接続要求情報に基づき、接続を許可するかどうかを決定する判定部と、を含み、前記区分画像は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含み、前記画像供給装置は、前記区分画像における前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成する撮像部と、当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成する情報生成部と、前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、を含み、前記画像生成部は、前記判定部によって前記接続要求情報の送信元の前記画像供給装置との接続が許可された場合、前記個別領域に当該画像供給装置からの前記画像情報に基づく前記受信画像を含む前記区分画像を生成することを特徴とする。
また、本発明に係る表示装置は、少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置において、複数の個別領域に区分された区分画像を生成する画像生成部と、前記区分画像を表示する表示部と、前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、前記接続要求情報に基づき、接続を許可するかどうかを決定する判定部と、を含み、前記区分画像は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含み、前記画像供給装置は、前記区分画像における前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成する撮像部と、当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成する情報生成部と、前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、を含み、前記画像生成部は、前記判定部によって前記接続要求情報の送信元の前記画像供給装置との接続が許可された場合、前記個別領域に当該画像供給装置からの前記画像情報に基づく前記受信画像を含む前記区分画像を生成することを特徴とする。
また、本発明に係る表示方法は、少なくとも1台の画像供給装置と、当該少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置とを用いた表示方法において、前記表示装置は、複数の個別領域に区分された区分画像を生成する画像生成部と、前記区分画像を表示する表示部と、前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、を含み、前記画像供給装置は、撮像部と、情報生成部と、前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、を含み、前記画像生成部は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含む前記区分画像を生成し、前記表示部は、当該区分画像を表示し、前記撮像部は、前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成し、前記情報生成部は、当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成し、前記送信部は、前記接続要求情報を前記表示装置へ向け送信し、前記受信部は、前記接続要求情報を受信し、前記情報生成部は、前記画像情報を生成し、前記送信部は、前記画像情報を前記表示装置へ向け送信し、前記受信部は、前記画像情報を受信し、前記画像生成部は、前記個別領域に前記画像情報に基づく前記受信画像を含む前記区分画像を生成し、前記表示部は、当該区分画像を表示することを特徴とする。
本発明によれば、表示システム等は、接続情報を撮像することによって接続要求情報を生成し、当該接続要求情報を送受信することにより、容易かつセキュリティーの確保された接続を行うことができる。また、本発明によれば、表示システム等は、個別領域と対応付けられた領域に個別接続画像を表示することにより、どの領域に画像が表示されるかをわかりやすく提示することができる。
また、前記画像生成部は、前記個別接続画像として、前記接続情報と、当該個別接続画像と対応付けられた前記個別領域を示す領域情報とを含む画像を生成し、前記情報生成部は、前記撮像情報に含まれる前記接続情報および前記領域情報に基づき、前記接続要求情報として、前記接続要求および前記個別領域を示す情報を生成してもよい。
これによれば、表示システム等は、接続要求情報に個別領域を示す情報が含まれるため、どの個別領域への表示要求であるかを判定することができる。
また、前記画像生成部は、前記接続要求情報に含まれる前記個別領域を示す情報に基づき、当該個別領域に当該接続要求情報の送信元の前記画像供給装置からの前記画像情報に基づく前記受信画像を生成してもよい。
これによれば、表示システム等は、要求に応じた個別領域に送信元の画像供給装置からの画像情報に基づく受信画像を表示することができる。
また、前記個別領域が使用中かどうかを示す領域管理データを更新する更新部を含み、前記判定部は、前記接続要求情報と、前記領域管理データとに基づき、前記接続要求情報で示される前記個別領域が使用中でない場合に当該接続要求情報の送信元の前記画像供給装置との接続を許可し、当該個別領域が使用中である場合に当該画像供給装置との接続を拒否してもよい。
これによれば、表示システム等は、複数の個別領域に画像を表示する場合であっても、領域管理データを用いて適切に表示の制御を行うことができる。
また、前記区分画像は、それぞれ異なる個別領域と対応付けられた複数の前記個別接続画像を含み、前記画像生成部は、前記区分画像として、複数の前記個別接続画像のうち、所望の個別接続画像を他の個別接続画像とは異なる表示方式で示す画像を生成し、前記画像供給装置は、前記撮像情報に基づき、前記所望の個別接続画像を識別することにより、当該個別接続画像で示される前記接続情報を識別する識別部を含み、前記情報生成部は、当該識別部によって識別された前記接続情報に基づき、前記接続要求情報を生成してもよい。
これによれば、表示システム等は、複数の個別接続画像を表示することによって撮像画像に複数の個別接続画像が含まれる場合であっても、所望の接続情報を識別することにより、所望の個別領域に画像を表示することができる。
また、前記区分画像は、それぞれ異なる個別領域と対応付けられた複数の前記個別接続画像を含み、前記画像供給装置は、前記撮像情報に基づき、指示光投射部による指示光の投射された個別接続画像を識別することにより、当該個別接続画像で示される前記接続情報を識別する識別部を含み、前記情報生成部は、当該識別部によって識別された前記接続情報に基づき、前記接続要求情報を生成してもよい。
これによれば、表示システム等は、複数の個別接続画像を表示することによって撮像画像に複数の個別接続画像が含まれる場合であっても、所望の接続情報を識別することにより、所望の個別領域に画像を表示することができる。特に、これによれば、ユーザーが、自分の所望の個別領域を指示光で指示することができる。
また、前記画像情報は、画像の解像度を示す解像度情報と、画像の内容を示すコンテンツ情報とを含み、前記画像生成部は、前記解像度情報と、前記コンテンツ情報とに基づき、前記個別領域の解像度に適合した解像度に調整した前記受信画像を前記個別領域に生成してもよい。
これによれば、表示システム等は、個別領域の解像度と受信した画像の解像度とが異なっている場合であっても、適切な解像度で受信画像を表示することができる。
以下、本発明を表示システムに適用した実施例について、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
(第1の実施例)
図1は、第1の実施例における表示システム10の全体図である。表示システム10は、表示装置の一種であるプロジェクタ100と、画像供給装置の一種である携帯電話200とを含んで構成されている。プロジェクタ100は、複数の携帯電話200−1〜200−4と無線通信路(有線通信路でもよい。)を介して接続を確立することが可能であり、少なくとも1台の携帯電話200からの画像情報に基づいてスクリーン20に画像30を投写する。例えば、会議が行われる場合、4人の参加者がそれぞれ携帯電話200を用いて画像情報をプロジェクタ100に送信して画像30を投写する。
次に、表示システム10を構成するプロジェクタ100および携帯電話200の機能ブロックについて説明する。図2は、第1の実施例における表示システム10の機能ブロック図である。
携帯電話200は、スクリーン20に投写された画像30の少なくとも一部を撮像して撮像情報を生成する撮像部240と、撮像情報に含まれる所定の情報を識別する識別部250と、接続要求情報、画像情報等を生成する情報生成部210と、プロジェクタ100と種々の情報を送受信する通信部(送信部)290とを含んで構成されている。また、携帯電話200は、表示対象の画像データ222等を記憶する記憶部220と、操作部230と、表示部260とを含んで構成されている。
また、プロジェクタ100は、種々の処理を実行する処理部110と、種々のデータやプログラムを記憶する記憶部120と、種々の画像を投写する投写部(表示部)130と、操作部140と、携帯電話200と種々の情報を送受信する通信部(受信部)190とを含んで構成されている。
また、処理部110は、種々の判定を行う判定部112と、種々の画像を生成する画像生成部114と、記憶部120内のデータを更新する更新部116とを含んで構成されている。また、記憶部120は、接続情報の一種である2次元コードのデータ等を示す画像データ122、後述する区分画像の個別領域を管理するための領域管理データ124等を記憶している。
なお、これらの各部の機能を実装するためのハードウェアとしては、例えば、以下のハードウェアが採用されてもよい。例えば、操作部140、230としてはボタン等、通信部190、290としては無線通信ユニット等、処理部110、情報生成部210、識別部250としてはCPU、画像処理回路等、記憶部120、220としてはRAM等、投写部130としては液晶パネル、ランプ、レンズ等、表示部260としては液晶ディスプレイ等が採用されてもよい。
次に、これらの各部を用いた接続時の処理の流れについて説明する。図3は、第1の実施例における接続時の処理の流れを示すフローチャートである。画像生成部114は、ユーザーの表示指示による操作部140からの操作情報に応じて、画像データ122、領域管理データ124に基づき、複数の個別領域に区分された区分画像を生成し(ステップP1)、投写部130は、区分画像を投写する(ステップP2)。
図4は、第1の実施例における個別接続画像320を含む区分画像300の一例を示す図である。区分画像300は、4つの個別領域310−1〜310−4を含む。各個別領域310には個別接続画像320が表示される。個別接続画像320は、携帯電話200がプロジェクタ100に接続するための接続情報(例えば、IPアドレス等の接続先を示す情報、パスワード等の認証情報等)と、当該個別接続画像320と対応付けられた個別領域310を示す領域情報が2次元コード化された画像である。なお、この2次元コード化された画像は画像データ122の一部として記憶部120に記憶されている。
また、区分画像300は、所望の個別接続画像320を示す枠画像330を含む。例えば、図4に示す例では、左上にある個別接続画像320−1が枠画像330によって太い黒枠で囲まれている。
いずれかの携帯電話200のユーザーは、操作部230を操作してスクリーン20に投写された区分画像300のうち、少なくとも1つの個別領域310を含む領域を撮像する(ステップT1)。具体的には、撮像部240は、操作部230からの撮像指示情報に応じて撮像し、撮像情報を生成する。
図5は、第1の実施例における撮像画像400の一例を示す図である。例えば、図5に示す撮像画像400には、個別領域310−1、310−3の全体と、個別領域310−2、310−4の一部が含まれている。
識別部250は、撮像部240からの撮像情報に基づき、所望の個別接続画像320−1を識別する(ステップT2)。例えば、図5に示す例では、識別部250は、エッジ検出等の手法を用いて枠画像330の黒枠を検出し、当該黒枠内の個別接続画像320−1を識別する。
情報生成部210は、識別部250からの識別情報(個別接続画像320−1を示す情報)に基づき、接続要求情報を生成する(ステップT3)。具体的には、例えば、情報生成部210は、2次元コード化された個別接続画像320−1を、一般的な変換アルゴリズムを用いて元の接続情報および領域情報に変換し、接続先のプロジェクタ100を示す接続情報と、表示対象領域を示す領域情報と、送信元の携帯電話200を示す情報を含む接続要求情報を生成する。
通信部290は、情報生成部210からの接続要求情報をプロジェクタ100へ向け送信する(ステップT4)。通信部190は、当該接続要求情報を受信したかどうかを判定する(ステップP3)。
判定部112は、当該接続要求情報が受信された場合、接続要求情報と、領域管理データ124に基づき、接続を許可するかどうかを決定する(ステップP4)。なお、領域管理データ124は、各個別領域310−1〜310−4がいずれかの携帯電話200に割り当てられているかどうか(使用中かどうか)を示すデータである。例えば、初期状態では、各個別領域310はいずれも携帯電話200に割り当てられていないため、接続は許可される。
接続が許可された場合、更新部116は、接続要求情報に基づき、領域管理データ124を更新する(ステップP5)。例えば、接続要求情報に含まれる領域情報が個別領域310−1を示し、送信元の携帯電話200を示す情報が携帯電話200−1を示す場合、更新部116は、領域管理データ124における個別領域310−1が携帯電話200−1(携帯電話200のIPアドレス等であってもよい。)に割り当てられていることを示すように、領域管理データ124を更新する。そして、通信部190は、接続要求情報に含まれる送信元の携帯電話200を示す情報に基づき、送信元の携帯電話200との接続を確立する(ステップP6)。
一方、接続が許可されなかった場合、通信部190は、接続できないことを示す情報を、接続要求情報の送信元の携帯電話200へ向け送信する(ステップP7)。通信部290は、当該情報を受信したかどうかを判定し(ステップT5)、当該情報を受信した場合は接続要求情報の送信を停止する。また、この場合、情報生成部210は、通信部290によって受信された当該情報に基づき、画像情報を生成し、表示部260は、当該画像情報に基づき、「他の携帯電話によって使用されているため、接続できません。」といった文字列を示す画像を表示する(ステップT6)。
プロジェクタ100および携帯電話200は以上の手順を繰り返すことにより、個別領域310分の接続を確立する。なお、この場合、画像生成部114は、領域管理データ124に基づき、未接続の個別領域310があると判断した場合、枠画像330を未接続の個別領域310に移動させた区分画像300を生成する。
次に、受信画像投写時の処理の流れについて説明する。図6は、第1の実施例における受信画像投写時の処理の流れを示すフローチャートである。
プロジェクタ100と接続を確立した携帯電話200の情報生成部210は、接続情報と、画像データ222に基づき、画像情報を生成する(ステップT11)。なお、画像データ222は、静止画像データであってもよいし、動画像データであってもよい。
通信部290は、情報生成部210からの画像情報をプロジェクタ100へ向け送信する(ステップT12)。なお、画像情報には、例えば、画像の内容を示すコンテンツ情報、送信先情報、送信元情報が含まれる。
通信部190は、携帯電話200からの画像情報を受信する(ステップP11)。判定部112は、画像情報と、領域管理データ124に基づき、当該画像情報の送信元の携帯電話200が適切な携帯電話200であることを判定し、当該携帯電話200に割り当てられた個別領域310を決定する(ステップP12)。
画像生成部114は、決定された個別領域310に携帯電話200からのコンテンツ情報に基づく受信画像を表示する区分画像を生成し(ステップP13)、投写部130は、当該区分画像を投写する(ステップP14)。
図7は、第1の実施例における受信画像340を含む区分画像301の一例を示す図である。例えば、図7に示すように、接続が確立された携帯電話200−1に個別領域310−1が割り当てられている場合、個別領域310−1に携帯電話200−1からの画像情報に基づく受信画像340が表示される。プロジェクタ100および携帯電話200は、以上の手順を繰り返すことにより、4つの個別領域310のすべてに受信画像340を表示することができる。
以上のように、本実施例によれば、表示システム10は、個別接続画像320を撮像することによって接続要求情報を生成し、当該接続要求情報を送受信することにより、容易かつセキュリティーの確保された接続を行うことができる。また、本実施例によれば、表示システム10は、個別領域310内に個別接続画像320を表示することにより、どの領域に画像が表示されるかをわかりやすく提示することができる。
また、本実施例によれば、表示システム10は、各個別領域310と各携帯電話200とを対応付けることにより、各個別領域310に受信画像340を表示することができる。また、本実施例によれば、表示システム10は、領域管理データ124を用いることにより、複数の個別領域310に画像を表示する場合であっても適切に表示の制御を行うことができる。
さらに、本実施例によれば、表示システム10は、複数の個別接続画像320を表示することによって撮像画像400に複数の個別接続画像320が含まれる場合であっても、所望の接続情報を識別することにより、所望の個別領域310に画像を表示することができる。例えば、携帯電話200の画面に枠画像を表示して1つの個別接続画像320が枠に入るように撮像させる手法も考えられるが、このような手法は、携帯電話200の位置、方向、カメラのズーム等を調整する必要があり、非常に手間のかかる作業である。これに対し、本実施例の手法によれば、撮像画像400に複数の個別接続画像320が含まれても構わないため、ユーザーの手間を軽減することができる。
(第2の実施例)
次に、指示光を用いて所望の個別領域310を指示する実施例について説明する。図8は、第2の実施例における表示システムの全体図である。ユーザーは、指示光投射部の一種であるレーザーポインター40を用いてスクリーン20に指示光50を投射することができる。
図9は、第2の実施例における個別接続画像320を含む区分画像302の一例を示す図である。例えば、図9に示す例では、スクリーン20に投写された区分画像302のうち、個別領域310−1内にレーザーポインター40によって指示光50が投射されている。
図10は、第2の実施例における撮像画像401の一例を示す図である。この場合、撮像画像401においても、個別領域310−1内に指示光50が含まれている。一般的に、区分画像302の輝度値よりは指示光50の輝度値のほうが高い。このため、識別部250は、撮像画像401の輝度分布を識別し、高輝度の領域を検出することによって指示光50を識別することができる。さらに、識別部250は、撮像画像401内の指示光50に最も近い個別接続画像320を所望の個別接続画像320として識別する。以上の手順により、個別接続画像320は、第1の実施例と同様に、所望の個別接続画像320を識別することができる。
これにより、表示システム10は、第2の実施例の手法を用いた場合であっても第1の実施例と同様の作用効果を奏する。さらに、本実施例によれば、表示システム10は、指示光50を用いることにより、ユーザーの所望する個別領域310に受信画像340を表示することができる。
特に、本実施例によれば、複数のユーザーがプロジェクタ100と複数の携帯電話200を用いて会議等を行う場合に、ユーザーは、自分の所望する個別領域310を他のユーザーにも視覚的に分かる方法で指示して受信画像340を表示させることができるため、他のユーザーと競合して個別領域310を使用することもなく、効率的に会議等を行うことができる。
(第3の実施例)
第1および第2の実施例では、個別領域310内に個別接続画像320が表示されていたが、個別領域310と個別接続画像320との対応がわかればよく、個別領域310外に個別接続画像320が表示されてもよい。
図11は、第3の実施例における個別接続画像321を含む区分画像303の一例を示す図である。図11に示す例では、区分画像303の左上、右上、左下、右下に大きさの異なる4つの個別領域311−1〜311−4が配置され、区分画像303の右下部分の左上、右上、左下、右下に4つの個別接続画像321−1〜321−4が配置され、個別接続画像321―1に枠画像331が配置されている。なお、個別接続画像321−1〜321−4は、それぞれ個別領域311−1〜311−4の領域情報を示す。
この場合、ユーザーは、区分画像303の右下部分を、携帯電話200を用いて撮像することにより、撮像画像400を得ることができる。また、携帯電話200から送信される接続要求情報は、個別領域311−1〜311−4のいずれかの領域情報を示すものであるため、プロジェクタ100は、どの領域への接続要求であるかを判定することができる。
このように、表示システム10は、第3の実施例の手法によっても、第1の実施例と同様の作用効果を奏する。特に、本実施例によれば、個別接続画像321を表示したまま、個別領域311に表示される画像を更新することができるため、より効率的に区分画像303を更新することができる。
(その他の実施例)
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、携帯電話200がプロジェクタ100に送信する画像情報には、画像の解像度を示す解像度情報が含まれてもよい。これによれば、図11に示すように、個別領域311の大きさが一定ではない場合であっても、画像生成部114は、解像度情報に基づき、個別領域311の解像度に合わせてコンテンツ情報を調整することにより、適切な解像度で受信画像340を表示することができる。
また、個別接続画像320に含まれる接続情報に個別領域310の解像度を示す情報が含まれていてもよく、情報生成部210が、識別部250によって識別された当該解像度を示す情報に基づいて画像データ222の解像度を調整して画像情報を生成してもよい。これによれば、プロジェクタ100は、当該画像情報の解像度を調整することなく、適切な解像度で受信画像340を表示することができる。
また、個別接続画像320は、2次元バーコードには限定されず、接続情報に変換可能な画像、文字列等の種々の情報を採用可能である。また、個別接続画像320を生成するための画像データ122は画像生成部114によって動的に生成されてもよい。
また、所望の個別接続画像320を指示する手法は、枠画像330を用いる手法、レーザー光を用いる手法には限定されず、例えば、所望の個別接続画像320の色、明るさ、形状等を他の個別接続画像320とは変えて表示する手法、赤外光で指示する手法等が採用されてもよい。また、撮像画像400に複数の個別接続画像320が含まれる場合に、撮像画像400において所望の個別接続画像320を選択する手法が採用されてもよい。
また、個別領域310と携帯電話200との対応は1:1であってもよいし、1つの携帯電話200に対して複数の個別領域310が割り当てられてもよい。また、個別領域310の個数は4には限定されず、1〜3であってもよいし、5以上であってもよい。また、表示装置の台数は1台には限定されない。例えば、2台のプロジェクタ100が並列投写する場合であっても本発明を適用可能である。また、画像供給装置の台数は4台には限定されず、1〜3台であってもよいし、5台以上であってもよい。
また、画像供給装置は、携帯電話200には限定されず、例えば、PC、携帯型端末、DVDプレーヤー、セットトップボックス、ゲーム装置、デジタルカメラ、デジタルビデオカメラ等の画像情報を出力可能な種々の装置を採用可能である。また、表示装置は、プロジェクタ100には限定されず、例えば、テレビ、液晶モニター、携帯電話等の画像を表示可能な種々の装置を採用可能である。
また、プロジェクタ100は、液晶プロジェクタには限定されず、例えば、DMD(Digital Micromirror Device)を用いたプロジェクタ等であってもよい。なお、DMDは米国テキサス・インスツルメンツ社の商標である。また、プロジェクタ100の機能を複数の装置(例えば、PCとプロジェクタ等)に分散して実装してもよい。
また、上述した実施例では、ユーザーが撮像および指示を行っているが、自動的に撮像および指示を行ってもよい。例えば、デジタルカメラが一定時間ごとにスクリーン20を撮像してもよく、指示光を投射する指示光投射部が、一定時間ごとに投射方向を変更することにより、スクリーン20上の指示光50の位置を一定時間ごとに変更してもよい。また、画像供給装置は、指示光投射部を内蔵してもよい。また、画像供給装置の機能は複数の装置(例えば、デジタルカメラとPC等)に分散して実装されてもよく、表示装置の機能も複数の装置(例えば、PCと液晶モニター等)に分散して実装されてもよい。
第1の実施例における表示システムの全体図である。 第1の実施例における表示システムの機能ブロック図である。 第1の実施例における接続時の処理の流れを示すフローチャートである。 第1の実施例における個別接続画像を含む区分画像の一例を示す図である。 第1の実施例における撮像画像の一例を示す図である。 第1の実施例における受信画像投写時の処理の流れを示すフローチャートである。 第1の実施例における受信画像を含む区分画像の一例を示す図である。 第2の実施例における表示システムの全体図である。 第2の実施例における個別接続画像を含む区分画像の一例を示す図である。 第2の実施例における撮像画像の一例を示す図である。 第3の実施例における個別接続画像を含む区分画像の一例を示す図である。
符号の説明
10 表示システム、20 スクリーン、30 画像、40 レーザーポインター、50 指示光、100 プロジェクタ、110 処理部、112 判定部、114 画像生成部、116 更新部、120 記憶部、122 画像データ、124 領域管理データ、130 投写部(表示部)、140 操作部、190 通信部(受信部)、200 携帯電話、210 情報生成部、220 記憶部、222 画像データ、230 操作部、240 撮像部、250 識別部、260 表示部、290 通信部(送信部)、300〜303 区分画像、310 個別領域、320 個別接続画像、330 枠画像、340 受信画像、400、401 撮像画像

Claims (9)

  1. 少なくとも1台の画像供給装置と、当該少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置とを含む表示システムにおいて、
    前記表示装置は、
    複数の個別領域に区分された区分画像を生成する画像生成部と、
    前記区分画像を表示する表示部と、
    前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、
    前記接続要求情報に基づき、接続を許可するかどうかを決定する判定部と、
    を含み、
    前記区分画像は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含み、
    前記画像供給装置は、
    前記区分画像における前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成する撮像部と、
    当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成する情報生成部と、
    前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、
    を含み、
    前記画像生成部は、前記判定部によって前記接続要求情報の送信元の前記画像供給装置との接続が許可された場合、前記個別領域に当該画像供給装置からの前記画像情報に基づく前記受信画像を含む前記区分画像を生成することを特徴とする表示システム。
  2. 請求項1に記載の表示システムにおいて、
    前記画像生成部は、前記個別接続画像として、前記接続情報と、当該個別接続画像と対応付けられた前記個別領域を示す領域情報とを含む画像を生成し、
    前記情報生成部は、前記撮像情報に含まれる前記接続情報および前記領域情報に基づき、前記接続要求情報として、前記接続要求および前記個別領域を示す情報を生成することを特徴とする表示システム。
  3. 請求項2に記載の表示システムにおいて、
    前記画像生成部は、前記接続要求情報に含まれる前記個別領域を示す情報に基づき、当該個別領域に当該接続要求情報の送信元の前記画像供給装置からの前記画像情報に基づく前記受信画像を生成することを特徴とする表示システム。
  4. 請求項2、3のいずれかに記載の表示システムにおいて、
    前記個別領域が使用中かどうかを示す領域管理データを更新する更新部を含み、
    前記判定部は、前記接続要求情報と、前記領域管理データとに基づき、前記接続要求情報で示される前記個別領域が使用中でない場合に当該接続要求情報の送信元の前記画像供給装置との接続を許可し、当該個別領域が使用中である場合に当該画像供給装置との接続を拒否することを特徴とする表示システム。
  5. 請求項1〜4のいずれかに記載の表示システムにおいて、
    前記区分画像は、それぞれ異なる個別領域と対応付けられた複数の前記個別接続画像を含み、
    前記画像生成部は、前記区分画像として、複数の前記個別接続画像のうち、所望の個別接続画像を他の個別接続画像とは異なる表示方式で示す画像を生成し、
    前記画像供給装置は、前記撮像情報に基づき、前記所望の個別接続画像を識別することにより、当該個別接続画像で示される前記接続情報を識別する識別部を含み、
    前記情報生成部は、当該識別部によって識別された前記接続情報に基づき、前記接続要求情報を生成することを特徴とする表示システム。
  6. 請求項1〜4のいずれかに記載の表示システムにおいて、
    前記区分画像は、それぞれ異なる個別領域と対応付けられた複数の前記個別接続画像を含み、
    前記画像供給装置は、前記撮像情報に基づき、指示光投射部による指示光の投射された個別接続画像を識別することにより、当該個別接続画像で示される前記接続情報を識別する識別部を含み、
    前記情報生成部は、当該識別部によって識別された前記接続情報に基づき、前記接続要求情報を生成することを特徴とする表示システム。
  7. 請求項1〜6のいずれかに記載の表示システムにおいて、
    前記画像情報は、画像の解像度を示す解像度情報と、画像の内容を示すコンテンツ情報とを含み、
    前記画像生成部は、前記解像度情報と、前記コンテンツ情報とに基づき、前記個別領域の解像度に適合した解像度に調整した前記受信画像を前記個別領域に生成することを特徴とする表示システム。
  8. 少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置において、
    複数の個別領域に区分された区分画像を生成する画像生成部と、
    前記区分画像を表示する表示部と、
    前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、
    前記接続要求情報に基づき、接続を許可するかどうかを決定する判定部と、
    を含み、
    前記区分画像は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含み、
    前記画像供給装置は、
    前記区分画像における前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成する撮像部と、
    当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成する情報生成部と、
    前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、
    を含み、
    前記画像生成部は、前記判定部によって前記接続要求情報の送信元の前記画像供給装置との接続が許可された場合、前記個別領域に当該画像供給装置からの前記画像情報に基づく前記受信画像を含む前記区分画像を生成することを特徴とする表示装置。
  9. 少なくとも1台の画像供給装置と、当該少なくとも1台の画像供給装置からネットワークを介して送信される画像情報に基づく受信画像を表示する表示装置とを用いた表示方法において、
    前記表示装置は、
    複数の個別領域に区分された区分画像を生成する画像生成部と、
    前記区分画像を表示する表示部と、
    前記画像供給装置から前記画像情報および接続要求情報を受信する受信部と、
    を含み、
    前記画像供給装置は、
    撮像部と、
    情報生成部と、
    前記接続要求情報および前記画像情報を前記表示装置へ向け送信する送信部と、
    を含み、
    前記画像生成部は、前記複数の個別領域のうちのいずれかの個別領域と対応付けられた領域に、前記画像供給装置が前記表示装置に接続するための接続情報を示す個別接続画像を含む前記区分画像を生成し、
    前記表示部は、当該区分画像を表示し、
    前記撮像部は、前記個別領域と対応付けられた領域を含む領域を撮像して撮像情報を生成し、
    前記情報生成部は、当該撮像情報に含まれる前記接続情報に基づき、前記表示装置への接続要求を示す前記接続要求情報を生成し、
    前記送信部は、前記接続要求情報を前記表示装置へ向け送信し、
    前記受信部は、前記接続要求情報を受信し、
    前記情報生成部は、前記画像情報を生成し、
    前記送信部は、前記画像情報を前記表示装置へ向け送信し、
    前記受信部は、前記画像情報を受信し、
    前記画像生成部は、前記個別領域に前記画像情報に基づく前記受信画像を含む前記区分画像を生成し、
    前記表示部は、当該区分画像を表示することを特徴とする表示方法。
JP2007184101A 2007-07-13 2007-07-13 表示システムおよび表示装置 Expired - Fee Related JP4407841B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007184101A JP4407841B2 (ja) 2007-07-13 2007-07-13 表示システムおよび表示装置
US12/168,031 US8384660B2 (en) 2007-07-13 2008-07-03 Display system, display device and display method
US13/740,933 US8760399B2 (en) 2007-07-13 2013-01-14 Display system, display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007184101A JP4407841B2 (ja) 2007-07-13 2007-07-13 表示システムおよび表示装置

Publications (2)

Publication Number Publication Date
JP2009020390A true JP2009020390A (ja) 2009-01-29
JP4407841B2 JP4407841B2 (ja) 2010-02-03

Family

ID=40252681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007184101A Expired - Fee Related JP4407841B2 (ja) 2007-07-13 2007-07-13 表示システムおよび表示装置

Country Status (2)

Country Link
US (2) US8384660B2 (ja)
JP (1) JP4407841B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122962A1 (ja) * 2009-04-20 2010-10-28 シャープ株式会社 情報表示装置および情報表示方法
JP2011126064A (ja) * 2009-12-16 2011-06-30 Seiko Epson Corp 表示システム、および表示システムの制御方法、プロジェクター
WO2016152043A1 (ja) * 2015-03-24 2016-09-29 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP2018093258A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 表示システム、投影型表示装置の制御装置及び方法
JP2019207349A (ja) * 2018-05-30 2019-12-05 シャープ株式会社 表示装置及び表示方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270420B2 (en) * 2009-04-24 2016-02-23 Samsung Electronics Co., Ltd. Data communication using 2D bar codes
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
JP2012065246A (ja) * 2010-09-17 2012-03-29 Sony Corp 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20130123506A (ko) * 2012-05-03 2013-11-13 삼성전자주식회사 모듈 식별 정보 운용 방법 및 시스템과 이를 지원하는 단말기
WO2014114930A1 (en) * 2013-01-22 2014-07-31 Mimio Llc Two-dimensional code-driven method and system for synchronizing wireless devices with a computing device
US20140244720A1 (en) * 2013-02-28 2014-08-28 Ricoh Company, Ltd. Electronic Information Collaboration System
US20140245185A1 (en) * 2013-02-28 2014-08-28 Ricoh Company, Ltd. Electronic Information Collaboration System
US9641570B2 (en) * 2013-02-28 2017-05-02 Ricoh Company, Ltd. Electronic information collaboration system
US20140281855A1 (en) * 2013-03-14 2014-09-18 Research In Motion Limited Displaying information in a presentation mode
US11064338B2 (en) * 2019-06-27 2021-07-13 Johnson Controls Fire Protection LP Heads up mass notification
JP2021111855A (ja) * 2020-01-08 2021-08-02 東芝テック株式会社 画像形成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351763A (ja) 2001-05-22 2002-12-06 Nihon Densan Kk 通信システム、携帯型端末装置、コード読取装置、中央装置、及びコンピュータプログラム
JP2004133354A (ja) 2002-10-15 2004-04-30 Seiko Epson Corp 画像表示システム、画像表示装置、画像データ出力装置、画像表示方法、画像表示プログラムおよび画像データ出力プログラム
US7121469B2 (en) * 2002-11-26 2006-10-17 International Business Machines Corporation System and method for selective processing of digital images
JP2004221908A (ja) 2003-01-14 2004-08-05 Sanyo Electric Co Ltd 表示制御方法とこの方法を利用可能な撮影画像出力システム、表示制御装置、液晶プロジェクタ、およびデジタルカメラ
KR101084908B1 (ko) * 2004-03-10 2011-11-17 파나소닉 주식회사 화상전송 시스템 및 화상전송 방법
ZA200609580B (en) * 2004-05-17 2009-10-28 Dexrad Pty Ltd Method and system for creating an identification document
JP5037061B2 (ja) 2005-10-28 2012-09-26 シャープ株式会社 画像出力装置、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法
JP2007312179A (ja) 2006-05-19 2007-11-29 Seiko Epson Corp 画像表示システム、当該画像表示システムの画像表示装置、携帯端末装置、および画像表示システムにおける接続確立方法
JP4274217B2 (ja) * 2006-09-21 2009-06-03 セイコーエプソン株式会社 画像表示装置、画像表示システム、及びネットワーク接続方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122962A1 (ja) * 2009-04-20 2010-10-28 シャープ株式会社 情報表示装置および情報表示方法
JP2010250236A (ja) * 2009-04-20 2010-11-04 Sharp Corp 情報表示装置および情報表示方法
US8878834B2 (en) 2009-04-20 2014-11-04 Sharp Kabushiki Kaisha Image display device with mobile communication device detection and identification
JP2011126064A (ja) * 2009-12-16 2011-06-30 Seiko Epson Corp 表示システム、および表示システムの制御方法、プロジェクター
WO2016152043A1 (ja) * 2015-03-24 2016-09-29 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP2016181824A (ja) * 2015-03-24 2016-10-13 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP2018093258A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 表示システム、投影型表示装置の制御装置及び方法
JP2019207349A (ja) * 2018-05-30 2019-12-05 シャープ株式会社 表示装置及び表示方法

Also Published As

Publication number Publication date
US20090015515A1 (en) 2009-01-15
US20130151582A1 (en) 2013-06-13
JP4407841B2 (ja) 2010-02-03
US8384660B2 (en) 2013-02-26
US8760399B2 (en) 2014-06-24

Similar Documents

Publication Publication Date Title
JP4407841B2 (ja) 表示システムおよび表示装置
JP5263474B2 (ja) 識別システム、プロジェクタ、プログラムおよび識別方法
US7463216B2 (en) Captured image outputting system, display control apparatus, liquid crystal projector and digital camera that transmit images via wireless network
US9002947B2 (en) Display device, terminal device, display system, display method, and image alteration method
US20060098174A1 (en) Image output apparatus and control method thereof, and image output system
US10303419B2 (en) Information processing system, display processing apparatus, display processing method, and recording medium
JP2014063399A (ja) 情報処理システム、情報処理方法、端末装置及びプログラム
US8775516B2 (en) Projector system and connection establishment method
US11003285B2 (en) Display apparatus and method for controlling display apparatus
US20060242265A1 (en) Projector and image generating method thereof
JP2008005358A (ja) 遠隔支援装置、遠隔支援システム及び遠隔支援方法
JP2008187362A (ja) プロジェクタおよび投写画像調整方法
EP2653963A2 (en) Image communication apparatus, image communication server and image processing method for image communication
JP2009230193A (ja) ポインティング装置としての機能を実現する撮影装置、表示装置、および情報システム
JP2009229834A (ja) プロジェクションシステム
US20200388240A1 (en) Method of controlling display device and display device
JP2021060724A (ja) マルチ装置システムの操作装置および制御方法
CN214851559U (zh) 一种显微镜智能终端系统
US20100238363A1 (en) Image Display Apparatus, Image Display Method, and Image Display Program Embodied on Computer Readable Medium
JP2005292876A (ja) 画像表示システム
JP6115090B2 (ja) 表示制御装置及びプログラム
US10942698B2 (en) Control method of display system, display system, and display device
JP5263476B2 (ja) プロジェクタ、会議支援システムおよび会議支援方法
CN116805962A (zh) 显示方法、显示系统和记录有程序的记录介质
CN116781874A (zh) 显示方法、显示系统和记录有程序的记录介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091103

R150 Certificate of patent or registration of utility model

Ref document number: 4407841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees