JP2009164856A - Communication system - Google Patents

Communication system Download PDF

Info

Publication number
JP2009164856A
JP2009164856A JP2007341521A JP2007341521A JP2009164856A JP 2009164856 A JP2009164856 A JP 2009164856A JP 2007341521 A JP2007341521 A JP 2007341521A JP 2007341521 A JP2007341521 A JP 2007341521A JP 2009164856 A JP2009164856 A JP 2009164856A
Authority
JP
Japan
Prior art keywords
information
terminal device
management server
display
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007341521A
Other languages
Japanese (ja)
Inventor
Yoichi Kado
洋一 門
Masahiko Hattori
聖彦 服部
Hei Cho
兵 張
Azman Osman Lim
アズマン・オスマン・リム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2007341521A priority Critical patent/JP2009164856A/en
Publication of JP2009164856A publication Critical patent/JP2009164856A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication system capable of transferring embedded information using a conventional display system as it is. <P>SOLUTION: A plurality of level signals LV1-LV14 are embedded in a plurality of frames FRM1-FRM14 constituting a motion picture, respectively. Each of the plurality of frames FRM1-FRM14 then displays an image of the same contents. A display device 20 continuously displays thereon the plurality of frames FRM1-FRM14 received from an administrative server 30, and a terminal device 10 photographs the plurality of continuously displayed frames FRM1-FRM14. As a result, the terminal device 10 acquires the plurality of level signals LV1-LV14 embedded in the plurality of photographed frames FRM1-FRM14. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、通信システムに関し、特に、ユーザの端末装置に情報を伝達する通信システムに関するものである。   The present invention relates to a communication system, and more particularly to a communication system that transmits information to a terminal device of a user.

近年、日常的な照明の中に情報を埋め込むことで、生活シーンに溶け込みつつも、高出力でも人体に安全で広帯域の情報伝達を行なうことができる可視光通信が注目されている(非特許文献1)。   In recent years, visible light communication that can embed information in daily lighting and can be safely and broadbandly transmitted to the human body even at high output while being integrated into the life scene has been attracting attention (Non-patent Document) 1).

この可視光通信は、DMD(Digital Micromirror Device)を用いて、情報を映像画像に埋め込むものである。より具体的には、60Hz以上の周波数でオン/オフ情報を画像の各画素に埋め込む。そして、このオン/オフ情報は、埋め込まれた画素の位置情報を表す。また、オン/オフ情報が60Hz以上の周波数で埋め込まれるのは、視覚的なちらつき(フリッカ)が問題にならないようにするためである。
北村 匡彦、苗村 健、「DMDを用いた空間分割型可視光通信の基礎検討」,FIT2006(第5回情報科学技術フォーラム),p293−p295.
In the visible light communication, information is embedded in a video image using a DMD (Digital Micromirror Device). More specifically, on / off information is embedded in each pixel of the image at a frequency of 60 Hz or higher. This on / off information represents the position information of the embedded pixel. The reason why the on / off information is embedded at a frequency of 60 Hz or more is to prevent visual flicker from becoming a problem.
Akihiko Kitamura, Takeshi Naemura, “Fundamental study of space division type visible light communication using DMD”, FIT2006 (5th Information Science and Technology Forum), p293-p295.

しかし、従来の可視光通信においては、オン/オフ情報を60Hz以上の高周波数で画像に埋め込む必要があり、高周波数の光を検出可能なフォトセンサを受信側に設ける必要があった。そのため、情報の送信側および受信側の両方に、埋め込み情報に対応したデバイスを設ける必要があり、従来の表示システムをそのまま用いて埋め込み情報を伝達することが困難であった。   However, in the conventional visible light communication, it is necessary to embed on / off information in an image at a high frequency of 60 Hz or higher, and it is necessary to provide a photosensor capable of detecting high-frequency light on the receiving side. Therefore, it is necessary to provide devices corresponding to the embedded information on both the information transmitting side and the receiving side, and it is difficult to transmit the embedded information using the conventional display system as it is.

そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、従来の表示システムをそのまま用いて埋め込み情報を伝達可能な通信システムを提供することである。   Accordingly, the present invention has been made to solve such a problem, and an object thereof is to provide a communication system capable of transmitting embedded information using a conventional display system as it is.

この発明によれば、通信システムは、表示装置と、端末装置とを備える。表示装置は、複数のフレームからなる動画を表示する。端末装置は、表示装置に表示された動画を撮影する。複数のフレームは、同じ内容の画像を表示するための複数の画像データと、複数の画像データに重畳され、ビット情報を表す複数の照度信号とを含む。   According to the present invention, the communication system includes a display device and a terminal device. The display device displays a moving image composed of a plurality of frames. The terminal device captures the moving image displayed on the display device. The plurality of frames include a plurality of image data for displaying images having the same content, and a plurality of illuminance signals that are superimposed on the plurality of image data and represent bit information.

好ましくは、複数の照度信号は、照度レベルを変えることによってビット情報を表す。   Preferably, the plurality of illuminance signals represent bit information by changing the illuminance level.

好ましくは、複数の照度信号の各々は、1つの画像データを構成する複数の画素データの各々に重畳される。   Preferably, each of the plurality of illuminance signals is superimposed on each of the plurality of pixel data constituting one image data.

好ましくは、複数の画像データにおいて、対応する画素位置の画素データに重畳された複数の照度信号は、対応する画素位置に関連する情報識別子を表す。   Preferably, in the plurality of image data, the plurality of illuminance signals superimposed on the pixel data at the corresponding pixel position represents an information identifier related to the corresponding pixel position.

好ましくは、端末装置は、表示装置上に配置され、自己が配置された位置で撮影した動画に含まれる複数の照度信号を検出して自己が配置された位置に関連する情報識別子を取得する。   Preferably, the terminal device is arranged on the display device, detects a plurality of illuminance signals included in a moving image taken at the position where the terminal device is arranged, and acquires an information identifier related to the position where the terminal device is arranged.

好ましくは、通信システムは、管理サーバをさらに備える。管理サーバは、複数のフレームを保持するとともに、複数のフレームからなる動画を表示装置に表示する。端末装置は、自己に対して成された操作を識別するための操作識別子と、自己を識別するための端末識別子と、情報識別子とからなるメッセージを無線ネットワークを介して管理サーバへ送信する。管理サーバは、メッセージの受信に応じて、端末装置に対して成された操作の応答結果を表示装置または端末装置に表示する。   Preferably, the communication system further includes a management server. The management server holds a plurality of frames and displays a moving image including the plurality of frames on the display device. The terminal device transmits a message including an operation identifier for identifying an operation performed on itself, a terminal identifier for identifying itself, and an information identifier to the management server via the wireless network. In response to receiving the message, the management server displays a response result of the operation performed on the terminal device on the display device or the terminal device.

好ましくは、管理サーバは、複数のフレームからなる動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置に表示する。   Preferably, the management server displays a moving image composed of a plurality of frames when a specified time has elapsed since the start of the display of one frame and the display of the frame has been completed. By starting the display of the next frame, a moving image consisting of all of the plurality of frames is displayed on the display device.

好ましくは、管理サーバは、受信したメッセージに含まれる操作識別子、情報識別子および端末識別子の組合せに応じて、表示装置の表示内容を更新し、または端末装置に表示するための情報を端末装置へ送信する。   Preferably, the management server updates display contents of the display device or transmits information to be displayed on the terminal device to the terminal device according to a combination of the operation identifier, the information identifier, and the terminal identifier included in the received message. To do.

この発明においては、照度信号が動画を構成する複数のフレームの各々に埋め込まれる。そして、複数のフレームの各々は、同じ内容の画像を表示し、表示装置は、複数のフレームを連続的に表示し、端末装置は、その連続的に表示された複数のフレームを撮影する。その結果、端末装置は、撮影した複数のフレームに埋め込まれた複数の照度信号を取得する。   In the present invention, the illuminance signal is embedded in each of a plurality of frames constituting the moving image. Then, each of the plurality of frames displays an image having the same content, the display device continuously displays the plurality of frames, and the terminal device captures the plurality of continuously displayed frames. As a result, the terminal device acquires a plurality of illuminance signals embedded in the plurality of captured frames.

したがって、この発明によれば、従来の表示システムをそのまま用いて埋め込み情報を端末装置へ伝達できる。   Therefore, according to the present invention, the embedded information can be transmitted to the terminal device using the conventional display system as it is.

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。   Embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated.

図1は、この発明の実施の形態による通信システムの構成を示す概略図である。図1を参照して、この発明の実施の形態による通信システム100は、端末装置10と、表示装置20と、管理サーバ30と、基地局40とを備える。   FIG. 1 is a schematic diagram showing a configuration of a communication system according to an embodiment of the present invention. Referring to FIG. 1, a communication system 100 according to an embodiment of the present invention includes a terminal device 10, a display device 20, a management server 30, and a base station 40.

端末装置10は、表示装置20上に配置され、その配置された位置で表示装置20に表示された動画を撮影する。そして、端末装置10は、その撮影した動画に基づいて、後述する方法によって、自己が配置された位置に関連する情報IDを検出する。   The terminal device 10 is arranged on the display device 20 and shoots a moving image displayed on the display device 20 at the arranged position. And the terminal device 10 detects information ID relevant to the position where self was arrange | positioned by the method mentioned later based on the image | photographed moving image.

また、端末装置10は、ユーザの自己に対する操作を検出し、その検出した操作を識別するための操作IDを生成する。そして、端末装置10は、情報IDと、操作IDと、自己を識別するための端末IDとからなるメッセージMSGを作成し、その作成したメッセージMSGを無線ネットワークを介して管理サーバ30へ送信する。   In addition, the terminal device 10 detects an operation of the user with respect to the user, and generates an operation ID for identifying the detected operation. Then, the terminal device 10 creates a message MSG including the information ID, the operation ID, and the terminal ID for identifying itself, and transmits the created message MSG to the management server 30 via the wireless network.

さらに、端末装置10は、情報を無線ネットワークを介して管理サーバ30から受信すると、その受信した情報を表示する。   Further, when receiving information from the management server 30 via the wireless network, the terminal device 10 displays the received information.

表示装置20は、液晶ディスプレイ、液晶プロジェクタおよびプラズマディスプレイ等からなる。そして、表示装置20は、管理サーバ30からケーブル41を介して画像データを受信すると、その受信した画像データを表示する。   The display device 20 includes a liquid crystal display, a liquid crystal projector, a plasma display, and the like. When the display device 20 receives image data from the management server 30 via the cable 41, the display device 20 displays the received image data.

管理サーバ30は、各画素に情報IDが埋め込まれた複数のフレームをケーブル41を介して表示装置20へ送信する。   The management server 30 transmits a plurality of frames in which the information ID is embedded in each pixel to the display device 20 via the cable 41.

また、管理サーバ30は、基地局40からケーブル42を介してメッセージMSGを受信し、その受信したメッセージMSGに含まれる端末ID、情報IDおよび操作IDの組合せに応じて、表示装置20の表示内容を更新し、または端末装置10に表示すべき情報を無線ネットワークを介して端末装置10へ送信する。   Further, the management server 30 receives the message MSG from the base station 40 via the cable 42, and the display content of the display device 20 is displayed according to the combination of the terminal ID, the information ID, and the operation ID included in the received message MSG. Or information to be displayed on the terminal device 10 is transmitted to the terminal device 10 via the wireless network.

基地局40は、無線ネットワークを介して端末装置10からメッセージMSGを受信し、その受信したメッセージMSGをケーブル42を介して管理サーバ30へ送信する。   The base station 40 receives the message MSG from the terminal device 10 via the wireless network, and transmits the received message MSG to the management server 30 via the cable 42.

また、基地局40は、ケーブル42を介して管理サーバ30から情報を受信すると、その受信した情報を無線ネットワークを介して端末装置10へ送信する。   In addition, when the base station 40 receives information from the management server 30 via the cable 42, the base station 40 transmits the received information to the terminal device 10 via the wireless network.

図2は、図1に示す端末信装置10の構成を示す概略ブロック図である。図2を参照して、端末装置10は、撮影部11と、加速度センサ12と、操作部13と、制御部14と、通信部15と、表示部16とを含む。   FIG. 2 is a schematic block diagram showing the configuration of the terminal communication device 10 shown in FIG. With reference to FIG. 2, the terminal device 10 includes a photographing unit 11, an acceleration sensor 12, an operation unit 13, a control unit 14, a communication unit 15, and a display unit 16.

撮影部11は、端末装置10が配置された位置において、表示装置20に表示された動画を撮影し、その撮影した動画を制御部14へ出力する。加速度センサ12は、加速度αを計測し、その計測した加速度αを制御部14へ出力する。   The imaging unit 11 captures the moving image displayed on the display device 20 at the position where the terminal device 10 is disposed, and outputs the captured moving image to the control unit 14. The acceleration sensor 12 measures the acceleration α and outputs the measured acceleration α to the control unit 14.

操作部13は、文字入力キー等からなり、ユーザがキーを押す等のユーザの端末装置10に対する何らかの操作を検出し、その検出した操作を制御部14へ出力する。   The operation unit 13 includes character input keys and the like, detects some operation of the user's terminal device 10 such as a user pressing a key, and outputs the detected operation to the control unit 14.

制御部14は、撮影部11から動画を受け、加速度センサ12から加速度αを受け、操作部13から操作を受ける。そして、制御部14は、動画に埋め込まれた情報を、端末装置10が配置された表示装置20上の位置に関連する情報IDとして検出する。   The control unit 14 receives a moving image from the photographing unit 11, receives an acceleration α from the acceleration sensor 12, and receives an operation from the operation unit 13. And the control part 14 detects the information embedded in the moving image as information ID relevant to the position on the display apparatus 20 in which the terminal device 10 is arrange | positioned.

また、制御部14は、加速度センサ12から受けた加速度αに基づいて、端末装置10が移動したか否かを判定する。そして、制御部14は、端末装置10が移動したと判定したとき、端末装置10を移動させる操作が端末装置10に対して成されたことを示す操作IDを生成する。   Further, the control unit 14 determines whether or not the terminal device 10 has moved based on the acceleration α received from the acceleration sensor 12. When determining that the terminal device 10 has moved, the control unit 14 generates an operation ID indicating that an operation for moving the terminal device 10 has been performed on the terminal device 10.

さらに、制御部14は、操作部13から受けた操作に基づいて、端末装置10に対して成された操作を識別するための操作IDを生成する。たとえば、操作部13が、文字入力キーが押されたことを検出した場合、制御部14は、文字入力キーが押されたことを示す操作IDを生成する。   Furthermore, the control unit 14 generates an operation ID for identifying the operation performed on the terminal device 10 based on the operation received from the operation unit 13. For example, when the operation unit 13 detects that a character input key has been pressed, the control unit 14 generates an operation ID indicating that the character input key has been pressed.

さらに、制御部14は、情報IDと、操作IDと、端末装置10を識別するための端末IDとからなるメッセージMSGを作成し、その作成したメッセージMSGを通信部15を介して管理サーバ30へ送信する。   Further, the control unit 14 creates a message MSG including an information ID, an operation ID, and a terminal ID for identifying the terminal device 10, and sends the created message MSG to the management server 30 via the communication unit 15. Send.

さらに、制御部14は、通信部15を介して管理サーバ30から情報を受信すると、その受信した情報を表示部16に表示する。   Further, when receiving information from the management server 30 via the communication unit 15, the control unit 14 displays the received information on the display unit 16.

通信部15は、制御部14から受けたメッセージMSGを無線ネットワークを介して基地局40へ送信する。また、通信部15は、無線ネットワークを介して基地局40から情報を受信し、その受信した情報を制御部14へ出力する。   The communication unit 15 transmits the message MSG received from the control unit 14 to the base station 40 via the wireless network. In addition, the communication unit 15 receives information from the base station 40 via the wireless network, and outputs the received information to the control unit 14.

表示部16は、制御部14から受けた情報を表示する。   Display unit 16 displays information received from control unit 14.

図3は、図1に示す管理サーバ30の構成を示す概略ブロック図である。図3を参照して、管理サーバ30は、通信部31と、制御部32と、記憶部33とを含む。通信部31は、制御部32から表示装置20宛ての画像データを受けると、その受けた画像データをケーブル41を介して表示装置20へ送信する。   FIG. 3 is a schematic block diagram showing the configuration of the management server 30 shown in FIG. Referring to FIG. 3, management server 30 includes a communication unit 31, a control unit 32, and a storage unit 33. When the communication unit 31 receives image data addressed to the display device 20 from the control unit 32, the communication unit 31 transmits the received image data to the display device 20 via the cable 41.

また、通信部31は、ケーブル42を介して基地局40からメッセージMSGを受信すると、その受信したメッセージMSGを制御部32へ出力する。   Further, when the communication unit 31 receives the message MSG from the base station 40 via the cable 42, the communication unit 31 outputs the received message MSG to the control unit 32.

さらに、通信部31は、端末装置10宛ての情報を制御32から受けると、その受けた情報をケーブル42を介して基地局40へ送信する。   Further, when receiving the information addressed to the terminal device 10 from the control 32, the communication unit 31 transmits the received information to the base station 40 via the cable 42.

制御部32は、通信部31からメッセージMSGを受けると、その受けたメッセージMSGに含まれる端末ID、情報IDおよび操作IDを検出する。そして、制御部32は、端末ID、情報IDおよび操作IDの組合せに応じて、新たな動画を構成する画像データを記憶部33から取り出し、その取り出した画像データを通信部31を介して表示装置20へ送信する。   When receiving the message MSG from the communication unit 31, the control unit 32 detects the terminal ID, the information ID, and the operation ID included in the received message MSG. And the control part 32 takes out the image data which comprises a new moving image from the memory | storage part 33 according to the combination of terminal ID, information ID, and operation ID, and displays the taken-out image data via the communication part 31 on a display apparatus. 20 is transmitted.

また、制御部32は、端末ID、情報IDおよび操作IDの組合せに応じて、端末措置10に表示すべき情報を記憶部33から取り出し、その取り出した情報を通信部31を介して端末装置10へ送信する。   In addition, the control unit 32 extracts information to be displayed on the terminal measure 10 from the storage unit 33 according to the combination of the terminal ID, the information ID, and the operation ID, and extracts the extracted information via the communication unit 31. Send to.

記憶部33は、端末ID、情報IDおよび操作IDの組合せに応じて、各種の動画を構成する画像データまたは情報を記憶する。そして、この画像データの各画素データには、情報IDが後述する方法によって重畳されている。   The storage unit 33 stores image data or information constituting various moving images according to a combination of the terminal ID, the information ID, and the operation ID. An information ID is superimposed on each pixel data of the image data by a method described later.

端末装置10の制御部14における情報IDの検出方法について説明する。図4は、撮影部11における受光画素を示す平面図である。図4を参照して、撮影部11は、4×4に配置された16個の受光画素c0〜cFを有する。   A method for detecting the information ID in the control unit 14 of the terminal device 10 will be described. FIG. 4 is a plan view showing light receiving pixels in the imaging unit 11. With reference to FIG. 4, the imaging | photography part 11 has 16 light receiving pixels c0-cF arrange | positioned at 4x4.

図5は、表示装置20によって表示された画像の1つの画素を示す平面図である。図5を参照して、1つの画素PUは、(q+1)×(r+1)に配置された複数の画素ブロックp00〜pqrからなる。そして、1つの画素PUは、情報IDが埋め込まれた複数のブロックB00,B04,B40,B44,・・・を含む。   FIG. 5 is a plan view showing one pixel of an image displayed by the display device 20. Referring to FIG. 5, one pixel PU is composed of a plurality of pixel blocks p00 to pqr arranged in (q + 1) × (r + 1). One pixel PU includes a plurality of blocks B00, B04, B40, B44,... In which information IDs are embedded.

複数のブロックB00,B04,B40,B44,・・・の各々は、2×2に配置された4個の画素ブロックからなる。そして、複数のブロックB00,B04,B40,B44,・・・は、市松模様に配置される。   Each of the plurality of blocks B00, B04, B40, B44,... Consists of four pixel blocks arranged in 2 × 2. A plurality of blocks B00, B04, B40, B44,... Are arranged in a checkered pattern.

図6は、図4に示す各受光画素c0〜cFにおける受光レベルの遷移を示す図である。図6を参照して、受光画素c0〜cFは、受光レベルがそれぞれパターンPTM1−1〜PTM1−16で変化する光信号を受光する。そして、パターンPTM1−1〜PTM1−16は、1つの画素に埋め込まれた情報IDを表す情報IDパターンPTM1を構成する。   FIG. 6 is a diagram illustrating transition of the light receiving level in each of the light receiving pixels c0 to cF illustrated in FIG. Referring to FIG. 6, light receiving pixels c0 to cF receive light signals whose light receiving levels change in patterns PTM1-1 to PTM1-16, respectively. The patterns PTM1-1 to PTM1-16 constitute an information ID pattern PTM1 representing an information ID embedded in one pixel.

また、各パターンPTM1−1〜PTM1−16の各々は、14個のレベル信号からなる。たとえば、パラーンPTM1−1は、レベル信号LV1〜LV14からなる。パターンPTM1−2〜パターンPTM1−16の各々も、レベル信号LV1〜LV14からなる。但し、パターンPTM1−1〜パターンPTM1−16の各々を構成する14個のレベル信号LV1〜LV14の配列は、パターンPTM1−1〜パターンPTM1−16間で相互に異なる。   Each of the patterns PTM1-1 to PTM1-16 is composed of 14 level signals. For example, Paran PTM1-1 includes level signals LV1 to LV14. Each of pattern PTM1-2 to pattern PTM1-16 also includes level signals LV1 to LV14. However, the arrangement of the 14 level signals LV1 to LV14 constituting each of the patterns PTM1-1 to PTM1-16 is different between the patterns PTM1-1 to PTM1-16.

図5に示す複数のブロックB00,B04,B40,B44,・・・の各々は、上述したように、4個の画素ブロックからなるので、1つのブロックに含まれる4個の画素ブロックは、1つの位置情報パターンPTM1を構成する16個のパターンPTM1−1〜PTM1−16のうちの4個のパターンからなる光信号が重畳されている。   Since each of the plurality of blocks B00, B04, B40, B44,... Shown in FIG. 5 is composed of four pixel blocks, the four pixel blocks included in one block are 1 An optical signal composed of four patterns among the 16 patterns PTM1-1 to PTM1-16 constituting one position information pattern PTM1 is superimposed.

また、情報IDパターンPTM1は、1つの画素の位置に関連する情報のIDを表すので、他の画素の位置に関連する情報のIDを表す情報IDパターンPTM2は、情報IDパターンPTM1を構成する16個のパターンPTM1−1〜PTM1−16と異なる16個のパターンPTM2−1〜PTM2−16からなる。   Further, since the information ID pattern PTM1 represents the ID of information related to the position of one pixel, the information ID pattern PTM2 representing the ID of information related to the position of another pixel constitutes the information ID pattern PTM1. It consists of 16 patterns PTM2-1 to PTM2-16 different from the patterns PTM1-1 to PTM1-16.

なお、レベル信号LV1〜LV14は、照度レベルを変えることによってビット情報を表す信号である。   The level signals LV1 to LV14 are signals representing bit information by changing the illuminance level.

図7は、1つの画素と受光画素との関係を示す平面図である。図7を参照して、1つの画素PUは、情報IDが埋め込まれた5個のブロックB1〜B5を含む。そして、ブロックB1〜B5の各々は、情報IDパターンPTM1を構成する16個のパターンPTM1−1〜PTM1−16のうちの4個のパターンからなる光信号が重畳されている。   FIG. 7 is a plan view showing the relationship between one pixel and a light receiving pixel. Referring to FIG. 7, one pixel PU includes five blocks B1 to B5 in which information IDs are embedded. In each of the blocks B1 to B5, an optical signal composed of four patterns among the 16 patterns PTM1-1 to PTM1-16 constituting the information ID pattern PTM1 is superimposed.

また、受光画素c0〜cFが、ブロックB1〜B3の少なくとも一部に重なるように配置されたとする。より具体的には、ブロックB1は、受光画素c0〜cFのうち、受光画素cA,cB,cE,cFに重なり、ブロックB2の一部は、受光画素c0〜cFのうち、受光画素c2に重なり、ブロックB3の一部は、受光画素c8,cCに重なる。   Further, it is assumed that the light receiving pixels c0 to cF are arranged so as to overlap at least a part of the blocks B1 to B3. More specifically, the block B1 overlaps with the light receiving pixels cA, cB, cE, and cF among the light receiving pixels c0 to cF, and a part of the block B2 overlaps with the light receiving pixel c2 among the light receiving pixels c0 to cF. Part of the block B3 overlaps the light receiving pixels c8 and cC.

その結果、撮影部11の受光画素cA,cB,cE,cF,c2,c8,cCは、画素PUの情報IDパターンPTM1を構成する16個のパターンPTM1−1〜PTM1−16のうちの7個のパターンを受光する。   As a result, the light receiving pixels cA, cB, cE, cF, c2, c8, and cC of the imaging unit 11 are seven of the sixteen patterns PTM1-1 to PTM1-16 constituting the information ID pattern PTM1 of the pixel PU. The pattern is received.

受光画素によって受光された受光パターンは、その強さを予め設定された閾値を元に、“0”および“1”のいずれかの値で表現されるビット情報として認識される。端末装置10は、そのビット情報を解析して情報IDを認識する。ビット情報による情報IDの表現には、たとえば、プリアンブルを利用する場合と、プリアンブルのない繰り返しの受光パターンだけを利用する場合とがある。   The light receiving pattern received by the light receiving pixel is recognized as bit information represented by one of the values “0” and “1” based on a threshold value whose intensity is set in advance. The terminal device 10 recognizes the information ID by analyzing the bit information. The expression of the information ID by bit information includes, for example, a case where a preamble is used and a case where only a repeated light receiving pattern without a preamble is used.

情報IDがプリアンブルを利用したビット情報により表現されている場合は、端末装置10は、ビット情報中のプリアンブルを認識して後続するビット情報をそのまま2進数で表現された情報IDとして認識する。   When the information ID is expressed by bit information using a preamble, the terminal device 10 recognizes the preamble in the bit information and recognizes subsequent bit information as an information ID expressed in binary as it is.

一方、情報IDが繰り返しの受光パターンだけを利用したビット情報により表現されている場合、端末装置10は、予め準備された受光パターンと情報IDとを対応付けたテーブルを参照することで情報IDを認識する。   On the other hand, when the information ID is expressed by bit information using only a repetitive light reception pattern, the terminal device 10 refers to a table in which the light reception pattern prepared in advance and the information ID are associated with each other to obtain the information ID. recognize.

図8は、受光パターンと情報IDとの関係を示す関係テーブルの概念図である。図8を参照して、関係テーブルRLTは、受光パターンと情報IDとからなる。受光パターンおよび情報IDは、相互に対応付けられる。   FIG. 8 is a conceptual diagram of a relationship table showing the relationship between the light receiving pattern and the information ID. Referring to FIG. 8, the relationship table RLT includes a light receiving pattern and an information ID. The light receiving pattern and the information ID are associated with each other.

受光パターンは、PTM1〜PTMn(nは、2以上の整数)からなり、情報IDは、IFID1,IFID2,IFID3,IFID4,・・・,IFIDnからなる。そして、受光パターンPTM1〜PTMnは、それぞれ、情報IDIFID1,IFID2,IFID3,IFID4,・・・,IFIDnに対応付けられる。   The light receiving pattern is composed of PTM1 to PTMn (n is an integer of 2 or more), and the information ID is composed of IFID1, IFID2, IFID3, IFID4,. The light receiving patterns PTM1 to PTMn are associated with information IDIFID1, IFID2, IFID3, IFID4,.

撮影部11は、関係テーブルRLTを保持しており、ブロックB1〜B3に重なった受光画素cA,cB,cE,cF,c2,c8,cCが受光パターンを受光すると、受光画素cA,cB,cE,cF,c2,c8,cCが受光した受光パターンを含む情報IDパターンPTMj(=位置情報パターンPTM1〜PTMnのいずれか)を検出し、関係テーブルRLTを参照して、その検出した情報IDパターンPTMjに対応する情報IDIFIDjを抽出する。そして、撮影部11は、情報IDIFIDjを端末装置10が配置された位置に関連する情報のIDとして検出する。   The imaging unit 11 holds a relation table RLT, and when the light receiving pixels cA, cB, cE, cF, c2, c8, and cC that overlap the blocks B1 to B3 receive the light receiving pattern, the light receiving pixels cA, cB, and cE. , CF, c2, c8, and cC, the information ID pattern PTMj (= any one of the position information patterns PTM1 to PTMn) including the light receiving pattern received is detected, and the detected information ID pattern PTMj is referenced with reference to the relation table RLT. Information IDIFIDj corresponding to is extracted. And the imaging | photography part 11 detects information IDIFIDj as ID of the information relevant to the position where the terminal device 10 is arrange | positioned.

図9は、表示装置20が表示する動画の構成を示す図である。動画MGは、たとえば、14個のフレームFRM1〜FRM14からなる。そして、14個のフレームFRM1〜FRM14の各々は、同じ内容の画像を示す画像データからなる。   FIG. 9 is a diagram illustrating a configuration of a moving image displayed on the display device 20. The moving image MG includes, for example, 14 frames FRM1 to FRM14. And each of 14 frames FRM1-FRM14 consists of image data which shows the image of the same content.

上述したパターンPTM1−1〜PTM1−16は、たとえば、フレームFRM1〜FRM14の画素g11に埋め込まれる。より具体的には、パターンPTM1−1のレベル信号LV1は、フレームFRM1の画素g11に埋め込まれ、パターンPTM1−1のレベル信号LV2は、フレームFRM2の画素g11に埋め込まれ、以下、同様にして、パターンPTM1−1のレベル信号LV14は、フレームFRM14の画素g11に埋め込まれる。   The patterns PTM1-1 to PTM1-16 described above are embedded in the pixel g11 of the frames FRM1 to FRM14, for example. More specifically, the level signal LV1 of the pattern PTM1-1 is embedded in the pixel g11 of the frame FRM1, the level signal LV2 of the pattern PTM1-1 is embedded in the pixel g11 of the frame FRM2, and so on. The level signal LV14 of the pattern PTM1-1 is embedded in the pixel g11 of the frame FRM14.

パターンPTM1−2〜パターンPTM1−16の14個のレベル信号LV1〜LV14についても、パターンPTM1−1の14個のレベル信号LV1〜LV14と同じようにフレームFRM1〜FRM14の画素g11に埋め込まれる。これによって、情報IDパターンPTM1(=パターンPTM1−2〜パターンPTM1−16)がフレームFRM1〜FRM14の画素g11に埋め込まれる。   The 14 level signals LV1 to LV14 of the patterns PTM1-2 to PTM1-16 are also embedded in the pixels g11 of the frames FRM1 to FRM14 in the same manner as the 14 level signals LV1 to LV14 of the pattern PTM1-1. As a result, the information ID pattern PTM1 (= pattern PTM1-2 to pattern PTM1-16) is embedded in the pixel g11 of the frames FRM1 to FRM14.

フレームFRM1〜FRM14の他の画素についても、同様に、情報IDパターンPTM2〜PTMnが埋め込まれる。   Similarly, the information ID patterns PTM2 to PTMn are embedded in the other pixels of the frames FRM1 to FRM14.

表示装置20は、14個のフレームFRM1〜FRM14を連続的に表示する。この場合、フレームFRM1〜FRM14の各々は、上述したように、同じ内容の画像を示す画像データからなるので、表示装置20は、外見上、静止画を表示する。また、14個のフレームFRM1〜FRM14は、それぞれ、照度レベルが異なるレベル信号LV1〜LV14を含むので、表示装置20は、管理サーバ30から受けた複数のフレームFRM1〜FRM14に基づいて、外見上、静止画を表示するとともに、照度レベルが異なるレベル信号LV1〜LV14を静止画に重畳して表示する。   The display device 20 continuously displays the 14 frames FRM1 to FRM14. In this case, since each of the frames FRM1 to FRM14 is composed of image data indicating an image having the same content as described above, the display device 20 displays a still image in appearance. Further, each of the 14 frames FRM1 to FRM14 includes level signals LV1 to LV14 having different illuminance levels. Therefore, the display device 20 is based on the plurality of frames FRM1 to FRM14 received from the management server 30 in appearance. While displaying a still image, level signals LV1 to LV14 having different illuminance levels are displayed superimposed on the still image.

そして、端末装置10の撮影部11がフレームFRM1〜FRM14の画素g11を撮影可能なように、端末装置10が表示装置20上に配置されると、撮影部11は、フレームFRM1〜FRM14に含まれる14個の画素g11を撮影し、その撮影した14個の画素g11に含まれる14個のレベル信号LV1〜LV14を検出する。   And if the terminal device 10 is arrange | positioned on the display apparatus 20 so that the imaging | photography part 11 of the terminal device 10 can image | photograph the pixel g11 of the flame | frames FRM1-FRM14, the imaging | photography part 11 will be contained in frame FRM1-FRM14. The 14 pixels g11 are photographed, and 14 level signals LV1 to LV14 included in the photographed 14 pixels g11 are detected.

そうすると、端末装置10の撮影部11は、関係テーブルRLTを参照して、その検出した14個のLV1〜LV14に基づいて、上述した方法によって、情報IDパターンPTM1を抽出し、その抽出した情報IDパターンPTM1を端末装置10が配置された画素の位置に関連する情報のIDとして制御部14へ出力する。   Then, the imaging unit 11 of the terminal device 10 refers to the relationship table RLT, extracts the information ID pattern PTM1 by the above-described method based on the detected 14 LV1 to LV14, and extracts the extracted information ID. The pattern PTM1 is output to the control unit 14 as an ID of information related to the position of the pixel where the terminal device 10 is arranged.

この発明においては、外見上、静止画を構成する動画MGの14個のフレームFRM1〜FRM14に、端末装置10が配置された位置に関連する情報のIDを表す14個のレベル信号LV1〜LV14を埋め込むことを特徴とする。   In the present invention, 14 level signals LV1 to LV14 representing IDs of information related to the positions where the terminal devices 10 are arranged in the 14 frames FRM1 to FRM14 of the moving image MG constituting the still image in appearance. It is characterized by embedding.

これによって、画像データを管理する管理サーバ30は、60Hz以上の周波数で光信号を画像データに重畳する特別のデバイスを用いなくても、各画素の位置に関連する情報のIDを端末装置10へ伝達できる。   As a result, the management server 30 that manages the image data sends the ID of information related to the position of each pixel to the terminal device 10 without using a special device that superimposes the optical signal on the image data at a frequency of 60 Hz or higher. Can communicate.

図10は、図3に示す記憶部33が記憶するテーブルを示す図である。図10を参照して、テーブルTBLは、端末IDと、操作IDと、情報IDと、画像データと、情報とを含む。端末ID、操作ID、情報ID、画像データおよび情報は、相互に対応付けられる。   FIG. 10 is a diagram showing a table stored in the storage unit 33 shown in FIG. Referring to FIG. 10, table TBL includes a terminal ID, an operation ID, an information ID, image data, and information. The terminal ID, operation ID, information ID, image data, and information are associated with each other.

画像データMG1,MG2,MG3,・・・の各々は、14個のフレームを含む動画からなる。情報IF1,IF2,IF3,・・・の各々は、画像データまたは文字データからなる。   Each of the image data MG1, MG2, MG3,... Is composed of a moving image including 14 frames. Each of the information IF1, IF2, IF3,... Consists of image data or character data.

画像データMG1および情報IF1は、端末ID=IMID1、操作ID=OPID1および情報ID=IFID1の組合せに対応付けられ、画像データMG2および情報IF2は、端末ID=IMID1、操作ID=OPID2および情報ID=IFID1の組合せに対応付けられ、画像データMG3および情報IF3は、端末ID=IMID1、操作ID=OPID31および情報ID=IFID2の組合せに対応付けられ、画像データMG4および情報IF4は、端末ID=IMID1、操作ID=OPID2および情報ID=IFID2の組合せに対応付けられ、画像データG1および情報IF5は、端末ID=IMID1、操作ID=OPID4および情報ID=IFID3の組合せに対応付けられ、画像データG2および情報IF6は、端末ID=IMID1、操作ID=OPID5および情報ID=IFID4の組合せに対応付けられる。なお、画像データG1,G2は、上述したレベル信号LV1〜LV14が各画素に埋め込まれていない静止画の画像データである。   Image data MG1 and information IF1 are associated with a combination of terminal ID = IMID1, operation ID = OPID1, and information ID = IFID1, and image data MG2 and information IF2 have terminal ID = IMID1, operation ID = OPID2, and information ID = The image data MG3 and the information IF3 are associated with a combination of terminal ID = IMID1, operation ID = OPID31 and information ID = IFID2, and the image data MG4 and the information IF4 are associated with a combination of IFID1. The operation ID = OPID2 and the information ID = IFID2 are associated with each other, and the image data G1 and the information IF5 are associated with the combination of the terminal ID = IMID1, the operation ID = OPID4 and the information ID = IFID3, and the image data G2 and the information. I 6, the terminal ID = IMID1, associated with the combination of the operation ID = OPID5 and information ID = IFID4. The image data G1 and G2 are still image data in which the level signals LV1 to LV14 described above are not embedded in each pixel.

したがって、テーブルTBLは、端末ID、操作IDおよび情報IDの組合せに対応付けられた画像データおよび情報を含む。そして、画像データは、表示装置10に表示するための画像データであり、情報は、端末装置10に表示するための情報である。   Therefore, the table TBL includes image data and information associated with combinations of terminal IDs, operation IDs, and information IDs. The image data is image data to be displayed on the display device 10, and the information is information to be displayed on the terminal device 10.

以下、ユーザの端末装置10が表示装置20上に配置されたときの配置位置に関連する情報のIDを端末装置10に伝達する具体例について説明する。   Hereinafter, a specific example in which the ID of information related to the arrangement position when the user terminal device 10 is arranged on the display device 20 is transmitted to the terminal device 10 will be described.

図11は、表示装置20に表示された画像を示す図である。図12は、表示装置20に表示された他の画像を示す図である。図13は、端末装置10に表示された画像を示す図である。   FIG. 11 is a diagram illustrating an image displayed on the display device 20. FIG. 12 is a diagram illustrating another image displayed on the display device 20. FIG. 13 is a diagram illustrating an image displayed on the terminal device 10.

表示装置20は、管理サーバ30から受信した画像データに基づいて、絵画の動画MG1を表示する。この場合、動画MG1は、14個のフレームFRM1〜FRM14からなり、各フレームFRM1〜FRM14は、同じ内容の画像を示し、各フレームFRM1〜FRM14の各画素には、各画素位置に関連する情報のIDが重畳されている。   The display device 20 displays the moving image MG1 of the painting based on the image data received from the management server 30. In this case, the moving image MG1 includes 14 frames FRM1 to FRM14. Each frame FRM1 to FRM14 indicates an image having the same content, and each pixel of each frame FRM1 to FRM14 has information related to each pixel position. ID is superimposed.

そして、ユーザは、端末装置10を動画MG1の任意の領域REG1に配置する。そうすると、端末装置10の撮影部11は、動画MG1の一部を撮影し、その撮影した動画MG1の一部に含まれる画素に埋め込まれたレベル信号LV1〜LV14に基づいて、上述した方法によって情報IDパターンを検出し、その検出した情報IDパターンを制御部14へ出力する。   Then, the user places the terminal device 10 in an arbitrary region REG1 of the moving image MG1. Then, the imaging unit 11 of the terminal device 10 captures a part of the moving image MG1, and based on the level signals LV1 to LV14 embedded in the pixels included in the captured part of the moving image MG1, information is obtained by the above-described method. The ID pattern is detected, and the detected information ID pattern is output to the control unit 14.

端末装置10の制御部14は、撮影部11から情報IDパターンを受けると、その受けた情報IDパターンに基づいて、上述した方法によって、端末装置10が配置された画素の位置に関連する情報の情報ID(=IFID1)を検出する。   When the control unit 14 of the terminal device 10 receives the information ID pattern from the imaging unit 11, based on the received information ID pattern, the control unit 14 of the information related to the position of the pixel in which the terminal device 10 is arranged is performed by the method described above. An information ID (= IFID1) is detected.

また、端末装置10の制御部14は、文字入力キーが押されたことを示す操作を操作部13から受けると、文字入力キーが押されたことを示す操作を識別するための操作ID(=OPID2)を生成する。   When the control unit 14 of the terminal device 10 receives an operation indicating that the character input key has been pressed from the operation unit 13, the operation ID (=) for identifying the operation indicating that the character input key has been pressed. OPID2) is generated.

そうすると、端末装置10の制御部14は、端末装置10のIDである端末ID(=TMID1)と、操作ID(=OPID2)と、情報ID(=IFID1)とからなるメッセージMSG1=[TMID1/OPID2/IFID1]を生成し、その生成したメッセージMSG1=[TMID1/OPID2/IFID1]を通信部15へ出力する。   Then, the control unit 14 of the terminal device 10 sends a message MSG1 = [TMID1 / OPID2] including a terminal ID (= TMID1), an operation ID (= OPID2), and an information ID (= IFID1) which are IDs of the terminal device 10. / IFID1] is generated, and the generated message MSG1 = [TMID1 / OPID2 / IFID1] is output to the communication unit 15.

そして、端末装置10の通信部15は、制御部14からメッセージMSG1=[TMID1/OPID2/IFID1]を受けると、その受けたメッセージMSG1=[TMID1/OPID2/IFID1]を無線ネットワークを介して基地局40へ送信する。   When the communication unit 15 of the terminal device 10 receives the message MSG1 = [TMID1 / OPID2 / IFID1] from the control unit 14, the communication unit 15 transmits the received message MSG1 = [TMID1 / OPID2 / IFID1] to the base station via the wireless network. 40.

このように、端末装置10は、操作部13が操作されたことに応じて、メッセージMSG1を生成し、その生成したメッセージMSG1を管理サーバ30へ送信する。   As described above, the terminal device 10 generates the message MSG1 in response to the operation of the operation unit 13, and transmits the generated message MSG1 to the management server 30.

基地局40は、無線ネットワークを介してメッセージMSG1=[TMID1/OPID2/IFID1]を端末装置10から受信し、その受信したメッセージMSG1=[TMID1/OPID2/IFID1]をケーブル42を介して、管理サーバ30へ送信する。   The base station 40 receives the message MSG1 = [TMID1 / OPID2 / IFID1] from the terminal device 10 via the wireless network, and receives the received message MSG1 = [TMID1 / OPID2 / IFID1] via the cable 42. To 30.

管理サーバ30の通信部31は、メッセージMSG1=[TMID1/OPID2/IFID1]を受信し、その受信したメッセージMSG1=[TMID1/OPID2/IFID1]を制御部32へ出力する。   The communication unit 31 of the management server 30 receives the message MSG1 = [TMID1 / OPID2 / IFID1] and outputs the received message MSG1 = [TMID1 / OPID2 / IFID1] to the control unit 32.

管理サーバ30の制御部32は、通信部31からメッセージMSG1=[TMID1/OPID2/IFID1]を受け、その受けたメッセージMSG1=[TMID1/OPID2/IFID1]から端末ID(=TMID1)、操作ID(=OPID2)および情報ID(=IFID1)を抽出する。   The control unit 32 of the management server 30 receives the message MSG1 = [TMID1 / OPID2 / IFID1] from the communication unit 31, and receives the terminal ID (= TMID1) and operation ID (from the received message MSG1 = [TMID1 / OPID2 / IFID1]). = OPID2) and information ID (= IFID1) are extracted.

そうすると、管理サーバ30の制御部32は、テーブルTBLを参照して、その抽出した端末ID(=TMID1)、操作ID(=OPID2)および情報ID(=IFID1)の組合せに対応する画像データMG2および情報IF2を抽出する。   Then, the control unit 32 of the management server 30 refers to the table TBL, and the image data MG2 corresponding to the combination of the extracted terminal ID (= TMID1), operation ID (= OPID2), and information ID (= IFID1) and Information IF2 is extracted.

そして、管理サーバ30の制御部32は、その抽出した画像データMG2を通信部31およびケーブル41を介して表示装置20へ送信し、その抽出した情報IF2を通信部31および無線ネットワークを介して端末装置10へ送信する。   Then, the control unit 32 of the management server 30 transmits the extracted image data MG2 to the display device 20 via the communication unit 31 and the cable 41, and the extracted information IF2 is transmitted to the terminal via the communication unit 31 and the wireless network. Transmit to device 10.

表示装置20は、管理サーバ30から画像データMG2を受信し、その受信した画像データMG2に基づいて、動画MG2を表示する。この場合、端末装置10の配置位置は、変わらない(図12参照)。   The display device 20 receives the image data MG2 from the management server 30, and displays the moving image MG2 based on the received image data MG2. In this case, the arrangement position of the terminal device 10 does not change (see FIG. 12).

また、端末装置10は、管理サーバ30から情報IF2を受信し、その受信した情報IF2に基づいて、動画MG1のうち、自己が配置された位置の拡大画像を表示する(図13参照)。   In addition, the terminal device 10 receives the information IF2 from the management server 30, and displays an enlarged image of the position where the video image MG1 is arranged in the moving image MG1 based on the received information IF2 (see FIG. 13).

図14は、端末装置10に対する異なる操作を説明するための図である。図15は、表示装置20に表示されたさらに他の画像を示す図である。図16は、端末装置10に表示されたメッセージを示す図である。   FIG. 14 is a diagram for explaining different operations on the terminal device 10. FIG. 15 is a diagram showing still another image displayed on the display device 20. FIG. 16 is a diagram illustrating a message displayed on the terminal device 10.

図14を参照して、表示装置20は、管理サーバ30から受信した画像データに基づいて、図11に示すように絵画の動画MG1を表示する。このような状況において、ユーザは、端末装置10を表示装置20上で領域REG1から領域REG2へ移動させる。   Referring to FIG. 14, display device 20 displays a painting moving image MG <b> 1 as shown in FIG. 11 based on the image data received from management server 30. In such a situation, the user moves the terminal device 10 from the region REG1 to the region REG2 on the display device 20.

そうすると、端末装置10の加速度センサ12は、加速度αを計測し、その計測した加速度αを制御部14へ出力する。そして、端末装置10の制御部14は、加速度センサ12から受けた加速度αに基づいて、端末装置10が移動したことを検知し、端末装置10に対して「移動」という操作が成されたことを示す操作ID(=OPID3)を生成する。   Then, the acceleration sensor 12 of the terminal device 10 measures the acceleration α and outputs the measured acceleration α to the control unit 14. And the control part 14 of the terminal device 10 detected that the terminal device 10 moved based on the acceleration (alpha) received from the acceleration sensor 12, and operation "movement" was performed with respect to the terminal device 10. Is generated (= OPID3).

また、端末装置10の撮影部11は、領域REG2において、動画MG1の一部を撮影し、その撮影した動画MG1の一部に含まれる画素に埋め込まれたレベル信号LV1〜LV14に基づいて、上述した方法によって情報IDパターンを検出し、その検出した情報IDパターンを制御部14へ出力する。   In addition, the imaging unit 11 of the terminal device 10 captures a part of the moving image MG1 in the region REG2, and based on the level signals LV1 to LV14 embedded in the pixels included in a part of the captured moving image MG1. The information ID pattern is detected by the method described above, and the detected information ID pattern is output to the control unit 14.

端末装置10の制御部14は、撮影部11から情報IDパターンを受けると、その受けた情報IDパターンに基づいて、上述した方法によって、端末装置10が配置された画素の位置に関連する情報の情報ID(=IFID2)を検出する。   When the control unit 14 of the terminal device 10 receives the information ID pattern from the imaging unit 11, based on the received information ID pattern, the control unit 14 of the information related to the position of the pixel in which the terminal device 10 is arranged is performed according to the method described above. An information ID (= IFID2) is detected.

そうすると、端末装置10の制御部14は、端末装置10のIDである端末ID(=TMID1)と、操作ID(=OPID3)と、情報ID(=IFID3)とからなるメッセージMSG2=[TMID1/OPID3/IFID2]を生成し、その生成したメッセージMSG2=[TMID1/OPID3/IFID2]を通信部15へ出力する。   Then, the control unit 14 of the terminal device 10 sends a message MSG2 = [TMID1 / OPID3] including a terminal ID (= TMID1), an operation ID (= OPID3), and an information ID (= IFID3), which is the ID of the terminal device 10. / IFID2] is generated, and the generated message MSG2 = [TMID1 / OPID3 / IFID2] is output to the communication unit 15.

そして、端末装置10の通信部15は、制御部14からメッセージMSG2=[TMID1/OPID3/IFID2]を受けると、その受けたメッセージMSG2=[TMID1/OPID3/IFID2]を無線ネットワークを介して基地局40へ送信する。   When the communication unit 15 of the terminal device 10 receives the message MSG2 = [TMID1 / OPID3 / IFID2] from the control unit 14, the communication unit 15 transmits the received message MSG2 = [TMID1 / OPID3 / IFID2] to the base station via the wireless network. 40.

このように、端末装置10は、自己が操作されたことに応じて、メッセージMSG2を生成し、その生成したメッセージMSG2を管理サーバ30へ送信する。   Thus, the terminal device 10 generates the message MSG2 in response to the operation of the terminal device 10 and transmits the generated message MSG2 to the management server 30.

基地局40は、無線ネットワークを介してメッセージMSG2=[TMID1/OPID3/IFID2]を端末装置10から受信し、その受信したメッセージMSG2=[TMID1/OPID3/IFID2]をケーブル42を介して、管理サーバ30へ送信する。   The base station 40 receives the message MSG2 = [TMID1 / OPID3 / IFID2] from the terminal device 10 via the wireless network, and receives the received message MSG2 = [TMID1 / OPID3 / IFID2] via the cable 42. To 30.

管理サーバ30の通信部31は、メッセージMSG2=[TMID1/OPID3/IFID2]を受信し、その受信したメッセージMSG2=[TMID1/OPID3/IFID2]を制御部32へ出力する。   The communication unit 31 of the management server 30 receives the message MSG2 = [TMID1 / OPID3 / IFID2] and outputs the received message MSG2 = [TMID1 / OPID3 / IFID2] to the control unit 32.

管理サーバ30の制御部32は、通信部31からメッセージMSG2=[TMID1/OPID3/IFID2]を受け、その受けたメッセージMSG2=[TMID1/OPID3/IFID2]から端末ID(=TMID1)、操作ID(=OPID3)および情報ID(=IFID2)を抽出する。   The control unit 32 of the management server 30 receives the message MSG2 = [TMID1 / OPID3 / IFID2] from the communication unit 31, and receives the terminal ID (= TMID1) and operation ID (from the received message MSG2 = [TMID1 / OPID3 / IFID2]). = OPID3) and information ID (= IFID2) are extracted.

そうすると、管理サーバ30の制御部32は、テーブルTBLを参照して、その抽出した端末ID(=TMID1)、操作ID(=OPID3)および情報ID(=IFID2)の組合せに対応する画像データMG3および情報IF3を抽出する。   Then, the control unit 32 of the management server 30 refers to the table TBL, and the image data MG3 corresponding to the combination of the extracted terminal ID (= TMID1), operation ID (= OPID3), and information ID (= IFID2) and Information IF3 is extracted.

そして、管理サーバ30の制御部32は、その抽出した画像データMG3を通信部31およびケーブル41を介して表示装置20へ送信し、その抽出した情報IF3を通信部31および無線ネットワークを介して端末装置10へ送信する。   The control unit 32 of the management server 30 transmits the extracted image data MG3 to the display device 20 via the communication unit 31 and the cable 41, and the extracted information IF3 is transmitted to the terminal via the communication unit 31 and the wireless network. Transmit to device 10.

表示装置20は、管理サーバ30から画像データMG3を受信し、その受信した画像データMG3に基づいて、動画MG3を表示する。この場合、端末装置10の配置位置は、変わらない(図15参照)。   The display device 20 receives the image data MG3 from the management server 30, and displays the moving image MG3 based on the received image data MG3. In this case, the arrangement position of the terminal device 10 does not change (see FIG. 15).

また、端末装置10は、管理サーバ30から情報IF3を受信し、その受信した情報IF3に基づいて、「別の種類の画像が表示装置20に表示された」ことを示すメッセージを表示する(図16参照)。   Further, the terminal device 10 receives the information IF3 from the management server 30, and displays a message indicating that “another type of image has been displayed on the display device 20” based on the received information IF3 (FIG. 16).

この場合、図15に示す動画MG3は、世界地図を示す画像であり、元来、表示装置20に表示されていた絵画の画像とは異なるものである。したがって、この発明においては、端末装置10に対して「移動」という操作が成された場合、その「移動」という操作に応じて、表示装置20に表示する画像の種類を切換えることにしたものである。   In this case, the moving image MG3 shown in FIG. 15 is an image showing a world map, which is different from the picture image originally displayed on the display device 20. Therefore, in the present invention, when the operation “move” is performed on the terminal device 10, the type of image displayed on the display device 20 is switched according to the operation “move”. is there.

上述したように、表示装置20上に配置された端末装置10に対して、ユーザが文字入力キーを押すという操作を行なうと、端末装置10は、自己が配置された位置に関連する情報の情報IDと、自己に対して成された操作を識別するための操作ID(=OPID2)と、自己を識別するための端末IDとを管理サーバ30へ送信し、管理サーバ30は、端末装置10から受信した情報ID、操作IDおよび端末IDの組合せに応じて、表示装置20の表示内容を動画MG1から動画MG2に更新し、端末装置10に動画MG1の一部の拡大画像を表示した。   As described above, when the user performs an operation of pressing the character input key with respect to the terminal device 10 arranged on the display device 20, the terminal device 10 has information information related to the position where the terminal device 10 is arranged. The ID, the operation ID (= OPID2) for identifying the operation performed on itself, and the terminal ID for identifying the self are transmitted to the management server 30. The display content of the display device 20 is updated from the moving image MG1 to the moving image MG2 according to the combination of the received information ID, operation ID, and terminal ID, and a partial enlarged image of the moving image MG1 is displayed on the terminal device 10.

また、表示装置20上に配置された端末装置10に対して、ユーザが端末装置10を移動させるという操作を行なうと、端末装置10は、自己が配置された位置に関連する情報の情報IDと、自己に対して成された操作を識別するための操作ID(=OPID3)と、自己を識別するための端末IDとを管理サーバ30へ送信し、管理サーバ30は、端末装置10から受信した情報ID、操作IDおよび端末IDの組合せに応じて、表示装置20の表示内容を動画MG1から動画MG3に更新し、表示装置20に表示する画像の種類が切換えられたことを示すメッセージを端末装置10に表示した。   In addition, when the user performs an operation of moving the terminal device 10 to the terminal device 10 arranged on the display device 20, the terminal device 10 includes an information ID of information related to the position where the terminal device 10 is arranged, and The operation ID (= OPID3) for identifying the operation performed on itself and the terminal ID for identifying itself are transmitted to the management server 30, and the management server 30 receives from the terminal device 10. In accordance with the combination of the information ID, the operation ID, and the terminal ID, the display content of the display device 20 is updated from the moving image MG1 to the moving image MG3, and a message indicating that the type of image displayed on the display device 20 has been switched is displayed on the terminal device. 10 is displayed.

つまり、この発明においては、端末装置10を表示装置20上におけるマウスとして機能させ、マウスである端末装置10に対して、何らかの操作を行なうと、管理サーバ30は、端末装置10に対して成された操作に対する応答を端末装置10および表示装置20に送信する。   That is, in the present invention, when the terminal device 10 functions as a mouse on the display device 20 and an operation is performed on the terminal device 10 that is a mouse, the management server 30 is configured for the terminal device 10. A response to the operation is transmitted to the terminal device 10 and the display device 20.

この場合、管理サーバ30は、端末装置10に対して成された操作に対する応答を端末装置10および表示装置20の両方に送信しなくてもよく、端末装置10に対して成された操作に対する応答を端末装置10および表示装置20の少なくとも一方に送信すればよい。   In this case, the management server 30 does not need to transmit a response to the operation performed on the terminal device 10 to both the terminal device 10 and the display device 20, and a response to the operation performed on the terminal device 10. May be transmitted to at least one of the terminal device 10 and the display device 20.

図17は、端末装置10に対する更に異なる操作を説明するための図である。図17を参照して、表示装置20は、管理サーバ30から受信した画像データに基づいて、世界地図の動画MG3を表示する。この場合、動画MG3は、14個のフレームFRM1〜FRM14からなり、各フレームFRM1〜FRM14は、同じ内容の画像を示し、各フレームFRM1〜FRM14の各画素には、各画素位置に関連する情報のIDが重畳されている。   FIG. 17 is a diagram for explaining still another operation for the terminal device 10. Referring to FIG. 17, display device 20 displays world map moving image MG <b> 3 based on the image data received from management server 30. In this case, the moving image MG3 includes 14 frames FRM1 to FRM14. Each frame FRM1 to FRM14 shows an image having the same content, and each pixel of each frame FRM1 to FRM14 has information related to each pixel position. ID is superimposed.

そして、ユーザは、端末装置10を動画MG3の任意の領域REG3に配置する。そうすると、端末装置10の撮影部11は、動画MG3の一部を撮影し、その撮影した動画MG3の一部に含まれる画素に埋め込まれたレベル信号LV1〜LV14に基づいて、上述した方法によって情報IDパターンを検出し、その検出した情報IDパターンを制御部14へ出力する。   Then, the user places the terminal device 10 in an arbitrary region REG3 of the moving image MG3. Then, the imaging unit 11 of the terminal device 10 captures a part of the moving image MG3, and performs information by the above-described method based on the level signals LV1 to LV14 embedded in the pixels included in the captured part of the moving image MG3. The ID pattern is detected, and the detected information ID pattern is output to the control unit 14.

端末装置10の制御部14は、撮影部11から情報IDパターンを受けると、その受けた情報IDパターンに基づいて、上述した方法によって、端末装置10が配置された画素の位置に関連する情報の情報ID(=IFID3)を検出する。   When the control unit 14 of the terminal device 10 receives the information ID pattern from the imaging unit 11, based on the received information ID pattern, the control unit 14 of the information related to the position of the pixel in which the terminal device 10 is arranged is performed according to the method described above. An information ID (= IFID3) is detected.

また、端末装置10の制御部14は、文字入力キーが2回押されたことを示す操作を操作部13から受けると、文字入力キーが2回押されたことを示す操作を識別するための操作ID(=OPID4)を生成する。   When the control unit 14 of the terminal device 10 receives an operation indicating that the character input key has been pressed twice from the operation unit 13, the control unit 14 identifies the operation indicating that the character input key has been pressed twice. An operation ID (= OPID4) is generated.

そうすると、端末装置10の制御部14は、端末装置10のIDである端末ID(=TMID1)と、操作ID(=OPID4)と、情報ID(=IFID3)とからなるメッセージMSG3=[TMID1/OPID4/IFID3]を生成し、その生成したメッセージMSG3=[TMID1/OPID4/IFID3]を通信部15へ出力する。   Then, the control unit 14 of the terminal device 10 sends a message MSG3 = [TMID1 / OPID4] including a terminal ID (= TMID1), an operation ID (= OPID4), and an information ID (= IFID3), which is the ID of the terminal device 10. / IFID3] is generated, and the generated message MSG3 = [TMID1 / OPID4 / IFID3] is output to the communication unit 15.

そして、端末装置10の通信部15は、制御部14からメッセージMSG3=[TMID1/OPID4/IFID3]を受けると、その受けたメッセージMSG3=[TMID1/OPID4/IFID3]を無線ネットワークを介して基地局40へ送信する。   When the communication unit 15 of the terminal device 10 receives the message MSG3 = [TMID1 / OPID4 / IFID3] from the control unit 14, the communication unit 15 transmits the received message MSG3 = [TMID1 / OPID4 / IFID3] to the base station via the wireless network. 40.

基地局40は、無線ネットワークを介してメッセージMSG3=[TMID1/OPID4/IFID3]を端末装置10から受信し、その受信したメッセージMSG3=[TMID1/OPID4/IFID3]をケーブル42を介して、管理サーバ30へ送信する。   The base station 40 receives the message MSG3 = [TMID1 / OPID4 / IFID3] from the terminal device 10 via the wireless network, and receives the received message MSG3 = [TMID1 / OPID4 / IFID3] via the cable 42. To 30.

このように、端末装置10は、操作部13が操作されたことに応じて、メッセージMSG3を生成し、その生成したメッセージMSG3を基地局40を介して管理サーバ30へ送信する。   In this way, the terminal device 10 generates the message MSG3 in response to the operation of the operation unit 13 and transmits the generated message MSG3 to the management server 30 via the base station 40.

管理サーバ30の通信部31は、メッセージMSG3=[TMID1/OPID4/IFID3]を受信し、その受信したメッセージMSG3=[TMID1/OPID4/IFID3]を制御部32へ出力する。   The communication unit 31 of the management server 30 receives the message MSG3 = [TMID1 / OPID4 / IFID3] and outputs the received message MSG3 = [TMID1 / OPID4 / IFID3] to the control unit 32.

管理サーバ30の制御部32は、通信部31からメッセージMSG3=[TMID1/OPID4/IFID3]を受け、その受けたメッセージMSG3=[TMID1/OPID4/IFID3]から端末ID(=TMID1)、操作ID(=OPID4)および情報ID(=IFID3)を抽出する。   The control unit 32 of the management server 30 receives the message MSG3 = [TMID1 / OPID4 / IFID3] from the communication unit 31, and from the received message MSG3 = [TMID1 / OPID4 / IFID3], the terminal ID (= TMID1) and the operation ID ( = OPID4) and information ID (= IFID3) are extracted.

そうすると、管理サーバ30の制御部32は、テーブルTBLを参照して、その抽出した端末ID(=TMID1)、操作ID(=OPID4)および情報ID(=IFID3)の組合せに対応する画像データG1および情報IF5を抽出する。   Then, the control unit 32 of the management server 30 refers to the table TBL, and the image data G1 corresponding to the combination of the extracted terminal ID (= TMID1), operation ID (= OPID4), and information ID (= IFID3) and Information IF5 is extracted.

そして、管理サーバ30の制御部32は、その抽出した画像データG1および情報IF5を通信部31およびケーブル42を介して基地局40へ送信し、基地局40は、画像データG1および情報IF5を無線ネットワークを介して端末装置10へ送信する。   The control unit 32 of the management server 30 transmits the extracted image data G1 and information IF5 to the base station 40 via the communication unit 31 and the cable 42, and the base station 40 wirelessly transmits the image data G1 and information IF5. It transmits to the terminal device 10 via a network.

このように、管理サーバ30は、端末装置10の文字入力キーが2回押された操作を示す操作ID=OPID4に応じて、画像データG1および情報IF5の両方を端末装置10へ送信する。   As described above, the management server 30 transmits both the image data G1 and the information IF5 to the terminal device 10 in accordance with the operation ID = OPID4 indicating the operation in which the character input key of the terminal device 10 is pressed twice.

端末装置10の通信部15は、無線ネットワークを介して画像データG1および情報IF5を受信し、その受信した画像データG1および情報IF5を制御部14へ出力する。そして、端末装置10の制御部14は、通信部15から受けた画像データG1および情報IF5に基づいて、名所の画像G1および名所の説明文IF5を表示部16に表示する。   The communication unit 15 of the terminal device 10 receives the image data G1 and the information IF5 via the wireless network, and outputs the received image data G1 and information IF5 to the control unit 14. Then, the control unit 14 of the terminal device 10 displays the landmark image G1 and the landmark description IF5 on the display unit 16 based on the image data G1 and the information IF5 received from the communication unit 15.

これによって、ユーザは、端末装置10を配置した位置に関連する名所を学習できる。   Thereby, the user can learn the sights related to the position where the terminal device 10 is arranged.

その後、ユーザは、端末装置10を動画MG3上の領域REG3から領域REG4へ移動させ、文字入力キーを2回押す。   Thereafter, the user moves the terminal device 10 from the region REG3 on the moving image MG3 to the region REG4 and presses the character input key twice.

そうすると、端末装置10の加速度センサ12は、加速度αを計測し、その計測した加速度αを制御部14へ出力する。そして、端末装置10の制御部14は、加速度センサ12から受けた加速度αを受けるとともに、文字入力キーが2回押されたことを示す操作を操作部13から受け、その受けた加速度αおよび文字入力キーが2回押されたことを示す操作に基づいて、端末装置10が移動した後に文字入力キーが2回押されたことを検知し、端末装置10に対して「移動および文字入力キーの操作」という操作が成されたことを示す操作ID(=OPID5)を生成する。   Then, the acceleration sensor 12 of the terminal device 10 measures the acceleration α and outputs the measured acceleration α to the control unit 14. Then, the control unit 14 of the terminal device 10 receives the acceleration α received from the acceleration sensor 12 and receives an operation from the operation unit 13 indicating that the character input key has been pressed twice. Based on the operation indicating that the input key has been pressed twice, it is detected that the character input key has been pressed twice after the terminal device 10 has moved. An operation ID (= OPID5) indicating that the operation "operation" has been performed is generated.

また、端末装置10の撮影部11は、領域REG4において、動画MG3の一部を撮影し、その撮影した動画MG3の一部に含まれる画素に埋め込まれたレベル信号LV1〜LV14に基づいて、上述した方法によって情報IDパターンを検出し、その検出した情報IDパターンを制御部14へ出力する。   In addition, the imaging unit 11 of the terminal device 10 captures a part of the moving image MG3 in the region REG4, and based on the level signals LV1 to LV14 embedded in pixels included in a part of the captured moving image MG3. The information ID pattern is detected by the method described above, and the detected information ID pattern is output to the control unit 14.

端末装置10の制御部14は、撮影部11から情報IDパターンを受けると、その受けた情報IDパターンに基づいて、上述した方法によって、端末装置10が配置された画素の位置に関連する情報の情報ID(=IFID4)を検出する。   When the control unit 14 of the terminal device 10 receives the information ID pattern from the imaging unit 11, based on the received information ID pattern, the control unit 14 of the information related to the position of the pixel in which the terminal device 10 is arranged is performed according to the method described above. An information ID (= IFID4) is detected.

そうすると、端末装置10の制御部14は、端末装置10のIDである端末ID(=TMID1)と、操作ID(=OPID5)と、情報ID(=IFID4)とからなるメッセージMSG4=[TMID1/OPID5/IFID4]を生成し、その生成したメッセージMSG4=[TMID1/OPID5/IFID4]を通信部15へ出力する。   Then, the control unit 14 of the terminal device 10 sends a message MSG4 = [TMID1 / OPID5] including a terminal ID (= TMID1), an operation ID (= OPID5), and an information ID (= IFID4), which is the ID of the terminal device 10. / IFID4] is generated, and the generated message MSG4 = [TMID1 / OPID5 / IFID4] is output to the communication unit 15.

そして、端末装置10の通信部15は、制御部14からメッセージMSG4=[TMID1/OPID5/IFID4]を受けると、その受けたメッセージMSG4=[TMID1/OPID5/IFID4]を無線ネットワークを介して基地局40へ送信する。   When the communication unit 15 of the terminal apparatus 10 receives the message MSG4 = [TMID1 / OPID5 / IFID4] from the control unit 14, the communication unit 15 transmits the received message MSG4 = [TMID1 / OPID5 / IFID4] to the base station via the wireless network. 40.

基地局40は、無線ネットワークを介してメッセージMSG4=[TMID1/OPID5/IFID4]を端末装置10から受信し、その受信したメッセージMSG4=[TMID1/OPID5/IFID4]をケーブル42を介して、管理サーバ30へ送信する。   The base station 40 receives the message MSG4 = [TMID1 / OPID5 / IFID4] from the terminal device 10 via the wireless network, and receives the received message MSG4 = [TMID1 / OPID5 / IFID4] via the cable 42. 30.

このように、端末装置10は、自己が移動および操作されたことに応じて、メッセージMSG4を生成し、その生成したメッセージMSG4を管理サーバ30へ送信する。   As described above, the terminal device 10 generates the message MSG4 in response to the movement and operation of the terminal device 10 and transmits the generated message MSG4 to the management server 30.

管理サーバ30の通信部31は、メッセージMSG4=[TMID1/OPID5/IFID4]を受信し、その受信したメッセージMSG4=[TMID1/OPID5/IFID4]を制御部32へ出力する。   The communication unit 31 of the management server 30 receives the message MSG4 = [TMID1 / OPID5 / IFID4] and outputs the received message MSG4 = [TMID1 / OPID5 / IFID4] to the control unit 32.

管理サーバ30の制御部32は、通信部31からメッセージMSG4=[TMID1/OPID5/IFID4]を受け、その受けたメッセージMSG4=[TMID1/OPID5/IFID4]から端末ID(=TMID1)、操作ID(=OPID5)および情報ID(=IFID4)を抽出する。   The control unit 32 of the management server 30 receives the message MSG4 = [TMID1 / OPID5 / IFID4] from the communication unit 31, and receives the terminal ID (= TMID1) and operation ID (from the received message MSG4 = [TMID1 / OPID5 / IFID4]). = OPID5) and information ID (= IFID4) are extracted.

そうすると、管理サーバ30の制御部32は、テーブルTBLを参照して、その抽出した端末ID(=TMID1)、操作ID(=OPID5)および情報ID(=IFID4)の組合せに対応する画像データG2および情報IF6を抽出する。   Then, the control unit 32 of the management server 30 refers to the table TBL, and the image data G2 corresponding to the combination of the extracted terminal ID (= TMID1), operation ID (= OPID5), and information ID (= IFID4) and Information IF6 is extracted.

そして、管理サーバ30の制御部32は、その抽出した画像データG2および情報IF6を通信部31およびケーブル42を介して基地局40へ送信し、基地局40は、画像データG2および情報IF6を無線ネットワークを介して端末装置10へ送信する。   Then, the control unit 32 of the management server 30 transmits the extracted image data G2 and information IF6 to the base station 40 via the communication unit 31 and the cable 42, and the base station 40 wirelessly transmits the image data G2 and information IF6. It transmits to the terminal device 10 via a network.

このように、管理サーバ30は、端末装置10の文字入力キーが2回押されたことを示す操作ID=OPID5に応じて、画像データG2および情報IF6の両方を端末装置10へ送信する。   In this way, the management server 30 transmits both the image data G2 and the information IF6 to the terminal device 10 in response to the operation ID = OPID5 indicating that the character input key of the terminal device 10 has been pressed twice.

端末装置10の通信部15は、無線ネットワークを介して画像データG2および情報IF6を受信し、その受信した画像データG2および情報IF6を制御部14へ出力する。そして、端末装置10の制御部14は、通信部15から受けた画像データG2および情報IF6に基づいて、パンダの画像G2およびパンダの説明文IF6を表示部16に表示する。   The communication unit 15 of the terminal device 10 receives the image data G2 and the information IF6 via the wireless network, and outputs the received image data G2 and information IF6 to the control unit 14. Then, the control unit 14 of the terminal device 10 displays the panda image G2 and the panda explanatory text IF6 on the display unit 16 based on the image data G2 and the information IF6 received from the communication unit 15.

これによって、ユーザは、端末装置10を配置した位置に関連する情報を学習できる。   Thereby, the user can learn information related to the position where the terminal device 10 is arranged.

上述したように、通信システム100を用いれば、ユーザは、端末装置10を用いて世界の各地の名所等について学習できる。   As described above, when the communication system 100 is used, the user can learn about famous places in the world using the terminal device 10.

図18は、この発明の実施の形態による他の通信システムの構成を示す概略図である。この発明による通信システムは、図18に示す通信システム100Aであってもよい。図18を参照して、通信システム100Aは、図1に示す通信システム100の管理サーバ30を管理サーバ30Aに代えたものであり、その他は、通信システム100と同じである。   FIG. 18 is a schematic diagram showing the configuration of another communication system according to the embodiment of the present invention. The communication system according to the present invention may be a communication system 100A shown in FIG. 18, communication system 100A is the same as communication system 100 except that management server 30 of communication system 100 shown in FIG.

管理サーバ30Aは、各画素に情報IDが埋め込まれた複数のフレームからなる動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示する。   The management server 30A, when displaying a moving image composed of a plurality of frames in which information IDs are embedded in each pixel, passes a specified time from the start of displaying one frame, and displays the frame. Is completed, the display of the next frame is started to display a moving image consisting of all of the plurality of frames on the display device 20.

通常、動画を表示する表示用プログラムは、動画を実時間に沿って表示するために、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、先のフレームの表示開始後、既に経過した時間内に表示するように割り当てられていたフレームの表示を中止して、当該時点に割り当てられているフレームを選択し、その選択したフレームの表示を開始することによって、予め準備された複数のフレームのうち、時間内に表示できたフレームだけからなる動画を表示装置20に表示する。   Usually, a display program for displaying a moving image displays a moving image in real time, and a specified time has elapsed since the start of displaying one frame, and the display of the frame is completed. When the display of the previous frame starts, the display of the frame assigned to be displayed within the elapsed time is stopped, the frame assigned at that time is selected, and the selected By starting the display of the frame, a moving image consisting only of frames that can be displayed within the time among the plurality of frames prepared in advance is displayed on the display device 20.

その結果、レベル信号LV1〜LV14の全てを表示装置20に伝達できず、端末装置10は、レベル信号LV1〜LV14の全てを検出できず、情報IDを正しく取得することができない。   As a result, all of the level signals LV1 to LV14 cannot be transmitted to the display device 20, and the terminal device 10 cannot detect all of the level signals LV1 to LV14 and cannot correctly acquire the information ID.

そこで、この発明においては、各画素に情報IDが埋め込まれた複数のフレームからなる動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示することにしたものである。   Therefore, in the present invention, when displaying a moving image composed of a plurality of frames in which information IDs are embedded in each pixel, a specified time has elapsed since the start of display of one frame, and the frame When the display is completed, the display of the moving image consisting of all of the plurality of frames is started on the display device 20 by starting the display of the next frame.

図19は、図18に示す管理サーバ30Aの構成を示す概略ブロック図である。図19を参照して、管理サーバ30Aは、図3に示す管理サーバ30の制御部32を制御部32Aに代えたものであり、その他は、管理サーバ30と同じである。   FIG. 19 is a schematic block diagram showing the configuration of the management server 30A shown in FIG. Referring to FIG. 19, management server 30A is the same as management server 30 except that control unit 32 of management server 30 shown in FIG. 3 is replaced with control unit 32A.

制御部32Aは、各画素に情報IDが埋め込まれた複数のフレームからなる動画を表示装置20に表示する際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示するように、記憶部33に記憶された動画を読み出し、その読み出した動画を構成する複数のフレームを通信部31およびケーブル41を介して表示装置20へ送信する。制御部32Aは、その他、制御部32と同じ機能を果たす。   When the control unit 32A displays a moving image including a plurality of frames in which information IDs are embedded in each pixel on the display device 20, a specified time has elapsed since the start of display of one frame, and When the display of the frame is completed, the moving image stored in the storage unit 33 is read so that the moving image including all of the plurality of frames is displayed on the display device 20 by starting the display of the next frame. The plurality of frames constituting the read moving image are transmitted to the display device 20 via the communication unit 31 and the cable 41. In addition, the control unit 32A performs the same function as the control unit 32.

図20は、図18に示す通信システム100Aにおいて用いられる基本レベル信号を示す図である。図20を参照して、基本レベル信号BLV1〜BLV3が通信システム100Aにおいて用いられる。   FIG. 20 shows basic level signals used in communication system 100A shown in FIG. Referring to FIG. 20, basic level signals BLV1 to BLV3 are used in communication system 100A.

基本レベル信号BLV1は、「強」の照度レベルを有し、基本レベル信号BLV2は、「中」の照度レベルを有し、基本レベル信号BLV3は、「弱」の照度レベルを有する。   The basic level signal BLV1 has a “high” illuminance level, the basic level signal BLV2 has a “medium” illuminance level, and the basic level signal BLV3 has a “weak” illuminance level.

図21は、図20に示す基本レベル信号を用いた2値情報の表現方法を示す図である。図21を参照して、プリアンブルは、3個の基本レベル信号BLV1と、2個の基本レベル信号BLV3とからなる。そして、3個の基本レベル信号BLV1および2個の基本レベル信号BLV3は、基本レベル信号BLV1と基本レベル信号BLV3とが交互になるように配列される(図21の(a)参照)。   FIG. 21 is a diagram showing a binary information expression method using the basic level signal shown in FIG. Referring to FIG. 21, the preamble includes three basic level signals BLV1 and two basic level signals BLV3. The three basic level signals BLV1 and the two basic level signals BLV3 are arranged so that the basic level signal BLV1 and the basic level signal BLV3 are alternated (see FIG. 21A).

また、“0”は、1個の基本レベル信号BLV2と1個の基本レベル信号BLV3とからなる。そして、1個の基本レベル信号BLV2および1個の基本レベル信号BLV3は、基本レベル信号BLV3が基本レベル信号BLV2の次に位置するように配列される(図21の(b)参照)。   "0" is composed of one basic level signal BLV2 and one basic level signal BLV3. Then, one basic level signal BLV2 and one basic level signal BLV3 are arranged so that the basic level signal BLV3 is positioned next to the basic level signal BLV2 (see FIG. 21B).

さらに、“1”は、1個の基本レベル信号BLV2と1個の基本レベル信号BLV1とからなる。そして、1個の基本レベル信号BLV2および1個の基本レベル信号BLV1は、基本レベル信号BLV1が基本レベル信号BLV2の次に位置するように配列される(図21の(c)参照)。   Further, “1” is composed of one basic level signal BLV2 and one basic level signal BLV1. Then, one basic level signal BLV2 and one basic level signal BLV1 are arranged so that the basic level signal BLV1 is positioned next to the basic level signal BLV2 (see FIG. 21C).

さらに、“2”は、1個の基本レベル信号BLV2と、1個の基本レベル信号BLV3と、1個の基本レベル信号BLV1とからなる。そして、1個の基本レベル信号BLV2、1個の基本レベル信号BLV3、および1個の基本レベル信号BLV1は、基本レベル信号BLV2、基本レベル信号BLV3、および基本レベル信号BLV1の順に配列される(図21の(d)参照)。   Further, “2” includes one basic level signal BLV2, one basic level signal BLV3, and one basic level signal BLV1. One basic level signal BLV2, one basic level signal BLV3, and one basic level signal BLV1 are arranged in the order of the basic level signal BLV2, the basic level signal BLV3, and the basic level signal BLV1 (FIG. 21 (d)).

さらに、“3”は、1個の基本レベル信号BLV2と、1個の基本レベル信号BLV1と、1個の基本レベル信号BLV3とからなる。そして、1個の基本レベル信号BLV2、1個の基本レベル信号BLV1、および1個の基本レベル信号BLV3は、基本レベル信号BLV2、基本レベル信号BLV1、および基本レベル信号BLV3の順に配列される(図21の(e)参照)。   Further, “3” includes one basic level signal BLV2, one basic level signal BLV1, and one basic level signal BLV3. One basic level signal BLV2, one basic level signal BLV1, and one basic level signal BLV3 are arranged in the order of the basic level signal BLV2, the basic level signal BLV1, and the basic level signal BLV3 (FIG. 21 (e)).

図22は、図18に示す通信システム100Aにおいて用いられる埋め込み情報の例を示す図である。図22を参照して、格画素に情報IDが埋め込まれた複数のフレームからなる動画が生成され、管理サーバ30Aの記憶部33に記憶されている。管理サーバ30Aは、その動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示する。   FIG. 22 is a diagram illustrating an example of embedded information used in the communication system 100A illustrated in FIG. Referring to FIG. 22, a moving image including a plurality of frames in which information IDs are embedded in the case pixels is generated and stored in the storage unit 33 of the management server 30A. When displaying the moving image, the management server 30A displays the next frame when the specified time has elapsed since the start of the display of one frame and the display of the frame has been completed. Is started, and a moving image composed of all of the plurality of frames is displayed on the display device 20.

そして、基本レベル信号BLV1、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV3、基本レベル信号BLV2、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV1、および基本レベル信号BLV3は、それぞれ、複数のフレーム(=15枚のフレーム)に埋め込まれている。   Then, basic level signal BLV1, basic level signal BLV3, basic level signal BLV1, basic level signal BLV3, basic level signal BLV1, basic level signal BLV2, basic level signal BLV3, basic level signal BLV2, basic level signal BLV1, basic level signal BLV2, basic level signal BLV3, basic level signal BLV1, basic level signal BLV2, basic level signal BLV1, and basic level signal BLV3 are each embedded in a plurality of frames (= 15 frames).

端末装置10は、自己が配置された表示装置20上の位置において動画を撮影し、その撮影した動画を構成する複数のフレームに埋め込まれた基本レベル信号BLV1、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV3、基本レベル信号BLV2、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV3、基本レベル信号BLV1、基本レベル信号BLV2、基本レベル信号BLV1、および基本レベル信号BLV3を検出する。そして、端末装置10は、“プリアンブル”、“0”、“1”、“2”および“3”を検出する(図22の(a)参照)。   The terminal device 10 captures a moving image at a position on the display device 20 where the terminal device 10 is disposed, and the basic level signal BLV1, the basic level signal BLV3, and the basic level signal BLV1 embedded in a plurality of frames constituting the captured moving image. , Basic level signal BLV3, basic level signal BLV1, basic level signal BLV2, basic level signal BLV3, basic level signal BLV2, basic level signal BLV1, basic level signal BLV2, basic level signal BLV3, basic level signal BLV1, basic level signal BLV2 The basic level signal BLV1 and the basic level signal BLV3 are detected. Then, the terminal device 10 detects “preamble”, “0”, “1”, “2”, and “3” (see FIG. 22A).

また、図22の(b)は、管理サーバ30Aの処理性能が相対的に低く、1つ1つのフレームの表示に要する時間が長くなっている場合の時間経過と情報を埋め込むための基本レベル信号の遷移を示す図である。   FIG. 22 (b) shows a basic level signal for embedding time and information when the processing performance of the management server 30A is relatively low and the time required to display each frame is long. It is a figure which shows no transition.

図22の(b)に示す場合は、図22の(a)と同一の情報を埋め込んでいるが、基本レベル信号BLV1〜BLV3の時間の幅が図22の(a)に示す場合よりも広くなっている。   In the case shown in (b) of FIG. 22, the same information as in (a) of FIG. 22 is embedded, but the time width of the basic level signals BLV1 to BLV3 is wider than that shown in (a) of FIG. It has become.

図18に示す通信システム100Aにおいては、上述した情報IDは、図22に示す方法によって複数のフレームの各画素に埋め込まれる。   In the communication system 100A shown in FIG. 18, the above-described information ID is embedded in each pixel of a plurality of frames by the method shown in FIG.

上述したように、図18に示す通信システム100Aにおいては、管理サーバ30Aは、動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示する。その結果、管理サーバ30Aは、欠落を防止して複数のフレームの全てを表示装置20に表示する。   As described above, in the communication system 100A shown in FIG. 18, the management server 30A passes a specified time from the start of displaying one frame when displaying a moving image, When the display is complete, the display of the next frame is started to display a moving image consisting of all of the plurality of frames on the display device 20. As a result, the management server 30 </ b> A displays all of the plurality of frames on the display device 20 while preventing loss.

したがって、この発明によれば、処理の負荷が変化する場合でも、情報IDを端末装置10に正確に伝達できる。   Therefore, according to the present invention, the information ID can be accurately transmitted to the terminal device 10 even when the processing load changes.

この発明によれば、複数のレベル信号LV1〜LV14が動画を構成する複数のフレームFRM1〜FRM14にそれぞれ埋め込まれる。そして、複数のフレームFRM1〜FRM14の各々は、同じ内容の画像を表示し、表示装置20は、複数のフレームFRM1〜FRM14を連続的に表示し、端末装置10は、その連続的に表示された複数のフレームFRM1〜FRM14を撮影する。その結果、端末装置10は、撮影した複数のフレームFRM1〜FRM14に埋め込まれた複数のレベル信号LV1〜LV14を取得する。   According to the present invention, the plurality of level signals LV1 to LV14 are embedded in the plurality of frames FRM1 to FRM14 constituting the moving image, respectively. Each of the plurality of frames FRM1 to FRM14 displays an image having the same content, the display device 20 continuously displays the plurality of frames FRM1 to FRM14, and the terminal device 10 is continuously displayed. A plurality of frames FRM1 to FRM14 are photographed. As a result, the terminal device 10 acquires a plurality of level signals LV1 to LV14 embedded in the plurality of captured frames FRM1 to FRM14.

したがって、この発明によれば、従来の表示システムをそのまま用いて埋め込み情報(=レベル信号LV1〜LV14)を端末装置10へ伝達できる。   Therefore, according to the present invention, the embedded information (= level signals LV1 to LV14) can be transmitted to the terminal device 10 using the conventional display system as it is.

また、この発明によれば、管理サーバ30Aは、動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって複数のフレームの全てからなる動画を表示装置20に表示するので、欠落を防止して複数のフレームの全てを表示装置20に表示する。   According to the present invention, the management server 30A, when displaying a moving image, when a specified time has elapsed since the start of displaying one frame and when the display of the frame has been completed. In addition, since the moving image including all of the plurality of frames is displayed on the display device 20 by starting the display of the next frame, all of the plurality of frames are displayed on the display device 20 while preventing loss.

したがって、この発明によれば、処理の負荷が変化する場合でも、情報IDを端末装置10に正確に伝達できる。   Therefore, according to the present invention, the information ID can be accurately transmitted to the terminal device 10 even when the processing load changes.

さらに、この発明によれば、管理サーバ30,30Aは、端末装置10に対する操作に応じて、端末装置10が配置された画素の位置に関連する情報を表示装置20および/または端末装置10に表示する。   Furthermore, according to the present invention, the management servers 30 and 30A display, on the display device 20 and / or the terminal device 10, information related to the position of the pixel where the terminal device 10 is arranged in response to an operation on the terminal device 10. To do.

したがって、この発明によれば、端末装置10をマウスと同じように用いて各種の情報を取得できる。   Therefore, according to this invention, various information can be acquired using the terminal device 10 like a mouse.

この発明においては、レベル信号LV1〜LV14は、「複数の照度信号」を構成する。   In the present invention, the level signals LV1 to LV14 constitute “a plurality of illuminance signals”.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and is intended to include meanings equivalent to the scope of claims for patent and all modifications within the scope.

この発明は、従来の表示システムをそのまま用いて埋め込み情報を伝達可能な通信システムに適用される。   The present invention is applied to a communication system capable of transmitting embedded information using a conventional display system as it is.

この発明の実施の形態による通信システムの構成を示す概略図である。It is the schematic which shows the structure of the communication system by embodiment of this invention. 図1に示す端末信装置の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the terminal communication apparatus shown in FIG. 図1に示す管理サーバの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the management server shown in FIG. 撮影部における受光画素を示す平面図である。It is a top view which shows the light reception pixel in an imaging | photography part. 表示装置によって表示された画像の1つの画素を示す平面図である。It is a top view which shows one pixel of the image displayed by the display apparatus. 図4に示す各受光画素における受光レベルの遷移を示す図である。It is a figure which shows the transition of the light reception level in each light reception pixel shown in FIG. 1つの画素と受光画素との関係を示す平面図である。It is a top view which shows the relationship between one pixel and a light receiving pixel. 受光パターンと情報IDとの関係を示す関係テーブルの概念図である。It is a conceptual diagram of the relationship table which shows the relationship between a light reception pattern and information ID. 表示装置が表示する動画の構成を示す図である。It is a figure which shows the structure of the moving image which a display apparatus displays. 図3に示す記憶部が記憶するテーブルを示す図である。It is a figure which shows the table which the memory | storage part shown in FIG. 3 memorize | stores. 表示装置に表示された画像を示す図である。It is a figure which shows the image displayed on the display apparatus. 表示装置に表示された他の画像を示す図である。It is a figure which shows the other image displayed on the display apparatus. 端末装置に表示された画像を示す図である。It is a figure which shows the image displayed on the terminal device. 端末装置に対する異なる操作を説明するための図である。It is a figure for demonstrating different operation with respect to a terminal device. 表示装置に表示されたさらに他の画像を示す図である。It is a figure which shows the further another image displayed on the display apparatus. 端末装置に表示されたメッセージを示す図である。It is a figure which shows the message displayed on the terminal device. 端末装置に対する更に異なる操作を説明するための図である。It is a figure for demonstrating the further different operation with respect to a terminal device. この発明の実施の形態による他の通信システムの構成を示す概略図である。It is the schematic which shows the structure of the other communication system by embodiment of this invention. 図18に示す管理サーバの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the management server shown in FIG. 図18に示す通信システムにおいて用いられる基本レベル信号を示す図である。It is a figure which shows the basic level signal used in the communication system shown in FIG. 図20に示す基本レベル信号を用いた2値情報の表現方法を示す図である。It is a figure which shows the expression method of the binary information using the basic level signal shown in FIG. 図18に示す通信システムにおいて用いられる埋め込み情報の例を示す図である。It is a figure which shows the example of the embedding information used in the communication system shown in FIG.

符号の説明Explanation of symbols

10 端末装置、11 撮影部、12 加速度センサ、13 操作部、14,32 制御部、15,31 通信部、16 表示部、20 表示装置、30 管理サーバ、33 記憶部、40 基地局、41,42 ケーブル、100 通信システム。   DESCRIPTION OF SYMBOLS 10 Terminal device, 11 Image pick-up part, 12 Acceleration sensor, 13 Operation part, 14, 32 Control part, 15, 31 Communication part, 16 Display part, 20 Display apparatus, 30 Management server, 33 Storage part, 40 Base station, 41, 42 cables, 100 communication systems.

Claims (8)

複数のフレームからなる動画を表示する表示装置と、
前記表示装置に表示された動画を撮影する端末装置とを備え、
前記複数のフレームは、
同じ内容の画像を表示するための複数の画像データと、
前記複数の画像データに重畳され、ビット情報を表す複数の照度信号とを含む、通信システム置。
A display device for displaying a moving image composed of a plurality of frames;
A terminal device for photographing the moving image displayed on the display device,
The plurality of frames are:
Multiple image data to display the same content image,
And a plurality of illuminance signals superimposed on the plurality of image data and representing bit information.
前記複数の照度信号は、照度レベルを変えることによって前記ビット情報を表す、請求項1に記載の通信システム。   The communication system according to claim 1, wherein the plurality of illuminance signals represent the bit information by changing an illuminance level. 前記複数の照度信号の各々は、1つの画像データを構成する複数の画素データの各々に重畳される、請求項2に記載の通信システム。   The communication system according to claim 2, wherein each of the plurality of illuminance signals is superimposed on each of a plurality of pixel data constituting one image data. 前記複数の画像データにおいて、対応する画素位置の画素データに重畳された複数の照度信号は、前記対応する画素位置に関連する情報識別子を表す、請求項3に記載の通信システム。   The communication system according to claim 3, wherein, in the plurality of image data, a plurality of illuminance signals superimposed on pixel data at corresponding pixel positions represent information identifiers associated with the corresponding pixel positions. 前記端末装置は、前記表示装置上に配置され、自己が配置された位置で撮影した動画に含まれる複数の照度信号を検出して自己が配置された位置に関連する情報識別子を取得する、請求項4に記載の通信システム。   The terminal device is arranged on the display device, detects a plurality of illuminance signals included in a moving image taken at a position where the terminal device is arranged, and acquires an information identifier related to the position where the terminal device is arranged. Item 5. The communication system according to Item 4. 前記複数のフレームを保持するとともに、前記複数のフレームからなる動画を前記表示装置に表示する管理サーバをさらに備え、
前記端末装置は、自己に対して成された操作を識別するための操作識別子と、自己を識別するための端末識別子と、前記情報識別子とからなるメッセージを無線ネットワークを介して前記管理サーバへ送信し、
前記管理サーバは、前記メッセージの受信に応じて、前記端末装置に対して成された操作の応答結果を前記表示装置または前記端末装置に表示する、請求項5に記載の通信システム。
A management server that holds the plurality of frames and displays a moving image including the plurality of frames on the display device;
The terminal device transmits a message including an operation identifier for identifying an operation performed on itself, a terminal identifier for identifying itself, and the information identifier to the management server via a wireless network. And
The communication system according to claim 5, wherein the management server displays a response result of an operation performed on the terminal device on the display device or the terminal device in response to reception of the message.
前記管理サーバは、前記複数のフレームからなる動画の表示の際に、1つのフレームの表示が開始されてから指定された時間が経過し、かつ、当該フレームの表示が完了しているときに、次のフレームの表示を開始することによって前記複数のフレームの全てからなる動画を前記表示装置に表示する、請求項6に記載の通信システム。   The management server, when displaying a moving image consisting of a plurality of frames, when a specified time has elapsed since the start of the display of one frame, and when the display of the frame has been completed, The communication system according to claim 6, wherein a moving image including all of the plurality of frames is displayed on the display device by starting display of a next frame. 前記管理サーバは、前記受信したメッセージに含まれる前記操作識別子、前記情報識別子および前記端末識別子の組合せに応じて、前記表示装置の表示内容を更新し、または前記端末装置に表示するための情報を前記端末装置へ送信する、請求項6または請求項7に記載の通信システム。   The management server updates information displayed on the display device or displays information to be displayed on the terminal device in accordance with a combination of the operation identifier, the information identifier, and the terminal identifier included in the received message. The communication system according to claim 6 or 7, wherein the communication system transmits to the terminal device.
JP2007341521A 2007-12-29 2007-12-29 Communication system Pending JP2009164856A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007341521A JP2009164856A (en) 2007-12-29 2007-12-29 Communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007341521A JP2009164856A (en) 2007-12-29 2007-12-29 Communication system

Publications (1)

Publication Number Publication Date
JP2009164856A true JP2009164856A (en) 2009-07-23

Family

ID=40966953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007341521A Pending JP2009164856A (en) 2007-12-29 2007-12-29 Communication system

Country Status (1)

Country Link
JP (1) JP2009164856A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252971A (en) * 2010-05-31 2011-12-15 Casio Comput Co Ltd Projection device, projection system and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252971A (en) * 2010-05-31 2011-12-15 Casio Comput Co Ltd Projection device, projection system and program

Similar Documents

Publication Publication Date Title
CN101340954B (en) Game controller
CN107079565B (en) Lighting device
US8913885B2 (en) Information provision system, server, terminal device, information provision method, display control method and recording medium
US9727298B2 (en) Device and method for allocating data based on an arrangement of elements in an image
US9357119B2 (en) Imaging apparatus capable of wireless communication
KR20170029002A (en) Invisible optical label for transmitting information between computing devices
CN101641718A (en) Image processing device, image processing method, and image processing system
CN107205218B (en) Pairing method and system of Bluetooth equipment
US20140247275A1 (en) Information processing method and electronic device
JP4303087B2 (en) Data signal transmission method and reception method and apparatus, system, program, and recording medium
CN112105983A (en) Enhanced visual ability
CN112272311A (en) Method, device, terminal, server and medium for repairing splash screen
EP2767845A1 (en) Augmented reality system with encoding beacons
US10750080B2 (en) Information processing device, information processing method, and program
JP2009164856A (en) Communication system
CN110622501A (en) Image processing apparatus and electronic device
JP2009282431A (en) Projector, image display device, and image display control device
CN112711335B (en) Virtual environment picture display method, device, equipment and storage medium
CN105468171A (en) Display system and display method for display system
JP2010015032A (en) Projector, control method thereof, and image projection display system
US20120050302A1 (en) Method and apparatus for enhancing a white-board
CN110087023B (en) Video image transmission device, information processing device, system, method, and medium
CN114071424A (en) Method, device, system, equipment and storage medium for finding lost connection of mobile terminal
JP2013057822A (en) Image projection system
JP2012123091A (en) Image display device