JP2016180986A - Display system, display terminal, display method, and program - Google Patents
Display system, display terminal, display method, and program Download PDFInfo
- Publication number
- JP2016180986A JP2016180986A JP2016090020A JP2016090020A JP2016180986A JP 2016180986 A JP2016180986 A JP 2016180986A JP 2016090020 A JP2016090020 A JP 2016090020A JP 2016090020 A JP2016090020 A JP 2016090020A JP 2016180986 A JP2016180986 A JP 2016180986A
- Authority
- JP
- Japan
- Prior art keywords
- display
- terminal
- displayed
- unit
- information indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、表示システム、表示端末、表示方法及びプログラムに関する。 The present invention relates to a display system, a display terminal, a display method, and a program.
従来、日時や温度等の各種情報を表示するディスプレイ等を備える腕時計が知られている（例えば、特許文献１参照）。また、近年では、より大型のディスプレイに、日時や温度以外の情報、例えば、地図、Ｗｅｂサイト、画像等を表示可能な腕時計型の表示端末も提案されている。 Conventionally, a wristwatch provided with a display or the like for displaying various types of information such as date and temperature is known (see, for example, Patent Document 1). In recent years, a wristwatch-type display terminal that can display information other than date and temperature, for example, a map, a website, and an image on a larger display has been proposed.
しかしながら、腕時計型の表示端末は、一般的に手首に装着されることから寸法に制約が生じ、広い面積の表示領域を確保し難い。このため、腕時計型の表示端末では、地図、Ｗｅｂサイト、画像等を拡大して表示すると、その一部分しか表示されないこととなり、使い勝手が悪いといった問題がある。 However, since a wristwatch-type display terminal is generally attached to the wrist, the size is limited, and it is difficult to secure a wide display area. For this reason, in a wristwatch-type display terminal, when a map, a Web site, an image, or the like is enlarged and displayed, only a part of the map is displayed, and there is a problem that usability is poor.
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、より多くの情報を効率良く表示することができる表示システム、表示端末、表示方法及びプログラムを提供することである。 The present invention has been made in view of such problems, and an object of the present invention is to provide a display system, a display terminal, a display method, and a program capable of efficiently displaying more information. is there.
上記課題を解決するため、本発明に係る表示システムは、第一の表示端末は、第一の表示手段と、前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、前記取得手段により取得された前記表示内容を示す情報を、通信可能に接続された第二の表示端末に送信する送信手段と、を備え、前記第二の表示端末は、第二の表示手段と、前記第一の表示端末から送信された前記表示内容を示す情報を受信する受信手段と、前記受信手段により受信された前記表示内容を示す情報に基づいて、前記第二の表示手段で
表示させるべきアプリケーションを特定するアプリケーション特定手段と、前記アプリケーション特定手段で特定された前記アプリケーションを起動させると共に、前記受信手段により受信された前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、を備えることを特徴としている。
In order to solve the above problems, in the display system according to the present invention, the first display terminal obtains information indicating the display content displayed on the first display means and the first display means. And transmission means for transmitting information indicating the display content acquired by the acquisition means to a second display terminal connected to be communicable, wherein the second display terminal is a second display Means for receiving the information indicating the display content transmitted from the first display terminal, and the second display means based on the information indicating the display content received by the receiving means. Application specifying means for specifying an application to be displayed, and the display contents received by the receiving means while starting the application specified by the application specifying means Based on the information indicating, it is characterized by and a control means for displaying the related information of the content associated with the display contents of the first display means to the second display means in the application.
本発明によれば、より多くの情報を効率良く表示することができる。 According to the present invention, more information can be displayed efficiently.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
図１は、本発明を適用した一実施形態の表示システム１００の概略構成を示す図である。
図１に示すように、本実施形態の表示システム１００は、腕時計型表示端末１（図２参照）と、眼鏡型表示端末２（図３参照）とを備え、腕時計型表示端末１と眼鏡型表示端末２とは、無線通信回線を介して情報通信可能に接続されている。
FIG. 1 is a diagram showing a schematic configuration of a display system 100 according to an embodiment to which the present invention is applied.
As shown in FIG. 1, the display system 100 of this embodiment includes a wristwatch type display terminal 1 (see FIG. 2) and a glasses type display terminal 2 (see FIG. 3), and the wristwatch type display terminal 1 and the glasses type. The display terminal 2 is connected to be capable of information communication via a wireless communication line.
先ず、腕時計型表示端末（第一の表示端末）１について、図２を参照して説明する。
図２は、表示システム１００を構成する腕時計型表示端末１の概略構成を示すブロック図である。
First, a wristwatch type display terminal (first display terminal) 1 will be described with reference to FIG.
FIG. 2 is a block diagram showing a schematic configuration of the wristwatch type display terminal 1 constituting the display system 100.
腕時計型表示端末１は、所謂、装着者Ｓに装着されるウェアラブルコンピューターシステムであり、特に手首装着型コンピューターシステム（ヘッドマウンティドディスプレイ）である。
図２に示すように、腕時計型表示端末１は、中央制御部１０１と、メモリ１０２と、傾き検出部１０３と、表示部１０４と、表示制御部１０５と、表示内容取得部１０６と、計時部１０７と、無線処理部１０８と、操作入力部１０９とを備えている。
また、中央制御部１０１、メモリ１０２、傾き検出部１０３、表示部１０４、表示制御部１０５、表示内容取得部１０６、計時部１０７及び無線処理部１０８は、バスライン１１０を介して接続されている。
The wristwatch type display terminal 1 is a so-called wearable computer system worn by the wearer S, and in particular, a wrist-worn type computer system (head mounted display).
As shown in FIG. 2, the wristwatch type display terminal 1 includes a central control unit 101, a memory 102, a tilt detection unit 103, a display unit 104, a display control unit 105, a display content acquisition unit 106, and a time measuring unit. 107, a wireless processing unit 108, and an operation input unit 109.
The central control unit 101, the memory 102, the tilt detection unit 103, the display unit 104, the display control unit 105, the display content acquisition unit 106, the time measuring unit 107, and the wireless processing unit 108 are connected via a bus line 110. .
中央制御部１０１は、腕時計型表示端末１の各部を制御するものである。具体的には、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、腕時計型表示端末１用の各種処理プログラム（図示略）に従って各種の制御動作を行う。 The central control unit 101 controls each unit of the wristwatch type display terminal 1. Specifically, although not shown, the central control unit 101 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), and various processing programs for the wristwatch-type display terminal 1. Various control operations are performed in accordance with (not shown).
メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１の他、当該腕時計型表示端末１の各部によって処理されるデータ等を一時的に記憶するものである。 The memory 102 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores data processed by each unit of the wristwatch type display terminal 1 in addition to the central control unit 101.
傾き検出部（検出手段）１０３は、当該端末本体の傾きを検出する。
すなわち、傾き検出部１０３は、当該端末本体の重力軸方向に対する傾きを検出する。具体的には、傾き検出部１０３は、例えば、３軸加速度センサ等を備え、この３軸加速度センサによる各軸の検出信号の０Ｈｚの周波数成分に基づいて重力軸方向を特定し、当該重力軸方向に対する各軸の傾きを検出する。
なお、上記した３軸加速度センサによる重力軸方向の検出手法や、傾き検出部１０３による端末本体の重力軸方向に対する傾きの検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
An inclination detection unit (detection means) 103 detects the inclination of the terminal body.
That is, the inclination detection unit 103 detects the inclination of the terminal body with respect to the gravity axis direction. Specifically, the inclination detection unit 103 includes, for example, a triaxial acceleration sensor and the like, specifies the gravity axis direction based on the frequency component of 0 Hz of the detection signal of each axis by the triaxial acceleration sensor, and the gravity axis The inclination of each axis with respect to the direction is detected.
Note that the above-described method for detecting the gravitational axis direction using the three-axis acceleration sensor and the method for detecting the tilt of the terminal body with respect to the gravitational axis direction using the tilt detecting unit 103 are merely examples, and are not limited thereto. It can be changed.
表示部（第一の表示手段）１０４は、所定の情報を表示する。
すなわち、表示部１０４は、例えば、ＬＣＤ等を具備し、中央制御部１０１のＣＰＵの制御下にて各種情報を表示領域１０４ａ（図５（ａ）等参照）内に表示する。具体的には、表示部１０４は、例えば、表示制御部１０５から出力された画像信号に応じてアプリケーション画面（例えば、地図画面やＷｅｂページ画面等）を表示領域１０４ａ内に表示する。
The display unit (first display means) 104 displays predetermined information.
That is, the display unit 104 includes, for example, an LCD and displays various information in the display area 104a (see FIG. 5A and the like) under the control of the CPU of the central control unit 101. Specifically, the display unit 104 displays an application screen (for example, a map screen, a web page screen, etc.) in the display area 104a according to the image signal output from the display control unit 105, for example.
表示制御部１０５は、中央制御部１０１のＣＰＵによる各種のアプリケーションプログラム（図示略）の実行に基づいて、アプリケーション画面を生成し、生成されたアプリケーション画面に従った画像信号を表示部１０４に出力する。また、表示制御部１０５は、例えば、ユーザによる操作入力部１０９の所定操作に基づいてアプリケーション画面を拡大して表示したり縮小して表示部１０４に表示させても良く、この場合には、表示領域１０４ａを構成する画素数に応じてアプリケーション画面全体が表示されずに、その一部分が表示された状態となる場合も生じる。
なお、アプリケーションプログラムとしては、例えば、地図表示ソフト、電子メールソフト、インターネットブラウザ、メッセンジャー、ゲームソフト、電子辞書ソフト、ワードプロセッサ、表計算ソフト、プレゼンテーションソフト、画像編集ソフト、作図ソフト、ベクトルグラフィックエディタ又はデジタルカメラ制御等のプログラムが挙げられる。
また、アプリケーションプログラムは、例えば、予めＲＯＭに記録されていても良いし、眼鏡型表示端末２から送信され無線処理部１０８を介して受信されても良いし、図示しない通信処理部が通信ネットワークＮを介して外部サーバから取得しても良い。
The display control unit 105 generates an application screen based on the execution of various application programs (not shown) by the CPU of the central control unit 101, and outputs an image signal according to the generated application screen to the display unit 104. . Further, for example, the display control unit 105 may enlarge and display the application screen based on a predetermined operation of the operation input unit 109 by the user, or may display the application screen on the display unit 104 in this case. Depending on the number of pixels constituting the region 104a, the entire application screen may not be displayed and a part of the application screen may be displayed.
Examples of application programs include map display software, e-mail software, Internet browser, messenger, game software, electronic dictionary software, word processor, spreadsheet software, presentation software, image editing software, drawing software, vector graphic editor, or digital Examples include a program for camera control.
The application program may be recorded in advance in the ROM, may be transmitted from the glasses-type display terminal 2 and received via the wireless processing unit 108, or a communication processing unit (not shown) may be connected to the communication network N. You may acquire from an external server via.
また、表示制御部１０５は、傾き検出部１０３により検出された当該端末本体の傾きを示す情報に基づいて、表示領域１０４ａ内に表示されている表示内容を傾斜させて表示部１０４に表示させても良い。すなわち、表示制御部１０５は、当該端末本体が重力軸方向に対する傾きに応じて表示内容を奥行きを持たせるように変形させる。
例えば、アプリケーション画面として地図画面を表示する場合等に、当該端末本体が重力軸方向に対する傾きに応じて装着者Ｓの視線方向に正対しているかどうかを特定して、表示制御部１０５は、装着者Ｓの視線方向に正対している場合には二次元の地図情報を取得して二次元の地図画面を表示部１０４に表示させ、装着者Ｓの視線方向に正対していない場合には三次元の地図情報を取得して三次元の地図画面を表示部１０４に表示させる。
なお、表示内容を変形させる技術は、公知の技術であるので、ここでは詳細な説明は省略する。
The display control unit 105 also causes the display unit 104 to display the display content displayed in the display area 104a on the display unit 104 based on the information indicating the tilt of the terminal body detected by the tilt detection unit 103. Also good. That is, the display control unit 105 transforms the display content so that the display content has a depth according to the inclination with respect to the gravity axis direction.
For example, when displaying a map screen as an application screen, the display control unit 105 identifies whether the terminal body is facing the wearer's S line-of-sight direction according to the inclination with respect to the gravity axis direction, Two-dimensional map information is acquired when the person S is facing the line-of-sight direction, and a two-dimensional map screen is displayed on the display unit 104. The original map information is acquired and a three-dimensional map screen is displayed on the display unit 104.
In addition, since the technique which changes a display content is a well-known technique, detailed description is abbreviate | omitted here.
表示内容取得部（取得手段）１０６は、表示部１０４に表示されている表示内容を示す情報を取得する。
すなわち、表示内容取得部１０６は、例えば、表示部１０４に表示されている所定の情報（例えば、地図アプリケーション等）を識別する識別情報や、表示部１０４にアプリケーション画面が表示されている場合にその表示範囲を示す範囲情報等を取得する。
ここで、範囲情報とは、アプリケーション画面を構成する全ての画素情報のうち、表示部１０４の表示領域１０４ａに実際に表示されている範囲を示す情報である。例えば、アプリケーション画面を構成する全ての画素情報のうち、表示領域１０４ａの各隅部の画素に対応する画素の位置を表す情報等を含む。
The display content acquisition unit (acquisition means) 106 acquires information indicating the display content displayed on the display unit 104.
That is, the display content acquisition unit 106, for example, identifies information for identifying predetermined information (for example, a map application) displayed on the display unit 104, or when an application screen is displayed on the display unit 104, The range information indicating the display range is acquired.
Here, the range information is information indicating a range actually displayed in the display area 104a of the display unit 104 among all pieces of pixel information constituting the application screen. For example, it includes information indicating the position of the pixel corresponding to the pixel at each corner of the display area 104a among all the pixel information constituting the application screen.
計時部１０７は、図示は省略するが、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を取得する。そして、計時部１０７は、取得した時刻情報をメモリ１０２に出力する。
なお、計時部１０７は、取得した時刻情報に基づいて、日付や曜日等の暦を特定しても良い。
Although not shown in the figure, the timer unit 107 includes, for example, a timer and a timer circuit, and acquires the time information by measuring the current time. Then, the time measuring unit 107 outputs the acquired time information to the memory 102.
Note that the timer 107 may specify a calendar such as a date or day of the week based on the acquired time information.
無線処理部１０８は、所定の無線通信回線を介して接続された眼鏡型表示端末２等の外部機器との情報の通信制御を行う。
即ち、無線処理部１０８は、例えば、Bluetooth（ブルートゥース；登録商標）等の無線により通信可能な距離が所定距離に制限された近距離無線通信規格により実現される無線ＰＡＮを介して眼鏡型表示端末２と接続する。
具体的には、無線処理部１０８は、例えば、通信アンテナ１０８ａを介して眼鏡型表示端末２との間でブルートゥース通信を行うための制御モジュールを具備している。そして、無線処理部１０８は、例えば、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により通信相手と交換する。これにより、その後、当該通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に通信接続されたり通信接続が解除されたりするようになっている。例えば、腕時計型表示端末１と眼鏡型表示端末２とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。また、或いは、接続や解除の操作により半自動的に通信接続されたり解除される。
The wireless processing unit 108 controls communication of information with an external device such as the glasses-type display terminal 2 connected via a predetermined wireless communication line.
That is, the wireless processing unit 108 is a glasses-type display terminal via a wireless PAN realized by a short-range wireless communication standard in which a wirelessly communicable distance such as Bluetooth (registered trademark) is limited to a predetermined distance. 2 is connected.
Specifically, the wireless processing unit 108 includes a control module for performing Bluetooth communication with the glasses-type display terminal 2 via the communication antenna 108a, for example. Then, the wireless processing unit 108 exchanges device information and authentication key data with a communication partner by wireless signals, for example, by performing communication setting processing called pairing in advance. Thereby, thereafter, the communication setting process is automatically or semi-automatically connected to or disconnected from the communication partner without performing the communication setting process every time. For example, when the wristwatch type display terminal 1 and the eyeglass type display terminal 2 are separated from each other within a range where radio waves do not reach, the communication connection is released, while when close to the range where radio waves reach, the communication connection is automatically established. Alternatively, the communication connection or release is semi-automatically performed by a connection or release operation.
また、無線処理部（送信手段）１０８は、表示内容取得部１０６により取得された表示内容を示す情報を眼鏡型表示端末２に送信する。
具体的には、無線処理部１０８は、表示内容取得部１０６により取得された表示内容を示す情報としての識別情報や範囲情報を、無線ＰＡＮを介して接続されている眼鏡型表示端末２に送信する。このとき、無線処理部１０８は、傾き検出部１０３により検出された当該端末本体の傾きを示す情報を眼鏡型表示端末２に送信しても良い。
The wireless processing unit (transmission unit) 108 transmits information indicating the display content acquired by the display content acquisition unit 106 to the glasses-type display terminal 2.
Specifically, the wireless processing unit 108 transmits identification information and range information as information indicating the display content acquired by the display content acquisition unit 106 to the glasses-type display terminal 2 connected via the wireless PAN. To do. At this time, the wireless processing unit 108 may transmit information indicating the tilt of the terminal body detected by the tilt detection unit 103 to the glasses-type display terminal 2.
なお、無線処理部１０８は、例えば、無線ＬＡＮモジュール等から構成され、外部のア
クセスポイントを経由せずに直接眼鏡型表示端末２の無線処理部２０７との間で無線通信
回線を構築するPeer to Peer（アドホックモード）で動作しても良い。
Note that the wireless processing unit 108 is composed of, for example, a wireless LAN module and the like, and is configured to directly establish a wireless communication line with the wireless processing unit 207 of the glasses-type display terminal 2 without going through an external access point. It may operate in Peer (ad hoc mode).
操作入力部１０９は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１０９は、端末本体の電源のＯＮ／ＯＦＦに係る電源ボタン、
モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等の各種ボタン
（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１０９は、操作されたボ
タンに応じた操作指示を中央制御部１０１に出力する。中央制御部１０１は、操作入力部
１０９から出力され入力された操作指示に従って所定の動作（例えば、地図画面の表示等
）を各部に実行させる。
The operation input unit 109 is for inputting various instructions to the terminal body.
Specifically, the operation input unit 109 includes a power button related to power ON / OFF of the terminal body,
Various buttons (not shown) such as up / down / left / right cursor buttons and an enter button related to selection instructions of modes and functions are provided.
When various buttons are operated by the user, the operation input unit 109 outputs an operation instruction corresponding to the operated button to the central control unit 101. The central control unit 101 causes each unit to execute a predetermined operation (for example, display of a map screen) according to the operation instruction output from the operation input unit 109 and input.
なお、操作入力部１０９は、表示部１０４と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１０１に出力しても良い。 Note that the operation input unit 109 may include a touch panel provided integrally with the display unit 104. Based on a predetermined operation of the touch panel by the user, an operation instruction corresponding to the predetermined operation is given to the central control unit. 101 may be output.
次に、眼鏡型表示端末２について、図３を参照して説明する。
図３は、表示システム１００を構成する眼鏡型表示端末２の概略構成を示すブロック図である。
Next, the glasses-type display terminal 2 will be described with reference to FIG.
FIG. 3 is a block diagram showing a schematic configuration of the glasses-type display terminal 2 constituting the display system 100.
眼鏡型表示端末２は、所謂、装着者Ｓに装着されるウェアラブルコンピューターシステムであり、特に頭部装着型コンピューターシステム（ヘッドマウンティドディスプレイ）である。より具体的には、この眼鏡型表示端末２は、眼鏡のようにして頭部に装着することができる。
図３に示すように、眼鏡型表示端末２は、中央制御部２０１と、メモリ２０２と、撮像部２０３と、表示部２０４と、判定部２０５と、表示制御部２０６と、無線処理部２０７と、送受話部２０８と、通信処理部２０９と、操作入力部２１０とを備えている。
また、中央制御部２０１、メモリ２０２、撮像部２０３、表示部２０４、判定部２０５、表示制御部２０６、無線処理部２０７、送受話部２０８及び通信処理部２０９は、バスライン２１１を介して接続されている。
The glasses-type display terminal 2 is a so-called wearable computer system that is worn by the wearer S, and particularly a head-mounted computer system (head mounted display). More specifically, the glasses-type display terminal 2 can be worn on the head like glasses.
As shown in FIG. 3, the glasses-type display terminal 2 includes a central control unit 201, a memory 202, an imaging unit 203, a display unit 204, a determination unit 205, a display control unit 206, and a wireless processing unit 207. A transmission / reception unit 208, a communication processing unit 209, and an operation input unit 210.
The central control unit 201, the memory 202, the imaging unit 203, the display unit 204, the determination unit 205, the display control unit 206, the wireless processing unit 207, the transmission / reception unit 208, and the communication processing unit 209 are connected via the bus line 211. Has been.
中央制御部２０１は、眼鏡型表示端末２の各部を制御するものである。具体的には、中央制御部２０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、眼鏡型表示端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。 The central control unit 201 controls each unit of the glasses-type display terminal 2. Specifically, although not shown, the central control unit 201 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), and various processing programs for the glasses-type display terminal 2. Various control operations are performed in accordance with (not shown).
メモリ２０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部２０１の他、当該眼鏡型表示端末２の各部によって処理されるデータ等を一時的に記憶するものである。 The memory 202 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores data processed by each unit of the glasses-type display terminal 2 in addition to the central control unit 201.
撮像部２０３は、当該端末本体の装着者Ｓの視線方向、すなわち、視界Ａ（図５（ａ）等参照）と略等しい範囲を撮像する。具体的には、撮像部２０３は、例えば、図示は省略するが、レンズ部と、電子撮像部と、撮像制御部とを備えている。 The imaging unit 203 captures an image of the line-of-sight direction of the wearer S of the terminal body, that is, a range substantially equal to the field of view A (see FIG. 5A and the like). Specifically, for example, the imaging unit 203 includes a lens unit, an electronic imaging unit, and an imaging control unit (not shown).
レンズ部は、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ（図示略）から構成されている。
電子撮像部は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（図示略）から構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する。
The lens unit includes a plurality of lenses (not shown) such as a zoom lens and a focus lens.
The electronic imaging unit includes, for example, an image sensor (not shown) such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), and an optical image passing through various lenses of the lens unit is converted into a two-dimensional image signal. Convert to
撮像制御部は、例えば、タイミング発生器、ドライバ等（図示略）を備えている。そして、撮像制御部は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出してメモリ２０２に出力させる。なお、各フレーム画像は、図示しない画像処理部により逐次処理されて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）に変換される。 The imaging control unit includes, for example, a timing generator, a driver, and the like (not shown). Then, the imaging control unit scans and drives the electronic imaging unit with a timing generator and a driver, converts an optical image formed by the lens unit at predetermined intervals into a two-dimensional image signal with the electronic imaging unit, and A frame image is read out for each screen from the imaging area of the electronic imaging unit and output to the memory 202. Each frame image is sequentially processed by an image processing unit (not shown) and converted into a digital luminance signal Y and color difference signals Cb, Cr (YUV data).
表示部（第二の表示手段）２０４は、映像の光と視界Ａに対応する外界像の光とを重畳して表示領域２０４ａに透過表示する。
具体的には、表示部２０４は、眼鏡本体２ａのレンズの前に配置されている光学素子を備えている。光学素子は、ホログラフィック光学素子であり、装着者Ｓの前の外界の像の光が光学素子を通過して装着者Ｓの瞳へ到達するとともに、表示制御部２０６によって生成された映像（例えば、関連情報）の光が光学素子によって装着者Ｓの瞳へ導かれる（回折反射される）。そのため、外界像の光と映像の光が重畳され、外界像及び映像が合成されて装着者Ｓの瞳に映る。
The display unit (second display unit) 204 superimposes the light of the image and the light of the external image corresponding to the field of view A and displays the light on the display region 204a.
Specifically, the display unit 204 includes an optical element arranged in front of the lens of the spectacle body 2a. The optical element is a holographic optical element, and the light of the external image in front of the wearer S passes through the optical element and reaches the wearer S's pupil, and an image generated by the display control unit 206 (for example, , Related information) is guided (diffracted and reflected) to the pupil of the wearer S by the optical element. Therefore, the light of the outside world image and the light of the video are superimposed, and the outside world image and the video are synthesized and reflected on the pupil of the wearer S.
また、表示部２０４は、表示制御部２０６により生成された映像信号が入力され、その映像信号に基づく映像を生成（表示）する。例えば、表示部２０４は、表示コントローラ、表示素子（例えば、液晶表示素子、デジタル・マイクロミラー・デバイス等の空間光変調素子）及び光源装置等（図示略）を備えている。表示コントローラは、映像信号に基づいて光源装置及び表示素子を制御し、光源装置が原色光（例えば赤色光、青色光及び緑色光）を表示素子に照射し、表示素子が表示コントローラによって駆動されることによって、表示素子に照射される光が画素毎に変調制御される。これにより、表示素子によって映像が生成される。なお、表示部２０４の表示素子が時発光型表示素子であれば、光源装置が表示部２０４に設けられていない。
そして、表示部（特に、表示素子）２０４によって生成された映像は、光学素子及び投影レンズによって装着者Ｓの瞳に投影される。
The display unit 204 receives the video signal generated by the display control unit 206 and generates (displays) a video based on the video signal. For example, the display unit 204 includes a display controller, a display element (for example, a spatial light modulation element such as a liquid crystal display element or a digital micromirror device), and a light source device (not shown). The display controller controls the light source device and the display element based on the video signal, the light source device irradiates the display element with primary color light (for example, red light, blue light, and green light), and the display element is driven by the display controller. Thus, the light applied to the display element is modulated and controlled for each pixel. As a result, an image is generated by the display element. Note that if the display element of the display unit 204 is a time-emitting display element, the light source device is not provided in the display unit 204.
Then, an image generated by the display unit (particularly the display element) 204 is projected onto the pupil of the wearer S by the optical element and the projection lens.
判定部（判定手段）２０５は、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを判定する。つまり、ユーザから眼鏡型表示端末２の表示領域２０４ａ越しに腕時計型表示端末１の表示部１０４の表示領域１０４ａが見える位置に存するか否かを判定する。
具体的には、判定部２０５は、腕時計型表示端末１の表示部１０４の表示領域１０４ａを検出する表示領域検出部２０５ａを具備している。
表示領域検出部２０５ａは、撮像部２０３により撮像された視界Ａと略等しい範囲に対応するフレーム画像に含まれる腕時計型表示端末１の表示部１０４の表示領域１０４ａの複数の点（例えば、４隅の点等）の座標を検出する。例えば、表示領域検出部２０５ａは、フレーム画像に対して所定の二値化処理が施されることで生成された二値化画像の画像データに対して所定の特徴抽出処理を行って、略枠状の表示領域１０４ａを抽出する。
そして、表示部２０４の表示領域２０４ａは、撮像部２０３による撮像範囲に対応する外界像の光が重畳した状態で透過表示されるので、判定部２０５は、表示領域検出部２０５ａによる表示領域１０４ａの検出結果に基づいて、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを判定する。
The determination unit (determination unit) 205 determines whether or not the display area 104 a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204 a of the display unit 204. That is, it is determined whether or not the user can see the display area 104a of the display unit 104 of the wristwatch type display terminal 1 through the display area 204a of the glasses-type display terminal 2 from the user.
Specifically, the determination unit 205 includes a display area detection unit 205 a that detects the display area 104 a of the display unit 104 of the wristwatch type display terminal 1.
The display area detection unit 205a includes a plurality of points (for example, four corners) of the display area 104a of the display unit 104 of the wristwatch type display terminal 1 included in a frame image corresponding to a range substantially equal to the field of view A captured by the imaging unit 203. The coordinates of the point etc.) are detected. For example, the display area detection unit 205a performs predetermined feature extraction processing on the image data of the binarized image generated by performing predetermined binarization processing on the frame image, The display area 104a is extracted.
Since the display area 204a of the display unit 204 is transmissively displayed in a state where light of an external image corresponding to the imaging range by the imaging unit 203 is superimposed, the determination unit 205 is configured to display the display area 104a of the display area detection unit 205a. Based on the detection result, it is determined whether or not the display area 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display unit 204.
ここで、腕時計型表示端末１の表示領域１０４ａの４隅にマーカーが付されている場合には、表示領域検出部２０５ａは、マーカーを検出することで表示領域１０４ａを検出しても良い。なお、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。 Here, when markers are attached to the four corners of the display area 104a of the wristwatch type display terminal 1, the display area detection unit 205a may detect the display area 104a by detecting the marker. Note that the feature extraction process is a known technique, and thus detailed description thereof is omitted here.
表示制御部２０６は、中央制御部２０１のＣＰＵによる各種のアプリケーションプログラム（図示略）の実行に基づいて、表示アプリケーション画面を生成し、生成された表示アプリケーション画面に従った画像信号を表示部２０４に出力する。
なお、アプリケーションプログラムとしては、例えば、腕時計型表示端末１と略同様に、地図表示ソフト、電子メールソフト、インターネットブラウザ、メッセンジャー、ゲームソフト、電子辞書ソフト、ワードプロセッサ、表計算ソフト、プレゼンテーションソフト、画像編集ソフト、作図ソフト、ベクトルグラフィックエディタ又はデジタルカメラ制御等のプログラムが挙げられる。
また、アプリケーションプログラムは、例えば、予めＲＯＭに記録されていても良いし、通信処理部２０９が通信ネットワークＮを介して外部サーバから取得しても良い。
The display control unit 206 generates a display application screen based on execution of various application programs (not shown) by the CPU of the central control unit 201, and displays an image signal according to the generated display application screen on the display unit 204. Output.
The application programs are, for example, map display software, e-mail software, Internet browser, messenger, game software, electronic dictionary software, word processor, spreadsheet software, presentation software, image editing, as with the wristwatch-type display terminal 1. A program such as software, drawing software, vector graphic editor, or digital camera control may be used.
Further, the application program may be recorded in advance in a ROM, for example, or the communication processing unit 209 may acquire it from an external server via the communication network N.
また、表示制御部（制御手段）２０６は、無線処理部２０７により受信された表示内容を示す情報に基づいて、腕時計型表示端末１の表示部１０４の表示内容に関連する内容の関連情報を表示部２０４に表示させる。
すなわち、表示制御部２０６の関連情報特定部２０６ａは、無線処理部２０７により受信された表示内容を示す情報としての、腕時計型表示端末１の表示部１０４に表示されている所定の情報（例えば、地図アプリケーション等）を識別する識別情報に基づいて、当該所定の情報を表示部２０４に表示させるべき情報（関連情報）として特定する。そして、表示制御部２０６は、特定された情報に対応する表示アプリケーション画面を生成し、生成された表示アプリケーション画面に従った画像信号を表示部２０４に出力する。
このように、関連情報は、腕時計型表示端末１の表示部１０４に表示されている表示内容に対応する情報を一部に含む情報であるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、腕時計型表示端末１の表示部１０４に表示されている表示内容を詳細に説明する情報（例えば、地図の場合には、その地点に存する建物の事業内容、画像の場合には、露出条件や焦点距離等の撮像条件など）であっても良い。
In addition, the display control unit (control unit) 206 displays related information on the content related to the display content of the display unit 104 of the wristwatch type display terminal 1 based on the information indicating the display content received by the wireless processing unit 207. Displayed on the unit 204.
In other words, the related information specifying unit 206a of the display control unit 206 is predetermined information (for example, displayed on the display unit 104 of the wristwatch-type display terminal 1 as information indicating the display content received by the wireless processing unit 207). The predetermined information is specified as information (related information) to be displayed on the display unit 204 based on identification information for identifying a map application or the like. Then, the display control unit 206 generates a display application screen corresponding to the specified information, and outputs an image signal according to the generated display application screen to the display unit 204.
As described above, the related information is information including a part of information corresponding to the display content displayed on the display unit 104 of the wristwatch type display terminal 1, but it is an example and is not limited thereto. It can be arbitrarily changed as appropriate. For example, information that explains in detail the display content displayed on the display unit 104 of the wristwatch-type display terminal 1 (for example, in the case of a map, the business content of a building existing at that point, in the case of an image, the exposure condition) Or imaging conditions such as focal length).
また、表示制御部２０６は、無線処理部２０７により受信された表示内容を示す情報としての、腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面の表示範囲を示す範囲情報に基づいて、表示部２０４に表示させるべき表示アプリケーション画面の表示範囲を特定する。すなわち、表示制御部２０６は、判定部２０５により当該眼鏡型表示端末２の表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存すると判定された場合に、腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面に対応する表示アプリケーション画面を表示部２０４の表示領域２０４ａに表示させる。具体的には、表示制御部２０６は、腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面の表示内容に対して表示部２０４に表示させるべき表示アプリケーション画面に含まれる当該表示内容に対応する範囲の位置を一致させるように表示部２０４の表示領域２０４ａに表示させる。
つまり、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存する場合、表示部２０４は、腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面の外界像の光は当該表示部２０４の表示領域２０４ａに透過した状態で配置される（図５（ａ）等参照）。表示制御部２０６は、腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面の表示範囲を示す範囲情報に基づいて、表示部２０４に表示させるべき表示アプリケーション画面の中で腕時計型表示端末１の表示内容に対応する範囲を特定し、特定された範囲を表示領域２０４ａに透過した状態の腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面に一致させるように配置するとともに、特定された範囲以外の表示アプリケーション画面の部分を表示部２０４の表示領域２０４ａに透過表示させる。
Further, the display control unit 206 is based on the range information indicating the display range of the application screen displayed on the display unit 104 of the wristwatch type display terminal 1 as information indicating the display content received by the wireless processing unit 207. The display range of the display application screen to be displayed on the display unit 204 is specified. That is, when the determination unit 205 determines that the display area 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display unit 204 of the glasses-type display terminal 2, the display control unit 206 A display application screen corresponding to the application screen displayed on the display unit 104 of the wristwatch type display terminal 1 is displayed on the display area 204 a of the display unit 204. Specifically, the display control unit 206 changes the display content included in the display application screen to be displayed on the display unit 204 with respect to the display content of the application screen displayed on the display unit 104 of the wristwatch type display terminal 1. The corresponding range is displayed on the display area 204a of the display unit 204 so as to match the positions.
That is, when the display area 104 a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204 a of the display unit 204, the display unit 204 displays the application screen displayed on the display unit 104 of the wristwatch type display terminal 1. The light of the external image is arranged in a state of being transmitted through the display area 204a of the display unit 204 (see FIG. 5A and the like). Based on the range information indicating the display range of the application screen displayed on the display unit 104 of the wristwatch type display terminal 1, the display control unit 206 displays the wristwatch type display terminal in the display application screen to be displayed on the display unit 204. A range corresponding to the display content of 1 is specified, and the specified range is arranged so as to match the application screen displayed on the display unit 104 of the wristwatch type display terminal 1 in a state of being transmitted through the display area 204a. A portion of the display application screen outside the specified range is transparently displayed in the display area 204a of the display unit 204.
なお、表示アプリケーション画面の中で腕時計型表示端末１の表示内容に対応する範囲は、表示部２０４に透過表示（腕時計型表示端末１の表示部１０４の表示領域１０４ａと重畳させるように透過表示）されても良いし、当該範囲以外の表示アプリケーション画面の部分が表示部２０４に透過表示されても良い。 In addition, the range corresponding to the display content of the wristwatch type display terminal 1 in the display application screen is transparently displayed on the display unit 204 (transparent display so as to be superimposed on the display area 104a of the display unit 104 of the wristwatch type display terminal 1). Alternatively, the display application screen portion outside the range may be transparently displayed on the display unit 204.
また、腕時計型表示端末１の傾き検出部１０３により検出された当該端末本体の傾きを示す情報に基づいて、表示制御部２０６は、表示部２０４の表示領域２０４ａ内に表示されるアプリケーション画面を傾斜させて表示部２０４に表示させても良い。
なお、アプリケーション画面を傾斜させて表示部２０４の表示領域２０４ａ内に表示させる手法は、上記腕時計型表示端末１の場合と略同様であり、その詳細な説明は省略する。
Further, based on the information indicating the tilt of the terminal body detected by the tilt detection unit 103 of the wristwatch type display terminal 1, the display control unit 206 tilts the application screen displayed in the display area 204a of the display unit 204. You may make it display on the display part 204.
The method of tilting the application screen and displaying it in the display area 204a of the display unit 204 is substantially the same as in the case of the wristwatch type display terminal 1, and detailed description thereof is omitted.
無線処理部２０７は、所定の無線通信回線を介して接続された腕時計型表示端末１等の
外部機器との情報の通信制御を行う。
即ち、無線処理部２０７は、腕時計型表示端末１の無線処理部１０８と略同様に、例え
ば、通信アンテナ２０７ａを介してBluetooth（登録商標）等の無線により通信可能な距
離が所定距離に制限された近距離無線通信規格により実現される無線ＰＡＮを介して腕時
計型表示端末１と接続する。
The wireless processing unit 207 performs communication control of information with an external device such as the wristwatch type display terminal 1 connected via a predetermined wireless communication line.
That is, in the wireless processing unit 207, the distance that can be communicated wirelessly such as Bluetooth (registered trademark) via the communication antenna 207a is limited to a predetermined distance, almost the same as the wireless processing unit 108 of the wristwatch type display terminal 1. The wristwatch type display terminal 1 is connected via a wireless PAN realized by the short-range wireless communication standard.
また、無線処理部（受信手段）２０７は、腕時計型表示端末１から送信された表示内容を示す情報を受信する。
具体的には、無線処理部２０７は、腕時計型表示端末１の表示内容取得部１０６により取得され、無線ＰＡＮを介して送信された表示内容を示す情報としての識別情報や範囲情報を受信する。また、腕時計型表示端末１から当該端末本体の傾きを示す情報が送信された場合には、無線処理部２０７は、当該端末本体の傾きを示す情報を受信する。
The wireless processing unit (reception unit) 207 receives information indicating display contents transmitted from the wristwatch type display terminal 1.
Specifically, the wireless processing unit 207 receives identification information and range information as information indicating display content acquired by the display content acquisition unit 106 of the wristwatch type display terminal 1 and transmitted via the wireless PAN. When information indicating the tilt of the terminal body is transmitted from the wristwatch-type display terminal 1, the wireless processing unit 207 receives information indicating the tilt of the terminal body.
なお、無線処理部２０７は、腕時計型表示端末１の無線処理部１０８と略同様に、例え
ば、無線ＬＡＮモジュール等から構成され、外部のアクセスポイントを経由せずに直接腕
時計型表示端末１の無線処理部１０８との間で無線通信回線を構築するPeer to Peer（ア
ドホックモード）で動作しても良い。
The wireless processing unit 207 is composed of, for example, a wireless LAN module or the like, substantially the same as the wireless processing unit 108 of the wristwatch-type display terminal 1, and directly connects to the wireless of the wristwatch-type display terminal 1 without going through an external access point. You may operate | move by Peer to Peer (ad hoc mode) which builds a radio | wireless communication line between the process parts 108. FIG.
通信処理部２０９は、通信ネットワークＮ及び通信アンテナ２０９ａを介してデータの送受信を行う。
即ち、通信アンテナ２０９ａは、当該眼鏡型表示端末２が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access；登録商標）方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信処理部２０９は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ２０９ａを介してデータの送受信を行う。
なお、通信処理部２０９の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。
The communication processing unit 209 transmits and receives data via the communication network N and the communication antenna 209a.
That is, the communication antenna 209a is a predetermined communication method (for example, W-CDMA (Wideband Code Division Multiple Access) method) adopted by the glasses-type display terminal 2 for communication with a radio base station (not shown). , GSM (Global System for Mobile Communications; registered trademark) method, etc.). The communication processing unit 209 transmits / receives data to / from the radio base station via the communication antenna 209a using a communication channel set in the communication method according to a communication protocol corresponding to a predetermined communication method.
Note that the configuration of the communication processing unit 209 is an example and is not limited thereto, and can be arbitrarily changed as appropriate. For example, although not illustrated, a wireless LAN module is mounted and an access point (Access Point) is provided. It is good also as a structure which can access the communication network N via this.
通信ネットワークＮは、例えば、眼鏡型表示端末２を無線基地局やゲートウェイサーバ（図示略）等を介して外部機器と接続する通信ネットワークである。
また、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
The communication network N is, for example, a communication network that connects the glasses-type display terminal 2 to an external device via a wireless base station, a gateway server (not shown), or the like.
The communication network N is a communication network constructed using, for example, a dedicated line or an existing general public line, and various line forms such as a LAN (Local Area Network) and a WAN (Wide Area Network) are applied. Is possible. The communication network N includes, for example, various communication network networks such as a telephone line network, ISDN line network, dedicated line, mobile communication network, communication satellite line, CATV line network, IP network, VoIP (Voice over Internet Protocol). ) Gateways, Internet service providers, etc. are included.
操作入力部２１０は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部２１０は、端末本体の電源のＯＮ／ＯＦＦに係る電源ボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部２１０は、操作されたボタンに応じた操作指示を中央制御部２０１に出力する。中央制御部２０１は、操作入力部２１０から出力され入力された操作指示に従って所定の動作を各部に実行させる。
The operation input unit 210 is for inputting various instructions to the terminal body.
Specifically, the operation input unit 210 includes a power button for turning on / off the power of the terminal body, various buttons such as up / down / left / right cursor buttons and a determination button for selecting instructions such as modes and functions (all not shown). ).
When various buttons are operated by the user, the operation input unit 210 outputs an operation instruction corresponding to the operated button to the central control unit 201. The central control unit 201 causes each unit to execute a predetermined operation in accordance with the operation instruction output from the operation input unit 210 and input.
＜表示処理＞
次に、表示システム１００による表示処理について、図４を参照して説明する。
図４は、表示処理に係る動作の一例を示すフローチャートである。
なお、以下の表示処理では、予め腕時計型表示端末１と眼鏡型表示端末２とが無線ＰＡＮを介して情報通信可能に接続されているものとする。
<Display processing>
Next, display processing by the display system 100 will be described with reference to FIG.
FIG. 4 is a flowchart illustrating an example of an operation related to the display process.
In the following display processing, it is assumed that the wristwatch-type display terminal 1 and the glasses-type display terminal 2 are connected in advance to enable information communication via the wireless PAN.
図４に示すように、先ず、腕時計型表示端末１にあっては、ユーザによる操作入力部１０９の所定操作に基づいて所望のアプリケーションが指定されると、中央制御部１０１のＣＰＵは、当該アプリケーションに対応するアプリケーションプログラムを実行して、表示制御部１０５は、アプリケーション画面を表示部１０４に表示させる（ステップＳ１）。 As shown in FIG. 4, in the wristwatch type display terminal 1, first, when a desired application is designated based on a predetermined operation of the operation input unit 109 by the user, the CPU of the central control unit 101 The display control unit 105 displays an application screen on the display unit 104 (step S1).
次に、表示内容取得部１０６は、表示部１０４に表示されている表示内容を示す情報として、表示されているアプリケーション画面に対応するアプリケーションを識別する識別情報や、表示部１０４におけるアプリケーション画面の表示範囲を示す範囲情報を取得する（ステップＳ２）。
そして、無線処理部１０８は、表示内容取得部１０６により取得された表示内容を示す情報としての識別情報や範囲情報を、無線ＰＡＮを介して接続されている眼鏡型表示端末２に送信する（ステップＳ３）。
Next, the display content acquisition unit 106 uses the identification information for identifying the application corresponding to the displayed application screen as the information indicating the display content displayed on the display unit 104, and the display of the application screen on the display unit 104. Range information indicating the range is acquired (step S2).
Then, the wireless processing unit 108 transmits the identification information and the range information as information indicating the display content acquired by the display content acquisition unit 106 to the glasses-type display terminal 2 connected via the wireless PAN (Step S1). S3).
眼鏡型表示端末２にあっては、判定部２０５は、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを逐次判定する（ステップＳ４）。
具体的には、撮像部２０３は、装着者Ｓの視界Ａと略等しい範囲を逐次撮像して複数のフレーム画像を生成し、判定部２０５の表示領域検出部２０５ａは、各フレーム画像に含まれる腕時計型表示端末１の表示部１０４の表示領域１０４ａの複数の点（例えば、４隅の点等）の座標を検出し、略枠状の表示領域１０４ａを抽出する。そして、判定部２０５は、表示領域検出部２０５ａによる表示領域１０４ａの検出結果に基づいて、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを判定する。
In the glasses-type display terminal 2, the determination unit 205 sequentially determines whether or not the display region 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display region 204a of the display unit 204 (step S4). .
Specifically, the imaging unit 203 sequentially captures a range substantially equal to the field of view A of the wearer S to generate a plurality of frame images, and the display area detection unit 205a of the determination unit 205 is included in each frame image. The coordinates of a plurality of points (for example, four corner points) of the display area 104a of the display unit 104 of the wristwatch type display terminal 1 are detected, and the substantially frame-shaped display area 104a is extracted. Then, the determination unit 205 determines whether or not the display region 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display region 204a of the display unit 204 based on the detection result of the display region 104a by the display region detection unit 205a. Determine.
ステップＳ４における判定処理は、所定の時間間隔で逐次行われ、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存しないと判定されると（ステップＳ４；ＮＯ）、判定部２０５は、所定の時間経過後に、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを再度判定する。
ステップＳ４にて、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存すると判定されると（ステップＳ４；ＹＥＳ）、表示制御部２０６の関連情報特定部２０６ａは、無線処理部２０７により受信された表示内容を示す情報としての識別情報に基づいて、表示部２０４に表示させるべきアプリケーションを特定する（ステップＳ５）。続けて、表示制御部２０６は、無線処理部２０７により受信された表示内容を示す情報としての範囲情報に基づいて、表示部２０４に表示させるべき表示アプリケーション画面の表示範囲、すなわち、表示部２０４に表示させるべき表示アプリケーション画面の中で腕時計型表示端末１の表示内容に対応する範囲を特定する（ステップＳ６）。
The determination process in step S4 is sequentially performed at predetermined time intervals, and when it is determined that the display area 104a of the display unit 104 of the wristwatch type display terminal 1 does not exist in the display area 204a of the display unit 204 (step S4; NO), the determination unit 205 determines again whether or not the display region 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display region 204a of the display unit 204 after a predetermined time has elapsed.
If it is determined in step S4 that the display area 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display unit 204 (step S4; YES), the related information specifying unit of the display control unit 206 is displayed. 206a specifies the application which should be displayed on the display part 204 based on the identification information as information which shows the display content received by the wireless process part 207 (step S5). Subsequently, the display control unit 206 displays the display range of the display application screen to be displayed on the display unit 204 based on the range information as the information indicating the display content received by the wireless processing unit 207, that is, the display unit 204. A range corresponding to the display content of the wristwatch type display terminal 1 is specified in the display application screen to be displayed (step S6).
次に、表示制御部２０６は、表示アプリケーション画面の中で腕時計型表示端末１の表示内容に対応する範囲を、表示領域２０４ａに透過した状態の腕時計型表示端末１の表示部１０４に表示されているアプリケーション画面に一致させるように配置するとともに、特定された範囲以外の表示アプリケーション画面の部分を表示部２０４の表示領域２０４ａに透過表示させる（ステップＳ７；図５（ａ）等参照）。 Next, the display control unit 206 displays the range corresponding to the display content of the wristwatch type display terminal 1 in the display application screen on the display unit 104 of the wristwatch type display terminal 1 in a state of being transmitted through the display area 204a. The display application screen portion outside the specified range is transparently displayed on the display area 204a of the display unit 204 (step S7; see FIG. 5A and the like).
当該表示処理は常時行われ、腕時計型表示端末１の表示部１０４の表示領域１０４ａの表示内容に応じて、眼鏡型表示端末２の表示部２０４の表示領域２０４ａの表示内容も変化することとなる。
例えば、腕時計型表示端末１の表示部１０４に地図を表示する場合、表示部１０４に現在位置「地点Ａ」の付近を表示させている場合には（図５（ａ）参照）、眼鏡型表示端末２の表示部２０４に「地点Ａ」を基準としてその周辺の所定範囲の地図が透過表示された状態となる。一方、表示部１０４に現在位置以外の「ハローワーク○○○」付近を表示させている場合には（図５（ｂ）参照）、眼鏡型表示端末２の表示部２０４に「ハローワーク○○○」を基準としてその周辺の所定範囲の地図が透過表示された状態となる。
The display process is always performed, and the display content of the display area 204a of the display unit 204 of the glasses-type display terminal 2 also changes according to the display content of the display area 104a of the display unit 104 of the wristwatch type display terminal 1. .
For example, when a map is displayed on the display unit 104 of the wristwatch-type display terminal 1 or when the vicinity of the current position “point A” is displayed on the display unit 104 (see FIG. 5A), glasses-type display is performed. The display unit 204 of the terminal 2 is in a state in which a map of a predetermined range around it is transparently displayed with “point A” as a reference. On the other hand, when the vicinity of “Hello Work OO” other than the current position is displayed on the display unit 104 (see FIG. 5B), “Hello Work OO” is displayed on the display unit 204 of the glasses-type display terminal 2. As a reference, a map of a predetermined range around it is transparently displayed.
以上のように、本実施形態の表示システム１００によれば、眼鏡型表示端末２は、腕時計型表示端末１から送信され、当該腕時計型表示端末１の表示部１０４に表示されている表示内容を示す情報に基づいて、腕時計型表示端末１の表示部１０４の表示内容に関連する内容の関連情報を表示部２０４に表示させるので、例えば、地図、Ｗｅｂサイト、画像等を表示するのに腕時計型表示端末１の表示部１０４の表示領域１０４ａが十分な面積を有していない場合であっても、眼鏡型表示端末２の表示部２０４を利用して表示領域１０４ａを確保することができ、より多くの情報を効率良く表示することができる。 As described above, according to the display system 100 of the present embodiment, the glasses-type display terminal 2 displays the display content transmitted from the wristwatch-type display terminal 1 and displayed on the display unit 104 of the wristwatch-type display terminal 1. Based on the information shown, the display unit 204 displays related information related to the display content of the display unit 104 of the wristwatch type display terminal 1, so that, for example, a wristwatch type for displaying a map, a website, an image, etc. Even if the display area 104a of the display unit 104 of the display terminal 1 does not have a sufficient area, the display area 104a can be secured using the display unit 204 of the glasses-type display terminal 2, and more A lot of information can be displayed efficiently.
また、眼鏡型表示端末２の表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存する（ユーザから眼鏡型表示端末２の表示領域２０４ａ越しに腕時計型表示端末１の表示部１０４の表示領域１０４ａが見える位置に存する）と判定された場合に、関連情報を表示部２０４の表示領域２０４ａに表示させるので、眼鏡型表示端末２の表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かに応じて、すなわち、装着者Ｓが腕時計型表示端末１の表示部１０４に表示されている情報を視認しているか否かに応じて、当該表示領域２０４ａ内に表示される情報を切り替えて表示させることができ、使い勝手を向上させることができる。
このとき、腕時計型表示端末１の表示部１０４に表示されている表示内容に対して関連情報に含まれる当該表示内容に対応する範囲の位置を一致させるように関連情報を表示部２０４の表示領域２０４ａに表示させることで、眼鏡型表示端末２の表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存する場合であっても、腕時計型表示端末１の表示部１０４に表示されている所定の情報及び眼鏡型表示端末２の表示部２０４に透過表示されている関連情報を視認する装着者Ｓに対して違和感を生じさせ難くすることができる。
Further, the display area 104a of the display unit 104 of the wristwatch-type display terminal 1 exists in the display area 204a of the display unit 204 of the glasses-type display terminal 2 (the wristwatch-type display terminal passes from the user to the display area 204a of the glasses-type display terminal 2). If the display area 104a of the first display unit 104 is in a position where the display area 104a can be seen), the related information is displayed on the display area 204a of the display unit 204. Depending on whether or not the display area 104a of the display unit 104 of the wristwatch-type display terminal 1 is present, that is, whether the wearer S is viewing the information displayed on the display unit 104 of the wristwatch-type display terminal 1 Depending on whether or not, the information displayed in the display area 204a can be switched and displayed, and the usability can be improved.
At this time, the related information is displayed in the display area of the display unit 204 so that the display content displayed on the display unit 104 of the wristwatch type display terminal 1 matches the position of the range corresponding to the display content included in the related information. By displaying on 204a, even if the display area 104a of the display section 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display section 204 of the glasses-type display terminal 2, the display of the wristwatch type display terminal 1 is performed. It is possible to make it difficult for the wearer S who visually recognizes the predetermined information displayed on the unit 104 and the related information transparently displayed on the display unit 204 of the glasses-type display terminal 2 to feel uncomfortable.
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、腕時計型表示端末１の当該端末本体の傾きを示す情報に基づいて、眼鏡型表示端末２は、関連情報を傾斜させて表示部２０４に表示させたり、腕時計型表示端末１は、所定の情報の表示内容を傾斜させて表示するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。すなわち、腕時計型表示端末１の当該端末本体の傾きを基準として、眼鏡型表示端末２の表示部２０４や腕時計型表示端末１の表示部１０４の表示を変化させることができ、使い勝手をより向上させることができるが、腕時計型表示端末１は、必ずしも傾き検出部１０３を具備する必要はない。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the above embodiment, the glasses-type display terminal 2 tilts the related information on the display unit 204 based on the information indicating the tilt of the terminal body of the wristwatch-type display terminal 1, The type display terminal 1 displays the display content of the predetermined information in an inclined manner. However, the display is not limited to this example, and can be arbitrarily changed as appropriate. That is, the display of the display unit 204 of the glasses-type display terminal 2 and the display unit 104 of the watch-type display terminal 1 can be changed with reference to the inclination of the terminal body of the wristwatch-type display terminal 1, thereby further improving the usability. However, the wristwatch type display terminal 1 does not necessarily need to include the tilt detection unit 103.
また、上記実施形態では、表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを、表示領域検出部２０５ａによる腕時計型表示端末１の表示部１０４の表示領域１０４ａの検出結果に応じて判定するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、所定の視線検出技術により装着者Ｓが腕時計型表示端末１の表示部１０４の表示領域１０４ａを視認しているか否かを検出し、当該検出の結果に応じて外界像の光を透過する表示部２０４の表示領域２０４ａ内に腕時計型表示端末１の表示部１０４の表示領域１０４ａが存するか否かを判定するようにしても良い。 In the above embodiment, whether or not the display area 104a of the display unit 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display unit 204 is determined by the display unit of the wristwatch type display terminal 1 by the display area detection unit 205a. Although the determination is made according to the detection result of the display area 104a of 104, it is an example and the present invention is not limited to this, and can be arbitrarily changed as appropriate. For example, it is detected whether or not the wearer S is viewing the display area 104a of the display unit 104 of the wristwatch type display terminal 1 by a predetermined line-of-sight detection technique, and light of the external image is transmitted according to the detection result. You may make it determine whether the display area 104a of the display part 104 of the wristwatch type display terminal 1 exists in the display area 204a of the display part 204. FIG.
さらに、上記実施形態では、例えば、所定の通信回線として、無線通信回線を例示して説明したが、眼鏡型表示端末２と腕時計型表示端末１とを有線ケーブル等により接続して通信を行う有線通信回線であっても良い。 Furthermore, in the above-described embodiment, for example, a wireless communication line has been described as an example of the predetermined communication line. However, wired communication is performed by connecting the glasses-type display terminal 2 and the wristwatch-type display terminal 1 with a wired cable or the like. It may be a communication line.
また、表示システム１００の構成や当該表示システム１００が有する腕時計型表示端末１や眼鏡型表示端末２の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
例えば、腕時計型表示端末１の代わりに、例えば、スマートフォン、携帯電話やＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Data Assistants）等を適用しても良い。
Further, the configuration of the display system 100 and the configuration of the wristwatch-type display terminal 1 and the glasses-type display terminal 2 included in the display system 100 are merely examples, and are not limited thereto.
For example, instead of the wristwatch-type display terminal 1, for example, a smartphone, a mobile phone, a PHS (Personal Handy-phone System), a PDA (Personal Data Assistants), or the like may be applied.
加えて、上記実施形態にあっては、受信制御手段、表示制御手段としての機能を、眼鏡型表示端末２の中央制御部２０１の制御下にて、無線処理部２０７、表示制御部２０６が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部２０１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムメモリ（図示略）に、受信制御処理ルーチン、表示制御処理ルーチンを含むプログラムを記録しておく。そして、受信制御処理ルーチンにより中央制御部２０１のＣＰＵを、他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部２０１のＣＰＵを、受信された前記表示内容を示す情報に基づいて、他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる手段として機能させるようにしても良い。
In addition, in the above embodiment, the functions of the reception control unit and the display control unit are driven by the wireless processing unit 207 and the display control unit 206 under the control of the central control unit 201 of the glasses-type display terminal 2. However, the present invention is not limited to this, and a configuration realized by executing a predetermined program or the like by the central control unit 201 may be employed.
That is, a program including a reception control processing routine and a display control processing routine is recorded in a program memory (not shown). Then, the CPU of the central control unit 201 may function as a means for receiving information indicating the display contents transmitted from another display terminal and displayed on the other display terminal by the reception control processing routine. . Further, as a means for causing the CPU of the central control unit 201 to display the related information of the contents related to the display contents of the other display terminals on the display means based on the received information indicating the display contents by the display control processing routine. You may make it function.
同様に、判定手段についても、眼鏡型表示端末２の中央制御部２０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。 Similarly, the determination unit may be realized by executing a predetermined program or the like by the CPU of the central control unit 201 of the glasses-type display terminal 2.
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。 Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory or a portable recording medium such as a CD-ROM is applied in addition to a ROM or a hard disk. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
情報通信可能に接続された複数の表示端末を備える表示システムであって、
前記複数の表示端末のうち、第一の表示端末は、
情報を表示する第一の表示手段と、
前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
前記取得手段により取得された前記表示内容を示す情報を、第二の表示端末に送信する送信手段と、を備え、
前記第二の表示端末は、
第二の表示手段と、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、を備えることを特徴とする表示システム。
＜請求項２＞
前記第二の表示端末は、
ユーザから当該表示端末の表示領域越しに前記第一の表示手段の表示領域が見える位置に存するか否かを判定する判定手段を更に備え、
前記制御手段は、
前記判定手段により存すると判定された場合に、前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項１に記載の表示システム。
＜請求項３＞
前記関連情報は、前記第一の表示手段に表示されている表示内容に対応する情報を一部に含む情報であり、
前記制御手段は、更に、
前記判定手段により存すると判定された場合に、前記第一の表示手段に表示されている表示内容に対して前記関連情報に含まれる当該表示内容に対応する情報の位置を一致させるように前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項２に記載の表示システム。
＜請求項４＞
前記第二の表示手段は、更に、
外界像の光に対して前記関連情報の光を重畳して表示領域に透過表示することを特徴とする請求項１〜３の何れか一項に記載の表示システム。
＜請求項５＞
前記第一の表示端末は、
当該端末本体の傾きを検出する検出手段を更に備え、
前記送信手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報を前記第二の表示端末に送信し、
前記第二の表示端末にあっては、
前記制御手段は、更に、
前記受信手段により受信された前記第一の表示端末本体の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させることを特徴とする請求項１〜４の何れか一項に記載の表示システム。
＜請求項６＞
前記第一の表示端末にあっては、
前記第一の表示手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報に基づいて、前記表示内容を傾斜させて表示することを特徴とする請求項５に記載の表示システム。
＜請求項７＞
前記第一の表示端末は、手首に装着される腕時計型の表示端末であり、
前記第二の表示端末は、頭に装着される眼鏡型の表示端末であることを特徴とする請求項１〜６の何れか一項に記載の表示システム。
＜請求項８＞
情報通信可能に他の表示端末と接続された表示端末であって、
前記他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる制御手段と、を備えることを特徴とする表示端末。
＜請求項９＞
情報通信可能に接続された複数の表示端末を備える表示システムを用いた表示方法であって、
前記複数の表示端末のうち、第一の表示端末は、
第一の表示手段に表示されている表示内容を示す情報を取得する処理と、
取得された前記表示内容を示す情報を、第二の表示端末に送信する処理と、を行い、
前記第二の表示端末は、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する処理と、
受信された前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を第二の表示手段に表示させる処理と、を行うことを特徴とする表示方法。
＜請求項１０＞
情報通信可能に他の表示端末と接続された表示端末が有するコンピュータを、
前記他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する受信制御手段、
受信された前記表示内容を示す情報に基づいて、前記他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Appendix]
<Claim 1>
A display system comprising a plurality of display terminals connected to enable information communication,
Of the plurality of display terminals, the first display terminal is:
A first display means for displaying information;
Obtaining means for obtaining information indicating display contents displayed on the first display means;
Transmission means for transmitting information indicating the display content acquired by the acquisition means to a second display terminal,
The second display terminal is
A second display means;
Receiving means for receiving information indicating the display content transmitted from the first display terminal;
Control means for causing the second display means to display related information of contents related to the display contents of the first display means based on the information indicating the display contents received by the receiving means. A display system characterized by
<Claim 2>
The second display terminal is
A determination means for determining whether or not the display area of the first display means exists in a position where the user can see the display area of the display terminal from the user;
The control means includes
The display system according to claim 1, wherein when it is determined that the determination unit exists, the related information is displayed in a display area of the second display unit.
<Claim 3>
The related information is information that partially includes information corresponding to the display content displayed on the first display means,
The control means further includes
When it is determined by the determination means that the related information is displayed so that the position of the information corresponding to the display content included in the related information matches the display content displayed on the first display means 3. The display system according to claim 2, wherein information is displayed in a display area of the second display means.
<Claim 4>
The second display means further includes
The display system according to claim 1, wherein the light of the related information is superimposed on the light of an external image and is transmissively displayed in a display area.
<Claim 5>
The first display terminal is
It further comprises detection means for detecting the tilt of the terminal body,
The transmission means includes
Transmitting information indicating the tilt of the terminal body detected by the detection means to the second display terminal;
In the second display terminal,
The control means further includes
5. The display device according to claim 1, wherein the related information is tilted and displayed on the second display unit based on information indicating the tilt of the first display terminal body received by the receiving unit. The display system according to any one of the above.
<Claim 6>
In the first display terminal,
The first display means includes
6. The display system according to claim 5, wherein the display content is tilted and displayed based on information indicating the tilt of the terminal body detected by the detection means.
<Claim 7>
The first display terminal is a wristwatch type display terminal attached to a wrist,
The display system according to claim 1, wherein the second display terminal is a glasses-type display terminal worn on a head.
<Claim 8>
A display terminal that is connected to another display terminal to enable information communication,
Receiving means for receiving information indicating display contents transmitted from the other display terminal and displayed on the other display terminal;
Control means for causing the display means to display related information of contents related to the display contents of the other display terminal based on the information indicating the display contents received by the receiving means. Terminal.
<Claim 9>
A display method using a display system comprising a plurality of display terminals connected to enable information communication,
Of the plurality of display terminals, the first display terminal is:
Processing for obtaining information indicating the display contents displayed on the first display means;
A process of transmitting the acquired information indicating the display content to the second display terminal, and
The second display terminal is
A process of receiving information indicating the display content transmitted from the first display terminal;
And a process of displaying the related information of the contents related to the display contents of the first display means on the second display means based on the received information indicating the display contents. .
<Claim 10>
A computer included in a display terminal connected to another display terminal so that information communication is possible,
A reception control means for receiving information indicating display contents transmitted from the other display terminal and displayed on the other display terminal;
Display control means for causing the display means to display related information of contents related to the display contents of the other display terminal based on the received information indicating the display contents;
A program characterized by functioning as
１００ 表示システム
１ 腕時計型表示端末
１０３ 傾き検出部
１０４ 表示部
１０６ 表示内容取得部
１０８ 無線処理部
２ 眼鏡型表示端末
２０１ 中央制御部
２０４ 表示部
２０５ 判定部
２０６ 表示制御部
２０７ 無線処理部
DESCRIPTION OF SYMBOLS 100 Display system 1 Wristwatch type display terminal 103 Tilt detection part 104 Display part 106 Display content acquisition part 108 Wireless processing part 2 Eyeglass type display terminal 201 Central control part 204 Display part 205 Determination part 206 Display control part 207 Wireless processing part
Claims (14)
第一の表示手段と、
前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
前記取得手段により取得された前記表示内容を示す情報を、通信可能に接続された第二の表示端末に送信する送信手段と、を備え、
前記第二の表示端末は、
第二の表示手段と、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記第二の表示手段で表示させるべきアプリケーションを特定するアプリケーション特定手段と、
前記アプリケーション特定手段で特定された前記アプリケーションを起動させると共に、前記受信手段により受信された前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、
を備えることを特徴とする表示システム。 The first display terminal
A first display means;
Obtaining means for obtaining information indicating display contents displayed on the first display means;
Transmission means for transmitting information indicating the display content acquired by the acquisition means to a second display terminal connected to be communicable,
The second display terminal is
A second display means;
Receiving means for receiving information indicating the display content transmitted from the first display terminal;
Application specifying means for specifying an application to be displayed on the second display means based on the information indicating the display content received by the receiving means;
The application specified by the application specifying unit is activated, and the content related to the display content of the first display unit in the application is based on the information indicating the display content received by the receiving unit. Control means for displaying information on the second display means;
A display system comprising:
ユーザから当該第二の表示端末の表示領域越しに前記第一の表示手段の表示領域が見える位置に存するか否かを判定する判定手段を更に備え、
前記制御手段は、
前記判定手段により存すると判定された場合に、前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項１に記載の表示システム。 The second display terminal is
A determination means for determining whether or not the display area of the first display means can be seen from the user over the display area of the second display terminal;
The control means includes
The display system according to claim 1, wherein when it is determined that the determination unit exists, the related information is displayed in a display area of the second display unit.
前記範囲情報に基づいて、前記第二の表示手段における、前記第一の表示端末の表示内容に対応する範囲を特定する範囲特定手段を備え、
前記制御手段は、前記範囲特定手段により特定された範囲を透過させると共に前記範囲特定手段により特定された範囲以外の部分の関連情報を透過表示させた状態で前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させることを特徴とする請求項３に記載の表示システム。 The second display means includes
Based on the range information, in the second display means, comprising a range specifying means for specifying a range corresponding to the display content of the first display terminal,
The control means transmits the range specified by the range specifying means and displays the related information of the part other than the range specified by the range specifying means in the display content of the first display means in a transparent state. The display system according to claim 3, wherein related information of related contents is displayed on the second display unit.
前記制御手段は、更に、
前記判定手段により存すると判定された場合に、前記第一の表示手段に表示されている表示内容に対して前記関連情報に含まれる当該表示内容に対応する情報の位置を一致させるように前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項３又は４に記載の表示システム。 The related information is information that partially includes information corresponding to the display content displayed on the first display means,
The control means further includes
When it is determined by the determination means that the related information is displayed so that the position of the information corresponding to the display content included in the related information matches the display content displayed on the first display means 5. The display system according to claim 3, wherein information is displayed in a display area of the second display means.
前記制御手段は、更に、
前記判定手段により存すると判定された場合に、前記第一の表示手段に表示されている表示内容に対して前記関連情報に含まれる当該表示内容に対応する情報の位置を一致させるように前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項３又は４に記載の表示システム。 The related information includes information other than the display content displayed on the first display means,
The control means further includes
When it is determined by the determination means that the related information is displayed so that the position of the information corresponding to the display content included in the related information matches the display content displayed on the first display means 5. The display system according to claim 3, wherein information is displayed in a display area of the second display means.
外界像の光に対して前記関連情報の光を重畳して表示領域に透過表示することを特徴とする請求項１乃至６のいずれかに記載の表示システム。 The second display means further includes
The display system according to claim 1, wherein the light of the related information is superimposed on the light of an external image and is transmissively displayed in a display area.
当該端末本体の傾きを検出する検出手段を更に備え、
前記送信手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報を前記第二の表示端末に送信し、
前記第二の表示端末の前記制御手段は、前記受信手段により受信された前記第一の表示端末本体の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させることを特徴とする請求項１乃至７のいずれかに記載の表示システム。 The first display terminal is
It further comprises detection means for detecting the tilt of the terminal body,
The transmission means includes
Transmitting information indicating the tilt of the terminal body detected by the detection means to the second display terminal;
The control means of the second display terminal tilts the related information based on the information indicating the tilt of the first display terminal main body received by the receiving means and displays it on the second display means. The display system according to claim 1, wherein:
前記第一の表示手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報に基づいて、前記表示内容を傾斜させて表示することを特徴とする請求項８に記載の表示システム。 In the first display terminal,
The first display means includes
The display system according to claim 8, wherein the display content is tilted and displayed based on information indicating the tilt of the terminal body detected by the detection unit.
前記第二の表示端末は、頭に装着される眼鏡型の表示端末であることを特徴する請求項１乃至９のいずれかに記載の表示システム。 The first display terminal is a wristwatch type display terminal attached to a wrist,
The display system according to claim 1, wherein the second display terminal is a glasses-type display terminal worn on a head.
通信可能に接続された他の表示端末から送信され、前記他の表示端末に表示されている表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記表示手段に表示させるべきアプリケーションを特定するアプリケーション特定手段と、
前記アプリケーション特定手段で特定された前記アプリケーションを起動させると共に、前記受信手段により受信された前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記他の表示端末の表示内容に関連する内容の関連情報を前記表示手段に表示させる制御手段と、
を備えることを特徴とする表示端末。 Display means;
Receiving means for receiving information indicating display contents transmitted from another display terminal communicably connected and displayed on the other display terminal;
Application specifying means for specifying an application to be displayed on the display means based on the information indicating the display content received by the receiving means;
Information related to contents related to the display contents of the other display terminal in the application based on the information indicating the display contents received by the receiving means while starting the application specified by the application specifying means Control means for displaying on the display means;
A display terminal comprising:
前記第一の表示端末が有する第一の表示手段と、
前記第二の表示端末が有する第二の表示手段と、
前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
前記表示内容を示す情報に基づいて、前記第二の表示手段に表示させるべきアプリケーションを特定するアプリケーション特定手段と、
前記アプリケーション特定手段で特定された前記アプリケーションを起動させると共に、前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、
を備えることを特徴とする表示システム。 A display system comprising a first display terminal and a second display terminal,
First display means of the first display terminal;
Second display means of the second display terminal;
Obtaining means for obtaining information indicating display contents displayed on the first display means;
Based on information indicating the display content, application specifying means for specifying an application to be displayed on the second display means;
The application specified by the application specifying unit is activated, and based on the information indicating the display content, related information of content related to the display content of the first display unit in the application is displayed in the second display. Control means to be displayed on the means;
A display system comprising:
第一の表示手段に表示されている表示内容を示す情報を取得する処理と、
取得された前記表示内容を示す情報を、第二の表示端末に送信する処理と、を行い、
前記第二の表示端末は、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する処理と、
受信された前記表示内容を示す情報に基づいて、第二の表示手段で表示させるべきアプリケーションを特定する処理と、
特定された前記アプリケーションを起動させると共に、受信された前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる処理と、を行うことを特徴とする表示方法。 Of the plurality of display terminals connected to each other so as to communicate with each other, the first display terminal is
Processing for obtaining information indicating the display contents displayed on the first display means;
A process of transmitting the acquired information indicating the display content to the second display terminal, and
The second display terminal is
A process of receiving information indicating the display content transmitted from the first display terminal;
Based on the received information indicating the display content, a process of specifying an application to be displayed on the second display means;
Based on the received information indicating the display contents, the related information on the contents related to the display contents of the first display means in the application is displayed on the second display means. A display method comprising: performing a display process.
前記他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する受信制御手段、
受信された前記表示内容を示す情報に基づいて、表示手段で表示させるべきアプリケーションを特定するアプリケーション特定手段、
前記アプリケーション特定手段で特定された前記アプリケーションを起動させると共に、受信された前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記他の表示端末の表示内容に関連する内容の関連情報を前記表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。 A computer having a display terminal connected to another display terminal so as to be able to communicate;
A reception control means for receiving information indicating display contents transmitted from the other display terminal and displayed on the other display terminal;
Application specifying means for specifying an application to be displayed on the display means based on the received information indicating the display content;
The display unit is configured to activate the application specified by the application specifying unit and to display related information of content related to the display content of the other display terminal in the application based on the received information indicating the display content. Display control means for displaying on
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016090020A JP6439744B2 (en) | 2016-04-28 | 2016-04-28 | Display system, information apparatus, display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016090020A JP6439744B2 (en) | 2016-04-28 | 2016-04-28 | Display system, information apparatus, display method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014006066A Division JP5929933B2 (en) | 2014-01-16 | 2014-01-16 | Display system, display terminal, display method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016180986A true JP2016180986A (en) | 2016-10-13 |
| JP2016180986A5 JP2016180986A5 (en) | 2017-02-16 |
| JP6439744B2 JP6439744B2 (en) | 2018-12-19 |
Family
ID=57132589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016090020A Active JP6439744B2 (en) | 2016-04-28 | 2016-04-28 | Display system, information apparatus, display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6439744B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012233962A (en) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | Projection system, projection device, projection method, and control program |
| JP2013125247A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Head-mounted display and information display apparatus |
| WO2014002347A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | Video output device, 3d video observation device, video display device, and video output method |
-
2016
- 2016-04-28 JP JP2016090020A patent/JP6439744B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012233962A (en) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | Projection system, projection device, projection method, and control program |
| JP2013125247A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Head-mounted display and information display apparatus |
| WO2014002347A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | Video output device, 3d video observation device, video display device, and video output method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6439744B2 (en) | 2018-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5929933B2 (en) | Display system, display terminal, display method and program | |
| CN109891874B (en) | Panoramic shooting method and device | |
| JP2021513278A (en) | Image processing methods and related devices | |
| US9794472B2 (en) | Imaging device and focusing control method | |
| US9049317B2 (en) | Communication system, communication terminal, and method of controlling a communication system | |
| JPWO2020003361A1 (en) | Head-mounted display, head-mounted display cooperation system and its method | |
| EP3163348A1 (en) | Imaging device | |
| US9819853B2 (en) | Imaging device and focusing control method | |
| US20230284000A1 (en) | Mobile information terminal, information presentation system and information presentation method | |
| KR20160127606A (en) | Mobile terminal and the control method thereof | |
| JPWO2016125352A1 (en) | Camera device, imaging system, control method, and program | |
| US20180295283A1 (en) | Mobile terminal and method of controlling the same | |
| WO2022033272A1 (en) | Image processing method and electronic device | |
| CN113923422B (en) | Ambient light detection method and terminal | |
| JP6439744B2 (en) | Display system, information apparatus, display method, and program | |
| KR20150123645A (en) | Mobile terminal and method for controlling the same | |
| JP2016177565A (en) | Communication control device, communication control method, and program | |
| KR20180119281A (en) | Mobile terminal and method of controlling the same | |
| CN113950028A (en) | Communication method for terminal equipment and network side equipment and terminal equipment | |
| JP6736962B2 (en) | Image transmission control program, image transmission control method, and image transmission control device | |
| JP7085651B2 (en) | Image pickup device control device, image pickup device, image pickup device control method, image pickup device control program | |
| CN114143588B (en) | Playing control method and electronic equipment | |
| JP2005223855A (en) | Mobile terminal and server device | |
| US20240095086A1 (en) | Mobile device resource optimized kiosk mode | |
| US11624924B2 (en) | Image capturing system including head-mount type display device, and display device and method of controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6439744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |