JP2021043629A

JP2021043629A - Terminal control program, terminal device, terminal control method and information communication method

Info

Publication number: JP2021043629A
Application number: JP2019164421A
Authority: JP
Inventors: 中村　俊介; Shunsuke Nakamura; 俊介中村; 功一岸上; Koichi Kishigami; 井上　隆; Takashi Inoue; 隆井上; 敦子吉野; Atsuko Yoshino
Original assignee: Tobishima Corp; ROZETTA Corp
Current assignee: Tobishima Corp; ROZETTA Corp
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2021-03-18

Abstract

To provide a terminal control program for realizing communication between terminal devices, which is further easily used, a terminal device. a terminal control method and an information communication method.SOLUTION: A terminal control program is provided, which causes a first terminal device used by a user to function as radio communication control means for establishing radio communication with a second terminal device used by the user, transmission means for transmitting first control data for causing the second terminal device to perform first processing to the second terminal device by radio in response to operation of the user to the first terminal device, reception means for receiving second control data transmitted from the second terminal device by radio in response to operation by the user to the second terminal device, and processing means for performing second processing corresponding to the second control data.SELECTED DRAWING: Figure 2

Description

本発明は、端末装置間で通信を行うための端末制御プログラム、端末装置、端末制御方法および情報通信方法に関する。 The present invention relates to a terminal control program, a terminal device, a terminal control method, and an information communication method for communicating between terminal devices.

特許文献１には、スマートフォンによる処理結果をＨＭＤ（Head Mount Display）に表示するシステムが開示されている。 Patent Document 1 discloses a system for displaying a processing result by a smartphone on an HMD (Head Mount Display).

特開２０１９−３６９１４号公報Japanese Unexamined Patent Publication No. 2019-36914

しかし、特許文献１では、スマートフォンとＨＭＤとの間にケーブル接続の変換装置が必要であり、煩わしい。また、スマートフォンの処理結果をＨＭＤに表示することしかできない。 However, in Patent Document 1, a conversion device for cable connection between the smartphone and the HMD is required, which is troublesome. Moreover, the processing result of the smartphone can only be displayed on the HMD.

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、より使いやすい端末装置間の通信を実現する端末制御プログラム、端末装置、端末制御方法および情報通信方法を提供することである。 The present invention has been made in view of such problems, and an object of the present invention is to provide a terminal control program, a terminal device, a terminal control method, and an information communication method that realize communication between terminal devices that are easier to use. It is to be.

本発明の一態様によれば、ユーザが用いる第１端末装置を、前記ユーザが用いる第２端末装置と無線通信を可能とするために、前記第２端末装置とペアリングするペアリング手段と、前記第１端末装置に対する前記ユーザの操作に応答して、第１処理を前記第２端末装置で行わせるための第１制御データを前記第２端末装置に無線送信する送信手段と、前記第２端末装置に対する前記ユーザの操作に応答して前記第２端末装置から送信される第２制御データを無線受信する受信手段と、前記第２制御データに応じた第２処理を行う処理手段と、として機能させる端末制御プログラムが提供される。 According to one aspect of the present invention, a pairing means for pairing a first terminal device used by a user with the second terminal device in order to enable wireless communication with the second terminal device used by the user. A transmission means for wirelessly transmitting first control data to the second terminal device for causing the first process to be performed by the second terminal device in response to the user's operation on the first terminal device, and the second terminal device. As a receiving means for wirelessly receiving the second control data transmitted from the second terminal device in response to the user's operation on the terminal device, and a processing means for performing the second processing according to the second control data. A terminal control program to function is provided.

前記第１制御データは、前記第１端末装置の入力インターフェースに対する前記ユーザの第１操作を示し、前記第２制御データは、前記第２端末装置の入力インターフェースに対する前記ユーザの第２操作を示してもよい。 The first control data indicates the user's first operation on the input interface of the first terminal device, and the second control data indicates the user's second operation on the input interface of the second terminal device. May be good.

前記第１操作は、第３処理を前記処理手段に行わせるための操作であり、前記第１処理は、前記第３処理に対応し、前記第２操作は、第４処理を前記第２端末装置に行わせるための操作であり、前記第２処理は、前記第４処理に対応してもよい。 The first operation is an operation for causing the processing means to perform the third process, the first process corresponds to the third process, and the second operation performs the fourth process on the second terminal. It is an operation for causing the device to perform, and the second process may correspond to the fourth process.

前記第１処理は、前記第１端末装置によって取得された第１文字列を前記第２端末装置のディスプレイに表示させることであり、前記第１制御データは、前記第１文字列の情報を含み、前記第２処理は、前記第２端末装置によって取得された第２文字列を前記第１端末装置のディスプレイに表示させることであり、前記第２制御データは、前記第２文字列の情報を含んでもよい。 The first process is to display the first character string acquired by the first terminal device on the display of the second terminal device, and the first control data includes the information of the first character string. The second process is to display the second character string acquired by the second terminal device on the display of the first terminal device, and the second control data is the information of the second character string. It may be included.

前記第１処理は、前記第１端末装置によって取得された第１画像を前記第２端末装置のディスプレイに表示させることであり、前記第１制御データは、データ量を減らした前記第１画像の情報を含み、前記第２処理は、前記第２端末装置によって取得された第２画像を前記第１端末装置のディスプレイに表示させることであり、前記第２制御データは、データ量を減らした前記第２画像の情報を含んでもよい。 The first process is to display the first image acquired by the first terminal device on the display of the second terminal device, and the first control data is the first image in which the amount of data is reduced. The second process, which includes information, is to display a second image acquired by the second terminal device on the display of the first terminal device, and the second control data is the said in which the amount of data is reduced. The information of the second image may be included.

前記第１制御データは、前記第１端末装置のディスプレイで行われる第１表示に関する情報を含み、前記第１処理は、前記第２端末装置のディスプレイに前記第１表示に対応する第２表示を行わせることであり、前記第２制御データは、前記第２端末装置のディスプレイで行われる第３表示に関する情報を含み、前記第２処理は、前記第１端末装置のディスプレイに前記第３表示に対応する第４表示を行うことであってもよい。 The first control data includes information regarding a first display performed on the display of the first terminal device, and the first process displays a second display corresponding to the first display on the display of the second terminal device. The second control data includes information about a third display performed on the display of the second terminal device, and the second process is performed on the display of the first terminal device to the third display. The corresponding fourth display may be performed.

前記ペアリング手段は、ペアリングを行うために必要なデータを含む第１識別コードを前記第１端末装置のディスプレイに表示させてもよい。 The pairing means may display a first identification code including data necessary for performing pairing on the display of the first terminal device.

前記ペアリング手段は、前記第２端末装置のディスプレイに表示された、ペアリングを行うために必要なデータを含む第２識別コードを読み取ることによって、前記第２端末装置とペアリングしてもよい。 The pairing means may be paired with the second terminal device by reading a second identification code displayed on the display of the second terminal device and including data necessary for performing pairing. ..

前記第１端末装置は、スマートフォンまたはタブレット端末であり、前記第２端末装置は、ウェアラブルデバイスであってもよい。 The first terminal device may be a smartphone or a tablet terminal, and the second terminal device may be a wearable device.

前記第２端末装置に比べて、操作性が高い入力インターフェースを前記第１端末装置が備えてもよい。 The first terminal device may be provided with an input interface having higher operability than the second terminal device.

本発明の別の態様によれば、ユーザが用いる端末装置であって、前記ユーザが用いる他の端末装置と無線通信を可能とするために、前記他の端末装置とペアリングするペアリング手段と、前記端末装置に対する前記ユーザの操作に応答して、第１処理を前記他の端末装置で行わせるための第１制御データを前記他の端末装置に無線送信する送信手段と、前記他の端末装置に対する前記ユーザの操作に応答して前記他の端末装置から送信される第２制御データを無線受信する受信手段と、前記第２制御データに応じた第２処理を行う処理手段と、とを備える端末装置が提供される。 According to another aspect of the present invention, the terminal device used by the user and the pairing means for pairing with the other terminal device in order to enable wireless communication with the other terminal device used by the user. , A transmission means for wirelessly transmitting first control data for causing the other terminal device to perform the first process in response to the user's operation on the terminal device, and the other terminal. A receiving means that wirelessly receives the second control data transmitted from the other terminal device in response to the user's operation on the device, and a processing means that performs the second processing according to the second control data. A terminal device is provided.

本発明の別の態様によれば、ユーザが用いる第１端末装置が、前記ユーザが用いる第２端末装置と無線通信を可能とするために、前記第２端末装置とペアリングし、前記第１端末装置に対する前記ユーザの操作に応答して、第１処理を前記第２端末装置で行わせるための第１制御データを前記第２端末装置に無線送信し、前記第２端末装置に対する前記ユーザの操作に応答して前記第２端末装置から送信される第２制御データを無線受信し、前記第２制御データに応じた第２処理を行う、端末制御方法が提供される。 According to another aspect of the present invention, the first terminal device used by the user is paired with the second terminal device in order to enable wireless communication with the second terminal device used by the user, and the first terminal device is used. In response to the user's operation on the terminal device, the first control data for causing the first process to be performed by the second terminal device is wirelessly transmitted to the second terminal device, and the user's operation on the second terminal device is performed. A terminal control method is provided in which a second control data transmitted from the second terminal device is wirelessly received in response to an operation, and a second process is performed according to the second control data.

本発明の別の態様によれば、ユーザが用いる第１端末装置と、前記ユーザが用いる第２端末装置と、を用いた情報通信方法であって、前記第１端末装置と前記第２端末装置とが無線通信可能とするために、前記第１端末装置と前記第２端末装置とをペアリングし、前記第１端末装置に対する前記ユーザの操作に応答して、前記第１端末装置が、第１処理を前記第２端末装置で行わせるための第１制御データを前記第２端末装置に無線送信し、前記第２端末装置が、前記第１制御データを前記第１端末装置から無線受信し、前記第２端末装置が、前記第１制御データに応じた前記第１処理を行い、前記第２端末装置に対する前記ユーザの操作に応答して、前記第２端末装置が、第２処理を前記第１端末装置で行わせるための第２制御データを前記第１端末装置に無線送信し、前記第１端末装置が、前記第２制御データを前記第２端末装置から無線受信し、前記第１端末装置が、前記第２制御データに応じた第２処理を行う、情報通信方法が提供される。 According to another aspect of the present invention, the information communication method using the first terminal device used by the user and the second terminal device used by the user, the first terminal device and the second terminal device. In order to enable wireless communication with, the first terminal device and the second terminal device are paired, and in response to the user's operation on the first terminal device, the first terminal device becomes the first. The first control data for causing the first processing to be performed by the second terminal device is wirelessly transmitted to the second terminal device, and the second terminal device wirelessly receives the first control data from the first terminal device. The second terminal device performs the first process according to the first control data, and in response to the user's operation on the second terminal device, the second terminal device performs the second process. The second control data to be performed by the first terminal device is wirelessly transmitted to the first terminal device, the first terminal device wirelessly receives the second control data from the second terminal device, and the first terminal device receives the second control data. An information communication method is provided in which the terminal device performs a second process according to the second control data.

使いやすい端末装置間の通信が実現される。 Easy-to-use communication between terminal devices is realized.

一実施形態に係る情報通信システムの概略構成を示す図。The figure which shows the schematic structure of the information communication system which concerns on one Embodiment. 一実施形態に係る情報通信システムの概略構成を示す図。The figure which shows the schematic structure of the information communication system which concerns on one Embodiment. 情報通信システムの処理動作の一例を示すシーケンス図。The sequence diagram which shows an example of the processing operation of an information communication system.

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments according to the present invention will be specifically described with reference to the drawings.

（第１の実施形態）
図１Ａおよび図１Ｂは、一実施形態に係る情報通信システムの概略構成を示す図である。図示のように、情報通信システムは、モバイル端末１と、ウェアラブルデバイス２とを備えている。モバイル端末１は、スマートフォンやタブレット端末といった端末装置であり、特定のユーザが用いるものである。ウェアラブルデバイス２も同じユーザが用いることを想定した端末装置である。本実施形態では、建設現場での使用を例示すべく、ウェアラブルデバイス２はヘルメット型となっている。 (First Embodiment)
1A and 1B are diagrams showing a schematic configuration of an information communication system according to an embodiment. As shown in the figure, the information communication system includes a mobile terminal 1 and a wearable device 2. The mobile terminal 1 is a terminal device such as a smartphone or a tablet terminal, and is used by a specific user. The wearable device 2 is also a terminal device that is supposed to be used by the same user. In this embodiment, the wearable device 2 is a helmet type to illustrate its use at a construction site.

モバイル端末１は、入力インターフェース１１と、出力インターフェース１２と、通信部１３と、制御部１４とを有する。 The mobile terminal 1 has an input interface 11, an output interface 12, a communication unit 13, and a control unit 14.

入力インターフェース１１は、タッチパッド１１ａ、ボタン１１ｂ、カメラ１１ｃおよびマイク１１ｄなどを含む。出力インターフェース１２は、ディスプレイ１２ａ、スピーカ１２ｂなどを含む。タッチパッド１１ａとディスプレイ１２ａとが重ねられてタッチパネルを構成する。 The input interface 11 includes a touch pad 11a, a button 11b, a camera 11c, a microphone 11d, and the like. The output interface 12 includes a display 12a, a speaker 12b, and the like. The touch pad 11a and the display 12a are overlapped to form a touch panel.

通信部１３はアンテナや通信用ＩＣなどから構成され、ウェアラブルデバイス２との無線通信を行う。通信手段に特に制限はないが、例えばＢｌｕｔｏｏｔｈ（登録商標）のような短距離無線通信でもよいし、ＷｉＦｉ（登録商標）などでもよい。 The communication unit 13 is composed of an antenna, a communication IC, and the like, and performs wireless communication with the wearable device 2. The communication means is not particularly limited, but may be short-range wireless communication such as Bluetooth (registered trademark) or WiFi (registered trademark).

制御部１４は、ペアリング部１４１と、送信部１４２と、受信部１４３と、処理部１４４とを有する。これらの一部または全部は、モバイル端末１のプロセッサが所定のプログラムを実行することで実現されてもよいし、ハードウェアで構成されてもよい。 The control unit 14 includes a pairing unit 141, a transmission unit 142, a reception unit 143, and a processing unit 144. Some or all of these may be realized by the processor of the mobile terminal 1 executing a predetermined program, or may be configured by hardware.

ペアリング部１４１はウェアラブルデバイス２とのペアリングを行う。送信部１４２は、ウェアラブルデバイス２に所定の処理を行わせるための制御データをウェアラブルデバイス２に送信する。受信部１４３は制御データをウェアラブルデバイス２から受信する。処理部１４４は、入力インターフェース１１に対する操作に応じた処理や、ウェアラブルデバイス２から受信した制御データに応じた処理を行う。制御データや処理の具体例については後述する。 The pairing unit 141 performs pairing with the wearable device 2. The transmission unit 142 transmits control data for causing the wearable device 2 to perform a predetermined process to the wearable device 2. The receiving unit 143 receives the control data from the wearable device 2. The processing unit 144 performs processing according to the operation on the input interface 11 and processing according to the control data received from the wearable device 2. Specific examples of control data and processing will be described later.

一方、ウェアラブルデバイス２は、入力インターフェース２１と、出力インターフェース２２と、通信部２３と、制御部２４とを有する。 On the other hand, the wearable device 2 has an input interface 21, an output interface 22, a communication unit 23, and a control unit 24.

入力インターフェース２１は、ボタン２１ａ、カメラ２１ｂおよびマイク２１ｃなどを含む。出力インターフェース２２は、ディスプレイ２２ａ、スピーカ２２ｂなどを含む。 The input interface 21 includes a button 21a, a camera 21b, a microphone 21c, and the like. The output interface 22 includes a display 22a, a speaker 22b, and the like.

本実施形態では、建設現場において、技術者がモバイル端末１とウェアラブルデバイス２の両方を用いることを主に想定している。そのため、ウェアラブルデバイス２は、ヘルメットに入力インターフェース２１や出力インターフェース２２を設けた形態となっている（図１Ａ参照）。具体的には、ヘルメット着用時に技術者の視界に入る位置にディスプレイ２２ａが設けられ、その近傍にマイク２１ｃも設けられる。また、ヘルメット着用時に耳の近傍の位置にボタン２１ａおよびスピーカ２２ｂが設けられる。また、ヘルメット着用時に技術者の前方を撮影できる位置にカメラ２１ｂが設けられる。 In this embodiment, it is mainly assumed that an engineer uses both a mobile terminal 1 and a wearable device 2 at a construction site. Therefore, the wearable device 2 has an input interface 21 and an output interface 22 provided on the helmet (see FIG. 1A). Specifically, the display 22a is provided at a position where the technician can see when wearing the helmet, and the microphone 21c is also provided in the vicinity thereof. In addition, a button 21a and a speaker 22b are provided near the ears when the helmet is worn. Further, the camera 21b is provided at a position where the front of the technician can be photographed when wearing the helmet.

通信部２３はアンテナや通信用ＩＣなどから構成され、モバイル端末１との無線通信を行う。 The communication unit 23 is composed of an antenna, a communication IC, and the like, and performs wireless communication with the mobile terminal 1.

制御部２４は、ペアリング部２４１と、送信部２４２と、受信部２４３と、処理部２４４とを有する。これらの一部または全部は、ウェアラブルデバイス２のプロセッサが所定のプログラムを実行することで実現されてもよいし、ハードウェアで構成されてもよい。 The control unit 24 includes a pairing unit 241, a transmission unit 242, a reception unit 243, and a processing unit 244. Some or all of these may be realized by the processor of the wearable device 2 executing a predetermined program, or may be configured by hardware.

ペアリング部２４１はモバイル端末１とのペアリングを行う。送信部２４２は、モバイル端末１に所定の処理を行わせるための制御データをモバイル端末１に送信する。受信部２４３は制御データをモバイル端末１から受信する。処理部２４４は、入力インターフェース２１に対する操作に応じた処理や、モバイル端末１から受信した制御データに応じた処理を行う。制御データや処理の具体例については後述する。 The pairing unit 241 performs pairing with the mobile terminal 1. The transmission unit 242 transmits control data for causing the mobile terminal 1 to perform a predetermined process to the mobile terminal 1. The receiving unit 243 receives the control data from the mobile terminal 1. The processing unit 244 performs processing according to the operation on the input interface 21 and processing according to the control data received from the mobile terminal 1. Specific examples of control data and processing will be described later.

モバイル端末１とウェアラブルデバイス２とを比較すると、それぞれ長所・短所がある。技術者が作業と並行して処理を行うのはウェアラブルデバイス２の方が優れている。ウェアラブルデバイス２を用いると、現場で前方とディスプレイ２２ａを同時に見ながら、マイク２１ｃを用いて処理を行うことができるためである。一方、ファイル操作や文字列入力といった処理はモバイル端末１の方が優れている。タッチパネルに代表されるように、より操作性が高い入力インターフェース１１および高性能な出力インターフェース１２を有するためである。モバイル端末１と同等の入力インターフェースおよび出力インターフェースをウェアラブルデバイス２に設けるのは非現実的である。 Comparing the mobile terminal 1 and the wearable device 2, each has advantages and disadvantages. The wearable device 2 is superior in that the engineer performs processing in parallel with the work. This is because when the wearable device 2 is used, processing can be performed using the microphone 21c while simultaneously looking at the front and the display 22a at the site. On the other hand, the mobile terminal 1 is superior in processing such as file operation and character string input. This is because it has an input interface 11 with higher operability and a high-performance output interface 12 as typified by a touch panel. It is impractical to provide the wearable device 2 with an input interface and an output interface equivalent to those of the mobile terminal 1.

そこで、本実施形態では、モバイル端末１およびウェアラブルデバイス２の双方の長所を活かすべく、それぞれが得意な操作を自身が行い、そうでない操作を他方と連携することで補うこととする。具体的には、上述した制御部１４，２４を設け、双方向に制御を行うことで、モバイル端末１およびウェアラブルデバイス２が互いに連携できる。以下、詳細に説明する。 Therefore, in the present embodiment, in order to make the best use of the advantages of both the mobile terminal 1 and the wearable device 2, the operation that each is good at is performed by itself, and the operation that is not good is supplemented by coordinating with the other. Specifically, the mobile terminal 1 and the wearable device 2 can cooperate with each other by providing the control units 14 and 24 described above and performing control in both directions. Hereinafter, a detailed description will be given.

図２は、情報通信システムの処理動作の一例を示すシーケンス図である。 FIG. 2 is a sequence diagram showing an example of the processing operation of the information communication system.

まず、ユーザは、モバイル端末１の入力インターフェース１１に対して、ウェアラブルデバイス２とペアリングするための所定の操作を行う。この操作に応じて、モバイル端末１のペアリング部１４１はＱＲコード（登録商標）のような識別コードをディスプレイ１２ａに表示させる（ステップＳ１）。この識別コードは、モバイル端末１を特定する固有識別データなど、ペアリングに必要な情報を含んでいる。例えば、短距離無線通信の場合、識別コードはモバイル端末１の端末名およびＩＤを含んでいる。また、ＷｉＦｉ接続の場合、識別コードはモバイル端末１のＩＰアドレス、ＭＡＣアドレス、ＷｉＦｉのＳＳＩＤおよびパスワードを含んでいる。 First, the user performs a predetermined operation for pairing with the wearable device 2 on the input interface 11 of the mobile terminal 1. In response to this operation, the pairing unit 141 of the mobile terminal 1 displays an identification code such as a QR code (registered trademark) on the display 12a (step S1). This identification code includes information necessary for pairing, such as unique identification data for identifying the mobile terminal 1. For example, in the case of short-range wireless communication, the identification code includes the terminal name and ID of the mobile terminal 1. In the case of WiFi connection, the identification code includes the IP address, MAC address, WiFi SSID and password of the mobile terminal 1.

続いて、同ユーザはウェアラブルデバイス２の入力インターフェース２１に対して、モバイル端末１とのペアリングするための所定の操作を行う。この操作に応じて、ウェアラブルデバイス２のペアリング部２４１は、カメラ２１ｂを制御し、モバイル端末１のディスプレイ１２ａに表示された識別コードを撮影し、認識する（ステップＳ１１）。そして、ペアリング部２４１は識別コードに含まれるモバイル端末１の固有識別データをウェアラブルデバイス２のメモリ（不図示）に保存する。これにより、ウェアラブルデバイス２がモバイル端末１とペアリングされる（ステップＳ１２）。 Subsequently, the user performs a predetermined operation for pairing with the mobile terminal 1 on the input interface 21 of the wearable device 2. In response to this operation, the pairing unit 241 of the wearable device 2 controls the camera 21b, photographs and recognizes the identification code displayed on the display 12a of the mobile terminal 1 (step S11). Then, the pairing unit 241 stores the unique identification data of the mobile terminal 1 included in the identification code in the memory (not shown) of the wearable device 2. As a result, the wearable device 2 is paired with the mobile terminal 1 (step S12).

そして、ウェアラブルデバイス２のペアリング部２４１は自身の固有識別データをモバイル端末１に無線送信する（ステップＳ１３）。そして、モバイル端末１の受信部１４３は固有識別データを受信し、ペアリング部１４１はウェアラブルデバイス２の固有識別データをモバイル端末１のメモリ（不図示）に保存する。これにより、モバイル端末１がウェアラブルデバイス２とペアリングされる（ステップＳ２）。 Then, the pairing unit 241 of the wearable device 2 wirelessly transmits its own unique identification data to the mobile terminal 1 (step S13). Then, the receiving unit 143 of the mobile terminal 1 receives the unique identification data, and the pairing unit 141 stores the unique identification data of the wearable device 2 in the memory (not shown) of the mobile terminal 1. As a result, the mobile terminal 1 is paired with the wearable device 2 (step S2).

以上により、モバイル端末１とウェアラブルデバイス２との間で互いにペアリングが完了して無線通信が確立され（ステップＳ３）、互いに無線で通信できるようになる。このような手法でペアリングを行うことで、モバイル端末１の周囲に多数のウェアラブルデバイス２がある場合であっても、自身が用いるウェアラブルデバイス２と確実かつ簡易にペアリングできる。 As described above, the mobile terminal 1 and the wearable device 2 complete pairing with each other, establish wireless communication (step S3), and enable wireless communication with each other. By performing pairing by such a method, even if there are a large number of wearable devices 2 around the mobile terminal 1, it can be paired reliably and easily with the wearable device 2 used by itself.

なお、ペアリングは、通信相手（ウェアラブルデバイス２から見たモバイル端末１、あるいは、モバイル端末１から見たウェアラブルデバイス２）を特定する固有識別データを自身のメモリに保存する処理をいう。ペアリングは、上述したような固有識別データを含んだ識別コードを利用する手法や、通信相手に自身の固有識別データを無線送信する手法以外にも種々考え得る。 Note that pairing refers to a process of storing unique identification data that identifies a communication partner (mobile terminal 1 viewed from the wearable device 2 or wearable device 2 viewed from the mobile terminal 1) in its own memory. Various types of pairing can be considered other than the method of using the identification code including the unique identification data as described above and the method of wirelessly transmitting the own unique identification data to the communication partner.

例えば、ユーザがモバイル端末１やウェアラブルデバイス２に通信相手の固有識別データを入力してもよい。あるいは、モバイル端末１（ウェアラブルデバイス２）の無線通信制御部１４１（２４１）が、周囲に存在するすべてのデバイスに無線信号をブロードキャスト送信し、デバイスから返ってきたデータからユーザが選択を行って、固有識別データを取得してもよい。また、過去の通信履歴情報（例えば、前回の接続先相手）から固有識別データを取得してもよい。 For example, the user may input the unique identification data of the communication partner into the mobile terminal 1 or the wearable device 2. Alternatively, the wireless communication control unit 141 (241) of the mobile terminal 1 (wearable device 2) broadcasts a wireless signal to all surrounding devices, and the user makes a selection from the data returned from the device. Unique identification data may be acquired. Further, the unique identification data may be acquired from the past communication history information (for example, the previous connection destination partner).

その後、必要な時点で、モバイル端末１の送信部１４２はウェアラブルデバイス２に所定の処理を行わせるための制御データをウェアラブルデバイス２に送信し（ステップＳ４）、ウェアラブルデバイス２の受信部２４３によって受信される。この制御データはウェアラブルデバイス２の固有識別データを送信先情報として含んでおり、これにより特定のウェアラブルデバイス２に対して制御データを送信できる。また、制御データはモバイル端末１の固有識別データを送信元情報として含んでおり、これにより制御データを受信したウェアラブルデバイス２は特定のモバイル端末１からの制御データであることを認識できる。 After that, when necessary, the transmission unit 142 of the mobile terminal 1 transmits control data for causing the wearable device 2 to perform a predetermined process to the wearable device 2 (step S4), and receives the control data by the reception unit 243 of the wearable device 2. Will be done. This control data includes the unique identification data of the wearable device 2 as the transmission destination information, whereby the control data can be transmitted to the specific wearable device 2. Further, the control data includes the unique identification data of the mobile terminal 1 as the transmission source information, so that the wearable device 2 that has received the control data can recognize that it is the control data from the specific mobile terminal 1.

モバイル端末１からの制御データを受信したウェアラブルデバイス２の処理部２４４は、制御データに応じた処理を行う（ステップＳ１４）。 The processing unit 244 of the wearable device 2 that has received the control data from the mobile terminal 1 performs processing according to the control data (step S14).

また、必要な時点で、ウェアラブルデバイス２の送信部２４２はモバイル端末１に所定の処理を行わせるための制御データをモバイル端末１に送信し（ステップＳ１５）、モバイル端末１の受信部１４３によって受信される。この制御データはモバイル端末１の固有識別データを送信先情報として含んでおり、これにより特定のモバイル端末１に対して制御データを送信できる。また、制御データはウェアラブルデバイス２の固有識別データを送信元情報として含んでおり、これにより制御データを受信したモバイル端末１は特定のウェアラブルデバイス２からの制御データであることを認識できる。 Further, when necessary, the transmission unit 242 of the wearable device 2 transmits control data for causing the mobile terminal 1 to perform a predetermined process to the mobile terminal 1 (step S15), and is received by the reception unit 143 of the mobile terminal 1. Will be done. This control data includes the unique identification data of the mobile terminal 1 as the destination information, whereby the control data can be transmitted to the specific mobile terminal 1. Further, the control data includes the unique identification data of the wearable device 2 as the transmission source information, so that the mobile terminal 1 that has received the control data can recognize that the control data is the control data from the specific wearable device 2.

ウェアラブルデバイス２からの制御データを受信したモバイル端末１の処理部１４４は、制御データに応じた処理を行う（ステップＳ５）。 The processing unit 144 of the mobile terminal 1 that has received the control data from the wearable device 2 performs processing according to the control data (step S5).

以上のステップＳ４，Ｓ５，Ｓ１４，Ｓ１５が必要なだけ行われる。なお、ステップＳ４，Ｓ１５における制御データ送信のトリガは任意である。例えば、トリガは、ユーザによってモバイル端末１の入力インターフェース１１あるいはウェアラブルデバイス２の入力インターフェース２１に対して所定の操作が行われたことであってよい。所定の操作は、カメラ２１ｂによる撮影開始指示、編集操作や保存操作などであってよい。あるいは、所定の操作は制御データの送信を指示する操作であってよい。 The above steps S4, S5, S14, and S15 are performed as many times as necessary. The trigger for controlling control data transmission in steps S4 and S15 is arbitrary. For example, the trigger may be that the user has performed a predetermined operation on the input interface 11 of the mobile terminal 1 or the input interface 21 of the wearable device 2. The predetermined operation may be a shooting start instruction by the camera 21b, an editing operation, a saving operation, or the like. Alternatively, the predetermined operation may be an operation instructing the transmission of control data.

続いて、モバイル端末１およびウェアラブルデバイス２による処理および制御データの例を述べる。 Subsequently, an example of processing and control data by the mobile terminal 1 and the wearable device 2 will be described.

第１の例として、図２のステップＳ４において、モバイル端末１からウェアラブルデバイス２に送信される制御データは、入力インターフェース１１に対するユーザ操作の情報を含んでいてもよい。そして、ステップＳ１４では、ウェアラブルデバイス２の処理部２４４が制御データに含まれるユーザ操作に応じた処理を行う。入力インターフェース１１に対するユーザ操作がモバイル端末１の処理部１４４に特定の処理を行わせるための操作である場合、対応する処理がウェアラブルデバイス２の処理部２４４によって行われる。 As a first example, in step S4 of FIG. 2, the control data transmitted from the mobile terminal 1 to the wearable device 2 may include information on user operations for the input interface 11. Then, in step S14, the processing unit 244 of the wearable device 2 performs processing according to the user operation included in the control data. When the user operation on the input interface 11 is an operation for causing the processing unit 144 of the mobile terminal 1 to perform a specific processing, the corresponding processing is performed by the processing unit 244 of the wearable device 2.

同様に、図２のステップＳ１５において、ウェアラブルデバイス２からモバイル端末１に送信される制御データは、入力インターフェース２１に対するユーザ操作の情報を含んでいてもよい。そして、ステップＳ５では、モバイル端末１の処理部１４４が制御データに含まれるユーザ操作に応じた処理を行う。入力インターフェース２１に対するユーザ操作がウェアラブルデバイス２の処理部２４４に特定の処理を行わせるための操作である場合、対応する処理がモバイル端末１の処理部１４４によって行われる。 Similarly, in step S15 of FIG. 2, the control data transmitted from the wearable device 2 to the mobile terminal 1 may include information on user operations for the input interface 21. Then, in step S5, the processing unit 144 of the mobile terminal 1 performs processing according to the user operation included in the control data. When the user operation on the input interface 21 is an operation for causing the processing unit 244 of the wearable device 2 to perform a specific processing, the corresponding processing is performed by the processing unit 144 of the mobile terminal 1.

入力インターフェース１１に対するユーザ操作は、例えばボタン１１ｂのタップである。このボタン１１ｂがウェアラブルデバイス２のボタン２１ａと対応している場合、モバイル端末１においてボタン１１ｂをタップしたときに行われる処理と対応する処理が、ウェアラブルデバイス２においても行われる。また、入力インターフェース１１に対するユーザ操作は、マイク１１ｄに対する音声認識コマンドの発話であってもよい。この場合、このコマンドがウェアラブルデバイス２において行われる。 The user operation for the input interface 11 is, for example, tapping the button 11b. When the button 11b corresponds to the button 21a of the wearable device 2, the process corresponding to the process performed when the button 11b is tapped on the mobile terminal 1 is also performed on the wearable device 2. Further, the user operation for the input interface 11 may be the utterance of a voice recognition command for the microphone 11d. In this case, this command is executed on the wearable device 2.

このように、制御データがモバイル端末１に対するユーザ操作の情報を含む場合、あたかもウェアラブルデバイス２に対して操作が行われたかのように、処理部２４４が処理を行う。言い換えると、モバイル端末１を用いてウェアラブルデバイス２を制御できる。逆も同様である。 In this way, when the control data includes the information of the user operation for the mobile terminal 1, the processing unit 244 performs the processing as if the operation was performed for the wearable device 2. In other words, the mobile terminal 1 can be used to control the wearable device 2. The reverse is also true.

第２の例として、図２のステップＳ４において、モバイル端末１からウェアラブルデバイス２に送信される制御データは文字列の情報を含んでいてもよい。この文字列は、例えばモバイル端末１のディスプレイ１２ａに表示されている文字列、タッチパッド１１ａを用いて入力中の文字列、ユーザによるマイク１１ｄに対する発話を文字列に変換したものなど、モバイル端末１によって取得されたものであってよい。そして、ステップＳ１４では、ウェアラブルデバイス２の処理部２４４が制御データに含まれる文字列をディスプレイ２２ａに表示させたり、スピーカ２２ｂから出力したりする。 As a second example, in step S4 of FIG. 2, the control data transmitted from the mobile terminal 1 to the wearable device 2 may include character string information. This character string may be, for example, a character string displayed on the display 12a of the mobile terminal 1, a character string being input using the touch pad 11a, or a character string converted from a user's speech to the microphone 11d. It may have been obtained by. Then, in step S14, the processing unit 244 of the wearable device 2 displays the character string included in the control data on the display 22a or outputs it from the speaker 22b.

同様に、ステップＳ１５において、ウェアラブルデバイス２からモバイル端末１に送信される制御データは文字列の情報を含んでいてもよい。この文字列は、例えばウェアラブルデバイス２のディスプレイ２２ａに表示されている文字列や、ユーザによるマイク２１ｃに対する発話を音声認識によって文字列に変換したものなど、ウェアラブルデバイス２によって取得されたものであってよい。そして、ステップＳ５では、モバイル端末１の処理部１４４が制御データに含まれる文字列をディスプレイ１２ａに表示させたり、スピーカ１２ｂから出力したりする。 Similarly, in step S15, the control data transmitted from the wearable device 2 to the mobile terminal 1 may include character string information. This character string is acquired by the wearable device 2, for example, a character string displayed on the display 22a of the wearable device 2, or a character string obtained by converting a user's utterance to the microphone 21c into a character string by voice recognition. Good. Then, in step S5, the processing unit 144 of the mobile terminal 1 displays the character string included in the control data on the display 12a or outputs it from the speaker 12b.

文字列の具体例として、画像を保存する際の編集中のファイル名、レポート作成時の入力中のコメント、マイク１１ｄ，２１ｃに対する発話を音声認識した文字データ、入力中のテキストデータなどが挙げられる。この場合、文字列が新たに取得される度に、制御データとして送信されてもよい。 Specific examples of the character string include the file name being edited when the image is saved, the comment being input when creating the report, the character data in which the utterance to the microphones 11d and 21c is voice-recognized, and the text data being input. .. In this case, each time a character string is newly acquired, it may be transmitted as control data.

より具体的な例として、ファイル名の編集など文字列の入力は、モバイル端末１のタッチパッド１１ａを用いる方がやりやすい。そこで、入力された文字列をモバイル端末１からウェアラブルデバイス２に送信することで、モバイル端末１で入力された文字列をウェアラブルデバイス２のディスプレイ２２ａに表示させることができる。 As a more specific example, it is easier to input a character string such as editing a file name by using the touch pad 11a of the mobile terminal 1. Therefore, by transmitting the input character string from the mobile terminal 1 to the wearable device 2, the character string input by the mobile terminal 1 can be displayed on the display 22a of the wearable device 2.

また、建設現場において、技術者の発話を記録に残したいことがある。この場合、ウェアラブルデバイス２のマイク２１ｃに対する発話を音声認識した文字列をウェアラブルデバイス２からモバイル端末１に送信することで、技術者の発話を文字列としてモバイル端末１のディスプレイ１２ａに表示させることができる。必要に応じて、同技術者はモバイル端末１のタッチパッド１１ａを用いて文字列を修正等することができる。 Also, at a construction site, there are times when you want to record the utterances of an engineer. In this case, by transmitting a character string that voice-recognizes the utterance of the wearable device 2 to the microphone 21c from the wearable device 2 to the mobile terminal 1, the utterance of the engineer can be displayed as a character string on the display 12a of the mobile terminal 1. it can. If necessary, the technician can modify the character string using the touch pad 11a of the mobile terminal 1.

第３の例として、図２のステップＳ４において、モバイル端末１からウェアラブルデバイス２に送信される制御データは画像にデータを含んでいてもよい。この画像は、例えばモバイル端末１のディスプレイ１２ａに表示されている画像、カメラ１１ｃによって撮影された画像など、モバイル端末１によって取得されたものであってよい。そして、ステップＳ１４では、ウェアラブルデバイス２の処理部２４４が制御データに含まれる画像をディスプレイ２２ａに表示させる。 As a third example, in step S4 of FIG. 2, the control data transmitted from the mobile terminal 1 to the wearable device 2 may include data in the image. This image may be an image acquired by the mobile terminal 1, such as an image displayed on the display 12a of the mobile terminal 1 or an image taken by the camera 11c. Then, in step S14, the processing unit 244 of the wearable device 2 displays the image included in the control data on the display 22a.

同様に、図２のステップＳ１５において、ウェアラブルデバイス２からモバイル端末１に送信される制御データは画像データを含んでいてもよい。この画像は、例えばウェアラブルデバイス２のディスプレイ２２ａに表示されている画像、カメラ２１ｂによって撮影された画像など、ウェアラブルデバイス２によって取得されたものであってよい。そして、ステップＳ５では、モバイル端末１の処理部１４４が制御データに含まれる画像をディスプレイ１２ａに表示させる。 Similarly, in step S15 of FIG. 2, the control data transmitted from the wearable device 2 to the mobile terminal 1 may include image data. This image may be acquired by the wearable device 2, such as an image displayed on the display 22a of the wearable device 2 or an image taken by the camera 21b. Then, in step S5, the processing unit 144 of the mobile terminal 1 displays the image included in the control data on the display 12a.

ステップＳ４，Ｓ１５において、制御データに含まれる画像は、モバイル端末１あるいはウェアラブルデバイス２によって取得された画像そのものでもよいが、処理部１４４，２４４が画素数を減らしたり圧縮したりして、データ量を減らした画像（例えば、サムネイル）であるのが望ましい。モバイル端末１とウェアラブルデバイス２との間の通信速度が遅いときであっても、スムーズに制御データを送信できるためである。 In steps S4 and S15, the image included in the control data may be the image itself acquired by the mobile terminal 1 or the wearable device 2, but the processing units 144 and 244 reduce the number of pixels or compress the data amount. It is desirable that the image (for example, a thumbnail) is reduced in number. This is because the control data can be smoothly transmitted even when the communication speed between the mobile terminal 1 and the wearable device 2 is slow.

具体例として、建設現場において、技術者の視線で撮影された画像を保存したいことがある。この場合、技術者はマイク２１ｃに対する音声指示によって、簡易にカメラ２１ｂで撮影を行うことができる。そして、得られた画像そのものをウェアラブルデバイス２に保存しつつ、画素数を減らした画像をすぐさま（リアルタイムに）モバイル端末１に送信する。これにより、同技術者はモバイル端末１のディスプレイ１２ａに撮影された画像を表示させることができる。ウェアラブルデバイス２に保存された画素数が多い画像は高速での通信が可能な状態で（非リアルタイムに）モバイル端末１やその他必要な送信先に送信すればよい。 As a specific example, at a construction site, there is a desire to save an image taken from the line of sight of an engineer. In this case, the technician can easily take a picture with the camera 21b by giving a voice instruction to the microphone 21c. Then, while saving the obtained image itself in the wearable device 2, the image with a reduced number of pixels is immediately (in real time) transmitted to the mobile terminal 1. As a result, the technician can display the captured image on the display 12a of the mobile terminal 1. An image having a large number of pixels stored in the wearable device 2 may be transmitted to the mobile terminal 1 or other necessary destinations (in non-real time) in a state where high-speed communication is possible.

また、別の具体例として、モバイル端末１のディスプレイ１２ａに表示されている画像に対して、タッチパッド１１ａを用いて付加的な描画を行った場合（目印を付ける等）、この付加的な描画の情報がウェアラブルデバイス２に送信される。そして、ウェアラブルデバイス２のディスプレイ２２ａには、すでに表示されている画像に対して、モバイル端末１に対して行われた描画が重畳表示される。 Further, as another specific example, when an additional drawing is performed using the touch pad 11a on the image displayed on the display 12a of the mobile terminal 1 (marking, etc.), this additional drawing is performed. Information is transmitted to the wearable device 2. Then, on the display 22a of the wearable device 2, the drawing performed on the mobile terminal 1 is superimposed and displayed on the image already displayed.

第４の例として、図２のステップＳ４において、モバイル端末１からウェアラブルデバイス２に送信される制御データは、モバイル端末１のディスプレイ１２ａにおける表示に関するデータを含んでいてもよい。そして、ステップＳ１４では、ウェアラブルデバイス２の処理部２４４が表示に関するデータを実行し、ディスプレイ２２ａに当該表示に対応する表示を行う。 As a fourth example, in step S4 of FIG. 2, the control data transmitted from the mobile terminal 1 to the wearable device 2 may include data related to the display on the display 12a of the mobile terminal 1. Then, in step S14, the processing unit 244 of the wearable device 2 executes the data related to the display, and displays the display 22a corresponding to the display.

同様に、図２のステップＳ１５において、ウェアラブルデバイス２からモバイル端末１に送信される制御データは、ウェアラブルデバイス２のディスプレイ２２ａにおける表示に関するデータを含んでいてもよい。そして、ステップＳ５では、モバイル端末１の処理部１４４が表示に関するデータを実行し、ディスプレイ１２ａに当該表示に対応する表示を行う。 Similarly, in step S15 of FIG. 2, the control data transmitted from the wearable device 2 to the mobile terminal 1 may include data related to the display on the display 22a of the wearable device 2. Then, in step S5, the processing unit 144 of the mobile terminal 1 executes the data related to the display, and displays the display 12a corresponding to the display.

具体例として、表示に関するデータは、複数の画像を表示するプレビュー画面において表示中のファイル名であってよい。このようなファイル名を含む制御データを受信したウェアラブルデバイス２（モバイル端末１）は、ファイル名をディスプレイ２２ａ（１２ａ）に表示させる。表示ファイルが変わると、表示されるファイル名も更新される。 As a specific example, the data related to the display may be the file name being displayed on the preview screen for displaying a plurality of images. The wearable device 2 (mobile terminal 1) that has received the control data including such a file name displays the file name on the display 22a (12a). When the displayed file changes, the displayed file name is also updated.

あるいは、表示に関するデータは点滅するボタンを指定する情報であってもよい。このような情報を含む制御データを受信したウェアラブルデバイス２（モバイル端末１）は、ディスプレイ２２ａ（１２ａ）に表示されている対応するボタンを点滅表示させる。 Alternatively, the display data may be information that specifies a blinking button. The wearable device 2 (mobile terminal 1) that has received the control data including such information blinks the corresponding button displayed on the display 22a (12a).

なお、モバイル端末１は、ウェアラブルデバイス２とペアリングしていないときの動作に特に制限はない。例えば、モバイル端末１が単独で動作してもよいし、単独では動作しなくてもよい。前者の場合、本機能を利用するためのユーザＩＤを複数のユーザで共有するような使い方ができる。後者の場合は、本機能を利用するためのユーザＩＤを単一のユーザのみが使えることとなる。 The operation of the mobile terminal 1 when not paired with the wearable device 2 is not particularly limited. For example, the mobile terminal 1 may or may not operate independently. In the former case, the user ID for using this function can be shared by a plurality of users. In the latter case, only a single user can use the user ID for using this function.

このように、本実施形態では、モバイル端末１とウェアラブルデバイス２との間で無線通信を行い、かつ、双方向に制御データの送受信が可能である。よって、非常に使いやすい情報通信が実現される。 As described above, in the present embodiment, wireless communication can be performed between the mobile terminal 1 and the wearable device 2, and control data can be transmitted and received in both directions. Therefore, very easy-to-use information communication is realized.

なお、上述した実施形態では、モバイル端末１とウェアラブルデバイス２との通信を主に説明してきたが、これらはさらにクラウドサーバや遠隔のパソコンと通信可能であってもよい。一例として、遠隔のパソコンは建設現場から離れた場所に設置される。そして、建設現場と当該離れた場所において遠隔会議を行うことも可能となる。 In the above-described embodiment, the communication between the mobile terminal 1 and the wearable device 2 has been mainly described, but these may further communicate with a cloud server or a remote personal computer. As an example, a remote computer is installed away from the construction site. Then, it is possible to hold a remote conference at the construction site and the remote place.

また、本実施形態の用途に制限はなく、ウェアラブルデバイス２は、上述したように建設現場用にヘルメット型でもよいし、観光客用に眼鏡型であってもよい。 Further, the use of the present embodiment is not limited, and the wearable device 2 may be a helmet type for a construction site or a glasses type for a tourist as described above.

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。 The above-described embodiment is described for the purpose of enabling a person having ordinary knowledge in the technical field to which the present invention belongs to carry out the present invention. Various modifications of the above embodiment can be naturally made by those skilled in the art, and the technical idea of the present invention can be applied to other embodiments. Therefore, the present invention is not limited to the described embodiments and should be the broadest scope according to the technical ideas defined by the claims.

１モバイル端末
１１入力インターフェース
１１ａタッチパッド
１１ｂボタン
１１ｃカメラ
１１ｄマイク
１２出力インターフェース
１２ａディスプレイ
１２ｂスピーカ
１３通信部
１４制御部
１４１ペアリング部
１４２送信部
１４３受信部
１４４処理部
２ウェアラブルデバイス
２１入力インターフェース
２１ａボタン
２１ｂカメラ
２１ｃマイク
２２出力インターフェース
２２ａディスプレイ
２２ｂスピーカ
２３通信部
２４制御部
２４１ペアリング部
２４２送信部
２４３受信部
２４４処理部 1 Mobile terminal 11 Input interface 11a Touch pad 11b Button 11c Camera 11d Microphone 12 Output interface 12a Display 12b Speaker 13 Communication unit 14 Control unit 141 Pairing unit 142 Transmission unit 143 Reception unit 144 Processing unit 2 Wearable device 21 Input interface 21a Button 21b Camera 21c Microphone 22 Output interface 22a Display 22b Speaker 23 Communication unit 24 Control unit 241 Pairing unit 242 Transmission unit 243 Reception unit 244 Processing unit

Claims

The first terminal device used by the user,
A pairing means for pairing with the second terminal device in order to enable wireless communication with the second terminal device used by the user.
A transmission means for wirelessly transmitting first control data to the second terminal device for causing the first process to be performed by the second terminal device in response to the user's operation on the first terminal device.
A receiving means that wirelessly receives the second control data transmitted from the second terminal device in response to the user's operation on the second terminal device.
A terminal control program that functions as a processing means that performs a second process according to the second control data.

The first control data indicates the first operation of the user with respect to the input interface of the first terminal device.
The terminal control program according to claim 1, wherein the second control data indicates a second operation of the user with respect to the input interface of the second terminal device.

The first operation is an operation for causing the processing means to perform the third processing.
The first process corresponds to the third process.
The second operation is an operation for causing the second terminal device to perform the fourth process.
The terminal control program according to claim 2, wherein the second process corresponds to the fourth process.

The first process is to display the first character string acquired by the first terminal device on the display of the second terminal device.
The first control data includes the information of the first character string, and includes the information of the first character string.
The second process is to display the second character string acquired by the second terminal device on the display of the first terminal device.
The terminal control program according to any one of claims 1 to 3, wherein the second control data includes the information of the second character string.

The first process is to display the first image acquired by the first terminal device on the display of the second terminal device.
The first control data includes the information of the first image in which the amount of data is reduced.
The second process is to display the second image acquired by the second terminal device on the display of the first terminal device.
The terminal control program according to any one of claims 1 to 4, wherein the second control data includes information of the second image in which the amount of data is reduced.

The first control data includes information regarding the first display performed on the display of the first terminal device.
The first process is to cause the display of the second terminal device to perform a second display corresponding to the first display.
The second control data includes information regarding a third display performed on the display of the second terminal device.
The terminal control program according to any one of claims 1 to 5, wherein the second process is to perform a fourth display corresponding to the third display on the display of the first terminal device.

The terminal control program according to any one of claims 1 to 6, wherein the pairing means displays a first identification code including data necessary for pairing on the display of the first terminal device.

The pairing means claims to pair with the second terminal device by reading a second identification code displayed on the display of the second terminal device, which includes data necessary for performing pairing. The terminal control program according to any one of 1 to 7.

The first terminal device is a smartphone or tablet terminal, and is
The terminal control program according to any one of claims 1 to 8, wherein the second terminal device is a wearable device.

The terminal control program according to any one of claims 1 to 9, wherein the first terminal device includes an input interface having higher operability than the second terminal device.

A terminal device used by the user
A pairing means for pairing with the other terminal device in order to enable wireless communication with the other terminal device used by the user.
A transmission means for wirelessly transmitting first control data to the other terminal device for causing the first process to be performed by the other terminal device in response to the user's operation on the terminal device.
A receiving means that wirelessly receives the second control data transmitted from the other terminal device in response to the user's operation on the other terminal device.
A terminal device including a processing means for performing a second process according to the second control data.

The first terminal device used by the user is
In order to enable wireless communication with the second terminal device used by the user, pairing with the second terminal device is performed.
In response to the user's operation on the first terminal device, the first control data for causing the first process to be performed by the second terminal device is wirelessly transmitted to the second terminal device.
In response to the user's operation on the second terminal device, the second control data transmitted from the second terminal device is wirelessly received.
A terminal control method that performs a second process according to the second control data.

An information communication method using a first terminal device used by a user and a second terminal device used by the user.
In order to enable wireless communication between the first terminal device and the second terminal device, the first terminal device and the second terminal device are paired.
In response to the user's operation on the first terminal device, the first terminal device wirelessly transmits first control data for causing the second terminal device to perform the first process. ,
The second terminal device wirelessly receives the first control data from the first terminal device,
The second terminal device performs the first process according to the first control data, and then performs the first process.
In response to the user's operation on the second terminal device, the second terminal device wirelessly transmits second control data for causing the first terminal device to perform the second process. ,
The first terminal device wirelessly receives the second control data from the second terminal device,
An information communication method in which the first terminal device performs a second process according to the second control data.