JP2018148549A - Wearable device, mobile device and connection method thereof - Google Patents

Wearable device, mobile device and connection method thereof Download PDF

Info

Publication number
JP2018148549A
JP2018148549A JP2018008695A JP2018008695A JP2018148549A JP 2018148549 A JP2018148549 A JP 2018148549A JP 2018008695 A JP2018008695 A JP 2018008695A JP 2018008695 A JP2018008695 A JP 2018008695A JP 2018148549 A JP2018148549 A JP 2018148549A
Authority
JP
Japan
Prior art keywords
wearable device
mobile device
sensor data
match
wearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018008695A
Other languages
Japanese (ja)
Other versions
JP6593473B2 (en
Inventor
ヤン リヌジュ
Yang Linju
ヤン リヌジュ
ワン ウェイ
Wei Wang
ウェイ ワン
ハイホア ユィ
Haihua Yu
ハイホア ユィ
コォ リアオ
Ke Liao
コォ リアオ
チャオフォン リ
Chofang Lee
チャオフォン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2018148549A publication Critical patent/JP2018148549A/en
Application granted granted Critical
Publication of JP6593473B2 publication Critical patent/JP6593473B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • H04B1/385Transceivers carried on the body, e.g. in helmets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a wearable device, a mobile device and a connection method.SOLUTION: A connection method by a mobile device: receives sensor data of traceable operation, which is periodically broadcast by at least one wearable device; acquires visual data of the traceable operation of one wearable device within an acquisition range of the mobile device; calculates a matching degree with visual data acquired within the period corresponding to the sensor data within the respective periods, which is received from the wearable device with the period as a unit; determines a matching result of the mobile device and the respective wearable devices on the basis of the respective matching degrees on the respective wearable devices; and connects the mobile device with the matched wearable device. Thus, connection of the wearable device and the mobile device is realized, and user experience can be improved since the wearable device is not restricted to possess a hardware display function and intervention of a user is not required.SELECTED DRAWING: Figure 1

Description

本願は無線通信に関し、より具体的には、ウェアラブル(wearable)機器、移動機器およびその接続方法に関する。   The present application relates to wireless communication, and more specifically to a wearable device, a mobile device, and a connection method thereof.

現在、ウェアラブル機器、例えば、スマートブレスレット、スマートウォッチ、スマートメガネなどの使用がますます普遍的になっている。ウェアラブル機器によって、ユーザーは健康状態、歩数、ランニング距離などをモニターできる。ウェアラブル機器を使用する場合、ユーザーはまずウェアラブル機器をスマートフォン、タブレットPCなどの移動機器に接続させる必要がある。   Currently, the use of wearable devices, such as smart bracelets, smart watches, smart glasses, etc., is becoming more and more universal. Wearable devices allow users to monitor health, number of steps, running distance, etc. When using a wearable device, the user must first connect the wearable device to a mobile device such as a smartphone or tablet PC.

従来、ウェアラブル機器と移動機器との接続方法はすでにあり、例えば、ユーザーは移動機器内のブルートゥース(登録商標)モジュールによって周囲のウェアラブル機器をスキャンし、スキャンリストから手動で接続する必要のあるウェアラブル機器を選別して、認証と接続を行う。移動機器に接続応用を起動して、ユーザーがウェアラブル機器をタッチして確認した後、接続を行う。ユーザーは移動機器とウェアラブル機器のディスプレイに表示された数字によって接続を行う。ユーザーは移動機器のカメラでウェアラブル機器に表示された画像を取得して接続を行う。従来のウェアラブル機器と移動機器との接続方法において、ユーザーにウェアラブル機器と移動機器との接続プロセスを関与させる必要があったり、ウェアラブル機器にハードウェア表示機能を有させる必要がある。   Conventionally, there is already a connection method between a wearable device and a mobile device. For example, a user needs to scan a surrounding wearable device with a Bluetooth (registered trademark) module in the mobile device and manually connect from the scan list. Select and perform authentication and connection. Launch the connection application on the mobile device and confirm the user by touching the wearable device, then connect. The user connects by the numbers displayed on the display of the mobile device and wearable device. The user obtains an image displayed on the wearable device with the camera of the mobile device and connects. In a conventional method for connecting a wearable device and a mobile device, the user needs to be involved in the connection process between the wearable device and the mobile device, or the wearable device must have a hardware display function.

そのため、ウェアラブル機器のハードウェア表示機能に制限されず、かつユーザーの関与を必要としないウェアラブル機器と移動機器との接続方法が必要となる。   Therefore, there is a need for a connection method between a wearable device and a mobile device that is not limited to the hardware display function of the wearable device and does not require user involvement.

本発明は、ウェアラブル機器と移動機器との接続方法を提供することを目的とする。   An object of the present invention is to provide a connection method between a wearable device and a mobile device.

本発明の1つの態様では、移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法であって、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含む方法を提供する。   In one aspect of the present invention, a method for connecting a mobile device and a wearable device used in a mobile device, wherein the sensor data of a trackable operation periodically broadcast by the at least one wearable device is received. A step of acquiring visual data of a traceable operation of one wearable device within the capture range of the mobile device, and for each wearable device, in each cycle received from the wearable device in units of cycles. Calculating a matching degree between the sensor data and visual data acquired within a corresponding period, and determining a matching result between the mobile device and each wearable device based on each matching degree, and a matching wearable device Connecting the mobile device.

本発明のもう1つの態様では、ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法であって、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含む方法を提供する。   In another aspect of the present invention, there is provided a method for connecting a wearable device and a mobile device used in a wearable device, wherein a sensor in the wearable device senses and measures a traceable operation of the wearable device. A step of periodically broadcasting sensor data indicating sensed and measured traceable motion to the mobile device, and a match result indicating that the wearable device and the mobile device from the mobile device match. Based on the step of connecting the wearable device and the mobile device, wherein the match result corresponds to sensor data in each cycle received from the wearable device, calculated by the mobile device in units of cycles. Degree of match with visual data of traceable motion of wearable device Is determined based, the method comprising the steps, a.

本発明のもう1つの態様では、移動機器とウェアラブル機器とを接続させる方法であって、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含む方法を提供する。   In another aspect of the present invention, there is provided a method for connecting a mobile device and a wearable device, wherein a sensor in the wearable device senses and measures a traceable operation of the wearable device, and the wearable device includes: Periodically broadcasting sensor data indicative of trackable motion sensed and measured to the mobile device, wherein the mobile device receives sensor data periodically broadcast by at least one wearable device; The mobile device acquiring visual data of a traceable operation of one wearable device within the capture range of the mobile device; and for each wearable device, the mobile device is received from the wearable device in units of cycles. Within the cycle corresponding to the sensor data in each cycle A step of calculating a degree of matching with the acquired visual data; and the mobile device determines a match result between the mobile device and each wearable device based on each match degree, and the matched wearable device and the mobile device are And a step of connecting.

本発明のもう1つの態様では、移動機器であって、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信する受信モジュールと、カメラモジュールの捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するカメラモジュールと、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するマッチモジュールと、各マッチ度に基づいて移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させる接続モジュールと、を含む移動機器を提供する。   In another aspect of the present invention, a mobile device that receives trackable motion sensor data periodically broadcast by at least one wearable device, and a receiver module within a capture range of the camera module. The camera module that acquires visual data of the traceable motion of the wearable device and, for each wearable device, the visual data acquired in the cycle corresponding to the sensor data received from the wearable device in each cycle. A match module that calculates a degree of matching with data, and a connection module that determines a match result between the mobile device and each wearable device based on each match degree, and connects the matched wearable device and the mobile device. Provide mobile equipment.

本発明のもう1つの態様では、ウェアラブル機器であって、前記ウェアラブル機器の追跡可能な動作を感知して計測するセンサーと、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストし、移動機器からの前記ウェアラブル機器と移動機器とのマッチ結果を受信する無線送受信機と、前記マッチ結果に示された前記ウェアラブル機器と前記移動機器とがマッチしたことに応じて前記ウェアラブル機器と当該移動機器とを接続させる接続手段であって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該無線送受信機から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、接続手段と、を含むウェアラブル機器を提供する。   In another aspect of the present invention, a wearable device that periodically senses and measures a trackable operation of the wearable device, and sensor data indicating the trackable operation sensed and measured periodically. In response to a match between the wireless transceiver that broadcasts to the mobile device and receives the match result between the wearable device and the mobile device from the mobile device, and the wearable device indicated in the match result matches the mobile device A connection means for connecting the wearable device and the mobile device, wherein the match result corresponds to sensor data in each cycle received from the wireless transceiver calculated by the mobile device in units of cycles. Connected based on the degree of matching with the visual data of the traceable motion of the wearable device within And, to provide a wearable device including a.

本発明の実施例に係る上記のウェアラブル機器、移動機器および接続方法によって、周期を単位としてウェアラブル機器の追跡可能な動作のセンサーデータと視覚データとに対してマッチ計算を行い、かつ、マッチ結果に基づき、ウェアラブル機器と移動機器との接続を自動的に実現して、ウェアラブル機器のハードウェア表示機能に制限されず、かつ当該接続過程にユーザーの関与を必要としないので、ユーザーの体験を向上させた。   According to the wearable device, the mobile device, and the connection method according to the embodiment of the present invention, the match calculation is performed on the sensor data and the visual data of the wearable device that can be traced in a cycle, and the match result is obtained. Based on this, it automatically realizes the connection between the wearable device and the mobile device, and is not limited to the hardware display function of the wearable device, and does not require the user's involvement in the connection process, thus improving the user experience It was.

図面にあわせ、下記の本願実施例に対する説明より、本願の特徴などをより理解しやすくなる。
本願実施例に係る移動機器に使用されてウェアラブル機器と接続する方法のフローチャートが示される。 本願実施例に係る各ウェアラブル機器の処理後のセンサーデータと視覚データに対して、周期を単位としてマッチ度を計算する方法のフローチャートが示される。 本願実施例に係る移動機器によってトリガー信号を受信した時刻が各ウェアラブル機器に対して、周期を単位として各周期内のセンサーデータと対応周期内の視覚データのマッチ度を計算する方法のフローチャートが示される。 複数のウェアラブル機器からセンサーデータを受信する図である。 移動機器と各ウェアラブル機器とのマッチ結果を決定する例示的な方法のフローチャートが示される。 候補のウェアラブル機器から移動機器とマッチするウェアラブル機器を決定する方法のフローチャートが示される。 本願実施例に係るウェアラブル機器に使用されて移動機器と接続する方法のフローチャートが示される。 本願実施例に係るウェアラブル機器の追跡可能な動作を周期的にブロードキャストするセンサーデータを示す図である。 本願実施例に係るウェアラブル機器に使用されて移動機器と接続する方法のフローチャートが示される。 本願実施例に係るウェアラブル機器と移動機器との接続方法の応用シーンを示す。 本願実施例に係る移動機器のブロック図を示す。 本願実施例に係るウェアラブル機器のブロック図を示す。
The features of the present application and the like can be understood more easily from the following description of the embodiments of the present application with reference to the drawings.
A flowchart of a method for connecting to a wearable device used in a mobile device according to an embodiment of the present invention is shown. A flowchart of a method for calculating the degree of matching in units of cycles for sensor data and visual data after processing of each wearable device according to the embodiment of the present application is shown. The flowchart of the method of calculating the degree of match between the sensor data in each cycle and the visual data in the corresponding cycle for each wearable device when the trigger signal is received by the mobile device according to the embodiment of the present invention is shown. It is. It is a figure which receives sensor data from a plurality of wearable devices. A flowchart of an exemplary method for determining a match result between a mobile device and each wearable device is shown. A flowchart of a method for determining a wearable device that matches a mobile device from candidate wearable devices is shown. A flowchart of a method for connecting to a mobile device used in the wearable device according to the embodiment of the present application is shown. It is a figure which shows the sensor data which periodically broadcast the traceable operation | movement of the wearable apparatus which concerns on an Example of this application. A flowchart of a method for connecting to a mobile device used in the wearable device according to the embodiment of the present application is shown. An application scene of a connection method between a wearable device and a mobile device according to an embodiment of the present application is shown. 1 is a block diagram of a mobile device according to an embodiment of the present application. The block diagram of the wearable apparatus which concerns on this-application Example is shown.

当業者に本願をよりよく理解させるために、以下、図面と具体的な実施形態と合わせて本願をさらに詳しく説明する。   In order for those skilled in the art to better understand the present application, the present application will be described in more detail below in conjunction with the drawings and specific embodiments.

まず、本願に係るウェアラブル機器と移動機器との接続方法の基本考えについて簡単に述べる。本願はウェアラブル機器の追跡可能な動作によってウェアラブル機器と移動機器との接続を実現して、一方では、ウェアラブル機器内のセンサーによってウェアラブル機器の追跡可能な動作のセンサーデータを取得し、もう一方では、移動機器のカメラによってウェアラブル機器の追跡可能な動作の視覚データを取得して、周期を単位としてセンサーデータと視覚データとを元にウェアラブル機器と移動機器とのマッチ結果を決定、そして当該マッチ結果に基づき、移動機器をマッチされたウェアラブル機器に接続させることができる。   First, a basic idea of a connection method between a wearable device and a mobile device according to the present application will be briefly described. The present application realizes the connection between the wearable device and the mobile device by the trackable operation of the wearable device, and on the other hand, acquires the sensor data of the trackable operation of the wearable device by the sensor in the wearable device, Visual data of the wearable device's traceable movement is acquired by the camera of the mobile device, and the match result between the wearable device and the mobile device is determined based on the sensor data and the visual data in units of the period. Based on this, the mobile device can be connected to the matched wearable device.

ウェアラブル機器の追跡可能な動作は例えばウェアラブル機器の揺動動作であってもよい。ユーザーがウェアラブル機器を揺動する時、ウェアラブル機器内の慣性センサーはウェアラブル機器の揺動動作を感知して計測でき、かつ当該揺動動作を表示するセンサーデータを取得する。しかし、本願より公開された追跡可能な動作はウェアラブル機器の揺動動作に限らなく、ウェアラブル機器のスイング、回転などのセンサーにより感知して計測できるほかの動作であってもよい。そして、なお、本願より公開された移動機器のカメラは必ずしも双眼カメラ、ライトフィールドカメラなどの特定機能を有するカメラである必要がなく、ウェアラブル機器の追跡可能な動作の画面を捕捉、かつこれによって相応する視覚データを得ることさえできれば、もっとも簡単な機能を有するカメラでも良い。   The traceable operation of the wearable device may be, for example, a swinging operation of the wearable device. When the user swings the wearable device, the inertial sensor in the wearable device can sense and measure the swing motion of the wearable device, and acquires sensor data that displays the swing motion. However, the traceable operation disclosed from the present application is not limited to the swinging motion of the wearable device, but may be another motion that can be detected and measured by a sensor such as a swing or rotation of the wearable device. The mobile device camera disclosed in this application does not necessarily have to have a specific function, such as a binocular camera or a light field camera, and captures the screen of the wearable device that can be tracked, and accordingly, As long as the visual data can be obtained, a camera having the simplest function may be used.

実際の応用において、移動機器の付近にひとつのみならないウェアラブル機器が存在しうるであり、かつこれらのウェアラブル機器はともに各自と対応する移動機器と接続するように追跡可能な動作を行うことが可能である。したがって、移動機器は追跡可能な動作を行う複数のウェアラブル機器からひとつの対応するウェアラブル機器を決定して接続する必要がある。本願はひとつのウェアラブル機器とひとつの移動機器とを接続するシーンに適用するだけではなく、ひとつより多いウェアラブル機器が追跡可能な動作を行い、移動機器と対応するウェアラブル機器とを接続させるシーンにも適用する。   In actual applications, there can be only one wearable device in the vicinity of a mobile device, and both of these wearable devices can perform a traceable operation so as to connect to the corresponding mobile device. is there. Therefore, the mobile device needs to determine and connect one corresponding wearable device from a plurality of wearable devices that perform traceable operations. This application is not only applied to scenes where one wearable device and one mobile device are connected, but also to scenes where more than one wearable device can be tracked and the mobile device is connected to the corresponding wearable device. Apply.

図1には、本願実施例に係る移動機器に使用されてウェアラブル機器と接続する方法のフローチャートが示される。以下、図1と会わせて当該接続方法を詳しく説明する。   FIG. 1 shows a flowchart of a method of connecting to a wearable device that is used in a mobile device according to an embodiment of the present application. Hereinafter, the connection method will be described in detail with reference to FIG.

図1に示すように、ステップS101では、少なくともひとつのウェアラブル機器の周期的にブロードキャストした追跡可能な動作のセンサーデータを受信する。以上に述べたように、移動機器はその付近にある少なくともひとつのウェアラブル機器が周期Tでブロードキャストした追跡可能な動作のセンサーデータを受けることができる。例えば、移動機器はウェアラブル機器のブルートゥース(登録商標)チャンネルにブロードキャストパケットの方式で周期的にブロードキャストするセンサーデータを受信し、しかもこれに限らず、移動機器はウェアラブル機器のWi−Fi、3G或いは4Gなどの周期的にブロードキャストするセンサーデータを受信することが可能である。   As shown in FIG. 1, in step S101, sensor data of a traceable operation periodically broadcast from at least one wearable device is received. As described above, the mobile device can receive the sensor data of the traceable operation broadcast by the at least one wearable device in the vicinity thereof at the period T. For example, the mobile device receives sensor data periodically broadcast to the Bluetooth (registered trademark) channel of the wearable device using a broadcast packet method, and the mobile device is not limited to this, and the mobile device is a Wi-Fi, 3G, or 4G of the wearable device. It is possible to receive sensor data broadcast periodically.

センサーデータはウェアラブル機器の追跡可能な動作を表すデータであり、ウェアラブル機器のセンサーによって取得された元センサーデータでも良い。選択的に、センサーデータは元センサーデータを処理して得たデータでも良い。具体的には、本願の発明者は以下のことを認識した。元センサーデータは通常浮動小数点型データであり、そのデータ量が非常に大きいので、元センサーデータを直接転送する場合、伝送帯域幅に大きな負担を与え、かつ、ウェアラブル機器のセンサーデータのオーバーストックを生じさせて、センサーデータのリアルタイム転送を保証し難い。一方、移動機器にとっては、受信処理待ちのセンサーデータがオリジナルセンサーデータである場合、担当するセンサーデータ処理の負担も重い。よって、元センサーデータに対してデータ処理を行い、次元低減したセンサーデータを得ることができる。理解しやすいために、例を挙げて説明する。   The sensor data is data representing a traceable operation of the wearable device, and may be original sensor data acquired by a sensor of the wearable device. Alternatively, the sensor data may be data obtained by processing the original sensor data. Specifically, the inventors of the present application have recognized the following. Original sensor data is usually floating-point type data, and the amount of data is very large. Therefore, when transferring original sensor data directly, it imposes a heavy burden on the transmission bandwidth and overloads the sensor data of wearable devices. It is difficult to guarantee real-time transfer of sensor data. On the other hand, for the mobile device, when the sensor data waiting for reception processing is original sensor data, the burden of sensor data processing in charge is heavy. Therefore, data processing is performed on the original sensor data, and sensor data with reduced dimensions can be obtained. To make it easier to understand, an example will be given.

具体的に、ウェアラブル機器内のセンサーが加速度センサーのような慣性センサーである例の場合、加速度センサーより取得された元加速度データが三次元データであり、その内の各次元のデータはそれぞれのサンプリングポイント(t=1,2,3,…..)で取得されたウェアラブル機器がx、yとz方向における加速度データである。これに対して、例えば、下記の式で行列計算法により元センサーデータを一次データに処理できる。

Figure 2018148549
Figure 2018148549
Specifically, in the case of an example in which the sensor in the wearable device is an inertial sensor such as an acceleration sensor, the original acceleration data acquired from the acceleration sensor is three-dimensional data, and the data in each dimension is sampled by each. The wearable device acquired at the points (t = 1, 2, 3,...) Is acceleration data in the x, y, and z directions. In contrast, for example, the original sensor data can be processed into primary data by a matrix calculation method using the following equation.
Figure 2018148549
Figure 2018148549

ここで、Dsは元センサーデータで、Sは処理後のセンサーデータで、a、bとcは予めに設定したパラメータである。そこで、合計が1で、かつ各パラメータはともに0より大きければ、パラメータa、bとcは任意に設定できる。例を挙げると、パラメータa、bとcはa=1/3、b=1/3、c=1/3に設定できる。   Here, Ds is original sensor data, S is sensor data after processing, and a, b, and c are parameters set in advance. Therefore, if the sum is 1 and each parameter is larger than 0, the parameters a, b, and c can be arbitrarily set. For example, parameters a, b, and c can be set to a = 1/3, b = 1/3, and c = 1/3.

なお、上記の行列計算法によって元センサーに対したデータ処理は例示的な方法にすぎない。本願のデータ処理の方法はこれにかぎることではなく、ブロードキャスト待ちのセンサーデータ量を減らすように、ほかの次元のデータを捨てるなどのひとつの次元のデータのみを保留する方法を用いることもできる。   Note that the data processing for the original sensor by the above matrix calculation method is merely an exemplary method. The data processing method of the present application is not limited to this, and a method of holding only one dimension of data such as discarding data of other dimensions can be used so as to reduce the amount of sensor data waiting for broadcast.

前述のように、前記センサーデータはウェアラブル機器によって周期的にブロードキャストされて、これに関しては詳しく後述する。   As described above, the sensor data is periodically broadcast by the wearable device, which will be described in detail later.

ステップS102では、前記移動機器の捕捉範囲内のひとつのウェアラブル機器の追跡可能な動作の視覚データを取得する。   In step S102, visual data of a traceable operation of one wearable device within the capture range of the mobile device is acquired.

前述のように、ひとつに限らないウェアラブル機器が同時に追跡可能な動作を行って各自対応する移動機器と接続することが可能であるが、当該ステップでは、移動機器の捕捉範囲内のひとつのウェアラブル機器のみに対してその視覚データを取得する。例えば、移動機器のカメラによってその捕捉範囲内のひとつのウェアラブル機器の追跡可能な動作の画面を撮影し、かつOpenCVなどの当分野の常用アルゴリズムを用いて撮影された追跡可能な動作に対して画面処理を行い、さらにウェアラブル機器の追跡可能な動作の視覚データを取得することが可能である。ここでは贅言しない。   As described above, it is possible for a wearable device, not limited to one, to perform an operation that can be tracked at the same time and connect to a corresponding mobile device, but in this step, one wearable device within the capture range of the mobile device. Only get that visual data. For example, a mobile device camera captures a screen of trackable motion for one wearable device within its capture range, and a screen for trackable motion captured using a common algorithm in the field such as OpenCV. It is possible to perform processing and obtain visual data of the wearable device's traceable behavior. I won't make a luxury here.

ステップS103では、各ウェアラブル機器に対して、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算する。   In step S103, for each wearable device, the degree of matching between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle is calculated in units of the cycle.

当該ステップでは、各ウェアラブル機器にとって、各周期に対応する複数のマッチ度結果を得られる。以下、図2を参照して、当該ステップにおける各ウェアラブル機器に対して行うマッチ度計算処理を説明する。   In this step, for each wearable device, a plurality of match degree results corresponding to each cycle can be obtained. Hereinafter, with reference to FIG. 2, the matching degree calculation process performed for each wearable device in the step will be described.

図2に示すように、各ウェアラブル機器に対して、ステップS201において、センサーデータの次元と同じになるように、取得された視覚データにデータ処理を行う。   As shown in FIG. 2, data processing is performed on the acquired visual data so that each wearable device has the same dimension as the sensor data in step S201.

例を挙げて説明すると、移動機器のカメラで取得された元視覚データが2次元データであることを例として、ウェアラブル機器が平面の二つの次元における表示位置、速度、加速度などの視覚情報を表す。ステップS101で受信されたセンサーデータが一次データであることを仮説にする場合、下記の式によって行列計算の方法を用いて元視覚データを一次データに処理することができる。

Figure 2018148549
Figure 2018148549
For example, the wearable device represents visual information such as display position, speed, and acceleration in two dimensions of a plane, with the example that the original visual data acquired by the camera of the mobile device is two-dimensional data. . When it is assumed that the sensor data received in step S101 is primary data, the original visual data can be processed into primary data using a matrix calculation method according to the following equation.
Figure 2018148549
Figure 2018148549

ここで、Dvが元視覚データで、Vが処理後の視覚データで、mとnが予めに設定したパラメータである。そこで、合計が1で、かつ各パラメータはともに0より大きければ、パラメータmとnは任意に設定できる。例えば、パラメータmとnはm=1/2、n=1/2に設定できる。   Here, Dv is the original visual data, V is the visual data after processing, and m and n are preset parameters. Therefore, if the sum is 1 and each parameter is larger than 0, the parameters m and n can be set arbitrarily. For example, the parameters m and n can be set to m = 1/2 and n = 1/2.

なお、上記の行列計算法によって元センサーに対したデータ処理は例示的な方法にすぎない。本願の視覚データの処理方法はこれにかぎることではなく、センサーデータの次元と同じになるように、ほかの次元のデータを捨てるなどのひとつの次元のデータのみを保留する方法を用いることもできる。   Note that the data processing for the original sensor by the above matrix calculation method is merely an exemplary method. The visual data processing method of the present application is not limited to this, and it is also possible to use a method of holding only data of one dimension such as discarding data of other dimensions so as to be the same as the dimension of sensor data. .

ステップS202では、周期を単位として、当該ウェアラブル機器から受信された各周期のセンサーデータと対応周期内に処理後の視覚データとの相関性を計算する。   In step S202, the correlation between the sensor data of each cycle received from the wearable device and the visual data after processing within the corresponding cycle is calculated in units of the cycle.

具体的には、当該ステップにおいて下記のように相関係数を計算できる。

Figure 2018148549
Specifically, the correlation coefficient can be calculated in the step as follows.
Figure 2018148549

ここで、Sがセンサーデータで、Vが視覚データで、F(S,V)が相関係数で、CsvがSとVの共分散で、CssがSの分散で、CvvがVの分散である。そこで、Csv、CssとCvvは下式によって得る。 Where S is sensor data, V is visual data, F (S, V) is the correlation coefficient, C sv is the covariance of S and V, C ss is the variance of S, and C vv is V Is the dispersion of. Therefore, C sv , C ss and C vv are obtained by the following equations.

ひとつの周期T内のセンサーデータに対して、センサーデータの平均値Esを下記に定義する。

Figure 2018148549
For the sensor data within one period T, the average value Es of the sensor data is defined below.
Figure 2018148549

対応する周期内の視覚データに対して、視覚データの平均値Evを下記に定義する。

Figure 2018148549
Csv、CssとCvvの計算式は以下である。 The average value Ev of visual data is defined below for the visual data in the corresponding period.
Figure 2018148549
The calculation formulas for C sv , C ss and C vv are as follows.

Figure 2018148549
Figure 2018148549
Figure 2018148549
Figure 2018148549
Figure 2018148549
Figure 2018148549

上式(6)-(10)に基づいて、当該周期のセンサーデータと対応周期の処理後の視覚データとの相関係数F(S,V)を得ることができ、かつ当該相関係数を当該周期のセンサーデータと対応周期内の処理後の視覚データとの相関性にすることができる。   Based on the above equations (6)-(10), the correlation coefficient F (S, V) between the sensor data of the period and the visual data after processing of the corresponding period can be obtained, and the correlation coefficient is Correlation between the sensor data of the cycle and the visual data after processing within the corresponding cycle can be obtained.

なお、本願において、相関係数をセンサーデータと視覚データとの相関性を計算する例示として説明したが、そのほか、ユークリッド距離、Nノルムなどのほかの方法を用いてセンサーデータと視覚データとの相関性を計算することも可能である。本願はこれにかぎらない。   In this application, the correlation coefficient has been described as an example of calculating the correlation between sensor data and visual data, but in addition, the correlation between sensor data and visual data using other methods such as Euclidean distance and N-norm. It is also possible to calculate sex. The present application is not limited to this.

なお、ウェアラブル機器のセンサーのサンプリング周波数と移動機器のカメラのサンプリング周波数とが異なる可能性があるので、上記で取得した各周期のセンサーデータと対応周期内の視覚データの長さとが異なる可能性もある。この場合に対して、内挿などの方法によってある周期内のセンサーデータと対応周期内に取得された視覚データとを揃わせることが選択可能であり、かつ上記の方法を用いて揃ったセンサーデータと視覚データとの相関性を計算する。   In addition, since the sampling frequency of the sensor of the wearable device may be different from the sampling frequency of the camera of the mobile device, there is a possibility that the sensor data acquired in each period and the length of the visual data in the corresponding period may be different. is there. In this case, it is possible to select that sensor data within a certain period and visual data acquired within the corresponding period are aligned by a method such as interpolation, and sensor data aligned using the above method. And the correlation of visual data.

ステップS203では、各前記相関性に対して対応されるマッチ度を決定する。例えば、下記のように、相関性の絶対値をある周期のセンサーデータと対応周期の視覚データとのマッチ度Rにすることができる。

Figure 2018148549
In step S203, a matching degree corresponding to each correlation is determined. For example, as described below, the absolute value of the correlation can be set to the matching degree R between the sensor data of a certain period and the visual data of the corresponding period.
Figure 2018148549

なお、本願において計算した相関性の絶対値を得る方法によってマッチ度を取得する方法は例示的な方法に過ぎない。当業者にとって、重み付けなどのほかの方法を用いてステップS202で計算した相関性により対応するマッチ度を決定することもできる。   Note that the method of obtaining the degree of matching by the method of obtaining the absolute value of the correlation calculated in the present application is merely an exemplary method. For those skilled in the art, the corresponding matching degree can be determined by the correlation calculated in step S202 using other methods such as weighting.

以上はステップS103の基本処理に関して述べたが、当該ステップにおいて、一部の周期内のセンサーデータのみに対して対応周期内の視覚データとのマッチ度を計算することが選択可能である。具体的には、前述のように、実際の応用において、移動機器の付近にひとつより多いウェアラブル機器が存在しうるであり、これらのウェアラブル機器はともに移動機器にそのセンサーデータを転送し、移動機器も各ウェアラブル機器に対して受信された各周期内のセンサーデータと対応周期内の視覚データとのマッチ度を計算する。さらに、すべてのウェアラブル機器のマッチ度の計算結果を取得して各ウェアラブル機器のマッチ状況を総合分析することで、マッチするウェアラブル機器を決定する。このため、マッチ度計算中のウェアラブル機器があれば、移動機器は計算未完了のウェアラブル機器のマッチ度の結果を得ることができないほか、マッチするウェアラブル機器を決定するように総合分析ができない。一方、各ウェアラブル機器にとって、当該ウェアラブル機器より転送された各周期のセンサーデータに対してそれと対応周期の視覚データとのマッチ度をすべて計算するであれば、各ウェアラブル機器のマッチ度を計算するプロセスが長くなり、マッチ度の結果をなかなか得られないことが可能になる。実際には、ある期間内のいくつの周期のマッチ度の結果は当該ウェアラブル機器と移動機器とのマッチ状況を十分に反映できることも可能であるため、各ウェアラブル機器に対して長すぎたマッチ度の計算時間が無駄になることも可能である。   Although the above has described the basic processing in step S103, in this step, it is possible to select only the sensor data in a part of the period to calculate the degree of matching with the visual data in the corresponding period. Specifically, as described above, in an actual application, there may be more than one wearable device in the vicinity of the mobile device, and both of these wearable devices transfer the sensor data to the mobile device, and the mobile device Also, the degree of matching between the sensor data received for each wearable device in each cycle and the visual data in the corresponding cycle is calculated. Further, the matching result of all wearable devices is acquired, and the matching situation of each wearable device is comprehensively analyzed to determine a matching wearable device. For this reason, if there is a wearable device for which the match degree is being calculated, the mobile device cannot obtain the result of the match degree of the wearable device that has not been calculated, and cannot perform a comprehensive analysis so as to determine a matchable wearable device. On the other hand, for each wearable device, if all the degree of matching between the sensor data transferred from the wearable device and the visual data of the corresponding cycle is calculated, the process of calculating the degree of match of each wearable device Becomes longer, and it is possible that it is difficult to obtain a match degree result. In practice, the result of the degree of match in any number of cycles within a certain period can sufficiently reflect the match status between the wearable device and the mobile device. Calculation time can be wasted.

上記の場合を考慮して、当該選択可能な方法では、有効期間内のみのセンサーデータと対応視覚データとに対してマッチ度を計算することができる。具体的には、当該選択可能な方法によって、各ウェアラブル機器の周期的に移動機器に追跡可能な動作のセンサーデータをブロードキャストする前に、トリガー信号もブロードキャストする。当該トリガー信号は当該ウェアラブル機器が周期的に追跡可能な動作のセンサーデータをブロードキャストし始まることを意味して、ステップS103において、移動機器によりトリガー信号が受信された時刻によって、移動機器の有効トリガー期間と各ウェアラブル機器の有効計算期間を決定できる。以下、図3、図4を参照して説明する。   In consideration of the above case, the selectable method can calculate the degree of match for the sensor data and the corresponding visual data only during the effective period. Specifically, the trigger signal is also broadcast by the selectable method before the sensor data of the operation that can be traced to the mobile device periodically by each wearable device. The trigger signal means that the wearable device starts to broadcast sensor data of an operation that can be periodically tracked, and the effective trigger period of the mobile device depends on the time when the trigger signal is received by the mobile device in step S103. And the effective calculation period of each wearable device can be determined. Hereinafter, a description will be given with reference to FIGS.

図3では、本願実施例に係る移動機器によってトリガー信号を受信した時刻が各ウェアラブル機器に対して、周期を単位として各周期内のセンサーデータと対応周期内の視覚データのマッチ度を計算する方法のフローチャートが示される。   In FIG. 3, a method for calculating the degree of match between sensor data in each cycle and visual data in the corresponding cycle for each wearable device when the trigger signal is received by the mobile device according to the embodiment of the present invention. The flowchart is shown.

図3に示すように、各ウェアラブル機器に対して、ステップS301では、当該ウェアラブル機器から受信されたトリガー信号の時刻が有効トリガー期間内にあるかどうかを決定する。前記有効トリガー期間は前記移動機器が各ウェアラブル機器から受信された最初のトリガー信号から所定の最大マッチ時間までである。   As shown in FIG. 3, for each wearable device, in step S301, it is determined whether the time of the trigger signal received from the wearable device is within the valid trigger period. The valid trigger period is from the first trigger signal received by the mobile device from each wearable device to a predetermined maximum match time.

図4は複数のウェアラブル機器からセンサーデータを受信する図である。図4に示すように、仮にウェアラブル機器1によりトリガー信号を受信した時刻Ts1が最初のトリガー信号を受信した時刻である場合、当該時刻から所定の最大マッチ時間Tmaxまでの間は移動機器の有効トリガー期間になる。図4に示したように、移動機器は付近の三つのウェアラブル機器からブロードキャストしたセンサーデータを受信し、その内、ウェアラブル機器1から受信されたトリガー信号の時刻Ts1=0は明らかに有効トリガー期間内にあり、ウェアラブル機器2から受信されたトリガー信号の時刻Ts2は有効トリガー期間内にあり、ウェアラブル機器3から受信されたトリガー信号の時刻Ts3は有効トリガー期間内にない。 FIG. 4 is a diagram for receiving sensor data from a plurality of wearable devices. As shown in FIG. 4, if the time Ts1 when the trigger signal is received by the wearable device 1 is the time when the first trigger signal is received, the mobile device is valid from the time until the predetermined maximum match time Tmax. Trigger period. As shown in FIG. 4, the mobile device receives sensor data broadcast from three nearby wearable devices, among which the trigger signal time Ts1 = 0 received from the wearable device 1 is clearly within the effective trigger period. The trigger signal time Ts2 received from the wearable device 2 is within the valid trigger period, and the trigger signal time Ts3 received from the wearable device 3 is not within the valid trigger period.

上記の最大マッチ時間Tmaxの選択に対して、当業者は実際の応用状況と経験値によって決定できるが、本願はここで制限をしない。 For the above selection of the maximum match time T max , those skilled in the art can determine the actual application situation and experience values, but the present application does not limit here.

図3に戻り、ステップS302では、当該ウェアラブル機器から受信されたトリガー信号の時刻が前記有効トリガー期間内にあれば、有効計算期間内に当該ウェアラブル機器から受信された各周期のセンサーデータを決定する。前記有効計算期間は前記移動機器が当該ウェアラブル機器から受信されたトリガー信号から所定の最大マッチ時間までである。   Returning to FIG. 3, in step S302, if the time of the trigger signal received from the wearable device is within the effective trigger period, the sensor data of each period received from the wearable device is determined within the effective calculation period. . The effective calculation period is from a trigger signal received by the mobile device from the wearable device to a predetermined maximum match time.

具体的には、同じく図4に示した場合を例として、ウェアラブル機器1に対して、その有効計算期間が[0, Tmax]である場合、当該有効計算期間内においてウェアラブル機器1から受信された各周期のセンサーデータを決定する。図4に示すように、ウェアラブル機器1に対応する実線枠短冊でウェアラブル機器1に対して決定されたセンサーデータを表し、それに対応された期間がTvalid1で、かつTmaxより小さい。言い換えれば、ウェアラブル機器1から受信された各周期のセンサーデータはすべて有効計算期間内にある。ウェアラブル機器2に対して、その有効計算期間が[Ts2, Ts2+Tmax]であり、当該有効計算期間内においてウェアラブル機器2から受信された各周期のセンサーデータを決定する。図4に示すように、ウェアラブル機器2に対応する実線枠短冊でウェアラブル機器2に対して決定されたセンサーデータを表し、それに対応された期間がTvalid2で、かつTmaxに等しい。言い換えれば、ウェアラブル機器2から受信された各周期のセンサーデータがその有効計算期間(超過部分は図4のウェアラブル機器2に対応した点線枠短冊で示す)を超え、よってウェアラブル機器2から受信された各周期のセンサーデータにおける有効計算期間内にあり、期間Tvalid2に対応するセンサーデータを決定できる。 Specifically, taking the case shown in FIG. 4 as an example, if the effective calculation period for the wearable device 1 is [0, T max ], it is received from the wearable device 1 within the effective calculation period. The sensor data for each cycle is determined. As shown in FIG. 4, sensor data determined for the wearable device 1 is represented by a solid line strip corresponding to the wearable device 1, and the period corresponding to the sensor data is T valid1 and smaller than T max . In other words, all the sensor data of each period received from the wearable device 1 are within the valid calculation period. The effective calculation period for the wearable device 2 is [T s2 , T s2 + T max ], and sensor data of each period received from the wearable device 2 is determined within the effective calculation period. As shown in FIG. 4, the sensor data determined for the wearable device 2 is represented by a solid line strip corresponding to the wearable device 2, and the period corresponding to the sensor data is T valid2 and equal to T max . In other words, the sensor data of each cycle received from the wearable device 2 has exceeded its valid calculation period (the excess portion is indicated by a dotted frame strip corresponding to the wearable device 2 in FIG. 4), and thus received from the wearable device 2. The sensor data corresponding to the period T valid2 can be determined within the valid calculation period in the sensor data of each cycle.

図3に戻り、ステップS303では、当該有効計算期間内に受信された各周期内のセンサーデータに対して、それと対応周期内の処理後の視覚データとの相関性を計算する。具体的には、ウェアラブル機器1と2に対して、その有効計算期間内における各周期内のセンサーデータと対応周期内の処理後の視覚データとの相関性をそれぞれ計算することができる。相関性の計算方法は上記ステップS202に説明した方法を用いることができので、ここで贅言をしない。   Returning to FIG. 3, in step S303, the correlation between the sensor data received in the effective calculation period and the processed visual data in the corresponding period is calculated. Specifically, for wearable devices 1 and 2, the correlation between the sensor data in each cycle within the effective calculation period and the processed visual data within the corresponding cycle can be calculated. Since the method for calculating the correlation can use the method described in step S202 above, no luxury is given here.

なお、ウェアラブル機器から受信し、かつマッチ度計算に用いられるセンサーデータのデータ量が過少であれば、当該マッチ結果の決定が不正確になる可能性がある。この状況に対して、以下のことが選択可能である。ステップS302において、各ウェアラブル機器に決定されたセンサーデータと対応する時間長さが最小マッチ時間Tminより小さいかどうかをさらに決定する。対応する時間長さが最小マッチ時間Tminより小さい場合、即ち当該ウェアラブル機器に対してマッチ度を計算する時間が最小マッチ時間Tminより小さい時、当該計算で得たマッチ結果が無効であることを決定する。上記の最小マッチ時間Tminの選択に対して、当業者は実際の応用状況と経験値によって決定できる。 Note that if the amount of sensor data received from the wearable device and used for calculating the degree of match is too small, the determination of the match result may be inaccurate. The following can be selected for this situation: In step S302, it is further determined whether or not the time length corresponding to the sensor data determined for each wearable device is smaller than the minimum match time Tmin . When the corresponding time length is smaller than the minimum match time T min , that is, when the time for calculating the matching degree for the wearable device is smaller than the minimum match time T min , the match result obtained by the calculation is invalid. To decide. For selection of the minimum match time T min described above, a person skilled in the art can determine the actual application situation and experience values.

選択可能な方案のひとつとしては以下である。各ウェアラブル機器に対して、当該有効計算期間の決定に基づき、移動機器は当該有効計算期間内のみに当該ウェアラブル機器がブロードキャストしたセンサーデータを受信し、当該有効計算期間外に当該ウェアラブル機器がブロードキャストしたセンサーデータ(図6に示すように、ウェアラブル機器2の点線枠短冊の一部データ及びウェアラブル機器3の全部データを受信しなくてもよい)を受信しない。よって、センサーデータを継続的に受信する帯域幅と消耗の負担をさらに削減できる。   One of the possible options is as follows. For each wearable device, based on the determination of the effective calculation period, the mobile device receives the sensor data broadcast by the wearable device only during the effective calculation period, and the wearable device broadcasts the wearable device outside the effective calculation period. Sensor data (as shown in FIG. 6, it is not necessary to receive the partial data of the dotted frame strip of the wearable device 2 and the entire data of the wearable device 3) is not received. Therefore, the bandwidth for continuously receiving sensor data and the burden of consumption can be further reduced.

図1に戻り、上記ステップS103では、各ウェアラブル機器に対してすべて計算することで各周期に対応する複数のマッチ度結果を得る。理解しやすいために、以下、各ウェアラブル機器の複数の計算で得たマッチ度を例示的に示す。   Returning to FIG. 1, in step S103, a plurality of match results corresponding to each period are obtained by calculating all of the wearable devices. In order to facilitate understanding, the degree of matching obtained by a plurality of calculations of each wearable device will be exemplified below.

Q個の機器に対してそれぞれ周期を単位としてNQ個の周期内のセンサーデータと対応周期内の視覚データとのマッチ度を計算して、NQ個のマッチ度の結果を得たことを仮説する。そこで、各ウェアラブル機器を計算して得たマッチ度の計算結果は下記に示すことができる。 Calculate the degree of matching between sensor data within N Q periods and visual data within the corresponding period for each of Q devices, and obtain N Q matching results. I hypothesize. Therefore, the calculation result of the degree of match obtained by calculating each wearable device can be shown below.

ウェアラブル機器1のN1個のマッチ度が:R1(1) ,R1(2),……R1(N1) であり、
ウェアラブル機器2のN2個のマッチ度が:R2(1) ,R2(2),……R2(N2) であり、
……
ウェアラブル機器QのNQ個のマッチ度が:RQ(1) ,RQ(2),……RQ(NQ) である。
Wearable device 1 has N1 matching degrees: R 1 (1) , R 1 (2) , ... R 1 (N1) ,
The wearable device 2 has N2 matching degrees: R 2 (1) , R 2 (2) , ... R 2 (N2) ,
......
The N Q matching degrees of wearable device Q are: R Q (1) , R Q (2) ,... R Q (NQ) .

ここで、括弧内の数字が各ウェアラブル機器のマッチ度の計算結果の番号として表示できるが、異なるウェアラブル機器の同じ番号を有するマッチ度の結果が対応する時刻も同じであることを定めず、各ウェアラブル機器により計算したマッチ度の結果の数(例えばN1,N2,……NQ)が同じであることも定めない。 Here, the number in parentheses can be displayed as the number of the calculation result of the match degree of each wearable device, but the match time result having the same number of different wearable devices does not stipulate that the corresponding time is the same, It is not defined that the number of matching degree results calculated by the wearable device (for example, N 1 , N 2 ,... N Q ) is the same.

ステップS104では、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、かつマッチしたウェアラブル機器と接続する。以下、図5とあわせて移動機器と各ウェアラブル機器とのマッチ結果を決定する例示的な方法を説明する。   In step S104, a match result between the mobile device and each wearable device is determined based on each match degree, and the matched wearable device is connected. Hereinafter, an exemplary method for determining a match result between a mobile device and each wearable device will be described with reference to FIG.

図5に示すように、各ウェアラブル機器に対して、ステップS501において、それと対応する各マッチ度の内にマッチ度閾値を超えたマッチ度の数を決定する。具体的には、上記のステップS103で計算したウェアラブル機器Qのマッチ度の結果を例として、そのNQ個のマッチ度結果RQ(1),RQ(2),……RQ(NQ)の内にマッチ度閾値Rhを超えた数NrQを決定する。類似的に、ほかのウェアラブル機器の各マッチ度の内にマッチ度閾値Rhを超えたマッチ度の数Nr1
,Nr2,……を決定できる。マッチ度閾値Rhの決定に関して、当業者は経験値または統計の方法で決定することができる。ここでは贅言をしない。
As shown in FIG. 5, for each wearable device, in step S501, the number of matching degrees exceeding the matching degree threshold is determined among the matching degrees corresponding thereto. Specifically, taking the result of the match degree of wearable device Q calculated in step S103 above as an example, the N Q match degree results R Q (1) , R Q (2) , ... R Q (NQ ) , The number N rQ exceeding the matching degree threshold R h is determined. Similarly, the number N r1 of matching degrees exceeding the matching degree threshold R h within each matching degree of other wearable devices
, N r2 , ...... can be determined. Regarding the determination of the match degree threshold R h , those skilled in the art can determine by an empirical value or a statistical method. I won't make a luxury here.

ステップS502では、それと対応する各マッチ度の内に前記マッチ度閾値を超えないマッチ度の数を決定する。具体的には、ウェアラブル機器QのNQ個のマッチ度結果RQ(1) ,RQ(2),……RQ(NQ)の内にマッチ度閾値Rhを超えない数NnQを決定する。類似的に、ほかのウェアラブル機器の各マッチ度の内にマッチ度閾値Rhを超えないマッチ度の数Nn1
,Nn2,……を決定できる。
In step S502, the number of matching degrees that does not exceed the matching degree threshold value among the corresponding matching degrees is determined. Specifically, N Q number of match results R Q (1) , R Q (2) ,..., R Q (NQ) of wearable device Q include a number N nQ that does not exceed the match level threshold R h. decide. Similarly, the number N n1 of matching degrees that does not exceed the matching degree threshold R h within each matching degree of other wearable devices
, N n2 , ...... can be determined.

ステップS503では、マッチ度閾値を超えたマッチ度の数が前記マッチ度閾値を超えないマッチ度の数よりも大きい場合、当該ウェアラブル機器が前記移動機器とマッチする候補ウェアラブル機器であることを決定できる。具体的には、NrQがNnQより大きければ、ウェアラブル機器Qが移動機器とマッチする候補ウェアラブル機器であることを決定する。類似的に、他のウェアラブル機器が移動機器とマッチする候補ウェアラブル機器であるかどうかを決定することもできる。 In step S503, when the number of matching degrees exceeding the matching degree threshold is greater than the number of matching degrees not exceeding the matching degree threshold, it is possible to determine that the wearable device is a candidate wearable device that matches the mobile device. . Specifically, N rQ is greater than N nQ, determines that the wearable device Q is a candidate wearable device that matches the mobile equipment. Similarly, it can be determined whether other wearable devices are candidate wearable devices that match the mobile device.

以上はマッチ度閾値を超えたマッチ度の数とマッチ度閾値を超えないマッチ度の数とを直接比較する方法でウェアラブル機器が移動機器とマッチする候補ウェアラブル機器であるかどうかを決定できるが、これに限らない。さらに、マッチ度閾値を超えた数とマッチ度閾値を超えない数との差が差の閾値を超えたかどうかなどの方法よって、センサーデータと視覚データとがマッチするかどうかを決定することもできる。ここでは制限をしない。   The above can determine whether the wearable device is a candidate wearable device that matches the mobile device by directly comparing the number of match degrees exceeding the match degree threshold and the number of match degrees not exceeding the match degree threshold, Not limited to this. Furthermore, it is also possible to determine whether the sensor data and the visual data match by a method such as whether the difference between the number exceeding the matching threshold and the number not exceeding the matching threshold exceeds the difference threshold. . There is no limit here.

上記で決定された移動機器とマッチする候補ウェアラブル機器に基づき、候補ウェアラブル機器の内に移動機器とマッチするウェアラブル機器をさらに決定できる。以下、図6とあわせて候補のウェアラブル機器から移動機器とマッチするウェアラブル機器を決定する処理を詳しく説明する。   Based on the candidate wearable device that matches the mobile device determined above, a wearable device that matches the mobile device can be further determined among the candidate wearable devices. Hereinafter, a process for determining a wearable device that matches a mobile device from candidate wearable devices will be described in detail with reference to FIG.

図6に示すように、ステップS601では、上記のステップS503で決定した候補ウェアラブル機器の数qを決定する。Q個のウェアラブル機器の内に候補ウェアラブル機器qの数が1より小さい場合、処理をS602まで続く。候補ウェアラブル機器qの数が1より等しい場合、処理をS603まで続く。候補ウェアラブル機器qの数が1より大きい場合、処理をS604まで続く。   As shown in FIG. 6, in step S601, the number q of candidate wearable devices determined in step S503 is determined. If the number of candidate wearable devices q among the Q wearable devices is smaller than 1, the process continues to S602. If the number of candidate wearable devices q is equal to 1 or more, the process continues until S603. If the number of candidate wearable devices q is greater than 1, the process continues to S604.

ステップS602では、Q個のウェアラブル機器の内に移動機器とマッチするウェアラブル機器を決定する。ステップS603では、当該候補ウェアラブル機器が移動機器とマッチするウェアラブル機器であることを決定する。ステップS604では、各候補ウェアラブル機器と前記移動機器とのマッチする程度を計算し、かつその内にマッチする程度が最大である候補ウェアラブル機器を当該移動機器とマッチするウェアラブル機器に決定する。   In step S602, a wearable device that matches the mobile device is determined from among Q wearable devices. In step S603, it is determined that the candidate wearable device is a wearable device that matches the mobile device. In step S604, the degree of matching between each candidate wearable device and the mobile device is calculated, and the candidate wearable device having the largest degree of matching is determined as a wearable device matching the mobile device.

具体的には、ステップS604において、例えば、各候補ウェアラブル機器の各マッチ度の平均値を当該マッチする程度にし、かつその内にマッチする程度が最大である候補ウェアラブル機器を当該移動機器とマッチするウェアラブル機器に決定することができる。ただしこれに限らず、各候補ウェアラブル機器の各マッチ度の内にマッチ度閾値を超えたマッチ度の数とマッチ度閾値を超えないマッチ度の数との比などの方法に基づいて当該移動機器とマッチするウェアラブル機器を決定することもできる。ここでは制限をしない。   Specifically, in step S604, for example, the average value of the degree of matching of each candidate wearable device is set to the matching level, and the candidate wearable device having the maximum matching level is matched with the mobile device. It can be determined as a wearable device. However, the mobile device is not limited to this, based on a method such as a ratio of the number of matching degrees exceeding the matching degree threshold to the number of matching degrees not exceeding the matching degree threshold within each matching degree of each candidate wearable device. It is also possible to determine a wearable device that matches with. There is no limit here.

以上、本願実施例に係る移動機器用の、ウェアラブル機器と接続する方法に関して述べたが、周期を単位として複数のマッチ度を計算する方法を用いることで、極端に各周期のセンサーデータと視覚データとの各期間における変化傾向を保留でき、かつ周期を単位に計算した複数のマッチ度の計算結果を得て、さらに当該複数の計算結果をまとめてウェアラブル機器と移動機器とのマッチ結果を得ることができる。周期を分けず、マッチ度を累積して計算する方法によってひとつのマッチ度の計算結果のみを得ることに比べて、センサーデータと対応する視覚データの変化傾向が累積計算によって平均化され、センサーデータと視覚データの期間分けの変化傾向を良好に反映しないことを回避できる。しかも上記の方法によってウェアラブル機器と移動機器との接続を自動的に実現でき、ウェアラブル機器と移動機器との接続過程におけるユーザーの関与を必要としないので、ユーザー体験を向上させた。   As described above, the method for connecting to the wearable device for the mobile device according to the embodiment of the present application has been described. However, by using a method of calculating a plurality of matching degrees in units of cycles, sensor data and visual data of each cycle are extremely used. To obtain a match result between a wearable device and a mobile device by obtaining a plurality of match degree calculation results calculated in units of periods, and further combining the calculation results. Can do. Compared to obtaining only one match degree calculation result by the method of accumulating the match degree without dividing the cycle, the sensor data and the corresponding visual data change trend are averaged by the cumulative calculation, and the sensor data It can be avoided that the change tendency of the period division of visual data is not reflected well. In addition, the above-described method can automatically realize the connection between the wearable device and the mobile device, and does not require user involvement in the connection process between the wearable device and the mobile device, thereby improving the user experience.

本願の他方で、ウェアラブル機器と移動機器との接続する方法を提供して、下図7と合わせて当該接続方法を詳しく説明する。図7には、本願実施例に係るウェアラブル機器に使用されて移動機器と接続する方法のフローチャートが示される。   The other side of the present application provides a method for connecting a wearable device and a mobile device, and the connection method will be described in detail in conjunction with FIG. 7 below. FIG. 7 shows a flowchart of a method of connecting to a mobile device used in the wearable device according to the embodiment of the present application.

図7に示すように、ステップS701では、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測する。例えば、ユーザーがウェアラブル機器を揺動する時、ウェアラブル機器内の加速度センサーはウェアラブル機器の揺動動作を感知して計測できる。選択的に、ジャイロスコープなどのほかの類型のセンサーによってウェアラブル機器のスイング、回転などのほかの追跡可能な動作を感知して計測することも可能である。   As shown in FIG. 7, in step S701, a sensor in the wearable device senses and measures a traceable operation of the wearable device. For example, when the user swings the wearable device, an acceleration sensor in the wearable device can detect and measure the swing motion of the wearable device. Optionally, other types of sensors such as gyroscopes can sense and measure other trackable movements such as swing and rotation of the wearable device.

ステップS702で、ウェアラブル機器は周期的に移動機器に感知して計測された追跡可能な動作のセンサーデータをブロードキャスト表示する。以下、図8を参照して、ウェアラブル機器の追跡可能な動作を周期的にブロードキャストするセンサーデータの図示を説明する。   In step S702, the wearable device broadcasts and displays the sensor data of the traceable motion periodically sensed and measured by the mobile device. Hereinafter, with reference to FIG. 8, an illustration of sensor data that periodically broadcasts a traceable operation of the wearable device will be described.

図8に示すように、ウェアラブル機器はTを周期としてセンサーデータをブロードキャストするが、その内の周期Tの選択は無線チャンネルの伝送帯域幅の要求、各サンプリングポイントのセンサーデータ(例えば上式(2)内のst)の長さなどの要素に基づいて決定できる。例を挙げると、ブルートゥース(登録商標)ブロードキャストパケットが31バイト、各サンプリングポイントのセンサーデータの長さが2バイトであることを例とする場合、周期Tの値が15であることを決定できる。なお、上記の周期Tの決定は例示のみであり、当業者は実際の状況に応じてデータのオーバーストックまでにならないリアルタイム要求に満たすよう、かつ後続の周期を単位にするマッチ度を計算するデータ長さの要求に適合するように適切な周期Tを決定できる。 As shown in FIG. 8, the wearable device broadcasts sensor data with T as a cycle. Selection of the cycle T is a request for a transmission bandwidth of a wireless channel, sensor data at each sampling point (for example, the above formula (2 ) Can be determined based on factors such as the length of s t ). For example, when the Bluetooth (registered trademark) broadcast packet is 31 bytes and the length of sensor data at each sampling point is 2 bytes, the value of the period T can be determined to be 15. Note that the above-described determination of the period T is only an example, and those skilled in the art will calculate the degree of match in units of subsequent periods so as to satisfy real-time requirements that do not lead to data overstock depending on the actual situation. An appropriate period T can be determined to meet the length requirement.

前記のように、元センサーデータを直接転送することは伝送帯域幅に大きな負担になる。選択的に、ステップS702でブロードキャストされたセンサーデータはセンサーが感知して計測した追跡可能な動作の元センサーデータに対してデータ処理を行って得た次元低減データであっても良い。元センサーデータを処理する方法に関しては図1のステップS101に示した方法を参照できるが、ここで贅言をしない。   As described above, transferring the original sensor data directly places a heavy burden on the transmission bandwidth. Alternatively, the sensor data broadcast in step S702 may be dimension reduction data obtained by performing data processing on the original sensor data of the traceable motion sensed and measured by the sensor. Regarding the method of processing the original sensor data, the method shown in step S101 of FIG. 1 can be referred to, but no luxury is given here.

また、前述のように、実際応用時に下記の問題が存在しうる。ユーザーは絶え間なくウェアラブル機器を揺動することで、センサーデータが連続的にブロードキャストされることになるが、センサーデータのブロードキャストが無線チャンネルを持続的に占有し、かつウェアラブル機器のパワー消耗問題を生じる。一方、ウェアラブル機器によりブロードキャストしたセンサーデータによって、移動機器が持続的に当該ウェアラブル機器に対してそのセンサーデータのマッチ結果を計算することになるため、上記説明した移動機器がなかなかマッチ度の結果を得られない問題にもなる。   Further, as described above, the following problems may exist during actual application. By constantly swinging the wearable device, the user continuously broadcasts the sensor data, but the broadcast of the sensor data continuously occupies the radio channel and causes the power consumption problem of the wearable device. . On the other hand, since the mobile device continuously calculates the match result of the sensor data for the wearable device based on the sensor data broadcast by the wearable device, the above-described mobile device has a very good match degree result. It becomes a problem that can not be.

選択的に、この場合に対して、ウェアラブル機器よりトリガー信号を送信する時刻によって、ウェアラブル機器の有効感知計測時間の例示を決定することが可能である。   Alternatively, in this case, it is possible to determine an example of the effective sensing measurement time of the wearable device according to the time at which the trigger signal is transmitted from the wearable device.

具体的には、当該選択可能な例示では、ウェアラブル機器の周期的に移動機器に感知して計測された追跡可能な動作のセンサーデータをブロードキャスト表示する前に、トリガー信号を発送して、当該トリガー信号は当該ウェアラブル機器が周期的に追跡可能な動作のセンサーデータをブロードキャストし始まることを意味する。ウェアラブル機器の当該トリガー信号の発送から所定の最大感知計測時間までの時間を有効感知計測期間とし、かつ有効感知計測期間内において周期的に移動機器に前記センサーデータをブロードキャストする。当該例示では、ウェアラブル機器は持続的にセンサーデータをブロードキャストしうるが、有効感知計測時間を超えた場合、ユーザーが依然としてウェアラブル機器を揺動しても、センサーデータのブロードキャストが停止されるので、上記データ転送による無線転送チャンネルの占めおよびデータ転送のパワー消耗問題が解決される。   Specifically, in the selectable example, a trigger signal is sent out before the sensor data of the traceable motion that is sensed and measured by the mobile device periodically in the wearable device is broadcast, and the trigger is transmitted. The signal means that the wearable device starts broadcasting sensor data of an operation that can be tracked periodically. The time from sending out the trigger signal of the wearable device to a predetermined maximum sensing measurement time is set as an effective sensing measurement period, and the sensor data is periodically broadcast to the mobile device within the effective sensing measurement period. In this example, the wearable device can continuously broadcast the sensor data. However, if the effective sensing measurement time is exceeded, the sensor data broadcast is stopped even if the user still shakes the wearable device. The wireless transfer channel occupancy due to data transfer and the power consumption problem of data transfer are solved.

ステップS703では、前記移動機器に指示された前記ウェアラブル機器と移動機器とがマッチしたマッチ結果に基づいて、ウェアラブル機器と移動機器とを接続する。そこで、前記マッチ結果は前記移動機器が当該ウェアラブル機器により周期的にブロードキャストするセンサーデータに基づき、周期を単位に計算した各周期内のセンサーデータと対応周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度によって決定する。マッチ結果の計算に関する具体的な処理に対して、上記の移動機器用、ウェアラブル機器との接続方法内のステップS103とS104の説明を参照でき、ここで贅言をしない。ステップS703では、移動機器から受信されたマッチ結果によって当該ウェアラブル機器と移動機器とがマッチしたことが指示された場合、ウェアラブル機器と移動機器とが接続できる。   In step S703, the wearable device and the mobile device are connected based on a match result in which the wearable device instructed by the mobile device matches the mobile device. Therefore, the match result is based on sensor data that the mobile device periodically broadcasts from the wearable device, and sensor data within each cycle calculated based on the cycle and visual recognition of the wearable device within the corresponding cycle can be traced. Determined by the degree of matching with data. For specific processing related to the calculation of the match result, the description of steps S103 and S104 in the connection method for the mobile device and the wearable device can be referred to, and no luxury is given here. In step S703, when the match result received from the mobile device indicates that the wearable device matches the mobile device, the wearable device and the mobile device can be connected.

以上は本願実施例に係るウェアラブル機器用の、移動機器と接続する方法に関して述べたが、周期を単位として複数のマッチ度を計算する方法を用いることで、極端に各周期のセンサーデータと視覚データとの各期間における変化傾向を保留でき、かつ周期を単位に計算した複数のマッチ度の計算結果を得て、さらに当該複数の計算結果をまとめてウェアラブル機器と移動機器とのマッチ結果を得ることができる。しかも当該方法によってウェアラブル機器と移動機器との接続を自動的に実現でき、ウェアラブル機器にハードウェア表示機能を必要としなく、かつウェアラブル機器と移動機器との接続過程におけるユーザーの関与を必要としないので、ユーザー体験を向上させた。   The above describes the method for connecting to a mobile device for the wearable device according to the embodiment of the present invention. However, by using a method of calculating a plurality of matching degrees in units of cycles, sensor data and visual data of each cycle are extremely used. To obtain a match result between a wearable device and a mobile device by obtaining a plurality of match degree calculation results calculated in units of periods, and further combining the calculation results. Can do. In addition, the wearable device and the mobile device can be automatically connected by this method, so the wearable device does not require a hardware display function and does not require any user involvement in the connection process between the wearable device and the mobile device. , Improved user experience.

本願の他方で、ウェアラブル機器と移動機器との接続する方法を提供して、下図9、10と合わせて当該接続方法を詳しく説明する。   The other side of the present application provides a method for connecting a wearable device and a mobile device, and the connection method will be described in detail with reference to FIGS.

図9には、本願実施例に係るウェアラブル機器と移動機器との接続方法のフローチャートが示される。   FIG. 9 shows a flowchart of a connection method between the wearable device and the mobile device according to the present embodiment.

図9に示すように、ステップS901では、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測する。ステップS902で、ウェアラブル機器は周期的に移動機器に感知して計測された追跡可能な動作のセンサーデータをブロードキャスト表示する。ステップS903では、前記移動機器は少なくともひとつウェアラブル機器の周期的にブロードキャストしたセンサーデータを受信する。ステップS904では、前記移動機器はその捕捉範囲内のひとつウェアラブル機器の追跡可能な動作の視覚データを取得する。ステップS905では、各ウェアラブル機器に対して、前記移動機器は周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算する。ステップS906では、前記移動機器が各マッチ度に基づき、それと各ウェアラブル機器とのマッチ結果を決定し、かつマッチしたウェアラブル機器と接続する。   As shown in FIG. 9, in step S901, a sensor in the wearable device senses and measures a traceable operation of the wearable device. In step S902, the wearable device broadcasts and displays sensor data of a traceable operation periodically sensed and measured by the mobile device. In step S903, the mobile device receives sensor data periodically broadcast from at least one wearable device. In step S904, the mobile device acquires visual data of a traceable operation of one wearable device within the capture range. In step S905, for each wearable device, the mobile device calculates the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle in units of cycles. To do. In step S906, the mobile device determines a match result between the mobile device and each wearable device based on each match degree, and connects to the matched wearable device.

上記ステップS901-S906における具体的な処理は、上記図1のステップS101-S104及び図7のステップS701-S703の説明を参照でき、ここで贅言をしない。   For the specific processing in steps S901 to S906, the description of steps S101 to S104 in FIG. 1 and steps S701 to S703 in FIG. 7 can be referred to.

図10に本願実施例に係るウェアラブル機器と移動機器との接続方法の応用シーンを示す。   FIG. 10 shows an application scene of the connection method between the wearable device and the mobile device according to the embodiment of the present application.

説明の便宜上、図10にはひとつのウェアラブル機器と移動機器とを接続するシーンが示されたが、当該シーンでは、ひとつに限らないウェアラブル機器が同時に追跡可能な動作を生じ、かつ周期的その各自のセンサーデータをブロードキャストすることが可能である。図10に示すように、例えば、ユーザーがウェアラブル機器を揺動する時に、ウェアラブル機器によって追跡可能な動作を生じ、かつウェアラブル機器内のセンサーが感知して計測した追跡可能な動作のセンサーデータを周期的にブロードキャスト表示する。移動機器は少なくともひとつウェアラブル機器の周期的にブロードキャストしたセンサーデータを受信し、かつその捕捉範囲内のひとつウェアラブル機器の追跡可能な動作の視覚データを取得する。例えば、移動機器のカメラによってその捕捉範囲内のひとつのウェアラブル機器の追跡可能な動作の画面を撮影して、さらにウェアラブル機器の追跡可能な動作の視覚データを取得することが可能である。そして、移動機器は少なくともひとつのウェアラブル機器内の各ウェアラブル機器に対して、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算し、かつ各マッチ度によってそれと各ウェアラブル機器とのマッチ結果を決定する(図10には未図示)。最後、当該マッチ結果に基づき、移動機器とマッチされたウェアラブル機器とを接続させることが可能である。   For convenience of explanation, FIG. 10 shows a scene in which one wearable device and a mobile device are connected. However, in this scene, not only one wearable device can be tracked at the same time, and each of them can be periodically used. It is possible to broadcast sensor data. As shown in FIG. 10, for example, when a user swings the wearable device, an operation that can be tracked by the wearable device is generated, and sensor data of the trackable operation that is sensed and measured by a sensor in the wearable device is periodically generated. Broadcast display. The mobile device receives at least one wearable device's periodically broadcast sensor data and obtains visual data of the trackable motion of one wearable device within its capture range. For example, it is possible to capture a screen of a trackable operation of one wearable device within the capture range by a camera of a mobile device, and further obtain visual data of the trackable operation of the wearable device. Then, the mobile device, for each wearable device in at least one wearable device, uses sensor data received from the wearable device and the visual data acquired in the corresponding cycle as a unit. The degree of match is calculated, and the match result between it and each wearable device is determined according to each degree of match (not shown in FIG. 10). Finally, it is possible to connect the mobile device and the matched wearable device based on the match result.

以上は本願実施例に係るウェアラブル機器と移動機器との接続方法に関して述べたが、周期を単位として複数のマッチ度を計算する方法を用いることで、極端に各周期のセンサーデータと視覚データとの各期間における変化傾向を保留でき、かつ周期を単位に計算した複数のマッチ度の計算結果を得て、さらに当該複数の計算結果をまとめてウェアラブル機器と移動機器とのマッチ結果を得ることができる。しかも当該方法によってウェアラブル機器と移動機器との接続を自動的に実現でき、ウェアラブル機器にハードウェア表示機能を必要としなく、かつウェアラブル機器と移動機器との接続過程におけるユーザーの関与を必要としないので、ユーザー体験を向上させた。   The above has described the connection method between the wearable device and the mobile device according to the embodiment of the present application, but by using a method of calculating a plurality of matching degrees in units of periods, the sensor data and visual data of each period are extremely reduced. The change tendency in each period can be held, and the calculation results of a plurality of matching degrees calculated in units of cycles can be obtained, and further the matching results between the wearable device and the mobile device can be obtained by combining the calculation results. . In addition, the wearable device and the mobile device can be automatically connected by this method, so the wearable device does not require a hardware display function and does not require any user involvement in the connection process between the wearable device and the mobile device. , Improved user experience.

本願の他方で、移動機器が提供され、下図11と合わせて当該移動機器1100を詳しく説明する。   A mobile device is provided on the other side of the present application, and the mobile device 1100 will be described in detail with reference to FIG. 11 below.

図11は本願実施例に係る移動機器のブロック図を示す。図11に示すように、移動機器1100は受信モジュールU1101と、カメラモジュールU1102と、マッチモジュールU1103と、接続モジュールU1104とを含む。前記各部の具体的な機能と操作は前記図1-6に対した説明と基本的に同じであり、重複を回避するために、以下において前記装置のみ簡単に記述するが、同じ細部に対する詳細な説明を省略する。移動機器の例示として、移動機器1100はスマートフォン、タブレットPCなどを含むことができる。   FIG. 11 is a block diagram of a mobile device according to the present embodiment. As shown in FIG. 11, the mobile device 1100 includes a reception module U1101, a camera module U1102, a match module U1103, and a connection module U1104. The specific functions and operations of the respective parts are basically the same as those described with reference to FIGS. 1-6, and in order to avoid duplication, only the apparatus will be briefly described below. Description is omitted. As an example of the mobile device, the mobile device 1100 may include a smartphone, a tablet PC, and the like.

受信モジュールU1101は、少なくともひとつウェアラブル機器の周期的にブロードキャストした追跡可能な動作のセンサーデータを受信するように配置される。例えば、受信モジュールU1101はブルートゥース(登録商標)受信モジュールでも、WiFi受信モジュールでも、3G受信モジュールでも、4G受信モジュールでも良い。受信モジュールU1101はその付近にある少なくともひとつのウェアラブル機器が周期的にブロードキャストした追跡可能な動作のセンサーデータを受けることができる。例えば、仮に、受信モジュールU1101がブルートゥース(登録商標)受信モジュールである場合、移動機器はウェアラブル機器のブルートゥース(登録商標)チャンネルにブロードキャストパケットの方式で周期的にブロードキャストするセンサーデータを受信することが可能である。   The receiving module U1101 is arranged to receive the sensor data of the trackable operation periodically broadcast of at least one wearable device. For example, the reception module U1101 may be a Bluetooth (registered trademark) reception module, a WiFi reception module, a 3G reception module, or a 4G reception module. The receiving module U1101 can receive sensor data of a traceable operation periodically broadcast by at least one wearable device in the vicinity thereof. For example, if the receiving module U1101 is a Bluetooth (registered trademark) receiving module, the mobile device can receive sensor data periodically broadcast to the Bluetooth (registered trademark) channel of the wearable device in a broadcast packet format. It is.

受信モジュールU1101が受信されたセンサーデータはウェアラブル機器の追跡可能な動作を表すデータであり、ウェアラブル機器のセンサーによって取得された元センサーデータでも良い。選択的に、受信モジュールU1101により受信されたセンサーデータは元センサーデータを処理して得たデータでも良い。   The sensor data received by the reception module U1101 is data representing the traceable operation of the wearable device, and may be original sensor data acquired by a sensor of the wearable device. Optionally, the sensor data received by the receiving module U1101 may be data obtained by processing the original sensor data.

カメラモジュールU1102は当該カメラモジュールの捕捉範囲内のひとつウェアラブル機器の追跡可能な動作の視覚データを取得するように配置される。カメラモジュールU1102はその捕捉範囲内のウェアラブル機器の追跡可能な動作の画面を捕捉し、かつウェアラブル機器の追跡可能な動作の視覚データを取得する。なお、カメラモジュールU1102が必ずしも双眼カメラ、ライトフィールドカメラなどの特定機能を有するカメラである必要がなく、もっとも簡単な機能を有するカメラでも良い。   The camera module U1102 is arranged to acquire visual data of a traceable operation of one wearable device within the capture range of the camera module. The camera module U1102 captures a screen of trackable operations of the wearable device within its capture range and obtains visual data of the trackable operation of the wearable device. The camera module U1102 is not necessarily a camera having a specific function such as a binocular camera or a light field camera, and may be a camera having the simplest function.

マッチモジュールU1103は各ウェアラブル機器に対して、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算する。マッチモジュールU1103は中央プロセスユニット(CPU)、またはデータ処理できる計算ユニットでもよく、かつ上図1のステップS103の処理を実行する。   The match module U1103 calculates, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired within the corresponding cycle in units of cycles. The match module U1103 may be a central process unit (CPU) or a calculation unit capable of processing data, and executes the process of step S103 in FIG.

具体的に、マッチモジュールU1103は各ウェアラブル機器に対して、各周期に対応する複数のマッチ度結果を得るように配置される。マッチモジュールU1103はセンサーデータとの次元が同じになるように、取得された視覚データにデータ処理を行い、かつ処理後のセンサーデータと視覚データとのマッチ度を計算する。例えば、マッチモジュールU1103は各周期のセンサーデータと対応周期に取得された視覚データとの相関係数を計算でき、かつセンサーデータと視覚データとの相関性とし、各相関性と対応するマッチ度を決定する。それに、マッチモジュールU1103はさらにユークリッド距離、Nノルムなどのほかの方法を用いてセンサーデータと視覚データとの相関性を計算するように配置されてもよい。選択的に、マッチモジュールU1103はさらに、有効期間内のみのセンサーデータと対応視覚データとに対してマッチ度を計算するように配置されてもよく、具体的な処理を上記図3、4の説明を参照する。   Specifically, the match module U1103 is arranged for each wearable device so as to obtain a plurality of match degree results corresponding to each cycle. The match module U1103 performs data processing on the acquired visual data so as to have the same dimension as the sensor data, and calculates the degree of matching between the processed sensor data and the visual data. For example, the match module U1103 can calculate the correlation coefficient between the sensor data of each period and the visual data acquired in the corresponding period, and the correlation between the sensor data and the visual data is set, and the matching degree corresponding to each correlation is calculated. decide. In addition, the match module U1103 may be further arranged to calculate the correlation between sensor data and visual data using other methods such as Euclidean distance, N-norm, etc. Optionally, the match module U1103 may be further arranged to calculate the degree of match for the sensor data and the corresponding visual data only during the validity period, and the specific processing will be described with reference to FIGS. Refer to

接続モジュールU1104は、各マッチ度に基づき、移動機器と各ウェアラブル機器とのマッチ結果を決定し、かつマッチしたウェアラブル機器と接続する。例えば、接続モジュールU1104はブルートゥース(登録商標)接続モジュールでも、WiFi接続モジュールでも、3G接続モジュールでも、4G接続モジュールでも良い。   The connection module U1104 determines a match result between the mobile device and each wearable device based on each matching degree, and connects to the matched wearable device. For example, the connection module U1104 may be a Bluetooth (registered trademark) connection module, a WiFi connection module, a 3G connection module, or a 4G connection module.

具体的に、接続モジュールU1104は、各ウェアラブル機器の各マッチ度内にマッチ度閾値を超えたマッチ度の数と前記マッチ度閾値を超えないマッチ度の数に基づき、ウェアラブル機器が移動機器とマッチする候補ウェアラブル機器であるかどうかを決定するように配置される。接続モジュールU1104はさらに、候補ウェアラブル機器からマッチされたウェアラブル機器を決定し、かつマッチされたウェアラブル機器と接続するように配置される。   Specifically, the connection module U1104 determines that the wearable device matches the mobile device based on the number of match degrees exceeding the match degree threshold within each match degree of each wearable device and the number of match degrees not exceeding the match degree threshold. Arranged to determine whether it is a candidate wearable device. The connection module U1104 is further arranged to determine a matched wearable device from the candidate wearable devices and connect to the matched wearable device.

以上は本願実施例に係る移動機器関して述べたが、周期を単位として複数のマッチ度を計算する方法を用いることで、極端に各周期のセンサーデータと視覚データとの各期間における変化傾向を保留でき、かつ周期を単位に計算した複数のマッチ度の計算結果を得て、さらに当該複数の計算結果をまとめてウェアラブル機器と移動機器とのマッチ結果を得る。しかも当該方法によってウェアラブル機器と移動機器との接続を自動的に実現でき、ウェアラブル機器と移動機器との接続過程におけるユーザーの関与を必要としないので、ユーザー体験を向上させた。   The above has been described with respect to the mobile device according to the embodiment of the present invention, but by using a method of calculating a plurality of matching degrees in units of periods, the change tendency in each period between sensor data and visual data in each period is extremely increased. The calculation result of a plurality of matching degrees that can be held and calculated in units of periods is obtained, and the plurality of calculation results are collected to obtain a match result between the wearable device and the mobile device. In addition, the method can automatically realize the connection between the wearable device and the mobile device, and does not require the user's involvement in the connection process between the wearable device and the mobile device, thereby improving the user experience.

本願の他方で、ウェアラブル機器が提供され、下図12と合わせて当該ウェアラブル機器1200を詳しく説明する。   On the other side of the present application, a wearable device is provided, and the wearable device 1200 will be described in detail with reference to FIG.

図12に本願実施例に係るウェアラブル機器のブロック図を示す。図12に示すように、ウェアラブル機器1200はセンサーU1201と、無線送受信機U1202と、接続部U1203とを含む。前記各部の具体的な機能と操作は前記図7-8に対した説明と基本的に同じであり、重複を回避するために、以下において前記装置のみ簡単に記述するが、同じ細部に対する詳細な説明を省略する。ウェアラブル機器の例示として、ウェアラブル機器1200はさらにスマートブレスレット、スマートウォッチ、スマートメガネなどを含む。   FIG. 12 is a block diagram of the wearable device according to the embodiment of the present application. As shown in FIG. 12, wearable device 1200 includes a sensor U1201, a wireless transceiver U1202, and a connection unit U1203. The specific functions and operations of the respective parts are basically the same as those described with reference to FIGS. 7-8, and in order to avoid duplication, only the apparatus will be briefly described below. Description is omitted. As an example of the wearable device, the wearable device 1200 further includes a smart bracelet, a smart watch, smart glasses, and the like.

センサーU1201は前記ウェアラブル機器の追跡可能な動作を感知して計測するように配置される。例えば、センサーU1201は加速度センサーであるようなウェアラブル機器の揺動、スイング、回転動作を感知して計測するセンサーであってもよい。例えば、ユーザーがウェアラブル機器を揺動する時、ウェアラブル機器内の加速度センサーはウェアラブル機器の揺動動作を感知して計測できる。選択的に、ウェアラブル機器内のセンサーはさらに、ジャイロスコープなどのほかの類型のセンサーのような、スイング、回転などのほかの追跡可能な動作を感知して計測するセンサーでもよい。   The sensor U1201 is arranged to sense and measure a traceable operation of the wearable device. For example, the sensor U1201 may be a sensor that senses and measures swinging, swinging, and rotating motions of a wearable device such as an acceleration sensor. For example, when the user swings the wearable device, an acceleration sensor in the wearable device can detect and measure the swing motion of the wearable device. Optionally, the sensor in the wearable device may further be a sensor that senses and measures other trackable movements such as swing, rotation, etc., such as other types of sensors such as a gyroscope.

無線送受信機U1202は、感知して計測された追跡可能な動作のセンサーデータを周期的に移動機器にブロードキャスト表示して、および移動機器からの前記ウェアラブル機器と移動機器とのマッチ結果を受信する。例えば、無線送受信機U1202はブルートゥース(登録商標)送受信機でも、WiFi送受信機でもよい。選択的に、無線送受信機U1202はさらに、センサーが感知して計測した追跡可能な動作の元センサーデータに対してデータ処理を行って得た次元低減データを周期的に移動機器にブロードキャストするように配置される。   The wireless transceiver U1202 periodically broadcasts and displays the sensor data of the trackable operation that is sensed and measured, and receives a match result between the wearable device and the mobile device from the mobile device. For example, the wireless transceiver U1202 may be a Bluetooth (registered trademark) transceiver or a WiFi transceiver. Optionally, the wireless transceiver U1202 is further configured to periodically broadcast to the mobile device dimension reduction data obtained by performing data processing on the original sensor data of the traceable motion sensed and measured by the sensor. Be placed.

選択的に、無線送受信機U1202はさらに、周期的に移動機器にセンサーデータをブロードキャストする前にトリガー信号を発送して、当該ウェアラブル機器が周期的に追跡可能な動作のセンサーデータをブロードキャストし始まることを示す。無線送受信機U1202はさらにセンサーデータを持続的にブロードキャストではなく、当該トリガー信号の発送から所定の最大感知計測時間までの有効感知計測期間内のみにおいて周期的に移動機器に前記センサーデータをブロードキャストするように配置される。   Optionally, the radio transceiver U1202 further dispatches a trigger signal before periodically broadcasting the sensor data to the mobile device, and starts broadcasting the sensor data of the operation that the wearable device can periodically track. Indicates. The wireless transceiver U1202 further broadcasts the sensor data to the mobile device periodically only during the effective sensing measurement period from sending the trigger signal to a predetermined maximum sensing measurement time, instead of continuously broadcasting the sensor data. Placed in.

接続部U1203は、前記マッチ結果に示された前記ウェアラブル機器と前記移動機器とのマッチに応じて当該移動機器と接続する。そこで、前記マッチ結果は前記移動機器が無線送受信機により周期的にブロードキャストするセンサーデータに基づき、周期を単位に計算した各周期内のセンサーデータと対応周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度によって決定する。当該接続部U1203はブルートゥース(登録商標)接続モジュールでも、WiFi接続モジュールでも、3G接続モジュールでも、4G接続モジュールでも良い。当該マッチ結果の計算の処理は、上記図1のステップS103-S104の説明を参照でき、ここで贅言をしない。   The connection unit U1203 connects to the mobile device according to the match between the wearable device and the mobile device indicated in the match result. Therefore, the match result is based on sensor data that the mobile device periodically broadcasts by the wireless transceiver, and sensor data within each cycle calculated based on the cycle and visual recognition of wearable devices within the corresponding cycle. Determined by the degree of matching with data. The connection unit U1203 may be a Bluetooth (registered trademark) connection module, a WiFi connection module, a 3G connection module, or a 4G connection module. For the process of calculating the match result, the description of steps S103 to S104 in FIG. 1 can be referred to, and no luxury is given here.

具体的に、接続部U1203は移動機器から受信されたマッチ結果によって当該ウェアラブル機器と移動機器とがマッチしたことが指示された場合、ウェアラブル機器と移動機器とを接続する。   Specifically, when the match result received from the mobile device indicates that the wearable device matches the mobile device, the connection unit U1203 connects the wearable device and the mobile device.

以上は本願実施例に係るウェアラブル機器に関して述べたが、周期を単位として複数のマッチ度を計算する方法を用いることで、極端に各周期のセンサーデータと視覚データとの各期間における変化傾向を保留でき、かつ周期を単位に計算した複数のマッチ度の計算結果を得られ、さらに当該複数の計算結果をまとめてウェアラブル機器と移動機器とのマッチ結果を得ることができる。しかも当該方法によってウェアラブル機器と移動機器との接続を自動的に実現でき、ウェアラブル機器にハードウェア表示機能を必要としなく、かつウェアラブル機器と移動機器との接続過程におけるユーザーの関与を必要としないので、ユーザー体験を向上させた。   The above has been described with respect to the wearable device according to the embodiment of the present invention. However, by using a method of calculating a plurality of matching degrees in units of periods, the trend of change between sensor data and visual data in each period is extremely suspended. It is possible to obtain calculation results of a plurality of matching degrees calculated in units of cycles, and further to obtain a match result between the wearable device and the mobile device by combining the plurality of calculation results. In addition, the wearable device and the mobile device can be automatically connected by this method, so the wearable device does not require a hardware display function and does not require any user involvement in the connection process between the wearable device and the mobile device. , Improved user experience.

以上は具体的な実施例によって本願の基本原理を説明したが、当業者にとって、以下のことに関して自明である。即ち、本願の方法と装置のすべてまたはいかなる部分は任意の計算装置(プロセッサー、記憶媒体などを含む)または計算装置のネットにおいて、ハードウェアと、ファームウェアと、ソフトウェアまたはそれらの組み合わせによって実現できる。   Although the basic principle of the present application has been described above with specific embodiments, those skilled in the art will appreciate the following. That is, all or any part of the method and apparatus of the present application can be implemented by hardware, firmware, software, or combinations thereof in any computing device (including processors, storage media, etc.) or computing device net.

例えば、本発明の実施例の他の態様では、移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、受信モジュールが、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、カメラモジュールが、前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、マッチモジュールが、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、接続モジュールが、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含むことを特徴とするプログラムを提供する。   For example, in another aspect of the embodiment of the present invention, there is provided a program for causing a computer to execute a method for connecting a mobile device and a wearable device, which is used for the mobile device. Receiving sensor data of trackable motion periodically broadcast by at least one wearable device; and a camera module receiving visual data of trackable motion of one wearable device within the capture range of the mobile device. The step of acquiring and the match module calculates, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired within the corresponding cycle in units of cycles. A step and a connection module based on each matching degree Determine the match result between the device and the wearable device, provides a program characterized by including a step of connecting matching the wearable device and said mobile device, the.

また、本発明の実施例の他の態様では、移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、受信モジュールが、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、カメラモジュールが、前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、マッチモジュールが、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、接続モジュールが、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含むことを特徴とする記録媒体を提供する。   According to another aspect of the embodiment of the present invention, there is provided a recording medium recording a program for causing a computer to execute a method for connecting a mobile device and a wearable device, which is used in the mobile device. A receiving module receiving sensor data of trackable motion periodically broadcast by at least one wearable device; and a camera module tracking the wearable device within a capture range of the mobile device. The step of acquiring visual data of the operation and the match module, for each wearable device, with the cycle as a unit, sensor data received from the wearable device and the visual data acquired within the corresponding cycle. The step of calculating the degree of match and the connection module Based, wherein determining the match result between the mobile device and the wearable device, provides a step of connecting the matching wearable device and said mobile device, a recording medium which comprises a.

また、本発明の実施例の他の態様では、ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、センサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、無線送受信機が、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、接続手段が、前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含むことを特徴とするプログラムを提供する。   According to another aspect of the embodiment of the present invention, there is provided a program for causing a computer to execute a method for connecting a wearable device and a mobile device, which is used for the wearable device, wherein the sensor includes the wearable device. A sensor in the device senses and measures a trackable operation of the wearable device, and a wireless transceiver periodically broadcasts sensor data indicating the trackable operation sensed and measured to the mobile device. And a step of connecting the wearable device and the mobile device based on a match result indicating that the wearable device and the mobile device from the mobile device are matched, wherein the match result is: Received from the wearable device calculated by the mobile device in units of cycles. It is determined based on the matching degree of the visual data of the trackable operation of wearable device in cycle with the sensor data corresponding in each cycle was, provides a program characterized by comprising the steps, a.

また、本発明の実施例の他の態様では、ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、センサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、無線送受信機が、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、接続手段が、前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含むことを特徴とする記録媒体を提供する。   In another aspect of the embodiment of the present invention, there is provided a recording medium on which a program for causing a computer to execute a method for connecting a wearable device and a mobile device, which is used for a wearable device, is recorded. The sensor in the wearable device senses and measures the trackable operation of the wearable device, and the wireless transceiver periodically transmits sensor data indicating the trackable operation sensed and measured. Broadcasting to the mobile device, and connecting means for connecting the wearable device and the mobile device based on a match result indicating that the wearable device and the mobile device from the mobile device match. The match result is the wearer calculated by the mobile device in units of cycles. And a step determined based on a degree of match between sensor data received from each device and the visual data of the trackable operation of the wearable device within the corresponding cycle. Provide media.

また、本発明の実施例の他の態様では、移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、前記ウェアラブル機器のセンサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、前記ウェアラブル機器の無線送受信機が、前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、前記移動機器の受信モジュールが、前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、前記移動機器のカメラモジュールが、前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、前記移動機器のマッチモジュールが、各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、前記移動機器の接続モジュールが、前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含むことを特徴とするプログラムを提供する。   In another aspect of the embodiment of the present invention, there is provided a program for causing a computer to execute a method for connecting a mobile device and a wearable device, wherein the method includes: a sensor in the wearable device; A sensor senses and measures a trackable operation of the wearable device, and a wireless transceiver of the wearable device periodically detects sensor data indicating the trackable operation sensed and measured by the wearable device. Broadcasting to a mobile device; receiving module of the mobile device receiving sensor data periodically broadcast by the mobile device by at least one wearable device; and camera module of the mobile device comprising the mobile device One device is within the capture range of the mobile device. Acquiring visual data of traceable movement of the wearable device, and a match module of the mobile device for each wearable device, the sensor within each cycle received from the wearable device by the mobile device in units of cycles. Calculating the degree of matching between the data and the visual data acquired within the corresponding period, and the connection module of the mobile device matches the mobile device with each wearable device based on the degree of match of the mobile device. Determining a result, and connecting the matched wearable device and the mobile device.

また、本発明の実施例の他の態様では、移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、前記ウェアラブル機器のセンサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、前記ウェアラブル機器の無線送受信機が、前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、前記移動機器の受信モジュールが、前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、前記移動機器のカメラモジュールが、前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、前記移動機器のマッチモジュールが、各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、前記移動機器の接続モジュールが、前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含むことを特徴とする記録媒体を提供する。   According to another aspect of the embodiment of the present invention, there is provided a recording medium recording a program for causing a computer to execute a method for connecting a mobile device and a wearable device, wherein the method includes a sensor of the wearable device. A step in which a sensor in the wearable device senses and measures a trackable operation of the wearable device; and a sensor that indicates the trackable operation sensed and measured by the wearable device by the wireless transceiver of the wearable device Periodically broadcasting data to a mobile device; a receiving module of the mobile device receiving sensor data periodically broadcast by the mobile device by at least one wearable device; and a camera of the mobile device A module, wherein the mobile device is the mobile device Acquiring visual data of traceable movements of one wearable device within the capture range, and a match module of the mobile device is received from the wearable device for each wearable device in units of cycles. Calculating the degree of match between the sensor data in each cycle and the visual data acquired in the corresponding cycle, and the connection module of the mobile device is configured so that the mobile device Determining a match result with each wearable device, and connecting the matched wearable device and the mobile device; and providing a recording medium.

なお、本願の装置と方法では、各部材または各ステップは分解と/或いは再度組合せが可能である。これらの分解と/或いは再度組合せは本願の同等な方案とみなすべきである。また、上記一連処理を実行するステップは説明した順序に従って実行可能が、各ステップが順序に沿って実行することが必須ではなく、あるステップは並行または互いに独立して実行することもできる。   In the apparatus and method of the present application, each member or each step can be disassembled and / or combined again. These disassembly and / or recombination should be considered as equivalent to this application. The steps for executing the series of processes can be executed in the order described, but it is not essential that the steps are executed in the order, and certain steps may be executed in parallel or independently of each other.

上記の具体的な実施形態は本願の保護範囲に制限するものではない。当業者にとって、設計ニーズまたはほかの要因に従い、各種の修正、組み合わせ、サブ組み合わせおよび代替を行うことは自明である。いかなる本願の技術思想と趣旨の範囲内に行う修正、同等取替えと改良などは、本願の保護範囲内に含まれるべきである。   The specific embodiments described above are not limited to the protection scope of the present application. It will be apparent to those skilled in the art that various modifications, combinations, subcombinations and alternatives can be made according to design needs or other factors. Any modifications, equivalent replacements and improvements made within the scope of the technical idea and spirit of the present application should be included in the protection scope of the present application.

Claims (19)

移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法であって、
少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、
前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含むことを特徴とする方法。
A method for connecting a mobile device and a wearable device used in a mobile device,
Receiving trackable motion sensor data periodically broadcast by at least one wearable device;
Obtaining visual data of traceable movements of one wearable device within a capture range of the mobile device;
For each wearable device, with a period as a unit, calculating the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle;
Determining a match result between the mobile device and each wearable device based on each match degree, and connecting the matched wearable device and the mobile device.
前記センサーデータは、ウェアラブル機器により取得された元センサーデータに対してデータ処理を行って得た次元低減データであり、
前記各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップは、
センサーデータの次元と同じになるように、取得された視覚データに対してデータ処理を行うことと、
周期を単位として、当該ウェアラブル機器から受信された各周期のセンサーデータと対応する周期内の処理後の視覚データとの相関性を計算することと、
各前記相関性について対応するマッチ度を決定することと、を含むことを特徴とする請求項1に記載の方法。
The sensor data is dimension reduction data obtained by performing data processing on the original sensor data acquired by the wearable device,
For each wearable device, the step of calculating the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle in units of the cycle,
Processing the acquired visual data to be the same as the sensor data dimension,
Calculating the correlation between the sensor data of each cycle received from the wearable device and the visual data after processing within the corresponding cycle in units of cycles;
The method of claim 1, comprising determining a corresponding degree of match for each of the correlations.
前記少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信する前に、当該ウェアラブル機器からトリガー信号を受信するステップ、をさらに含み、
当該トリガー信号は、当該ウェアラブル機器が周期的に追跡可能な動作のセンサーデータをブロードキャストし始まることを示すことを特徴とする請求項2に記載の方法。
Receiving a trigger signal from the wearable device before receiving sensor data of trackable motion periodically broadcast by the at least one wearable device;
3. The method of claim 2, wherein the trigger signal indicates that the wearable device begins to broadcast sensor data of an operation that can be tracked periodically.
前記周期を単位として当該ウェアラブル機器から受信された各周期のセンサーデータと対応する周期内の処理後の視覚データとの相関性を計算することは、
当該ウェアラブル機器からトリガー信号を受信した時刻が有効トリガー期間内にあるかを決定することであって、前記有効トリガー期間は、前記移動機器が各ウェアラブル機器から最初のトリガー信号を受信してから所定の最大マッチ時間までであることと、
当該ウェアラブル機器からトリガー信号を受信した時刻が前記有効トリガー期間内にあれば、有効計算期間内に当該ウェアラブル機器から各周期のセンサーデータを受信すると決定することであって、前記有効計算期間は、前記移動機器が当該ウェアラブル機器からトリガー信号を受信してから前記所定の最大マッチ時間までであることと、
当該有効計算期間内に受信された各周期内のセンサーデータについて、該センサーデータと対応する周期内の処理後の視覚データとの相関性を計算することと、を含むことを特徴とする請求項3に記載の方法。
Calculating the correlation between the sensor data of each cycle received from the wearable device in units of the cycle and the visual data after processing in the corresponding cycle,
Determining whether a time at which a trigger signal is received from the wearable device is within an effective trigger period, and the effective trigger period is predetermined after the mobile device receives an initial trigger signal from each wearable device. Up to the maximum match time of
If the time when the trigger signal is received from the wearable device is within the effective trigger period, it is determined to receive sensor data of each cycle from the wearable device within the effective calculation period, and the effective calculation period is: From the time when the mobile device receives a trigger signal from the wearable device to the predetermined maximum match time;
Calculating the correlation between the sensor data received within the effective calculation period and the processed visual data within the corresponding period for the sensor data within each period. 3. The method according to 3.
前記各マッチ度に基づき前記移動機器と各ウェアラブル機器とのマッチ結果を決定するステップは、各ウェアラブル機器について、
該ウェアラブル機器に対応する各マッチ度のうちマッチ度閾値を超えたマッチ度の数を決定することと、
該ウェアラブル機器に対応する各マッチ度のうち前記マッチ度閾値以下のマッチ度の数を決定することと、
前記マッチ度閾値を超えたマッチ度の数が前記マッチ度閾値以下のマッチ度の数よりも大きい場合、当該ウェアラブル機器が前記移動機器とマッチする候補ウェアラブル機器であると決定することと、を含むことを特徴とする請求項1乃至4のいずれかに記載の方法。
The step of determining a match result between the mobile device and each wearable device based on each degree of match, for each wearable device,
Determining the number of match degrees exceeding a match degree threshold among the respective match degrees corresponding to the wearable device;
Determining the number of matching degrees equal to or lower than the matching degree threshold among the matching degrees corresponding to the wearable device;
Determining that the wearable device is a candidate wearable device that matches the mobile device if the number of match levels exceeding the match level threshold is greater than the number of match levels equal to or less than the match level threshold. 5. A method according to any one of claims 1 to 4, characterized in that
前記各マッチ度に基づき前記移動機器と各ウェアラブル機器とのマッチ結果を決定するステップは、
前記候補ウェアラブル機器が1つのみある場合、当該候補ウェアラブル機器が前記移動機器とマッチするウェアラブル機器であると決定することと、
前記候補ウェアラブル機器が複数ある場合、各候補ウェアラブル機器と前記移動機器とのマッチする度合いを計算し、マッチする度合いが最大の候補ウェアラブル機器を当該移動機器とマッチするウェアラブル機器として決定することと、をさらに含むことを特徴とする請求項5に記載の方法。
The step of determining a match result between the mobile device and each wearable device based on each match degree,
If there is only one candidate wearable device, determining that the candidate wearable device is a wearable device that matches the mobile device;
When there are a plurality of candidate wearable devices, the degree of matching between each candidate wearable device and the mobile device is calculated, and the candidate wearable device with the highest degree of matching is determined as a wearable device matching the mobile device; The method of claim 5, further comprising:
前記各候補ウェアラブル機器と前記移動機器とのマッチする度合いを計算することは、
前記各候補ウェアラブル機器について、該候補ウェアラブル機器に対応する各マッチ度の平均値を前記マッチする度合いとして計算すること、を含むことを特徴とする請求項6に記載の方法。
Calculating the degree of matching between each candidate wearable device and the mobile device,
The method according to claim 6, further comprising: calculating, for each candidate wearable device, an average value of each matching degree corresponding to the candidate wearable device as the matching degree.
ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法であって、
ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含むことを特徴とする方法。
A method for connecting a wearable device and a mobile device used in a wearable device,
A sensor in the wearable device senses and measures the traceable motion of the wearable device; and
Periodically broadcasting sensor data indicative of trackable motion sensed and measured to a mobile device;
A step of connecting the wearable device and the mobile device based on a match result indicating that the wearable device and the mobile device are matched from the mobile device, wherein the match result has a period determined by the mobile device; Determined based on a degree of matching between sensor data received from the wearable device and the visual data of the wearable device traceable motion in the corresponding cycle, calculated as a unit. A method characterized by comprising.
前記センサーデータは、前記センサーにより感知して計測された追跡可能な動作の元センサーデータに対してデータ処理を行って得た次元低減データである、ことを特徴とする請求項8に記載の方法。   9. The method according to claim 8, wherein the sensor data is dimension reduction data obtained by performing data processing on original sensor data of a traceable motion sensed and measured by the sensor. . 感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストする前に、トリガー信号を送信するステップ、をさらに含み、
当該トリガー信号は、当該ウェアラブル機器が周期的に追跡可能な動作のセンサーデータをブロードキャストし始まることを示し、
前記感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップは、
当該トリガー信号を送信してから所定の最大感知計測時間までに、周期的に移動機器に前記センサーデータをブロードキャストすること、をさらに含むことを特徴とする請求項8又は9に記載の方法。
Transmitting a trigger signal prior to periodically broadcasting sensor data indicative of trackable motion sensed and measured to the mobile device;
The trigger signal indicates that the wearable device starts to broadcast sensor data of an operation that can be tracked periodically,
Periodically broadcasting sensor data indicative of trackable motion sensed and measured to a mobile device includes:
The method according to claim 8 or 9, further comprising: periodically broadcasting the sensor data to a mobile device between a transmission time of the trigger signal and a predetermined maximum sensing measurement time.
移動機器とウェアラブル機器とを接続させる方法であって、
ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、
前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含むことを特徴とする方法。
A method of connecting a mobile device and a wearable device,
A sensor in the wearable device senses and measures the traceable motion of the wearable device; and
Periodically broadcasting sensor data to the mobile device indicating the traceable motion sensed and measured by the wearable device;
The mobile device receives sensor data periodically broadcast by at least one wearable device;
The mobile device obtaining visual data of a trackable operation of one wearable device within a capture range of the mobile device;
For each wearable device, the mobile device calculates the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle in units of cycles;
The mobile device determining a match result between the mobile device and each wearable device based on each match degree, and connecting the matched wearable device and the mobile device.
移動機器であって、
少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信する受信モジュールと、
カメラモジュールの捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するカメラモジュールと、
各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するマッチモジュールと、
各マッチ度に基づいて移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させる接続モジュールと、を含むことを特徴とする移動機器。
Mobile equipment,
A receiving module for receiving sensory data of trackable activity periodically broadcast by at least one wearable device;
A camera module for acquiring visual data of trackable motion of one wearable device within the capture range of the camera module;
For each wearable device, with a period as a unit, a match module that calculates the degree of match between the sensor data received from each wearable device and the visual data acquired within the corresponding period,
A mobile device comprising: a connection module that determines a match result between the mobile device and each wearable device based on each matching degree, and connects the matched wearable device and the mobile device.
ウェアラブル機器であって、
前記ウェアラブル機器の追跡可能な動作を感知して計測するセンサーと、
感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストし、移動機器からの前記ウェアラブル機器と移動機器とのマッチ結果を受信する無線送受信機と、
前記マッチ結果に示された前記ウェアラブル機器と前記移動機器とがマッチしたことに応じて前記ウェアラブル機器と当該移動機器とを接続させる接続手段であって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該無線送受信機から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、接続手段と、を含むことを特徴とするウェアラブル機器。
A wearable device,
A sensor for sensing and measuring the traceable movement of the wearable device;
A wireless transceiver that periodically broadcasts sensor data indicating a trackable operation sensed and measured to a mobile device, and receives a match result between the wearable device and the mobile device from the mobile device;
Connection means for connecting the wearable device and the mobile device in response to a match between the wearable device indicated in the match result and the mobile device, wherein the match result is cycled by the mobile device. A connection means that is determined based on a degree of match between sensor data received from the wireless transceiver, calculated as a unit, and visual data of a traceable operation of the wearable device in the corresponding period; , Comprising a wearable device.
移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、
受信モジュールが、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、
カメラモジュールが、前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
マッチモジュールが、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
接続モジュールが、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含むことを特徴とするプログラム。
A program for causing a computer to execute a method of connecting a mobile device and a wearable device used in a mobile device, the method comprising:
Receiving a trackable motion sensor data periodically broadcast by at least one wearable device;
A camera module obtaining visual data of a trackable movement of one wearable device within a capture range of the mobile device;
The match module calculates, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle in units of the cycle;
The connection module includes a step of determining a match result between the mobile device and each wearable device based on each match degree, and connecting the matched wearable device and the mobile device.
移動機器に用いられる、該移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、
受信モジュールが、少なくとも1つのウェアラブル機器により周期的にブロードキャストされた追跡可能な動作のセンサーデータを受信するステップと、
カメラモジュールが、前記移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
マッチモジュールが、各ウェアラブル機器について、周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
接続モジュールが、各マッチ度に基づき、前記移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と前記移動機器とを接続させるステップと、を含むことを特徴とする記録媒体。
A recording medium recording a program for causing a computer to execute a method of connecting a mobile device and a wearable device used in a mobile device, the method comprising:
Receiving a trackable motion sensor data periodically broadcast by at least one wearable device;
A camera module obtaining visual data of a trackable movement of one wearable device within a capture range of the mobile device;
The match module calculates, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle in units of the cycle;
The connection module includes a step of determining a match result between the mobile device and each wearable device based on each matching degree, and connecting the matched wearable device and the mobile device.
ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、
センサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
無線送受信機が、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
接続手段が、前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含むことを特徴とするプログラム。
A program for causing a computer to execute a method of connecting a wearable device and a mobile device used in a wearable device, the method comprising:
A sensor sensing and measuring a trackable movement of the wearable device by a sensor in the wearable device;
The wireless transceiver periodically broadcasts sensor data indicating sensed and measured tracking activity to the mobile device;
A connection means is a step of connecting the wearable device and the mobile device based on a match result indicating that the wearable device and the mobile device are matched from the mobile device, wherein the match result is the mobile device Determined based on the degree of match between sensor data received from the wearable device in each cycle and visual data of the trackable operation of the wearable device in the corresponding cycle, calculated by the device in units of cycles, A program comprising the steps.
ウェアラブル機器に用いられる、該ウェアラブル機器と移動機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、
センサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
無線送受信機が、感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
接続手段が、前記移動機器からの前記ウェアラブル機器と移動機器とがマッチしたことを示すマッチ結果に基づいて、前記ウェアラブル機器と移動機器とを接続させるステップであって、前記マッチ結果は、前記移動機器により周期を単位として計算された、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内のウェアラブル機器の追跡可能な動作の視覚データとのマッチ度に基づいて決定される、ステップと、を含むことを特徴とする記録媒体。
A recording medium recording a program for causing a computer to execute a method for connecting a wearable device and a mobile device used in a wearable device, the method comprising:
A sensor sensing and measuring a trackable movement of the wearable device by a sensor in the wearable device;
The wireless transceiver periodically broadcasts sensor data indicating sensed and measured tracking activity to the mobile device;
A connection means is a step of connecting the wearable device and the mobile device based on a match result indicating that the wearable device and the mobile device are matched from the mobile device, wherein the match result is the mobile device Determined based on the degree of match between sensor data received from the wearable device in each cycle and visual data of the trackable operation of the wearable device in the corresponding cycle, calculated by the device in units of cycles, A recording medium comprising the steps.
移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムであって、前記方法は、
前記ウェアラブル機器のセンサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
前記ウェアラブル機器の無線送受信機が、前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
前記移動機器の受信モジュールが、前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、
前記移動機器のカメラモジュールが、前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
前記移動機器のマッチモジュールが、各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
前記移動機器の接続モジュールが、前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含むことを特徴とするプログラム。
A program for causing a computer to execute a method for connecting a mobile device and a wearable device, the method comprising:
A sensor of the wearable device senses and measures a trackable operation of the wearable device by a sensor in the wearable device; and
The wireless transceiver of the wearable device periodically broadcasts sensor data indicating a traceable operation sensed and measured by the wearable device to a mobile device;
The mobile device receiving module receives sensor data periodically broadcast by the mobile device by at least one wearable device;
The camera module of the mobile device obtaining visual data of the trackable movement of one wearable device within the capture range of the mobile device;
The matching module of the mobile device, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle for each wearable device in units of the cycle A step of calculating
The connection module of the mobile device includes the step of the mobile device determining a match result between the mobile device and each wearable device based on each matching degree, and connecting the matched wearable device and the mobile device. A program characterized by that.
移動機器とウェアラブル機器とを接続させる方法をコンピュータに実行させるためのプログラムを記録した記録媒体であって、前記方法は、
前記ウェアラブル機器のセンサーが、ウェアラブル機器内のセンサーが当該ウェアラブル機器の追跡可能な動作を感知して計測するステップと、
前記ウェアラブル機器の無線送受信機が、前記ウェアラブル機器が感知して計測された追跡可能な動作を示すセンサーデータを周期的に移動機器にブロードキャストするステップと、
前記移動機器の受信モジュールが、前記移動機器が少なくとも1つのウェアラブル機器により周期的にブロードキャストされたセンサーデータを受信するステップと、
前記移動機器のカメラモジュールが、前記移動機器が該移動機器の捕捉範囲内の1つのウェアラブル機器の追跡可能な動作の視覚データを取得するステップと、
前記移動機器のマッチモジュールが、各ウェアラブル機器について、前記移動機器が周期を単位として、当該ウェアラブル機器から受信された各周期内のセンサーデータと対応する周期内に取得された視覚データとのマッチ度を計算するステップと、
前記移動機器の接続モジュールが、前記移動機器が各マッチ度に基づき、該移動機器と各ウェアラブル機器とのマッチ結果を決定し、マッチしたウェアラブル機器と該移動機器とを接続させるステップと、を含むことを特徴とする記録媒体。
A recording medium recording a program for causing a computer to execute a method of connecting a mobile device and a wearable device, the method comprising:
A sensor of the wearable device senses and measures a trackable operation of the wearable device by a sensor in the wearable device; and
The wireless transceiver of the wearable device periodically broadcasts sensor data indicating a traceable operation sensed and measured by the wearable device to a mobile device;
The mobile device receiving module receives sensor data periodically broadcast by the mobile device by at least one wearable device;
The camera module of the mobile device obtaining visual data of the trackable movement of one wearable device within the capture range of the mobile device;
The matching module of the mobile device, for each wearable device, the degree of match between the sensor data received from the wearable device and the visual data acquired in the corresponding cycle for each wearable device in units of the cycle A step of calculating
The connection module of the mobile device includes the step of the mobile device determining a match result between the mobile device and each wearable device based on each matching degree, and connecting the matched wearable device and the mobile device. A recording medium characterized by the above.
JP2018008695A 2017-03-03 2018-01-23 Wearable device, mobile device and connection method thereof Active JP6593473B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710123091.1A CN108696293B (en) 2017-03-03 2017-03-03 Wearable device, mobile device and connection method thereof
CN201710123091.1 2017-03-03

Publications (2)

Publication Number Publication Date
JP2018148549A true JP2018148549A (en) 2018-09-20
JP6593473B2 JP6593473B2 (en) 2019-10-23

Family

ID=63592413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018008695A Active JP6593473B2 (en) 2017-03-03 2018-01-23 Wearable device, mobile device and connection method thereof

Country Status (2)

Country Link
JP (1) JP6593473B2 (en)
CN (1) CN108696293B (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013251800A (en) * 2012-06-01 2013-12-12 Sony Corp Information processing apparatus, information processing method, and program
JP2015046028A (en) * 2013-08-28 2015-03-12 ソニー株式会社 Information processing apparatus, and information processing method
US20150189681A1 (en) * 2011-12-27 2015-07-02 Sony Corporation Communication apparatus
US20160037573A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
WO2016096678A1 (en) * 2014-12-19 2016-06-23 Koninklijke Philips N.V. Medical bracelet standard

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201304219D0 (en) * 2013-03-08 2013-04-24 Tomtom Int Bv Methods for communicating sensor data between devices
CN104144520A (en) * 2013-05-07 2014-11-12 李东舸 Method, device and system for establishing connection between devices
CN103605701A (en) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 Method and device for determining communication objects
US9679199B2 (en) * 2013-12-04 2017-06-13 Microsoft Technology Licensing, Llc Fusing device and image motion for user identification, tracking and device association

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189681A1 (en) * 2011-12-27 2015-07-02 Sony Corporation Communication apparatus
JP2013251800A (en) * 2012-06-01 2013-12-12 Sony Corp Information processing apparatus, information processing method, and program
JP2015046028A (en) * 2013-08-28 2015-03-12 ソニー株式会社 Information processing apparatus, and information processing method
US20160037573A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
WO2016096678A1 (en) * 2014-12-19 2016-06-23 Koninklijke Philips N.V. Medical bracelet standard

Also Published As

Publication number Publication date
CN108696293B (en) 2020-11-10
JP6593473B2 (en) 2019-10-23
CN108696293A (en) 2018-10-23

Similar Documents

Publication Publication Date Title
US10650533B2 (en) Apparatus and method for estimating eye gaze location
EP2681900B1 (en) Ranging with body motion capture
CN105593924B (en) Image processing apparatus, image processing method, computer program and image display system
US9375143B2 (en) Electronic apparatus and communication control method
US20150119726A1 (en) Electronic apparatus and communication control method
JP6177087B2 (en) Extracorporeal terminal, capsule endoscope system, capsule endoscope control method and program
US20180343397A1 (en) Systems and methods for position tracking
US20160209223A1 (en) Method for providing navigation using wearable device and vehicle for carrying out the same
US20190313352A1 (en) Methods, devices, and systems for scheduled sensing
CN110604579B (en) Data acquisition method, device, terminal and storage medium
CN108427630B (en) Performance information acquisition method, device, terminal and computer readable storage medium
JP2015116288A (en) Exercise information display system, exercise information display method, and exercise information display program
CN104127188A (en) Method and device for monitoring amount of exercise of neck
JP2016075669A (en) Position estimation system, position estimation method, and program
JP6094476B2 (en) Imaging system, control method therefor, and control program therefor
JP6593473B2 (en) Wearable device, mobile device and connection method thereof
US10701184B2 (en) Information processing apparatus, information processing system, and information processing method
US9715628B2 (en) Method for estimating a distance from a first communication device to a second communication device, and corresponding communication devices, server and system
KR20150057803A (en) Interface system based on Multi-sensor wearable device, and the method there of
JP6337980B2 (en) Exercise state detection apparatus, control method thereof, and control program thereof
KR20160015674A (en) System for analyzing of human movement using inertial sensor
JP6736975B2 (en) Biological information measuring device, communication system and communication method
JP2018099416A (en) Motion analysis apparatus, motion analysis method and program
EP4290308A1 (en) Camera device and camera system
US11275148B2 (en) Multi-sensor location data tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190909

R151 Written notification of patent or utility model registration

Ref document number: 6593473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151