JP2019185609A - ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム - Google Patents

ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム Download PDF

Info

Publication number
JP2019185609A
JP2019185609A JP2018078597A JP2018078597A JP2019185609A JP 2019185609 A JP2019185609 A JP 2019185609A JP 2018078597 A JP2018078597 A JP 2018078597A JP 2018078597 A JP2018078597 A JP 2018078597A JP 2019185609 A JP2019185609 A JP 2019185609A
Authority
JP
Japan
Prior art keywords
terminal
information
data
user
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018078597A
Other languages
English (en)
Other versions
JP7018630B2 (ja
Inventor
優一 槙
Yuichi Maki
優一 槙
卓矢 合田
Takuya Aida
卓矢 合田
松川　尚司
Shoji Matsukawa
尚司 松川
犬童拓也
Takuya Inudou
拓也 犬童
理志 西尾
Takayuki Nishio
理志 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto University
Nippon Telegraph and Telephone Corp
Original Assignee
Kyoto University
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto University, Nippon Telegraph and Telephone Corp filed Critical Kyoto University
Priority to JP2018078597A priority Critical patent/JP7018630B2/ja
Publication of JP2019185609A publication Critical patent/JP2019185609A/ja
Application granted granted Critical
Publication of JP7018630B2 publication Critical patent/JP7018630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けが適切に行われること。【解決手段】ユーザと端末との対応付け方法および対応付け装置では、画像情報から、ユーザの手の位置情報を検出し、検出した手の位置情報を用いて、手の鉛直方向についての運動状態に関する第１運動データを算出する。また、端末に設けられるセンサのセンサ情報から、端末の加速度情報を検出し、検出した端末の加速度情報を用いて、端末の鉛直方向についての運動状態に関する第２運動データを算出する。そして、第１運動データおよび第２運動データを用いて、ユーザと端末とを対応付けるマッチング処理を行う。【選択図】図５

Description

本発明の実施形態は、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムに関する。
近年、美術館および博物館などの屋内環境においてＩＣＴ（Information and Communication Technology）を用いて映像配信および音声案内などをするおもてなしサービスが、開発されている。このおもてなしサービスでは、配信すべき情報および音声案内の言語などが、端末を用いるユーザの人種および性別などに対応して、異なる。非特許文献１では、カメラなどの撮影機器によって、端末を用いるユーザの情報を取得する。そして、カメラなどからのユーザの情報が、コンテンツ配信および端末の通信制御などに活用される。ただし、非特許文献１のようにカメラによってユーザの情報を取得する場合、カメラ映像に映っているユーザ、および、ユーザが用いる端末のＩＰアドレスは、互いに独立する。このため、カメラ映像のユーザとユーザが用いる端末とを、一対一で対応付ける必要がある。
非特許文献２の対応付けシステムでは、カメラ映像からユーザの移動速度を推定するとともに、端末に設けられる加速度センサの情報からユーザ（端末）の移動速度を推定する。そして、カメラ映像に基づく移動速度、および、加速度センサの情報に基づく移動速度を用いてマッチングを行うことにより、ユーザと端末との対応付けを行う。図１は、非特許文献２の対応付けシステム１´のブロック構成を示す。非特許文献２では、マッチング用サーバ２´、カメラ（撮影機器）３´および端末４´が設けられ、端末（通信端末）４´には加速度センサ６´が設けられる。
情報処理装置（マッチング処理ユニット）であるマッチング用サーバ２´は、マッチング用サーバ２´からの情報の送信、および、マッチング用サーバ２´への情報の受信を行う情報送受信部５´を備える。カメラ３´は、画像情報を生成し、生成した画像情報をマッチング用サーバ２´に送信する。また、端末４´は、センサ情報取得部７´と、通信制御部８´とを備える。センサ情報取得部７´は、加速度センサ６´での検知結果に関するセンサ情報を取得する。通信制御部８´は、端末４´とマッチング用サーバ２´の情報送受信部５´との間の無線通信等による通信状態を制御する。通信制御部８´は、センサ情報取得部７´が取得したセンサ情報を、マッチング用サーバ２´に送信させる。
マッチング用サーバ２´は、位置検出部１１´と、速度データ算出部１２´とを備える。位置検出部１１´は、カメラ３´からの画像情報に基づいて、ユーザの位置を検出する。この際、ユーザの位置に加えて、そのユーザを検出した画像の時刻も、ユーザの位置情報として取得する。速度データ算出部１２´は、ユーザの位置情報を用いて、ユーザの歩行速度を算出する。そして、速度データ算出部１２´は、ユーザの位置情報に基づくユーザの歩行速度に関する時系列データである速度データを、生成する。
また、マッチング用サーバ２´は、加速度検出部１３´と、加速度データの鉛直方向成分（ｚ成分）の標準編差を算出する標準偏差算出部１４´とを備える。加速度検出部１３´は、端末４´からのセンサ情報に基づいて、端末４´の加速度を検出する。この際、端末４´の加速度に加えて、検出した加速度になった時刻も、端末４´の加速度情報として取得する。標準偏差算出部１４´は、端末４´の加速度情報を用いて、ある一定時間の間の加速度データの鉛直方向成分の標準偏差データを算出する。なお、端末４´の加速度の鉛直方向成分の標準偏差とユーザの歩行速度との関係を、図２に一例を示す。
また、マッチング用サーバ２´は、マッチング処理部１５´を備える。マッチング処理部１５´は、ユーザの位置情報に基づくユーザの歩行速度を示す速度データ、および、端末４´の加速度データの鉛直方向成分の標準偏差データを用いて、マッチング処理を行う。この際、速度データ、および、加速度データの鉛直方向成分の標準偏差データについて、互いに対する相関値を算出する。そして、算出した相関値を用いて、カメラ画像上のユーザと端末４´との対応付けを行う。
Chen, Min and et al., "EMC: Emotion-aware mobile cloud computing in 5G," Proceedings of the IEEE Network, Vol.29, Issue 2, pp. 32-38, March, 24, 2015. Deokwoo Jung, Thiago Teixeira, Andreas Savvides and et al., "Towards cooperative localization of wearable sensors using accelerometers and cameras," Proceedings of the IEEE INFOCOM 2010, pp. 1-9, SanDiego, USA, March, 18, 2010.
ここで、図２等で示されるように、ユーザの歩行速度が１ｍ/ｓ以下の範囲では、端末の加速度の鉛直方向成分の標準偏差は、ユーザの歩行速度が変化しても、ほとんど変化しない。したがって、ユーザの歩行速度が遅い場合、非特許文献２に示すようなカメラ画像上でのユーザの歩行速度と端末の加速度の鉛直方向成分の標準偏差との相関値による対応付けでは、ユーザと端末との適切な対応付けを行い難くなる。特に、美術館および博物館などのユーザの歩行速度が遅いことが想定される場所では、ユーザと端末との対応付けをさらに行い難くなる。
本発明は、上記事情に着目してなされたものであり、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けが適切に行われる、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムを提供するものである。
上記目的を達成するために、本発明の第１態様は、情報処理装置を含むシステムが実行する、ユーザと前記ユーザの端末との対応付け方法であって、画像情報を取得することと、前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、取得した前記画像情報から、前記ユーザの手の位置情報を検出することと、検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、取得した前記センサ情報から、前記端末の加速度情報を検出することと、検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、を備える。
本発明の第２態様は、第１態様の対応付け方法であって、前記第１運動データを算出することは、前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出することと、を備え、前記第２運動データを算出することは、前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出することと、を備える。
本発明の第３態様は、第１態様または第２態様の対応付け方法であって、前記マッチング処理を行うことは、前記ユーザと前記端末とを一対一で対応付けるアルゴリズムを用いて、前記マッチング処理を行うことを備える。
本発明の第４態様は、画像情報を生成する撮影機器と、センサを備える端末と、前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、を備える、前記端末と前記端末のユーザとの対応付けシステムであって、前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、を備える。
本発明の第５態様は、第４態様の対応付けシステムであって、前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、前記加速度検出部、前記第２運動データ算出部、および、前記マッチング処理部を備える。
本発明の第６態様は、第４態様の対応付けシステムであって、前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、および、前記マッチング処理部を備え、前記端末が、前記加速度検出部、および、前記第２運動データ算出部を備える。
本発明の第７態様は、情報処理装置を含むシステムが実行する、端末の接続状態の管理方法であって、画像情報を取得することと、前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、取得した前記画像情報から、ユーザの手の位置情報を検出することと、検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、取得した前記センサ情報から、前記端末の加速度情報を検出することと、検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、前記マッチング処理の処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理することと、管理される前記マッチング情報を用いて、複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理することと、を備える。
本発明の第８態様は、画像情報を生成する撮影機器と、センサを備える端末と、前記端末を無線で接続可能な複数のアクセスポイントと、前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、を備える、前記端末の接続状態の管理システムであって、前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、前記マッチング処理部での処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理するマッチング情報管理ユニットと、前記マッチング情報管理ユニットで管理される前記マッチング情報を用いて、前記複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理する接続状態管理ユニットと、を備える。
本発明の第１態様乃至第８態様によれば、ユーザが手を上下動させる動作に基づいて、撮影機器の画像上のユーザと端末とが、対応付けられる。ユーザの手の上下動に基づいて対応付けが行われるため、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けを適切に行うことができる。したがって、第１態様乃至第８態様によって、ユーザの歩行速度が遅い場合、および、ユーザが静止している場合のそれぞれにおいても、ユーザと端末との対応付けが適切に行われる、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムを提供することができる。
本発明の第２態様では、前述のように第１運動データが算出されため、第１運動データにおいて、手が上昇している上昇時刻、および、手が下降している下降時刻が適切に算出される。同様に、第２態様では、前述のように第２運動データが算出されるため、第２運動データにおいて、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻が適切に算出される。
本発明の第３態様では、ユーザと端末とを一対一で対応付けるアルゴリズムを用いられるため、各ユーザは対応する端末に一対一で適切にマッチングされる。したがって、１つのユーザが複数の端末と対応付けられたり、１つの端末が複数のユーザと対応付けられたりすることが、有効に防止される。
本発明の第６態様では、情報処理装置において、第１運動データおよび第２運動データが適切に算出される。そして、情報処理装置は、適切に算出された第１運動データおよび第２運動データを用いて、ユーザと端末を適切にマッチングする。
本発明の第７態様では、情報処理装置において、第１運動データが適切に算出され、端末において、第２運動データが適切に算出される。そして、情報処理装置は、適切に算出された第１運動データおよび第２運動データを用いて、ユーザと端末とを適切にマッチングする。
本発明の第８態様および第９態様では、適切なマッチング情報を用いて、複数のアクセスポイント間で端末の接続先が切替られ、端末の接続先が制御および管理される。したがって、端末の接続先、すなわち、端末を複数のアクセスポイントのいずれに接続するかが、適切に管理される。
図１は、非特許文献２の対応付けシステムの構成を示すブロック図である。 図２は、端末の加速度の鉛直方向成分の標準偏差に対するユーザの歩行速度の関係について、一例を示す概略図である。 図３は、第１実施形態の対応付けシステムのシステムモデルを示す概略図である。 図４は、第１実施形態の対応付けシステムの構成を示すブロック図である。 図５は、第１実施形態の対応付けシステムで行われる処理を示すフローチャートである。 図６は、図５のＳ３，Ｓ４の処理で生成された、手の鉛直方向についての位置情報に関するデータの一例を示す概略図である。 図７は、第１実施形態で行われる手が上昇中であるか否かの判断の一例を説明する概略図である。 図８は、第１実施形態において算出される第１運動データの一例を示す概略図である。 図９は、図５のＳ１１の処理の一例を示す概略図である。 図１０は、第１実施形態で行われる端末が上昇中であるか否かの判断の一例を説明する概略図である。 図１１は、第１実施形態において算出される第２運動データの一例を示す概略図である。 図１２は、第１実施形態のある実施例で行われるゲーリーシャプレーアルゴリズムを適用したユーザと端末との対応付けについて説明する概略図である。 図１３は、第１実施形態のある変形例の対応付けシステムの構成を示すブロック図である。 図１４は、第２実施形態の端末の接続状態を管理する管理システムの構成を示すブロック図である。
以下、図面を参照しながら、本発明の実施形態について説明する。以下の実施形態では、カメラ画像上のユーザと端末（制御端末）との対応付け方法を提案する。この対応付け方法は、館内などの歩行速度が遅い場面においても、適用可能である。以下の対応付け方法では、端末の画面閲覧に伴って手が上下動する時刻を検出する。そして、手の上下動の時刻に関する検出結果に基づいて、対応付けを行う。
［第１実施形態］
以下、第１実施形態について説明する。図３は、本実施形態の対応付けシステム（通信システム）１のシステムモデルを示す。対応付けシステム１は、情報処理装置（マッチング処理ユニット）としてマッチング用サーバ２を備える。また、対応付けシステム１には、撮影機器であるカメラ３、および、ユーザＵの端末４が設けられる。マッチング用サーバ２は、カメラ３から情報を取得するとともに、端末４から情報を取得する。すなわち、情報処理装置であるマッチング用サーバ２は、カメラ３及び端末４に対して、情報交換が可能である。
マッチング用サーバ２は、カメラ３からの情報に基づいて、ユーザＵが端末４を上下させる動作、および、その上下動が行われた時刻を算出する。また、マッチング用サーバ２は、端末４からの情報に基づいても、ユーザＵが端末４を上下させる動作、および、その上下動が行われた時刻を算出する。そして、マッチング用サーバ２は、カメラ３からの情報に基づく上下動が行われた時刻の算出結果、および、端末４からの情報に基づく上下動が行われた時刻の算出結果を用いて、カメラ画像上のユーザＵと端末４との対応付けを行う。
図４は、本実施形態における対応付けシステム１の構成をブロック図で示す。本実施形態では、情報処理装置（対応付け装置）であるマッチング用サーバ２は、情報送受信部５を備える。情報送受信部５は、マッチング用サーバ２からの情報の送信、および、マッチング用サーバ２への情報の受信を行う。情報送受信部５は、有線または無線のインターフェースから形成される。また、本実施形態では、カメラ３としてＫｉｎｅｃｔ−ｖ２が用いられ、用いられる。カメラ３では、深度画像情報を生成し、生成した深度画像情報をマッチング用サーバ２に送信する。
端末４には、加速度センサ６が設けられる。また、端末４は、センサ情報取得部７と、通信制御部８とを備える。ここで、端末４は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、センサ情報取得部７および通信制御部８のそれぞれの機能が、実現される。センサ情報取得部７は、加速度センサ６での検知結果に関するセンサ情報を取得する。通信制御部８は、端末４とマッチング用サーバ２の情報送受信部５との間の無線通信等による通信状態を制御する。通信制御部８は、センサ情報取得部７が取得したセンサ情報を、マッチング用サーバ２に送信させる。
マッチング用サーバ２は、位置検出部１１と、第１運動データ算出部１２と、加速度検出部１３と、第２運動データ算出部１４と、マッチング処理部１５とを備える。ここで、マッチング用サーバ２は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、位置検出部１１、第１運動データ算出部１２、加速度検出部１３、第２運動データ算出部１４およびマッチング処理部１５のそれぞれの機能が、実現される。
位置検出部１１は、カメラ３からの深度画像情報に基づいて、ユーザＵの手の位置を検出する。この際、ユーザＵの手の位置に加えて、その手を検出した画像の時刻も、ユーザＵの手の位置情報として取得する。第１運動データ算出部１２は、ユーザＵの手の位置情報を用いて、ユーザＵの手の上下動に関する時刻情報を算出する。そして、第１運動データ算出部１２は、手の鉛直方向についての運動状態に関する時系列データである第１運動データを、生成する。第１運動データでは、ユーザＵの手の位置情報に基づくユーザＵの手の上下動に関する時刻情報が、示される。
加速度検出部１３は、端末４からのセンサ情報に基づいて、端末４の加速度を検出する。この際、端末４の加速度に加えて、検出した加速度になった時刻も、端末４の加速度情報として取得する。第２運動データ算出部１４は、端末４の加速度情報を用いて、端末４（ユーザＵの手）の上下動に関する時刻情報を算出する。そして、第２運動データ算出部１４は、端末４の鉛直方向についての運動状態に関する時系列データである第２運動データを、生成する。第２運動データでは、端末４の加速度情報に基づく端末４の上下動に関する時刻情報が、示される。
マッチング処理部１５は、第１運動データ算出部１２が算出したユーザＵの手の上下動に関する時刻情報、および、第２運動データ算出部１４が算出した端末４の上下動に関する時刻情報を用いて、マッチング処理を行う。すなわち、マッチング処理部１５は、ユーザＵの手の位置情報に基づく手の鉛直方向についての運動状態を示す第１運動データ、および、端末４の加速度情報に基づく端末４の鉛直方向についての運動状態を示す第２運動データを用いて、カメラ画像上のユーザＵと端末（通信端末）４との対応付けを行う。本実施形態では、ユーザＵの手の上下動に関する時刻情報、および、端末４の上下動に関する時刻情報に基づいてマッチング処理が行われるため、後述のように、歩行速度が遅い場合、および、停止中の場合のそれぞれでも、ユーザＵと端末４との対応付けが適切に行われる。
図５は、本実施形態の対応付けシステム１で行われる処理を示す。対応付けシステム１では、Ｓ１において、撮影機器であるカメラ３が、館内などの画像を取得する。この際、カメラ３は、画像として、深度画像を取得する。また、Ｓ２において、カメラ３は、Ｓ１で深度画像を取得した時点の時刻、すなわち、画像を撮影した時点の時刻を取得する。そして、カメラ３は、Ｓ１で取得した深度画像、および、Ｓ２で取得した時刻を含む深度画像情報を生成する。そして、カメラ３は、生成した深度画像情報を、マッチング用サーバ２に送信する。
そして、Ｓ３で、マッチング用サーバ２の位置検出部１１は、深度画像情報からユーザＵの手の位置を検出する。この際、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔのライブラリを用いて、深度画像からユーザ（人）Ｕの手の位置を抽出し、ユーザＵの手の高さについてのデータを算出する。また、この際、位置検出部１１は、手を抽出した画像を取得した時刻、すなわち、手を抽出した画像が撮影された時刻も、取得する。これにより、ユーザＵの手の位置、および、その手を抽出した画像を取得した時刻を含む、ユーザＵの手の位置情報が生成される。
ここで、画像が撮影されたタイミングが一定でないため、手の位置情報を示すデータでは、互いに対して隣り合うデータ点間の時間間隔が一定でない。このため、Ｓ４において、第１運動データ算出部１２は、手の位置情報を示すデータのテータ点間を線形補間する。線形補間が行われることにより、手の位置情報を示すデータにおいて、互いに対して隣り合うデータ点間のある時点における手の位置も、算出可能になる。そして、第１運動データ算出部１２は、線形補間の結果を用いて、観察開始から観察終了まで一定のサンプリング間隔Ｔでサンプリングされたデータに変換する。これにより、手の位置情報について、一定のサンプリング間隔Ｔでサンプリングされたデータが生成される。
図６は、Ｓ３，Ｓ４の処理で生成された、手の鉛直方向についての位置情報に関するデータの一例を示す。手の位置情報を示すデータでは、鉛直方向についての手の位置（高さ）の経時的な変化が示される。図６の一例では、範囲ΔＴ１において、手が上昇中であり、範囲ΔＴ２において、手が下降中である。
そして、図５に示すように、Ｓ５において、第１運動データ算出部１２は、手の位置情報についてサンプリングされたデータから、手の鉛直方向についての速度ｖを示すデータを算出する。この際、鉛直方向についての手の位置を時間微分することにより、手の鉛直方向についての速度データが算出される。例えば、サンプリングされたデータにおいてデータ点（ｔ１，ｈ１）とそのテータ点（ｔ１，ｈ１）の１つ後のデータ点（ｔ２，ｈ２）との間での手の鉛直方向についての速度ｖ１→２は、式（１）のようにして算出される。
そして、Ｓ６において、第１運動データ算出部１２は、手の鉛直方向についての速度データから、手の鉛直方向についての運動状態に関する第１運動データを算出する。第１運動データでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、ユーザＵの手が、上昇中、下降中、および、上下の変化なしの３つの状態のいずれであるかが、示される。したがって、第１運動データでは、手が上昇している上昇時刻、および、手が下降している下降時刻を示すデータである。
ここで、鉛直方向についての手の速度ｖに関して、上側を正とし、下側を負とする。手を上昇させる動作では、鉛直方向についての手の速度ｖは正になり、０から離れた値になる。一方、手を下降させる動作では、鉛直方向についての手の速度ｖは負になり、０から離れた値になる。前述のような特徴を利用して、第１運動データ算出部１２は、それぞれの時点（データ点）において、ユーザＵの手が、上昇中、下降中、および、上下の変化なしのいずれであるかを、判断する。
また、第１運動データでは、各データ点において、手の運動状態を示すパラメータが設定される。すなわち、第１運動データでは、手の運動状態を示すパラメータの経時的な変化が示される。手が上昇中であると判断されたデータ点では、パラメータは、１に設定され、手が下降中であると判断されたデータ点では、パラメータは、−１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは、０に設定される。
まず、手が上昇中であるか否かの判断について、説明する。手が上昇中であるか否かの判断では、第１運動データ算出部１２は、鉛直方向の速度ｖに関して、２つの閾値β＋，γ＋を正の閾値として設定する。ここで、閾値β＋，γ＋は、０より大きく、閾値（第１閾値）β＋は、閾値（第２閾値）γ＋より大きい。すなわち、閾値β＋の絶対値は、閾値γ＋の絶対値より大きく、０＜γ＋＜β＋の関係が成立する。なお、ある一例では、閾値β＋は１ｍ/ｓであり、閾値γ＋は０．１ｍ/ｓである。
手が上昇中であるか否かの判断では、第１運動データ算出部１２は、速度データのデータ点の中で、速度ｖが閾値β＋以上になるデータ点を検出する。そして、第１運動データ算出部１２は、速度ｖが閾値β＋以上になるデータ点およびそのデータ点の前後において、経時的に継続して速度ｖが閾値γ＋以上になる範囲を、検出する。そして、第１運動データ算出部１２は、速度ｖが経時的に継続して閾値γ＋以上になる範囲として検出した範囲では、手が上昇中であると判断する。また、第１運動データ算出部１２は、前述の検出した範囲内で一番早い時刻のデータ点を手の上昇開始時刻とし、前述の検出した範囲内で一番遅い時刻のデータ点を手の上昇終了時刻とする。
図７は、手が上昇中であるか否かの判断の一例を説明する。図７の一例では、手の鉛直方向についての速度データが示される。図７の一例では、例えばデータ点Ｄ１が、速度ｖが閾値β＋以上になるデータ点として検出される。そして、データ点Ｄ１およびデータ点Ｄ１の前後において経時的に継続して速度ｖが閾値γ＋以上になる範囲として、範囲ΔＴ３が検出される。そして、範囲ΔＴ３では、手が上昇中であると判断される。また、範囲ΔＴ３内で一番早い時刻のデータ点Ｄ２が手の上昇開始時刻とされ、範囲ΔＴ３内で一番遅い時刻のデータ点Ｄ３が手の上昇終了時刻とされる。
次に、手が下降中であるか否かの判断について、説明する。手が下降中であるか否かの判断では、第１運動データ算出部１２は、鉛直方向の速度ｖに関して、２つの閾値β―，γ―を負の閾値として設定する。ここで、閾値β−，γ−は、０より小さく、閾値（第１閾値）β−は、閾値（第２閾値）γ−より小さい。すなわち、閾値β−の絶対値は、閾値γ−の絶対値より大きく、０＞γ−＞β−の関係が成立する。なお、ある一例では、閾値β−は−１ｍ/ｓであり、閾値γ―は−０．１ｍ/ｓである。
手が下降中であるか否かの判断では、第１運動データ算出部１２は、速度データのデータ点の中で、速度ｖが閾値β−以下になるデータ点を検出する。そして、第１運動データ算出部１２は、速度ｖが閾値β−以下になるデータ点およびそのデータ点の前後において、経時的に継続して速度ｖが閾値γ−以下になる範囲を、検出する。そして、第１運動データ算出部１２は、速度ｖが経時的に継続して閾値γ−以下になる範囲として検出した範囲では、手が下降中であると判断する。また、第１運動データ算出部１２は、前述の検出した範囲内で一番早い時刻のデータ点を手の下降開始時刻とし、前述の検出した範囲内で一番遅い時刻のデータ点を手の下降終了時刻とする。
また、第１運動データ算出部１２は、手が上昇中と判断した範囲、および、手が下降中と判断した範囲のいずれにも該当しない範囲では、手の上下の変化なしと判断する。
図８は、第１運動データの一例を示す。図８の一例の第１運動データでは、範囲ΔＴ４において、手が上昇中であると判断され、手の運動状態を示すパラメータが１に設定される。そして、範囲ΔＴ５において、手が下降中であると判断され、手の運動状態を示すパラメータが−１に設定される。そして、範囲ΔＴ４，ΔＴ５のいずれにも該当しない範囲では、手の上下の変化なしと判断され、手の運動状態を示すパラメータが０に設定される。
なお、前述の一例では、手の上昇中の速度について２つの閾値β＋，γ＋が設定され、手の下降中の速度について２つの閾値β−，γ−が設定されるが、これに限るものではない。手の上昇中の速度については、１つの閾値が設定されてもよく、３つ以上の閾値が設定されてもよい。同様に、手の下降中の速度についても、１つの閾値が設定されてもよく、３つ以上の閾値が設定されてもよい。速度についての閾値の数が増加することにより、手の運動状態を示すパラメータの数を増加させることも可能になる。
例えば、ある一例では、手の上昇中の速度について３つの閾値β＋，γ＋，ε＋が設定される。そして、上昇中の速度についての３つの閾値β＋，γ＋，ε＋に基づいて、第１の運動データ算出部１２は、ユーザＵの手が、上下の変化なし、比較的遅い速度で上昇中、および、比較的速い速度で上昇中のいずれであるかを、判断する。この場合、手の運動状態を示すパラメータは、手が比較的速い速度で上昇中と判断されたデータ点では２に設定され、手が比較的遅い速度で上昇中と判断されたデータ点では１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。
また、この一例では、手の下降中の速度について３つの閾値β−，γ−，ε−が設定される。そして、下降中の速度についての３つの閾値β−，γ−，ε−に基づいて、第１の運動データ算出部１２は、ユーザＵの手が、上下の変化なし、比較的遅い速度で下降中、および、比較的速い速度で下降中のいずれであるかを、判断する。この場合、手の運動状態を示すパラメータは、手が比較的速い速度で下降中と判断されたデータ点では−２に設定され、手が比較的遅い速度で下降中と判断されたデータ点では−１に設定される。そして、手の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。
また、図５に示すように、対応付けシステム１では、Ｓ７において、端末４のセンサ情報取得部７が、加速度センサ６での検知結果を取得する。また、Ｓ８において、センサ情報取得部７は、加速度センサ６が検知を行った時点の時刻を取得する。そして、端末４は、Ｓ７で取得した検知結果、および、Ｓ８で取得した時刻を含むセンサ情報を生成する。そして、端末４の通信制御部８は、生成したセンサ情報を、マッチング用サーバ２に送信させる。
そして、Ｓ９で、マッチング用サーバ２の加速度検出部１３は、センサ情報から端末４の鉛直方向の加速度ａを検出する。加速度検出部１３は、端末４が検出した加速度ａになった時刻も、取得する。これにより、端末４の鉛直方向の加速度ａ、および、端末４がその加速度ａになった時刻を含む、端末４の鉛直方向の加速度情報が生成される。
ここで、加速度センサ６が検知を行うタイミングが一定でないため、端末４の加速度情報を示すデータでは、互いに対して隣り合うデータ点間の時間間隔が一定でない。このため、Ｓ１０において、第２運動データ算出部１４は、端末４の鉛直方向の加速度情報を示すデータのテータ点間を線形補間する。線形補間が行われることにより、端末４の加速度情報を示すデータにおいて、互いに対して隣り合うデータ点間のある時点における端末４の鉛直方向の加速度ａも、算出可能になる。そして、第２運動データ算出部１４は、線形補間の結果を用いて、観察開始から観察終了まで一定のサンプリング間隔Ｔでサンプリングされたデータに変換する。これにより、端末４の鉛直方向の加速度情報について、一定のサンプリング間隔Ｔでサンプリングされたデータが生成される。なお、Ｓ１０では、Ｓ４と同一のサンプリング間隔Ｔでサンプリングが行われる。
そして、Ｓ１１において、第２運動データ算出部１４は、端末４の加速度情報についてサンプリングされたデータから、端末４に作用する力の方向に関するデータを算出する。端末４に作用する力の方向に関するデータでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、端末４に力が、上方向に作用している、下方向に作用している、および、作用していないまたはほとんど作用していない、の３つの状態のいずれであるかが、示される。
端末４に作用する力の方向に関するデータでは、各データ点において、力の方向を示すパラメータが設定される。すなわち、力の方向に関するデータでは、力の方向を示すパラメータの経時的な変化が示される。力が上方向に作用していると判断されたデータ点では、パラメータは、１に設定され、力が下方向にしていると判断されたデータ点では、パラメータは、−１に設定される。そして、力が作用していないまたはほとんど作用していないと判断されたデータ点では、パラメータは、０に設定される。
ここで、鉛直方向についての端末４の加速度ａに関して、上側を正とし、下側を負とする。端末４に作用する力の方向に関するデータの算出においては、第２運動データ算出部１４は、鉛直方向の加速度ａに関して、２つの閾値θ，φを設定する。閾値θは、閾値φより大きく、φ＜θの関係が成立する。ある実施例では、鉛直方向の加速度ａとして、加速度センサでの検知された鉛直方向の加速度から重力加速度（９．８ｍ／ｓ２）を減算した値が、用いられる。そして、閾値θは、０より大きく、閾値φは、０より小さい。このため、φ＜０＜θの関係が成立する。この場合、例えば、閾値θは、２ｍ/ｓ２であり、閾値φは−２ｍ/ｓ２である。また、別のある実施例では、鉛直方向の加速度ａの算出において、重量加速度の減算等が行われず、加速度ａとして、加速度センサでの検知された鉛直方向の加速度が、そのまま用いられる。そして、閾値θは、重力加速度より大きく、閾値φは、重力加速度より小さい。このため、φ＜９．８＜θの関係が成立する。
力の方向に関するデータの算出では、第２運動データ算出部１４は、加速度ａが閾値θより大きいデータ点、すなわち、ａ＞θになるデータ点において、端末４に力が上方向に作用していると、判断する。また、第２運動データ算出部１４は、加速度ａが閾値φより小さいデータ点、すなわち、φ＞ａになるデータ点において、端末４に力が下方向に作用していると、判断する。そして、第２運動データ算出部１４は、加速度ａが閾値φ以上閾値θ以下になるデータ点、すなわち、φ≦ａ≦θになるデータ点において、端末４に力が作用していないまたはほとんど作用していないと、判断する。
図９は、Ｓ１１の処理の一例を示す。図９の一例では、Ｓ１１において、端末４の鉛直方向についての加速度ａを示すデータＢ１が、端末４に作用する力の方向を示すデータＢ２に変換される。そして、図９の一例では、範囲ΔＴ６，ΔＴ９において、端末４に上方向の力が作用していると、判断される。このため、データＢ２では、範囲ΔＴ６，ΔＴ９において、作用する力の方向を示すパラメータが１に設定される。また、範囲ΔＴ７，ΔＴ８において、端末４に下方向の力が作用していると、判断される。このため、データＢ２では、範囲ΔＴ７，ΔＴ８において、作用する力の方向を示すパラメータが−１に設定される。そして、範囲ΔＴ６〜ΔＴ９のいずれにも該当しない範囲では、端末４に鉛直方向の力が作用していないまたはほとんど作用していないと、判断される。このため、データＢ２では、範囲ΔＴ６〜ΔＴ９のいずれにも該当しない範囲において、作用する力の方向を示すパラメータが０に設定される。
なお、前述の一例では、加速度ａについて２つの閾値θ，φが設定されるが、これに限るものではない。例えば、加速度ａについては、３つ以上の閾値が設定されてもよい。加速度ａについての閾値の数が増加することにより、端末４に作用する力に関するパラメータの数を増加させることも可能になる。
ある一例では、加速度ａについての閾値が３つ以上設定される。そして、第２運動データ算出部１４は、端末４に上方向に作用していると判断した場合に、端末４への上方向への大きさを判断する。そして、端末４に作用する力に関するパラメータは、端末４への上方向の力が比較的大きいと判断されたデータ点では２に設定され、端末４への上方向の力が比較的小さいと判断されたデータ点では１に設定される。
また、この一例では、第２運動データ算出部１４は、端末４に下方向に作用していると判断した場合に、端末４への下方向への大きさを判断する。そして、端末４に作用する力に関するパラメータは、端末４への下方向の力が比較的大きいと判断されたデータ点では−２に設定され、端末４への下方向の力が比較的小さいと判断されたデータ点では−１に設定される。本一例でも、端末４に力が作用しないまたはほとんど作用しないと判断されたデータ点では、パラメータは０に設定される。
そして、図５に示すように、Ｓ１２において、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータを用いて、端末４の鉛直方向についての運動状態に関する第２運動データを算出する。第２運動データでは、観察開始から観察終了までの間のデータ点のそれぞれにおいて、端末４が、上昇中、下降中、および、上下の変化なしの３つの状態のいずれであるかが、示される。したがって、第２運動データは、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻を示すデータである。
端末４（手）を上昇させる動作では、上昇開始時およびその直後において、端末４に上方向への力が作用する。そして、上昇終了時およびその直前において、端末４に下方向への力が作用する。このため、端末４の上昇中は、端末４に作用する力が上方向から下方向へ変化する。一方、端末４（手）を下降させる動作では、下降開始時およびその直後において、端末４に下方向への力が作用する。そして、下降終了時およびその直前において、端末４に上方向への力が作用する。このため、端末４の下降中は、端末４に作用する力が下方向から上方向へ変化する。前述のような特徴を利用して、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータに基づいて、それぞれの時点（データ点）において、端末４が、上昇中、下降中、および、上下の変化なしのいずれであるかを、判断する。
また、第２運動データでは、各データ点において、端末４の運動状態を示すパラメータが設定される。すなわち、第２運動データでは、端末４の運動状態を示すパラメータの経時的な変化が示される。端末４が上昇中であると判断されたデータ点では、パラメータは１に設定され、端末４が下降中であると判断されたデータ点では、パラメータは−１に設定される。そして、端末４の上下の変化なしと判断されたデータ点では、パラメータは０に設定される。
以下、第２運動データの算出について詳細に説明する。なお、以下の説明では、加速度ａについての２つの閾値θ，φに基づいて端末４に作用する力の方向に関する前述のデータが算出された場合について、説明する。
まず、端末４が上昇中であるか否かの判断について、説明する。端末４が上昇中であるか否かの判断では、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータから、次の２つの条件を満たす基準データ点（第１基準データ点）を検出する。１つ目の条件として、基準データ点において力が下方向に作用していることが、必要になる。また、２つ目の条件は、基準データ点に対して１つ前のデータ点以前で、かつ、ｐ個前のデータ点以後のデータ点、すなわち、基準データ点の直前のｐ個のデータ点に基づいて、設定される。そして、２つ目の条件として、基準データ点の直前のｐ個のデータ点の中で、ｑ個以上のデータ点で力が上方向に作用していることが、必要になる。ここで、ｐ＞ｑである。
そして、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点の直前において、経時的に継続して力が上方向に作用している範囲を検出する。経時的に継続して力が上方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が上方向に作用し、力の方向を示すパラメータが１である。そして、第２運動データ算出部１４は、継続して力が上方向に作用している範囲として検出した範囲内の中で、一番早い時刻のデータ点を、端末４の上昇開始時刻とする。
また、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点およびその直後において、経時的に継続して力が下方向に作用している範囲を検出する。経時的に継続して力が下方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が下方向に作用していると判断され、力の方向を示すパラメータが−１である。そして、第２運動データ算出部１４は、継続して力が下方向に作用している範囲として検出した範囲内の中で、一番遅い時刻のデータ点を、端末４の上昇終了時刻とする。
そして、第２運動データ算出部１４は、端末４の上昇開始時刻と判断したデータ点以後で、かつ、端末４の上昇終了時刻と判断したデータ点以前の範囲において、端末４が上昇中と判断する。このため、端末４の上昇開始時刻と判断したデータ点以後で、かつ、端末４の上昇終了時刻と判断したデータ点以前の範囲では、全てのデータ点において、端末４が上昇中と判断され、端末４の運動状態を示すパラメータが１である。
図１０は、端末４が上昇中であるか否かの判断の一例を説明する。図１０の一例では、端末４に作用する力の方向に関するデータが示される。また、図１０の一例では、前述のｐが７であり、前述のｑが３に設定される。図１０の一例では、例えば、端末４に作用する力の方向を示すデータにおいて、データ点Ｄ１１が、基準データ点として検出される。データ点Ｄ１１では、端末４に力が下方向に作用している。そして、データ点Ｄ１１の直前の７個のデータ点Ｄ４〜Ｄ１０の中、すなわち、範囲ΔＴ１０内では、データ点Ｄ５〜Ｄ９で、端末４に力が上方向に作用している。すなわち、データ点（基準データ点）Ｄ１１の直前の７個のデータ点Ｄ４〜Ｄ１０の中で、３個以上（５個）のデータ点Ｄ５〜Ｄ９で、力が上方向に作用している。
また、図１０の一例では、データ点Ｄ１１の直前において、データ点Ｄ５以後データ点Ｄ９以前の範囲ΔＴ１１内で、力が経時的に継続して上方向に作用している。このため、データ点Ｄ５が、端末４の上昇開始時刻と判断される。そして、図１０の一例では、データ点（基準データ点）Ｄ１１およびその直後において、データ点Ｄ１１〜Ｄ１５で、力が下方向に作用している。すなわち、データ点Ｄ１１以後データ点Ｄ１５以前の範囲ΔＴ１２内で、力が経時的に継続して下方向に作用している。このため、データ点Ｄ１５が、端末４の上昇終了時刻と判断される。そして、端末４の上昇開始時刻と判断されたデータ点Ｄ５以後で、かつ、端末４の上昇終了時刻と判断したデータ点Ｄ１５以前の範囲ΔＴ１３で、端末４が上昇中と判断される。
次に、端末４が下降中であるか否かの判断について、説明する。端末４が下降中であるか否かの判断では、第２運動データ算出部１４は、端末４に作用する力の方向に関するデータから、次の２つの条件を満たす基準データ点（第２基準データ点）を検出する。１つ目の条件として、基準データ点において力が上方向に作用していることが、必要になる。また、２つ目の条件は、基準データ点に対して１つ前のデータ点以前で、かつ、ｋ個前のデータ点以後のデータ点、すなわち、基準データ点の直前のｋ個のデータ点に基づいて、設定される。そして、２つ目の条件として、基準データ点の直前のｋ個のデータ点の中で、ｌ個以上のデータ点で力が下方向に作用していることが、必要になる。ここで、ｋ＞ｌである。ｋは、前述のｐに対して、同一の値であってもよく、異なる値であってもよい。同様に、ｌは、前述のｑに対して、同一の値であってもよく、異なる値であってもよい。
そして、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点の直前において、経時的に継続して力が下方向に作用している範囲を検出する。経時的に継続して力が下方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が下方向に作用し、力の方向を示すパラメータが−１である。そして、第２運動データ算出部１４は、継続して力が下方向に作用している範囲として検出した範囲内の中で、一番早い時刻のデータ点を、端末４の下降開始時刻とする。
また、第２運動データ算出部１４は、前述の条件を満たす基準データ点を検出すると、検出した基準データ点およびその直後において、経時的に継続して力が上方向に作用している範囲を検出する。経時的に継続して力が上方向に作用している範囲として検出した範囲内では、全てのデータ点において、力が上方向に作用していると判断され、力の方向を示すパラメータが１である。そして、第２運動データ算出部１４は、継続して力が上方向に作用している範囲として検出した範囲内の中で、一番遅い時刻のデータ点を、端末４の下降終了時刻とする。
そして、第２運動データ算出部１４は、端末４の下降開始時刻と判断したデータ点以後で、かつ、端末４の下降終了時刻と判断したデータ点以前の範囲において、端末４が下降中と判断する。このため、端末４の下降開始時刻と判断したデータ点以後で、かつ、端末４の下降終了時刻と判断したデータ点以前の範囲では、全てのデータ点において、端末４が下降中と判断され、端末４の運動状態を示すパラメータが−１である。
また、第２運動データ算出部１４は、端末４が上昇中と判断した範囲、および、端末４が下降中と判断した範囲のいずれにも該当しない範囲では、端末４の上下の変化なしと判断する。
図１１は、第２運動データの一例を示す。図１１の一例の第２運動データでは、範囲ΔＴ１４において、端末４が上昇中であると判断され、端末４の運動状態を示すパラメータが１に設定される。そして、範囲ΔＴ１５において、端末４が下降中であると判断され、端末４の運動状態を示すパラメータが−１に設定される。そして、範囲ΔＴ１４，ΔＴ１５のいずれにも該当しない範囲では、端末４の上下の変化なしと判断され、手の運動状態を示すパラメータが０に設定される。
また、図９の一例の端末４に作用する力の方向を示すデータＢ２を、第２の運動データに変換する場合を考える。データＢ２の第２の運動データへの変換では、範囲ΔＴ１６において、端末４が上昇中と判断され、端末４の運動状態を示すパラメータが１に設定される。範囲ΔＴ１６には、前述の範囲ΔＴ６，ΔＴ７が含まれる。また、データＢ２の第２の運動データへの変換では、範囲ΔＴ１７において、端末４が下降中と判断され、端末４の運動状態を示すパラメータが−１に設定される。範囲ΔＴ１７には、前述の範囲ΔＴ８，ΔＴ９が含まれる。また、データＢ２の第２の運動データへの変換では、範囲ΔＴ１６，ΔＴ１７のいずれにも該当しない範囲において、端末４の上下の変化なしと判断され、端末４の運動状態を示すパラメータが０に設定される。
また、図５に示すように、対応付けシステム１では、Ｓ１３において、マッチング処理部１５は、Ｓ６で算出されたユーザＵの手の第１運動データとＳ１２で算出された端末４の第２運動データとの相関値ｒを、算出する。例えば、カメラ３の撮影範囲に複数のユーザＵが存在し、ユーザＵのそれぞれが１つの端末４を所有するものとする。そして、Ｓ６で、全てのユーザＵのそれぞれについて、手の運動状態に関する第１運動データが算出され、Ｓ１２で、全てのユーザの端末４のそれぞれについて、端末４の運動状態に関する第２運動データが算出されるものとする。この場合、Ｓ１３では、各第１運動データに関して、全ての第２運動データのそれぞれに対する相関値ｒが、算出される。すなわち、各第２運動データに関して、全ての第１運動データのそれぞれに対する相関値ｒが、算出される。
以下、相関値ｒの算出について詳細に説明する。なお、以下の説明では、加速度ａについての２つの閾値θ，φに基づいて端末４に作用する力の方向に関する前述のデータが算出された場合について、説明する。この場合、相関値ｒは、以下の式（２）を用いて算出される。
式（２）では、第１運動データ及び第２運動データのそれぞれにおいて、１〜ｎのｎ個のデータ点が存在する。そして、ｘｉは、第１運動データの各データ点での手の運動状態を示すパラメータであり、−１，０，１のいずれかの値である。同様に、ｙｉは、第２運動データの各データ点での端末４の運動状態を示すパラメータであり、−１，０，１のいずれかの値である。そして、ｘａｖは、第１運動データの全てのデータ点での手の運動状態を示すパラメータの平均値であり、ｙａｖは、第２運動データの全てのデータ点での端末４の運動状態を示すパラメータの平均値である。
なお、式（２）で示される相関値ｒの算出では、第１運動データの全てのデータ点の標準偏差を算出するとともに、第２運動データの全てのデータ点の標準偏差を算出する。また、第１運動データと第２運動データとの共分散を算出する。そして、第１運動データと第２運動データとの共分散を第１運動データの標準偏差と第２運動データの標準偏差との積で除算することにより、相関値ｒが算出される。
そして、Ｓ１４において、マッチング処理部１５は、算出された相関値ｒに基づいて、ユーザＵと端末４とを対応付ける。ある実施例では、各端末４について、相関値ｒが最も高いカメラ３上のユーザＵと対応付ける。別のある実施例では、各ユーザＵについて、相関値ｒが最も高い端末４と対応付ける。
また、マッチング処理は、ユーザＵと端末４とを一対一で対応付けるアルゴリズムを用いて、行われることが好ましい。この場合、例えば、マッチング処理を安定結婚問題とみなして、ゲーリーシャプレーアルゴリズムを適用して、ユーザＵと端末４とを一対一で対応付ける。ゲーリーシャプレーアルゴリズムを適用した対応付け方法については、参照文献１（久保幹雄・田村明久・松井友己編 (2012) 『応用数理計画ハンドブック』朝倉書店）等に詳細に示される。
図１２では、ゲーリーシャプレーアルゴリズムを適用したユーザＵと端末４との対応付けについて説明する。図１２の一例では、ユーザＵａ〜Ｕｅのそれぞれについて、端末４ａ〜４ｅのそれぞれに対する相関値ｒが示される。例えば、端末４ａの第２運動データは、ユーザＵａの第１運動データに対して相関値ｒが０．８２４３、ユーザＵｂの第１運動データに対して相関値ｒが０．１２３４、ユーザＵｃの第１運動データに対して相関値ｒが０．２０８７、ユーザＵｄの第１運動データに対して相関値ｒが０．０１４９、ユーザＵｅの第１運動データに対して相関値ｒが０．２１０８となる。
ここで、図１２の一例において、いずれの端末４ａ〜４ｅもユーザＵａ〜Ｕｅとマッチングされていない状態で、端末４ａをユーザＵａ〜Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ａは、ユーザＵａ〜Ｕｅの中で相関値ｒが最も高いユーザＵａとマッチングされる。
また、端末４ｂがユーザＵｂと既にマッチングされた状態で、端末４ｄをユーザＵａ〜Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ｄは、ユーザＵａ〜Ｕｅの中で相関値ｒが最も高いユーザＵｂにマッチングの要求をする。ただし、ユーザＵｂは、端末４ｂと既にマッチングされている。このため、端末４ｂのユーザＵｂに対する相関値ｒと端末４ｄのユーザＵｂに対する相関値ｒとを、比較する。図１２の一例では、端末４ｄのユーザＵｂに対する相関値ｒは、端末４ｂのユーザＵｂに対する相関値ｒに比べて、低い。このため、端末４ｂとユーザＵｂとのマッチングが維持される。また、端末４ｄのユーザＵｂへのマッチング要求は、拒絶され、端末４ｄは、ユーザＵｂとマッチングされない。そして、端末４ｄは、ユーザＵａ〜Ｕｅの中で相関値ｒがユーザＵｂの次に高いユーザＵｄにマッチングの要求をする。これにより、端末４ｄは、ユーザＵｄとマッチングされる。
また、端末４ｄがユーザＵｂと既にマッチングされた状態で、端末４ｂをユーザＵａ〜Ｕｅのいずれか１つとマッチングする場合を考える。この場合、端末４ｂは、ユーザＵａ〜Ｕｅの中で相関値ｒが最も高いユーザＵｂにマッチングの要求をする。ただし、ユーザＵｂは、端末４ｄと既にマッチングされている。このため、端末４ｂのユーザＵｂに対する相関値ｒと端末４ｄのユーザＵｂに対する相関値ｒとを、比較する。図１２の一例では、端末４ｂのユーザＵｂに対する相関値ｒは、端末４ｄのユーザＵｂに対する相関値ｒに比べて、高い。このため、端末４ｄとユーザＵｂとのマッチングが解消される。また、端末４ｂのユーザＵｂへのマッチング要求は、許可され、端末４ｂは、ユーザＵｂとマッチングされる。そして、マッチングが解消された端末４ｄは、ユーザＵａ〜Ｕｅの中で相関値ｒがユーザＵｂの次に高いユーザＵｄにマッチングの要求をする。これにより、端末４ｄは、ユーザＵｄとマッチングされる。
前述のようにゲーリーシャプレーアルゴリズムを適用した対応付けが行われることにより、ユーザＵａと端末４ａとが一対一で対応付けられ、ユーザＵｂと端末４ｂとが一対一で対応付けられる。そして、ユーザＵｃと端末４ｃとが一対一で対応付けられ、ユーザＵｄと端末４ｄとが一対一で対応付けられ、ユーザＵｅと端末４ｅとが一対一で対応付けられる。したがって、ユーザＵａ〜Ｕｅのそれぞれは、対応する端末（４ａ〜４ｅの対応する１つ）と一対一で対応付けられる。なお、図１２では、一対一に対応付けられるユーザＵと端末４との相関値ｒを、強調して示す。
前述のような処理が行われることにより、本実施形態では、ユーザＵが手を上下動させる動作に基づいて、カメラ３の画像上のユーザＵと端末（制御端末）４とが、対応付けられる。ユーザＵの手の上下動に基づいて対応付けが行われるため、ユーザＵの歩行速度が遅い場合、および、ユーザＵが静止している場合のそれぞれにおいても、ユーザＵと端末との対応付けを適切に行うことができる。
また、本実施形態では、手の鉛直方向についての位置を時間微分することにより、手の鉛直方向についての速度データが算出される。そして、算出された速度データに基づいて、手の上下動、すなわち、手の鉛直方向についての運動状態に関する第１運動データが算出される。前述のように第１運動データが算出されるため、第１運動データでは、手が上昇している上昇時刻、および、手が下降している下降時刻が適切に算出される。
また、本実施形態では、端末４の鉛直方向についての加速度ａに基づいて、端末４に作用する力の方向を示すデータが、算出される。そして、算出された力の方向を示すデータに基づいて、端末４の鉛直方向についての運動状態に関する第２運動データが算出される。前述のように第２運動データが算出されるため、第２運動データでは、端末４が上昇している上昇時刻、および、端末４が下降している下降時刻が適切に算出される。
また、本実施形態では、第１運動データ及び第２運動データに基づくユーザＵと端末４との対応付けにおいて、ユーザＵと端末４とを一対一で対応付けるアルゴリズムを用いられる。このため、各ユーザＵは対応する端末４に一対一で適切にマッチングされる。したがって、１つのユーザＵが複数の端末４と対応付けられたり、１つの端末４が複数のユーザＵと対応付けられたりすることが、有効に防止される。
［第１実施形態の変形例］
なお、前述の第１実施形態では、位置検出部１１、第１運動データ算出部１２、加速度検出部１３、第２運動データ算出部１４およびマッチング処理部１５での前述の処理は、マッチング用サーバ２のプロセッサなどによって行われるが、これに限るものではない。例えば、図１３に示す第１の実施形態のある変形例では、端末４に、加速度検出部１３および第２運動データ算出部１４が設けられる。すなわち、加速度検出部１３および第２運動データ算出部１４での前述した処理は、端末４のプロセッサなどによって行われる。
本変形例では、端末４において、第２運動データが算出される。そして、算出された第２運動データは、無線通信などによって、端末４からマッチング用サーバ（マッチング処理ユニット）２に送信される。なお、本変形例でも、位置検出部１１、第１運動データ算出部１２およびマッチング処理部１５での処理は、マッチング用サーバ２によって行われる。したがって、マッチング処理部１５は、第１運動データ算出部１２で算出された第１運動データ、および、端末４から送信された第２運動データを用いて、マッチング処理を行う。
［第２実施形態］
以下、第２実施形態として、第１実施形態と同様の対応付けシステム１の適用例について説明する。図１４は、端末４の接続状態を管理する管理システム１０を示す。管理システム１０では、対応付けシステム１が適用され、管理システム１０は、マッチング用サーバ２、カメラ３および端末４を備える。マッチング用サーバ２、カメラ３および端末４では、第１実施形態と同様の処理が行われる。
また、管理システム１０は、複数のアクセスポイント（ＡＰ）Ａ１〜Ａｋと、マッチング情報管理サーバ（マッチング情報管理ユニット）２０と、接続状態管理サーバ（接続状態管理ユニット）３０とを備える。本実施形態では、マッチング用サーバ２、マッチング情報管理サーバ２０および接続状態管理サーバ３０によって、情報処理装置が構成される。端末４は、アクセスポイントＡ１〜Ａｋの中から接続先となる１つに、無線通信によって、接続される。ここで、アクセスポイントＡ１〜Ａｋの１つであるアクセスポイントＡαが端末４の接続先となる場合を考える。この場合、前述のセンサ情報などの情報が、端末４からアクセスポイントＡαに送信される。そして、センサ情報は、端末４からの情報を受けたアクセスポイントＡαを介して、マッチング用サーバ２に送信される。マッチング用サーバ２は、アクセスポイントＡαを介して送信されたセンサ情報を用いて、第１実施形態などと同様の処理を行う。
マッチング情報管理サーバ２０は、マッチング情報登録部２１、マッチング情報読取部２２およびマッチング情報管理データベース（ＤＢ）２３を備える。ここで、マッチング情報管理サーバ２０は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、マッチング情報登録部２１およびマッチング情報読取部２２のそれぞれの機能が、実現される。
マッチング情報管理サーバ２０のマッチング情報登録部２１は、マッチング処理部１５からマッチング処理の処理結果を受取る。すなわち、マッチング処理部１５は、マッチング情報管理サーバ２０に、ユーザＵと端末４とのマッチング情報を送信する。そして、マッチング情報管理サーバ２０は、ユーザＵと端末４とのマッチング情報を管理する。
マッチング情報管理ＤＢ２３には、ユーザＵと端末４とのマッチング情報が記憶される。そして、マッチング情報登録部２１は、受取ったマッチング情報を、マッチング情報管理ＤＢ２３に登録する。また、マッチング情報登録部２１は、受取ったマッチング情報に基づいて、マッチング情報管理ＤＢ２３に記憶されるマッチング情報を更新する。そして、マッチング情報読取部２２は、マッチング情報管理ＤＢ２３に記憶されたマッチング情報を読取る。
接続状態管理サーバ３０は、接続状態登録部３１、接続状態読取部３２、接続状態制御部３３および接続状態管理データベース（ＤＢ）３４を備える。ここで、接続状態管理サーバ３０は、ＣＰＵ、ＡＳＩＣまたはＦＰＧＡなどを含むプロセッサ、および、メモリを備える。そして、メモリに格納されたプログラムをプロセッサが実行することにより、接続状態登録部３１、接続状態読取部３２および接続状態制御部３３のそれぞれの機能が、実現される。
接続状態管理サーバ３０は、アクセスポイントＡ１〜Ａｋの中で端末４の接続先となる１つ（例えばＡα）を介して、端末４と情報交換可能である。そして、接続状態登録部３１は、端末４のリアルタイムの接続状態を取得し、端末４のリアルタイムの接続先を取得する。すなわち、接続状態登録部３１は、端末４がリアルタイムでアクセスポイントＡ１〜Ａｋの中のいずれに接続されているかを、認識する。
接続状態管理ＤＢ３４には、端末４の接続状態に関する情報が記憶される。接続状態登録部３１は、端末４のリアルタイムの接続状態に関する情報を、接続状態管理ＤＢ３４に登録する。この際、端末４のリアルタイムの接続先が、接続状態管理ＤＢ３４に登録される。また、アクセスポイントＡ１〜Ａｋ間で端末４の接続先が切替えられた場合は、接続状態登録部３１は、接続状態管理ＤＢ３４に記憶される接続状態に関する情報を更新する。この際、接続状態管理ＤＢ３４において、端末４のリアルタイムの接続先に関する情報も、更新される。そして、接続状態読取部３２は、接続状態管理ＤＢ３４に記憶された接続状態に関する情報を読取る。この際、接続状態読取部３２は、端末４のリアルタイムの接続先、すなわち、端末４がリアルタイムにおいてアクセスポイントＡ１〜Ａｋのいずれに接続されているかを、読取る。
接続状態読取部３２は、接続状態制御部３３に、接続状態管理ＤＢ３４から読取ったリアルタイムの接続状態に関する情報を送信する。また、接続状態制御部３３は、マッチング情報読取部２２から、マッチング情報管理ＤＢ２３に記憶されるマッチング情報を受取る。すなわち、マッチング情報読取部２２は、接続状態管理サーバ３０に、マッチング情報管理ＤＢ２３から読取ったマッチング情報を送信する。
接続状態管理サーバ３０の接続状態制御部３３は、アクセスポイントＡ１〜Ａｋの中で端末４の接続先となる１つ（例えばＡα）を介して、端末４を制御する。この際、接続状態制御部３３は、マッチング情報管理サーバ２０によって管理されるマッチング情報、および、接続状態読取部３２から受取った端末４のリアルタイムの接続状態に関する情報を用いて、端末４の接続先を制御および管理する。すなわち、接続状態制御部３３は、マッチング情報、及び、端末４のリアルタイムの接続状態に基づいて、アクセスポイントＡ１〜Ａｋの中のいずれに端末４を接続するかを、制御および管理する。
接続状態制御部３３は、マッチング情報管理サーバ２０に、マッチング情報を定期的に問合わせる。そして、接続状態制御部３３は、マッチング情報管理サーバ２０から取得したマッチング情報に基づいて、端末４がいずれのカメラ３の視野に位置するかに関する情報、及び、端末４がいずれのユーザＵと対応付けられているかに関する情報などを、取得する。そして、接続状態制御部３３は、取得した情報に基づいて、端末４がアクセスポイントＡ１〜Ａｋのいずれに接続すべきか判断する。そして、判断結果、端末４のリアルタイムの接続先が適切でない場合、接続状態制御部３３は、アクセスポイントＡ１〜Ａｋ間で端末４の接続先を切替える制御信号を生成する。
アクセスポイントＡ１〜Ａｋ間で端末４の接続先を切替える制御信号は、アクセスポイントＡ１〜Ａｋの中で端末４のリアルタイムの接続先となる１つ（例えばＡα）を介して、端末４に伝達される。端末４は、接続状態制御部３３からの制御信号に基づいて、接続先を切替える。この際、接続状態制御部３３が端末４の接続先として適切だと判断したアクセスポイントに、接続先が切替えられる。端末４の接続先として適切だと判断したアクセスポイントとしては、端末４に対応付けられたユーザＵを撮影したカメラに近いアクセスポイント、及び、通信エリアが広いアクセスポイント等である。
例えば、端末４がアクセスポイントＡαに接続されている状態で、接続状態制御部３３が、端末４の接続先としてアクセスポイントＡβが適切であると判断したとする。この場合、接続状態制御部３３は、端末４の接続先をアクセスポイントＡαからアクセスポイントＡβへ切替える指令を含む制御信号を生成する。そして、制御信号は、リアルタイムの接続先であるアクセスポイントＡαを介して、端末４に送信される。制御信号を受取ると、端末４は、アクセスポイントＡαとの接続を遮断する。そして、端末４は、アクセスポイントＡβに対して接続の要求を行い、端末４がアクセスポイントＡβに接続される。
本実施形態でも、第１の実施形態と同様に、ユーザＵと端末４とが適切にマッチングされる。このため、ユーザＵと端末４とのマッチング情報が、適切に生成される。そして、本実施形態では、適切なマッチング情報を用いて、端末４の接続先を含む端末４の接続状態が制御および管理される。したがって、端末４の接続状態が、適切に管理される。
［第２の実施形態の変形例］
なお、第２の実施形態では、マッチング用サーバ２、マッチング情報管理サーバ２０および接続状態管理サーバ３０が別個に設けられるが、これに限るものではない。ある変形例では、１つのサーバが、マッチング情報管理サーバ２０の前述の処理、および、接続状態管理サーバ３０の前述の処理の両方を、行う。また、ある変形例では、１つのサーバが、マッチング用サーバ２の前述の処理に加えて、マッチング情報管理サーバ２０の前述の処理、および、接続状態管理サーバ３０の前述の処理の少なくとも一方を行う。
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
１…対応付けシステム、２…マッチング用サーバ、３…カメラ、４…端末、５…情報送受信部、６…加速度センサ、７…センサ情報取得部、８…通信制御部、１０…管理システム、１１…位置検出部、１２…第１運動データ算出部、１３…加速度検出部、１４…第２運動データ算出部、１５…マッチング処理部、２０…マッチング情報管理サーバ、３０…接続状態管理サーバ。

Claims (8)

  1. 情報処理装置を含むシステムが実行する、ユーザと前記ユーザの端末との対応付け方法であって、
    画像情報を取得することと、
    前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
    取得した前記画像情報から、前記ユーザの手の位置情報を検出することと、
    検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、
    取得した前記センサ情報から、前記端末の加速度情報を検出することと、
    検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、
    前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
    を備える、対応付け方法。
  2. 前記第１運動データを算出することは、
    前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、
    算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第１運動データとして算出することと、
    を備え、
    前記第２運動データを算出することは、
    前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、
    前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第２運動データとして算出することと、
    を備える、
    請求項１の対応付け方法。
  3. 前記マッチング処理を行うことは、前記ユーザと前記端末とを一対一で対応付けるアルゴリズムを用いて、前記マッチング処理を行うことを備える、請求項１または２の対応付け方法。
  4. 画像情報を生成する撮影機器と、
    センサを備える端末と、
    前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
    を備える、前記端末と前記端末のユーザとの対応付けシステムであって、
    前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、
    前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、
    前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
    前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、
    前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
    を備える、対応付けシステム。
  5. 前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、前記加速度検出部、前記第２運動データ算出部、および、前記マッチング処理部を備える、請求項４の対応付けシステム。
  6. 前記情報処理装置が、前記位置検出部、前記第１運動データ算出部、および、前記マッチング処理部を備え、
    前記端末が、前記加速度検出部、および、前記第２運動データ算出部を備える、
    請求項４の対応付けシステム。
  7. 情報処理装置を含むシステムが実行する、端末の接続状態の管理方法であって、
    画像情報を取得することと、
    前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
    取得した前記画像情報から、ユーザの手の位置情報を検出することと、
    検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出することと、
    取得した前記センサ情報から、前記端末の加速度情報を検出することと、
    検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出することと、
    前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
    前記マッチング処理の処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理することと、
    管理される前記マッチング情報を用いて、複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理することと、
    を備える、管理方法。
  8. 画像情報を生成する撮影機器と、
    センサを備える端末と、
    前記端末を無線で接続可能な複数のアクセスポイントと、
    前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
    を備える、前記端末の接続状態の管理システムであって、
    前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、
    前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第１運動データを算出する第１運動データ算出部と、
    前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
    前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第２運動データを算出する第２運動データ算出部と、
    前記第１運動データおよび前記第２運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
    前記マッチング処理部での処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理するマッチング情報管理ユニットと、
    前記マッチング情報管理ユニットで管理される前記マッチング情報を用いて、前記複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理する接続状態管理ユニットと、
    を備える、管理システム。
JP2018078597A 2018-04-16 2018-04-16 ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム Active JP7018630B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018078597A JP7018630B2 (ja) 2018-04-16 2018-04-16 ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018078597A JP7018630B2 (ja) 2018-04-16 2018-04-16 ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム

Publications (2)

Publication Number Publication Date
JP2019185609A true JP2019185609A (ja) 2019-10-24
JP7018630B2 JP7018630B2 (ja) 2022-02-14

Family

ID=68341456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018078597A Active JP7018630B2 (ja) 2018-04-16 2018-04-16 ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム

Country Status (1)

Country Link
JP (1) JP7018630B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宮崎 修一: "安定マッチング問題", 情報処理 第５４巻 第１０号, vol. 第54巻, JPN6021023530, 2013, JP, ISSN: 0004532954 *
進藤 康孝，外２名: "人物の姿勢情報を用いた加速度・角速度センサの所持位置と向きの推定", 電子情報通信学会技術研究報告 ＶＯＬ．１１３ ＮＯ．３８, vol. 第113巻, JPN6021023528, 2013, JP, ISSN: 0004532953 *

Also Published As

Publication number Publication date
JP7018630B2 (ja) 2022-02-14

Similar Documents

Publication Publication Date Title
JP6696615B2 (ja) 監視システム、監視方法、及び監視プログラムを記憶する記録媒体
US10217021B2 (en) Method for determining the position of a portable device
US11237272B2 (en) Method and computer processing apparatus for generating data relating to a vertical structure of a built environment and detecting a floor change
JP6657580B2 (ja) ロボットの経路決定方法、システム、およびプログラム
JP5526860B2 (ja) 空間情報可視化システム
KR101728052B1 (ko) 사용자의 행동을 인지하여 사물을 제어하는 사물인터넷 시스템
KR102315525B1 (ko) 감시 시스템 및 그 동작 방법
JP2005348157A (ja) カメラシステム、カメラ、及びカメラの制御方法
US11029743B2 (en) Information processing device and information processing method
US10546402B2 (en) Information processing system, information processing terminal, and information processing method
JPWO2018011944A1 (ja) 群集監視装置、および、群集監視システム
US20120300086A1 (en) Information processing apparatus, information processing method, program, and information processing system
US20210170600A1 (en) Home robot and security monitoring system for smart home by interworking home device
CN110958325B (zh) 一种控制方法、装置、服务器及终端
Pipelidis et al. A novel approach for dynamic vertical indoor mapping through crowd-sourced smartphone sensor data
KR102067350B1 (ko) 스마트글라스의 보행보조를 위한 원격연계기반 보행보조 지원 방법 및 원격연계기반 보행보조 지원 시스템
CN109754419B (zh) 位置推测系统
JP7018630B2 (ja) ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システム
JP2016076791A (ja) 物体追尾装置、物体追尾方法、およびプログラム
EP2713605B1 (en) Vision angle acquisition method, apparatus and system
KR20160040042A (ko) 위치 추정 장치, 위치 추정 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
CN115808170A (zh) 一种融合蓝牙与视频分析的室内实时定位方法
CN114333238A (zh) 一种基于5g的紧急救援通信系统
JP6435640B2 (ja) 混雑度推定システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7018630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150