JP2020187764A - クライアントおよびプログラム - Google Patents

クライアントおよびプログラム Download PDF

Info

Publication number
JP2020187764A
JP2020187764A JP2020115002A JP2020115002A JP2020187764A JP 2020187764 A JP2020187764 A JP 2020187764A JP 2020115002 A JP2020115002 A JP 2020115002A JP 2020115002 A JP2020115002 A JP 2020115002A JP 2020187764 A JP2020187764 A JP 2020187764A
Authority
JP
Japan
Prior art keywords
user
gesture
client
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020115002A
Other languages
English (en)
Other versions
JP6933279B2 (ja
Inventor
宏 岩波
Hiroshi Iwanami
宏 岩波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020187764A publication Critical patent/JP2020187764A/ja
Application granted granted Critical
Publication of JP6933279B2 publication Critical patent/JP6933279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42382—Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ジェスチャにより特定の相手に対してインプレッションを通知することが可能なクライアントおよびプログラムを提供する。【解決手段】クライアントは、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、を備える。【選択図】図１

Description

本開示は、クライアントおよびプログラムに関する。
日々の生活において、相手に想いを伝えたいという場面は多く発生する。
例えば下記特許文献１では、ある対象者の発言に感動した場合に、その対象者に指向性マイクを向けて意思伝達スイッチを押すとその対象者についての利用者の感動に関する対象者情報が作成される催事動向分析システムが開示されている。
特開２００６−００３４５１号公報
しかしながら、例えば混雑した車内で高齢者に席を譲っている若者に気付いて、感心したり、褒めてあげたいと思っていても、見知らぬ人に声を掛けるのは難しい。また、良い行いをしている人に直接話し掛けることに抵抗がある場合に、メールやＳＮＳ（ソーシャルネットワークサービス）でメッセージを送ろうと思っても、相手のアドレスが分からなかったり、メッセージを入力するのが面倒な場合もある。
このように、友人、知人の他、見知らぬ人に対しても自分の想いを伝えたい場面が日常生活において多々発生しても、手軽に伝えられる最適な方法が無かった。
そこで、本開示では、ジェスチャにより特定の相手に対してインプレッションを通知することが可能なクライアントおよびプログラムを提案する。
本開示によれば、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、を備えるクライアントを提案する。
本開示によれば、コンピュータを、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、として機能させる、ためのプログラムを提案する。
以上説明したように本開示によれば、ジェスチャにより特定の相手に対してインプレッションを通知することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本開示の一実施形態による情報処理システムの構成図である。 本実施形態によるユーザ端末の構成例を示すブロック図である。 本実施形態によるウェアラブル端末の構成例を示すブロック図である。 本実施形態によるサーバの構成例を示すブロック図である。 本実施形態による第１の実施例のシチュエーションを説明する図である。 第１の実施例によるユーザ端末およびウェアラブル端末の動作処理を示すシーケンス図である。 第１の実施例によるサーバの動作処理を示すフローチャートである。 第１の実施例による対象人物の特定方法について説明する図である。 第２の実施例によるユーザ端末およびウェアラブル端末の動作処理を示すシーケンス図である。 第２の実施例によるサーバの動作処理を示すフローチャートである。 第３の実施例によるサーバの動作処理を示すフローチャートである。 本実施形態の応用例によるシチュエーションを説明する図である。 本実施形態の応用例によるウェアラブル端末の構成例を示す図である。 本実施形態の応用例によるウェアラブル端末の動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．ユーザ端末の構成
２−２．ウェアラブル端末の構成
２−３．サーバの構成
３．動作処理
３−１．第１の実施例
３−２．第２の実施例
３−３．第３の実施例
４．応用例
５．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本実施形態による情報処理システムでは、ジェスチャにより特定の相手に対してインプレッションを通知することを可能とする。上述したように、日常生活において、良い行いまたは悪い行いをしている人に気付いた場合、褒めてあげたい、または注意したいと思うが、見知らぬ人に突然声を掛けるのは難しい。そこで、本実施形態では、特定のジェスチャが行われたことを検知すると、ユーザがジェスチャを向けた相手を認識し、良い評価または悪い評価を通知したり、さらにはジェスチャに紐付けられたメッセージを通知したりすることで、手軽にユーザの気持ちを相手に伝えることが可能となる。
図１は、本開示の一実施形態による情報処理システムの概要を説明する図である。図１に示すように、例えば車内で高齢者に席を譲っている若者に気付いて感心したユーザＡは、その若者（ユーザＢ）に対して、褒めてあげたい、または良い評価をしてあげたい場合、図１に示すように、親指を立ててこぶしを示すジェスチャをユーザＢに向けて行う。
ユーザＡのジェスチャが、装着したウェアラブル端末２ａにより検知され、特定のジェスチャと認識されると、本実施形態による情報処理システムは、ユーザＡの位置、およびジェスチャを向けている方向に基づいて、ジェスチャを向けている方向に存在するユーザＢが相手であると特定する。
そして、特定されたユーザに対して、ユーザＡが示したジェスチャに対応するインプレッションを通知する。具体的には図１に示すように、ユーザＢが装着するウェアラブル端末２ａの表示部に、「Ｇｏｏｄ」の評価を示すアイコンを表示させると共に、評価ポイントを蓄積させる。これにより、ユーザＡは、想いを伝えたい人に対してジェスチャを行うだけで、手軽に気持ちを伝えることができる。また、ユーザＢは、良いことをした時に周囲の人から好意的な気持ちを送られたことが分かり、暖かい気持ちになれる。一方、マナーの悪い人に対してもジェスチャを行うだけで、注意する気持ちやマイナスの評価を気兼ねなく伝えることができる。悪い評価を受けた人は、周りから見られていることを自覚し、マナー向上に努めることが期待される。
ここで、本実施形態によるジェスチャと対応するインプレッションの具体例の一例を、以下に列挙する。
Figure 2020187764
また、相手が非常に近くにいる場合には、通常のジェスチャの他、直接身体の接触を伴うジェスチャも発生し得る。以下、具体例を列挙する。
Figure 2020187764
次に、上述した本実施形態による情報処理システムの全体構成について説明する。図２は、本開示の一実施形態による情報処理システムの構成図である。図２に示すように、本実施形態による情報処理システムは、ユーザ端末１（１ａ、１ｂ）、ウェアラブル端末２（２ａ、２ｂ）、およびサーバ３を含む。サーバ３は、ネットワーク４を介してユーザ端末１と接続し、データの送受信を行う。
ウェアラブル端末２は、加速度センサ、方位センサ、脈拍センサ等の各種センサを備え、センサデータに基づいてジェスチャ認識を行う。認識したジェスチャ情報は、ユーザ端末１へ送信される。
ユーザ端末１は、ウェアラブル端末２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）等の近距離無線通信により接続し、ジェスチャ情報やセンサデータ等を受信する。また、ユーザ端末１は、ジェスチャ情報および自装置の位置情報を、ネットワーク４を介してサーバ３へ送信する。
サーバ３は、ユーザ端末１ａから送信された位置情報およびジェスチャ情報と、ユーザの位置からジェスチャを向けている方向に居る人物を、他のユーザ端末１から検索し、特定する。そして、サーバ３は、特定した人物に対して、ジェスチャに対応するインプレッションを通知する。
＜＜２．構成＞＞
＜２−１．ユーザ端末の構成＞
図３は、本実施形態によるユーザ端末１の構成例を示すブロック図である。図３に示すように、ユーザ端末１は、制御部１００、通信部１１０、位置情報取得部１２０、カメラ１３０、マイクロホン１４０、操作入力部１５０、記憶部１６０、表示部１７０、およびスピーカ１８０を有する。
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。
通信部１１０は、外部装置と有線／無線を介してデータの送受信を行う。具体的には、例えば通信部１１０は、公衆回線網との通信によりクラウド（サーバ３）と通信を行うこと、また、Ｗｉ−Ｆｉ通信、またはＢｌｕｅｔｏｏｔｈ通信等を用いてウェアラブル端末と通信を行うことができる。
位置情報取得部１２０は、ユーザ端末１の位置情報を取得する機能を有する。例えば位置情報取得部１２０は、ＧＰＳ（Global Positioning System）アンテナおよびＧＰＳアンテナにより受信されるＧＰＳ信号を処理するＧＰＳ処理部であってもよい。或いは、位置情報取得部１２０は、複数の基地局からのWi-Fi（登録商標）電波を受信するWi-Fiアンテナおよび受信されるWi-Fi電波の受信強度から各基地局との距離を推定し、各基地局との距離と各基地局の位置を利用して三角測量の原理に基づいて現在位置を算出する位置算出部であってもよい。
カメラ１３０は、ユーザ操作に応じて周囲を撮像し、撮像した画像情報を制御部１００に出力する。
マイクロホン１４０は、ユーザ操作に応じて周囲の音声を収音し、収音した音声情報を制御部１００に出力する。
操作入力部１５０は、タッチパネル、スイッチ、またはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部１００に出力する。
記憶部１６０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
表示部１７０は、出力部の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。
スピーカ１８０は、出力部の一例であって、音声信号を再生する。
＜２−２．ウェアラブル端末の構成＞
図４は、本実施形態によるウェアラブル端末２の構成例を示すブロック図である。図４に示すように、ウェアラブル端末２は、制御部２００、通信部２１０、センサ２２０、操作入力部２３０、記憶部２４０、および表示部２５０を有する。
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってウェアラブル端末２内の動作全般を制御する。制御部１００は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。
また、制御部２００は、ジェスチャ認識部２０１としても機能する。ジェスチャ認識部２０１は、センサ２２０により検知されたセンサデータに基づいて、ユーザの動作を解析し、ジェスチャを認識する。
通信部２１０は、外部装置と有線／無線を介してデータの送受信を行う。具体的には、例えば通信部２１０は、Ｗｉ−Ｆｉ通信、またはＢｌｕｅｔｏｏｔｈ通信等を用いてユーザ端末１と通信を行うことができる。
センサ２２０は、ユーザのジェスチャを認識するための各種センサであって、例えば加速度センサ、ジャイロセンサ、コンパス（方位センサ）、筋電センサ、振動センサ、脈拍センサ、またはマイク等を含む。
操作入力部２３０は、スイッチまたはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部２００に出力する。
記憶部２４０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。
表示部２５０は、出力部の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。なおウェアラブル端末２には、他の出力部として、さらに発光部（インジケータ）、または振動部（例えば振動モータ）等を設けてもよい。
＜２−３．サーバの構成＞
図５は、本実施形態によるサーバ３の構成例を示すブロック図である。図５に示すように、サーバ３は、制御部３００、通信部３１０、ジェスチャ情報記憶部３２０、および評価ＤＢ（データベース）３３０を有する。
制御部３００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ３内の動作全般を制御する。制御部３００は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部３００は、端末位置特定部３０１、対象人物特定部３０２、意味特定部３０３、通知制御部３０４、および評価処理部３０５として機能する。
端末位置特定部３０１は、ジェスチャ情報を送信してきたユーザ端末１の位置を特定する。例えば端末位置特定部３０１は、ジェスチャ情報と共にユーザ端末１から送信された位置情報に基づいて、端末位置を特定する。
対象人物特定部３０２は、ジェスチャ情報および端末位置に基づいて、当該ジェスチャの対象とされている相手を特定する。例えば対象人物特定部３０２は、ジェスチャ情報に付加された方位センサデータと、多数のユーザ端末１の現在位置情報とに基づいて、ユーザがジェスチャを向けた人物の位置を特定し得る。
意味特定部３０３は、ジェスチャ情報記憶部３２０を参照して、ユーザ端末１から送信されたジェスチャに対応するインプレッションを特定する。
通知制御部３０４は、意味特定部３０３により特定されたジェスチャのインプレッションを、対象人物特定部３０２により特定された対象人物のユーザ端末に、通信部３１０から送信するよう制御する。
評価処理部３０５は、意味特定部３０３により特定されたジェスチャのインプレッションに応じた評価を、対象人物特定部３０２により特定された対象人物に紐付けて付与し、評価ＤＢ３３０に格納する。
通信部３１０は、外部装置と有線／無線を介してデータの送受信を行う。例えば通信部３１０は、ユーザ端末１とネットワーク４を介して接続し、ジェスチャ情報および位置情報を受信する。
ジェスチャ情報記憶部３２０には、上記表１、表２に示したような、ジェスチャおよび対応するインプレッションが記憶されている。
評価ＤＢ３３０は、評価処理部３０５により処理されたユーザ毎の評価データを蓄積する。
以上、本実施形態による情報処理システムに含まれる各装置の構成について具体的に説明した。続いて、本実施形態による動作処理について具体的に説明する。
＜＜３．動作処理＞＞
＜３−１．第１の実施例＞
まず、第１の実施例として、ゴミのポイ捨てをしている人物に対して怒りや注意の気持ちを伝えたい場合のジェスチャと相手への通知処理について説明する。図６は、本実施形態による第１の実施例のシチュエーションを説明する図である。図６に示すように、ユーザＤが、ゴミのポイ捨てをしているユーザＣを見つけた時に、マナー違反に対する怒りや注意したいという気持ちが生じ、「それはダメだぞ！」という気持ちを込めて指ピストルのジェスチャをユーザＣに向けて行った場合を想定する。
ここで、ユーザＣとユーザＤはそれぞれスマートフォン等のユーザ端末１ｃ、１ｄを携帯し、各ユーザの現在位置がシステム側に把握され得る。また、ユーザＤは、スマートバンド等のウェアラブル端末２を腕に装着し、これによりユーザＤのジェスチャが認識され得る。
以下、本実施例による動作処理について図７〜図８を参照して説明する。
図７は、第１の実施例によるユーザ端末１およびウェアラブル端末２の動作処理を示すシーケンス図である。図７に示すように、まず、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ１０３）。
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ１０６）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは一例として指ピストルを構えて撃つ動作を検出する。ユーザＤは、ゴミのポイ捨てをしているユーザＣを見つけた時に、マナー違反に対する怒りや注意したいという気持ちが生じ、「それはダメだぞ！」という気持ちを込めて指ピストルのジェスチャをユーザＣに向けて行うことが想定される。この場合、ユーザＤが腕に装着しているウェアラブル端末２のセンサ２２０により、指ピストルのジェスチャが認識される。より具体的には、指がピストル状の形状をしていることは、例えば筋電センサにより検知された筋電データにより検知され得る。また、銃を構えるような動作として肘から先を円弧上に上から振り下ろす動きが、加速度センサやジャイロセンサにより検知され得る。
次いで、指ピストルのジェスチャであると認識された場合（ステップＳ１０９／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、センサデータに基づいて、腕の向き（ジェスチャを向けている方向）を取得する（ステップＳ１１２）。腕の向きの取得は、ユーザが指ピストルを構えた状態、または、指の動き（筋電センサにより検知される）や「バン！」という発射音の発話（マイクにより収音される）によって発射ジェスチャを行ったことが認識された場合に行うようにしてもよい。腕の向きは、例えばコンパスやジャイロセンサにより取得され得る。
次いで、ウェアラブル端末２は、ジェスチャ認識結果と、その際の腕の向きを示す情報とを、ユーザ端末１に送信する（ステップＳ１１５）。
一方、ユーザ端末１は、継続的に位置情報をサーバ３に送信している（ステップＳ１１８）。
次いで、ユーザ端末１は、ウェアラブル端末２からジェスチャ情報等を受信すると、受信したジェスチャ認識結果および腕の向きを示す情報を、サーバ３へ送信する（ステップＳ１２１）。
続いて、サーバ３の動作処理について図８を参照して説明する。
図８に示すように、まず、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ１５３）、端末位置特定部３０１により、各ユーザ（各端末）の現在位置を特定する（ステップＳ１５６）。
次に、ジェスチャ情報（ここでは指ピストルのジェスチャ情報）を受信した場合（ステップＳ１５９／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ１６１）。
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、把握している他のユーザの現在位置情報とに基づいて、ユーザＤが指ピストルを撃つというジェスチャを行った対象人物を特定する（ステップＳ１６４）。ここで、対象人物の特定方法について図９を参照して説明する。図９に示すように、各ユーザの位置は、端末の位置情報に基づいて、地図上に同定される。ここで、対象人物特定部３０２は、ユーザＤが指ピストルを撃った時の腕の方向に基づいて、ユーザＤの位置を起点として腕の方向で示される矢印の方向に位置する人物を検索し、対象人物としてユーザＣを特定する。また、矢印の方向に複数の人物が居た場合、最もユーザＤに近い位置に居る人物を特定してもよい。また、指ピストルを撃った時の腕の方向は、二次元に限定されず、三次元方向を含み得る。また、位置情報には高さ情報が含まれてもよい。
次に、対象人物が特定できた場合（ステップＳ１６７／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに対応する意味を示すメッセージを送信する（ステップＳ１７０）。例えば、指ピストルのジェスチャに対応する意味を示すメッセージとして、「それはダメだぞ！成敗する」といったメッセージが、ユーザＣのユーザ端末１ｃに送信される。
また、サーバ３は、指ピストルのジェスチャがマイナスの評価であるため、評価処理部３０５により対象者の評価を減点する処理を行う（ステップＳ１７３）。
＜３−２．第２の実施例＞
次に、第２の実施例として、好意を持った相手に対して、好意を示す気持ちをメッセージと共に伝えたい場合のジェスチャと相手への通知処理について説明する。例えばバーのカウンターで、一人で飲んでいると、少し離れた場所に好みの人が一人で飲んでいた場合に、好意を伝えるメッセージをさりげなく送りたいというシチュエーションが想定される。以下、このようなシチュエーションにおける動作処理について、図１０〜図１１を参照して説明する。ここでは、ジェスチャを行うユーザ、および相手ユーザの両者ともユーザ端末１を有していることを前提とする。また、ジェスチャを行うユーザは、ウェアラブル端末２を装着している。
図１０は、第２の実施例によるユーザ端末１およびウェアラブル端末２の動作処理を示すシーケンス図である。図１０に示すように、まず、ウェアラブル端末２は、プリセットされたジェスチャに紐付けられたメッセージを修正する（ステップＳ２０６）。修正は必ずしも必須ではないが、ユーザが相手に伝えたいメッセージをその場で変更したい場合に、ウェアラブル端末２の所定のボタンを押下してメッセージを音声入力したり、ユーザ端末１から操作してプリセットされたメッセージの文言修正を行える。音声入力されたメッセージは、制御部２００により音声認識処理を経てテキストメッセージに変換され得る。
次いで、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ２０９）。
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ２１２）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは一例として、目配せ、ウインク、投げキス等の親愛を示す動作を検出する。目配せやウインクは、顔面に装着されたスマートグラスにより、顔の動きを筋電センサで検知して検出し得る。また、投げキスは、腕の動きを加速度センサやジャイロセンサにより検知し、さらに「ちゅっ」という発話をマイクで集音することで検出し得る。
次いで、特定のジェスチャであると認識された場合（ステップＳ２１５／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、センサデータに基づいて、姿勢（身体）の向きや、腕の向き（いずれもジェスチャを向けている方向）を取得する（ステップＳ２１８）。
次いで、ウェアラブル端末２は、ジェスチャ認識結果と、その際の腕の向き等を示す情報とを、ユーザ端末１に送信する（ステップＳ２２１）。
一方、ユーザ端末１は、継続的に位置情報をサーバ３に送信している（ステップＳ２２４）。ユーザ端末１の位置情報取得部１２０は、例えばＷｉ−Ｆｉによる屋内測位の機能も有する。
次いで、ユーザ端末１は、ウェアラブル端末２からジェスチャ情報等を受信すると、受信したジェスチャ認識結果および腕の向きを示す情報を、サーバ３へ送信する（ステップＳ２２７）。
続いて、サーバ３の動作処理について図１１を参照して説明する。
図１１に示すように、まず、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ２５３）、端末位置特定部３０１により、各ユーザ（各端末）の現在位置を特定する（ステップＳ２５６）。
次に、ジェスチャ情報を受信した場合（ステップＳ２５９／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ２６１）。
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、把握している他のユーザの現在位置情報とに基づいて、ユーザが特定のジェスチャ（例えばウインク、手招き、または投げキス等）を行った対象人物を特定する（ステップＳ２６４）。
次に、対象人物が特定できた場合（ステップＳ２６７／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに紐付けられた、すなわちプリセットされた、若しくはユーザにより修正されたテキストメッセージを送信する（ステップＳ２７０）。
＜３−３．第３の実施例＞
本実施形態による情報処理システムは、予め本サービスに登録しているユーザ間で行われるようにしてもよい。例えば、メッセージを特定した相手ユーザに送信する際に、サーバ３側で送信先を特定する必要があるが、予め本サービスに登録しているユーザであれば、登録されたアドレスを用いることができる。
また、ジェスチャが向けられる方向に基づいて対象人物を特定する際、誤って別の人を特定してしまうことを防ぐためにも、示された方向上の遠く離れた場所に居る人物ではなく、ジェスチャを行った人物の有視界の範囲に限定して特定するため、狭い範囲における複数の人物の位置を正確に把握する必要がある。
そのため、予め本サービスに登録しているユーザを対象とすることで、宛先も事前に把握でき、また、詳細な位置情報の提供の許諾も事前に受けることができる。
以下、第３の実施例によるサーバ３側の動作処理について図１２を参照して説明する。なおユーザ側でのジェスチャ認識処理は、第１、第２の実施例と同様であるため、ここでの説明は省略する。
図１２に示すように、まず、サーバ３の制御部３００は、サービス利用ユーザの登録を行う（ステップＳ３０３）。具体的に例えば制御部３００は、ユーザＩＤおよび端末ＩＤの登録と共に、本サービスを利用するにあたって、詳細な位置情報の提供許諾、アドレス情報の提供許諾、行動履歴情報の提供許諾を得る。以下、かかる許諾を得て登録したユーザを、特定のＳＮＳに加入したユーザと称す。
次いで、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ３０６）、端末位置特定部３０１により、特定のＳＮＳに加入している各ユーザ（各端末）の現在位置を特定する（ステップＳ３０９）。
次に、ジェスチャ情報を受信した場合（ステップＳ３１２／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ３１５）。
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、特定ＳＮＳにより把握している他のユーザの現在位置情報とに基づいて、ユーザが特定のジェスチャを行った対象人物を特定する（ステップＳ３１８）。
次に、対象人物が特定できた場合（ステップＳ３２１／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに紐付けられたメッセージを送信する（ステップＳ３２４）。
＜＜４．応用例＞＞
続いて、本実施形態の応用例による情報処理システムについて図１３〜図１５を参照して説明する。上述した実施形態では、ウェアラブル端末２により検知されたジェスチャ情報がユーザ端末１からネットワーク上のサーバ３に送信され、主にサーバ３で通知処理制御が行われていたが、本実施形態はこれに限定されず、ウェアラブル端末同士で直接通信できるようにしてもよい。例えば、図１３に示すように、ユーザＧとユーザＨが握手という接触を伴うジェスチャを行った際に、互いに装着しているウェアラブル端末２０Ｇ、２０Ｈにより準静電界通信が行われ、握手というジェスチャに対応するプラス評価が、一方のウェアラブル端末２０から他方のウェアラブル端末２０へ送信される。これにより、握手をした際に、さらに強い想いを伝えることができる。なお、かかる準静電界通信によるプラス評価の送信を行うか否かは、図１３に示すように、ウェアラブル端末２０Ｇに設けられているスイッチ（つまみ）により設定することが可能である。ジェスチャに応じた評価の送信を行う際は、つまみは「＋」側に向けられる。
ここで、本応用例によるウェアラブル端末２０の構成例を図１４に示す。図１４に示すように、ウェアラブル端末２０は、制御部２００、通信部２１０、センサ２２０、操作入力部２３０、記憶部２４０、表示部２５０、および準静電界通信部２６０を有する。
準静電界通信部２６０は、人体の介在により形成される電界を通じてデータ通信を行なう人体通信システムである。準静電界通信では、例えば音楽などの音声信号や、コード化された信号等を、人体の接触を通じて通信することが可能である。
その他の構成は、上述したウェアラブル端末２の各構成と同様であるため、ここでの説明は省略する。
続いて、図１５を参照して本応用例による動作処理を説明する。
図１５に示すように、まず、ウェアラブル端末２０は、ジェスチャに応じた気持ちの送信可否について、スイッチがＯＮになっているか否かを確認する（ステップＳ４０３）。具体的には、例えばウェアラブル端末２０は、図１３に示すように、つまみがプラスに入っているか否かを確認する。
次いで、スイッチがＯＮになっている場合（ステップＳ４０３／Ｙｅｓ）、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ４０６）。
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ４０９）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは、握手をしている動作を検出する。具体的には、例えばジェスチャ認識部２０１は、手を握っていることを筋電により検知し、手を握ったまま所定の速さで上下動を繰り返していることが加速度センサやジャイロセンサのデータから検知することで、握手動作を認識する。
次いで、握手が行われたと認識された場合（ステップＳ４１２／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、準静電界通信部２６０により、相手の端末の準静電界通信を検知する（ステップＳ４１５）。相手の端末の準静電界通信を検知することで、制御部２００は、ユーザが相手の人体と接触を伴っていることを確認し、相手の端末と準静電界通信が可能なこと、また、ユーザが単に手を動かしているのではなく、相手と手を握って握手していることが、より正確に認識できる。さらに、制御部２００は、相手の端末を識別することでユーザが誰と握手をしているかを把握することも可能となる。
そして、相手の端末の準静電界通信を検知すると（ステップＳ４１５／Ｙｅｓ）、制御部２００は、握手ジェスチャに予め対応付けられた、相手に対するプラス評価の情報を、準静電界通信により相手の端末へ送信するよう制御する（ステップＳ４１８）。ジェスチャに対応付けられた評価やメッセージ等のインプレッションは、記憶部２４０に格納されていてもよい。
なお、本応用例では、握手ジェスチャの例を示しているが、本実施形態はこれに限定されず、例えば他の接触を伴うジェスチャ（例えば、ハグ、肩もみ、腰に手を回す、ハグして背中をたたく、ハイタッチ等）においても、各ジェスチャに対応付けられたインプレッションを、準静電界通信により相手の端末へ送信することが可能である。
また、本応用例では、準静電界通信により相手の端末へプラス評価等のジェスチャに対応付けられたインプレッションを送信する例を説明したが、本実施形態はこれに限定されず、ウェアラブル端末の通信回線を用いて、クラウド経由で相手の端末にインプレッションを送信してもよいし、Ｂｌｕｅｔｏｏｔｈや赤外線通信等の近距離無線通信により送信してもよい。
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ジェスチャにより特定の相手に対してインプレッションを通知することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したユーザ端末１、ウェアラブル端末２、またはサーバ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１、ウェアラブル端末２、またはサーバ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、ウェアラブル端末２にジェスチャ認識部２０１が設けられているが、本実施形態はこれに限定されず、ユーザ端末１またはサーバ３においてジェスチャ認識処理が行われてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、通信先としてのクライアントを特定し；
認識されたジェスチャ情報が表すインプレッションを特定し；
前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
を備える、通信システム。
（２）
前記通信システムは、準静電界通信部をさらに備え、
前記制御部は、前記特定のジェスチャが認識されたときに、周辺に準静電界通信が可能な通信先としてのクライアントの有無を特定し、特定した前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションを前記準静電界通信部を介して送信するように制御する、前記（１）に記載の通信システム。
（３）
ユーザ間で送受信されるメッセージを管理するサーバと通信する通信部を備え、
前記制御部は、前記ジェスチャ情報が表すインプレッションが、前記通信部および前記サーバを介して、前記クライアントに対応するユーザに送信されるように制御する、前記（１）に記載の通信システム。
（４）
前記通信システムは、音声入力部をさらに備え、
前記制御部は、前記ジェスチャ情報が表すインプレッションを、前記音声入力部により入力された音声を変換したメッセージに変更可能である、前記（１）〜（３）のいずれか１項に記載の通信システム。
（５）
ユーザが特定のジェスチャを行っているか否かを認識する前記認識部と；
前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と；
前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と；
を有するクライアントと、
複数のクライアントから、それぞれの位置を示す位置情報受信するサーバ通信部と；
前記制御部と；
前記サーバ通信部を介して前記ジェスチャ情報を受信すると、前記サーバ通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し、当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御するサーバ制御部と；を有するサーバと、
を備える、前記（１）〜（４）のいずれか１項に記載の通信システム。
（６）
前記サーバ制御部は、ジェスチャ情報とインプレッションが関連付けられたテーブルを保有し、当該テーブルに応じて前記ジェスチャ情報が表すインプレッションを特定する、前記（５）に記載の通信システム。
（７）
前記サーバ制御部は、
特定のメッセージングサービスに登録されているユーザに対応するクライアントの位置とそのユーザの宛先を管理し；
前記サーバ通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示す、前記管理しているクライアントを特定し；
当該クライアントに対応するユーザの宛先に、前記ジェスチャ情報が表すインプレッションが通知されるように制御する、前記（５）または（６）に記載の通信システム。
（８）
前記サーバ制御部は、前記ジェスチャ情報に応じて前記ユーザの評価を更新する、前記（５）〜（７）のいずれか１項に記載の通信システム。
（９）
前記サーバ制御部は、前記ジェスチャ情報に対応するメッセージが、前記ユーザに送信されるように制御する、前記（５）〜（７）のいずれか１項に記載の通信システム。
（１０）
複数のクライアントから、それぞれの位置を示す位置情報を受信する通信部と、
前記通信部を介して、特定のクライアントに対応するユーザが特定のジェスチャを行っていることを示すジェスチャ情報とジェスチャの方向情報を受信すると；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し；
当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
を備える、サーバ。
（１１）
前記制御部は、ジェスチャ情報とインプレッションが関連づけられるテーブルを保有し、当該テーブルに応じて、前記ジェスチャ情報が表すインプレッションを特定する、前記（１０）に記載のサーバ。
（１２）
前記制御部は、
特定のメッセージングサービスに登録されているユーザに対応するクライアントの位置とそのユーザの宛先を管理し；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示す、前記管理しているクライアントを特定し；
当該クライアントに対応するユーザの宛先に、前記ジェスチャ情報が表すインプレッションが通知されるように制御する、前記（１０）または（１１）に記載のサーバ。
（１３）
前記制御部は、前記ジェスチャ情報に応じて、前記ユーザの評価を更新する、前記（１０）〜（１２）のいずれか１項に記載のサーバ。
（１４）
前記制御部は、前記ジェスチャ情報に対応するメッセージが、前記ユーザに送信されるように制御する、前記（１０）〜（１３）のいずれか１項に記載のサーバ。
（１５）
コンピュータを、
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、通信先としてのクライアントを特定し；
前記認識されたジェスチャ情報が表すインプレッションを特定し；
前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
として機能させるプログラムが記憶された、記憶媒体。
（１６）
プロセッサが、
複数のクライアントから、それぞれの位置を示す位置情報を通信部により受信することと、
前記通信部を介して、特定のクライアントに対応するユーザが特定のジェスチャを行っていることを示すジェスチャ情報とジェスチャの方向情報を受信すると；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し；
当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御することと、
を含む、通信制御方法。
１ ユーザ端末
１００ 制御部
１１０ 通信部
１２０ 位置情報取得部
１３０ カメラ
１４０ マイクロホン
１５０ 操作入力部
１６０ 記憶部
１７０ 表示部
１８０ スピーカ
２ ウェアラブル端末
２００ 制御部
２１０ 通信部
２２０ センサ
２３０ 操作入力部
２４０ 記憶部
２５０ 表示部
３ サーバ
３００ 制御部
３１０ 通信部
３２０ ジェスチャ情報記憶部
３３０ 評価ＤＢ

Claims (8)

  1. ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
    前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、
    前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、
    を備えるクライアント。
  2. 前記クライアントは、音声入力部をさらに備え、
    前記認識部は、
    前記音声入力部により入力された音声に応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項１に記載のクライアント。
  3. 前記認識部は、
    前記音声と、前記ユーザの動作と、の組み合わせに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項２に記載のクライアント。
  4. 前記認識部は、
    前記ユーザの手指の状態と腕の状態との組み合わせに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項１乃至請求項３の何れか１項に記載のクライアント。
  5. 前記認識部は、
    前記ユーザの顔の動きに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項１乃至請求項４の何れか１項に記載のクライアント。
  6. 前記認識部は、
    前記ユーザによる、前記ユーザと近接する位置の対象への接触を伴う動きに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項１に記載のクライアント。
  7. 前記認識部は、
    機械学習により構築した識別機を用いて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
    請求項１乃至請求項６の何れか１項に記載のクライアント。
  8. コンピュータを、
    ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
    前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、
    前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、
    として機能させる、
    ためのプログラム。
JP2020115002A 2015-11-11 2020-07-02 クライアントおよびプログラム Active JP6933279B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015221161 2015-11-11
JP2015221161 2015-11-11
JP2017549998A JP6733679B2 (ja) 2015-11-11 2016-08-05 通信システム、サーバ、プログラム、および通信制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017549998A Division JP6733679B2 (ja) 2015-11-11 2016-08-05 通信システム、サーバ、プログラム、および通信制御方法

Publications (2)

Publication Number Publication Date
JP2020187764A true JP2020187764A (ja) 2020-11-19
JP6933279B2 JP6933279B2 (ja) 2021-09-08

Family

ID=58695088

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017549998A Active JP6733679B2 (ja) 2015-11-11 2016-08-05 通信システム、サーバ、プログラム、および通信制御方法
JP2020115002A Active JP6933279B2 (ja) 2015-11-11 2020-07-02 クライアントおよびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017549998A Active JP6733679B2 (ja) 2015-11-11 2016-08-05 通信システム、サーバ、プログラム、および通信制御方法

Country Status (3)

Country Link
US (2) US10915178B2 (ja)
JP (2) JP6733679B2 (ja)
WO (1) WO2017081896A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558809B2 (ja) * 2017-06-08 2019-08-14 株式会社ｅＮＦＣ 情報処理装置、情報処理システムおよび情報処理方法
WO2019116780A1 (ja) * 2017-12-14 2019-06-20 ソニー株式会社 情報処理システム、情報処理方法、および、プログラム
US11995780B2 (en) * 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010225143A (ja) * 2009-02-27 2010-10-07 Ntt Docomo Inc データ管理システム、データ管理方法、およびデータ管理装置ならびに携帯端末
JP2010537300A (ja) * 2007-08-23 2010-12-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ターゲットに関するデータを移動体装置へ送信する方法および装置
JP2013513294A (ja) * 2009-12-03 2013-04-18 オソカド リモート リミテッド ライアビリティ カンパニー ジェスチャ制御されるハンドヘルドモバイルデバイスを使用して位置特有情報検索を実施する方法、装置、およびコンピュータプログラム
JP2013178631A (ja) * 2012-02-28 2013-09-09 Pioneer Electronic Corp 機器の制御装置、制御方法、プログラム及び記憶媒体
US20140188989A1 (en) * 2012-12-27 2014-07-03 Google Inc. Exchanging content across multiple devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996036134A1 (en) * 1995-05-08 1996-11-14 Massachusetts Institute Of Technology System for non-contact sensing and signalling using human body as signal transmission medium
JP2004297598A (ja) 2003-03-27 2004-10-21 Ntt Docomo Inc 通信端末装置、動作情報交換システム、及び動作情報交換方法
JP2006003451A (ja) 2004-06-15 2006-01-05 Brother Ind Ltd 対象者特定装置，催事動向分析装置及び催事動向分析システム
JP2008126954A (ja) * 2006-11-24 2008-06-05 Tokai Rika Co Ltd 意思伝達装置
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US8457651B2 (en) 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
CN104584511B (zh) * 2012-08-15 2019-12-06 诺基亚技术有限公司 用于共享数据的装置、方法和计算机程序产品
JP5928245B2 (ja) * 2012-08-23 2016-06-01 カシオ計算機株式会社 データ処理装置及びプログラム
JP5917461B2 (ja) * 2013-08-08 2016-05-18 東芝テック株式会社 情報処理装置、プログラム
US9189932B2 (en) * 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
US9330666B2 (en) * 2014-03-21 2016-05-03 Google Technology Holdings LLC Gesture-based messaging method, system, and device
US9904463B2 (en) * 2014-09-23 2018-02-27 Sulake Corporation Oy Method and apparatus for controlling user character for playing game within virtual environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537300A (ja) * 2007-08-23 2010-12-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ターゲットに関するデータを移動体装置へ送信する方法および装置
JP2010225143A (ja) * 2009-02-27 2010-10-07 Ntt Docomo Inc データ管理システム、データ管理方法、およびデータ管理装置ならびに携帯端末
JP2013513294A (ja) * 2009-12-03 2013-04-18 オソカド リモート リミテッド ライアビリティ カンパニー ジェスチャ制御されるハンドヘルドモバイルデバイスを使用して位置特有情報検索を実施する方法、装置、およびコンピュータプログラム
JP2013178631A (ja) * 2012-02-28 2013-09-09 Pioneer Electronic Corp 機器の制御装置、制御方法、プログラム及び記憶媒体
US20140188989A1 (en) * 2012-12-27 2014-07-03 Google Inc. Exchanging content across multiple devices

Also Published As

Publication number Publication date
WO2017081896A1 (ja) 2017-05-18
JP6933279B2 (ja) 2021-09-08
US20180314337A1 (en) 2018-11-01
JP6733679B2 (ja) 2020-08-05
US10915178B2 (en) 2021-02-09
US11449148B2 (en) 2022-09-20
JPWO2017081896A1 (ja) 2018-09-06
US20210124426A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
JP6933279B2 (ja) クライアントおよびプログラム
US10360907B2 (en) Smart necklace with stereo vision and onboard processing
US10015836B2 (en) Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
US9915545B2 (en) Smart necklace with stereo vision and onboard processing
US9629774B2 (en) Smart necklace with stereo vision and onboard processing
JP6992761B2 (ja) サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
US10744060B2 (en) Garment with remote controlled vibration array
CN104008664B (zh) 路况信息获取方法及相关装置
US10685547B2 (en) Communication device, information processing system, recording medium, and information processing method
CN109074237A (zh) 信息处理装置、信息处理方法和程序
RU162348U1 (ru) Устройство тревожного оповещения об угрозе личной безопасности
US20230051613A1 (en) Systems and methods for locating mobile electronic devices with ear-worn devices
Ong et al. Assistive obstacle detection and navigation devices for vision-impaired users
JP2022540371A (ja) 対象を追跡するための計算デバイスおよび方法
KR20160013657A (ko) 청각장애인을 위한 손목시계
JP2023544496A (ja) ウェアラブルタグ
US20220019285A1 (en) Communication using biopotential sensing and tactile actions
JP3239665U (ja) 視覚障害のあるユーザーを支援するためのシステム
JP2019016348A (ja) 協力補助システム及び協力補助方法
KR102516155B1 (ko) 홈 오토메이션과 연동되는 음성인식 기반의 웨어러블 디바이스
EP3171246A1 (en) Method of improved finding someone or something within a larger group of people or things
JP2017216570A (ja) 無線通信端末、情報処理システム、サーバ
JP6927567B2 (ja) 行動評価情報蓄積システム及び行動評価情報蓄積方法
RANI et al. A New Generation Real-Time Mouse for Human-Computer Interaction
EP3095234A1 (en) Method and apparatus for preclusion of causation of rendering of a notification at a notification time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R151 Written notification of patent or utility model registration

Ref document number: 6933279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151