JP2015185019A - 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム - Google Patents

情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム Download PDF

Info

Publication number
JP2015185019A
JP2015185019A JP2014062352A JP2014062352A JP2015185019A JP 2015185019 A JP2015185019 A JP 2015185019A JP 2014062352 A JP2014062352 A JP 2014062352A JP 2014062352 A JP2014062352 A JP 2014062352A JP 2015185019 A JP2015185019 A JP 2015185019A
Authority
JP
Japan
Prior art keywords
unit
reaction
information communication
event
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014062352A
Other languages
English (en)
Inventor
渡嘉敷 守
Mamoru Tokashiki
守 渡嘉敷
寛 大澤
Hiroshi Osawa
寛 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aquanics Kk
MIRAIAPURI CO Ltd
Original Assignee
Aquanics Kk
MIRAIAPURI CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aquanics Kk, MIRAIAPURI CO Ltd filed Critical Aquanics Kk
Priority to JP2014062352A priority Critical patent/JP2015185019A/ja
Publication of JP2015185019A publication Critical patent/JP2015185019A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】参加者がリアルタイムでイベントに対する反応を得て、その反応をイベントの提供者側が即座に利用できるとともに、参加者同士も共感を得る。【解決手段】あらかじめ設定されたイベントの参加者からの反応を示す反応データの入出力を行う情報通信装置Pのイヤホンジャックに、電気的に接続される接続部601と、イヤホンジャックに接続部601が接続されると、イベントを特定する契機となる識別信号を、情報通信装置Pに出力する識別信号出力部603と、特定されたイベントにおける反応データを、接続部601を介して、情報通信装置との間で伝達する伝達部604と、を有する。【選択図】図33

Description

本発明は、たとえば映画、コンサート、セミナーなどのイベントにおいて、参加者の反応を得るための情報通信技術に関する。
映画、コンサート、セミナーなどのイベントの主催者や演者は、観衆や聴衆等の参加者からの反応を得ることで、過去のイベントの評価、次回のイベントの改善に役立てることができる。
このような反応は、所定の質問等を記載した用紙を参加者に配布し、イベント終了後に、回答や感想等を記入してもらった用紙を回収するアンケートの形により取得することが多い。また、イベント終了後に、参加者に、ウェブサイトから回答や感想等を入力してもらうことにより、反応を収集することも可能である。
さらに、特許文献1には、携帯端末を用いて、映画を視聴中の視聴者からリアルタイムでアンケートの回答を収集し、イベント終了後に、視聴者が面白いと感じた場面やつまらないと感じた場面などを特定できるアンケートシステムが開示されている。
特許第5150793号公報
以上のような参加者からの反応の収集は、イベント終了後の分析には役立つ。しかしながら、イベントの開催中における参加者の反応を、リアルタイムで演者又は他の参加者が共有することはできなかった。
本発明は、上記のような従来技術の問題点を解決するもので、その目的は、リアルタイムでイベントに対する反応を得て、その反応をイベントの提供者側が即座に利用できるとともに、参加者同士も共感を得ることができるコミュニケーションツールとなる情報通信技術を提供することにある。
さらに、本発明の目的は、反応のコミュニケーションツールとして、参加者が簡単に利用でき、外部から状況を把握し易い情報通信装置の外部接続デバイスの技術を提供することにある。
以上のような目的を達成するために、本発明の情報通信装置の外部接続デバイスは、あらかじめ設定されたイベントの参加者からの反応を示す反応データの入出力を行う情報通信装置の接続端子に、電気的に接続される接続部と、前記接続端子に前記接続部が接続されると、イベントを特定する契機となる識別信号を、前記情報通信装置に出力する識別信号出力部と、特定されたイベントにおける反応データを、前記接続部を介して、前記情報通信装置との間で伝達する伝達部と、を有することを特徴とする。
なお、この発明は、上記の各部の機能を実現する外部接続デバイス用プログラムとして捉えることもできる。
他の態様は、前記伝達部は、前記反応データに応じた反応を出力する出力部を有することを特徴とする。
他の態様は、前記出力部は、前記反応データに応じて発光する発光部を有することを特徴する。
他の態様は、前記出力部は、前記反応データに応じて音声を出力する音声出力部を有することを特徴とする。
他の態様は、前記出力部は、前記反応データに応じて超音波を出力する超音波出力部を有することを特徴とする。
他の態様は、前記出力部は、前記反応データに応じて振動する振動部を有することを特徴とする。
他の態様は、前記伝達部は、イベントの参加者からの反応を入力する入力部を有することを特徴とする。
他の態様は、前記伝達部は、接続コードにより電気的に接続された他のデバイスとの間で、前記反応データを送受信する通信部を有することを特徴とする。
他の態様は、前記接続部は、前記情報通信装置のイヤホンジャックに接続されるプラグであることを特徴とする。
他の態様は、前記識別信号は、イベントを識別するイベント識別情報を含んでいることを特徴とする。
他の態様は、前記接続部、前記識別信号出力部及び前記伝達部の一部又は全部を備えたケースを有し、前記ケースには、前記イベントに関連する情報が表示されていることを特徴とする。
他の態様は、前記情報通信装置の電源とは独立した電源部を有することを特徴とする。
また、他の態様の情報通信プログラムは、送受信部、入力部、出力部に接続されたコンピュータに、あらかじめ設定されたイベントの参加者からの反応を、入力部から入力するための入力モードが複数設定され、イベントの参加者及び提供者の少なくとも一方に、前記反応を出力部から出力するための出力モードが複数設定され、イベントに応じて、前記入力モードを選択する入力モード選択処理、前記出力モードを選択する出力モード選択処理と、イベントの実施中に、イベントの参加者から、入力部を介して、選択された入力モードによる入力操作が行われた場合に、イベントに対する反応を示す反応データを生成する反応データ生成処理と、外部との間で前記反応データを、送受信部に送信又は受信させる送受信処理と、入力操作を行った参加者、その他の参加者及びイベントの提供者のいずれかに、反応をリアルタイムで又は反応をタイムコードとともに伝達できるように、前記反応データに基づく反応を、選択された出力モードで出力部に出力させる出力制御処理と、を実行させることを特徴とする。
この発明は、上記の各処理の機能を実現する情報通信装置として捉えることもできる。
他の態様は、前記出力モードは、前記出力制御処理が、出力部としてのバイブレータを、反応データに応じて作動させるモードを含むことを特徴とする。
他の態様は、前記出力制御処理は、入力を行った参加者と、その他の参加者の反応をともに出力することを特徴とする。
他の態様は、周囲の音声のレベルに応じて、前記バイブレータの作動を抑制する抑制処理を行うことを特徴とする。
他の態様は、前記反応データ生成処理は、入力操作に応じた量的情報を生成する処理を含み、前記反応を出力部から出力する態様は、前記量的情報を識別可能な態様であることを特徴とする。
他の態様は、前記反応データは、反応の有無によって評価を判断できるものであることを特徴とする。
他の態様は、前記反応を出力部から出力する態様は、イベントの提供者が期待する反応の程度を示す態様であることを特徴とする。
他の態様は、前記出力モードは、出力部としての表示装置に、反応データに応じた表示をさせるモードを含むことを特徴とする。
他の態様は、前記出力モードは、出力部としての音声出力装置に、反応データに応じた音声を出力させるモードを含むことを特徴とする。
他の態様は、前記入力操作は、入力部としてのタッチパネルにより検出されるタップ操作及びスライド操作の少なくとも一方であることを特徴とする。
他の態様は、前記入力操作は、入力部としての加速度センサにより検出される傾き及び動きの少なくとも一方であることを特徴とする。
他の態様は、現在の位置データとともに、当該位置データに対応するイベントに関するイベントデータの要求を前記送受信部に送信させる要求部を有することを特徴とする。
他の態様は、前記入力部が所定の入力操作を受け付けている場合に、前記送受信部による通信の少なくとも一部を制限する制限処理を行うことを特徴とする。
他の態様は、前記反応データを記憶する反応データ記憶処理と、前記イベントの音声及び映像の少なくとも一方を記録した記録データを記憶する記録データ記憶処理と、前記反応データと前記記録データを前記出力部に再生させる再生処理と、を実行させることを特徴とする。
他の態様は、送受信部、入力部、出力部に接続されたコンピュータに、あらかじめ設定されたイベントの参加者からの反応を、入力部から入力するための入力モードが複数設定され、イベントに応じて、前記入力モードを選択する入力モード選択処理と、イベントの実施中に、イベントの参加者から、入力部を介して、選択された入力モードによる入力操作が行われた場合に、イベントに対する反応を示す反応データを生成する反応データ生成処理と、前記反応データを、前記送受信部に送信させる送信処理と、を実行させることを特徴とする。
他の態様は、送受信部、入力部、出力部に接続されたコンピュータに、あらかじめ設定されたイベントの参加者からの反応を、出力部から入力するための出力モードが複数設定され、イベントに応じて、前記出力モードを選択する出力モード選択処理と、送受信部が、あらかじめ設定されたイベントの実施中に、イベントの参加者のイベントに対する反応を示す反応データを外部から受信した場合に、反応をリアルタイムで伝達できるように、前記反応データに基づく反応を、選択された出力モードで出力部に出力させる出力制御処理と、を実行させることを特徴とする。
他の態様である配信サーバは、情報通信装置に、ネットワークを介して接続された送受信部と、前記送受部が、位置データとともに、当該位置データに対応するイベントに関するイベントデータの要求を受信した場合に、イベントデータを配信するデータ配信部を有することを特徴とする。
以上のような本発明によれば、参加者がリアルタイムでイベントに対する反応を得て、その反応をイベントの提供者側が即座に利用できるとともに、参加者同士も共感を得ることができるコミュニケーションツールとなる情報通信技術を提供することができる。
さらに、本発明は、反応のコミュニケーションツールとして、参加者が簡単に利用でき、外部から状況を把握し易い情報通信装置の外部接続デバイスの技術を提供することができる。
実施形態における情報通信システムを示す全体構成図 実施形態における配信サーバを介した接続態様を示すブロック図 実施形態における1対1の接続態様を示すブロック図 実施形態における1対多の接続態様を示すブロック図 情報通信装置の構成を示すブロック図 配信サーバの構成を示すブロック図 反応の入力処理の手順を示すフローチャート 反応の入力処理を示すシーケンス図 反応データの受信準備処理を示すシーケンス図 反応データの受信処理を示すシーケンス図 配信サーバからの反応データの受信処理を示すシーケンス図 タップモードにおけるユーザインタフェースを示す図 タップモードにおけるユーザインタフェースを示す図 反応の変化を画面表示させた例を示す図 回数変動による振動パターンを示す図 周期変動による振動パターンを示す図 画面に触れる位置に応じて振動周期を変えるフィードバックを示す図 画面に触れる位置に応じて振動時間を変えるフィードバックを示す図 反応入力値の振動に共有反応値の振動が加わる例を示す図 反応入力値の振動に共有反応値の振動が加わる場合の周期を求める式の例を示す図 反応入力値と共有反応値を合わせて周期を求める式の例を示す図 タップによる反応の入力と出力の例を示す図 周囲の状況に応じて振動を強める例を示す図 周囲の状況に応じて振動を抑制する例を示す図 周囲の状況に応じて振動を抑制する場合のフローチャート レコメンのための解析を示す説明図 イベント記録データと反応の再生態様を示す説明図 イベント記録データと反応の再生態様を示す説明図 プレゼンテーションにおける使用態様を示す説明図 反応のグラフ表示を示す説明図 ライブ会場での反応の表示例を示す説明図 治療中の反応の入力と表示例を示す説明図 外部接続デバイスの構成を示すブロック図 発光部を有する外部接続デバイスの外観を示す斜視図 発光部を有する外部接続デバイスの連携例を示す説明図 入力操作部を有する外部接続デバイスの外観を示す斜視図 接続ケーブルにより接続された外部接続デバイスの外観を示す斜視図 アプリのイベント特定処理を示すフローチャート 外部接続デバイスの処理を示すフローチャート
本発明を実施するための形態(以下「本実施形態」と呼ぶ)について、図面を参照して具体的に説明する。なお、本実施形態は、コンピュータとしてのスマートフォン、タブレット端末、ウェアラブルデバイス等の情報通信装置を、プログラムで制御することで実現できる。この場合のハードウェアやプログラムの実現態様は各種変更可能である。
例えば、以下に説明する情報通信装置Pは、典型的には、スマートフォンにアプリケーションプログラム(以下、単に、アプリと呼ぶ)をインストールすることにより構成できる。このため、後述する各部の処理に必要な設定、演算式、パラメータ等は、アプリに含まれ、これらをあらかじめ内蔵の若しくはリムーバブルなメモリが記憶している。後述する記憶部220は、このようなメモリの記憶領域の一部として構成できる。また、以下の説明では、主として、ローカルなインストールを必要とするアプリの例で説明しているが、Webサーバとの連携によるWebアプリであっても適用可能である。
また、本発明は、上記のようなプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。以下の説明では、本実施形態の各機能をブロックで図示した仮想的ブロック図を用いる。
[1.構成]
[1−1.概要]
まず、本実施形態は、図1に示すように、ネットワークNを介して互いに情報の送受信が可能な配信サーバS、複数の情報通信装置P1、P2、…によって構成される。ユーザは、情報通信装置P1を用いて、イベントの開催中に、気に入った場面等においてタップ等の入力操作を行う。すると、通信方法の選択に応じて、以下のような処理がなされる。イベントとしては、映画、演劇、コンサート、ライブ、セミナー、講義、講演、冠婚葬祭、スポーツ、ゲーム、マッサージ、カイロプラクティック、歯科治療等、特定の期間、特定のコンテンツを提供する提供者と、この提供を受ける参加者とが存在する集まりを意味する。コンテンツには、施術等の一対一のサービスも含まれる。
また、反応としては、イベントの提供者が、参加者に期待する反応とする。例えば、イベントのコンテンツに対する肯定的な評価として設定されているものとする。一般的なコンテンツの場合、面白い、喜び、笑い、泣き、驚き、興奮、心地良い、称賛、喝采という反応である。ホラー、スリル、サスペンス等の要素が含まれるコンテンツの場合には、恐怖についても、肯定的な評価に含まれる。このような反応は、反応があった場合には肯定的な評価がなされ、反応がなかった場合には肯定的な評価がなされなかったというように、反応の有無だけで、評価を判断できる単純なものであることが好ましい。
(配信サーバを介する場合)
図2に示すように、情報通信装置P1が、入力操作に応じた反応データを、インターネット等のネットワークを介して、配信サーバSに送信する。配信サーバSは、あらかじめ登録されたイベントの講演者、演者等の現場での提供者(以下、単に演者とする)が所持する情報通信装置P2に、反応データを送信する。すると、情報通信装置P2は、タップ操作に応じた振動等をするため、イベント中にリアルタイムの反応が得られる。配信サーバSにおいては、反応データを分析することにより、参加者へのレコメンド等の情報提供に役立てることができる。
なお、配信サーバSと情報通信装置P2との送受信のためのプロトコルとしては、HTTP Polling or PUSHを適用するとよい。これを利用すると、送信側から送信された反応データを、即時的かつ連続的に伝達でき、リアルタイム性が高まるのでよい。なお、本実施形態において、リアルタイムという場合、入力と出力のタイミングが人間にとって同時と感じられる程度であることをいうが、装置や通信手段の速度や遅延により、入力と出力に多少のタイミングの相違が生じている場合も含まれる。
なお、イベントの会場等の現場で、インターネット等の接続が制限されている場合には、情報通信装置P1は、時系列で反応データを記憶しておき、イベント終了後、接続可能となってから送信する。送信された反応データに基づいて、配信サーバSにおける分析、情報通信装置P2における振動等の反応が得られる。
(情報通信装置同士の場合)
図3に示すように、情報通信装置P1が、入力操作に応じた反応データを、WiFi Direct、Bluetooth(登録商標)等のネットワークにより、他者の情報通信装置P2に直接送信する。すると、情報通信装置P2は、タップ操作に応じた振動等をするため、イベント中にリアルタイムの反応が得られる。
なお、他者の情報通信装置P2は、演者の所持するものであっても、一緒にイベントに参加した仲間が所持するものであってもよく、さらに、単数であっても複数であってもよい。つまり、図4に示すように、多数の聴衆等の参加者の情報通信装置P1が、ルータ、ローカルサーバを介したWiFi等のローカルネットワークにより、演者の情報通信装置P2に送信する。これにより、演者の情報通信装置P2は、タップ操作に応じた振動等により、イベント中にリアルタイムの反応が得られる。参加者の情報通信装置P1が多数あり、反応データが集中することにより帯域が圧迫される場合には、待ち時間の設定や時刻で割り振る等により、各情報通信装置P1が順に接続されるようにしてもよい。
[1−2.情報通信装置]
情報通信装置P1、P2、…PN(以下、単に情報通信装置Pとする)は、図5に示すように、一般的なスマートフォン等の携帯電話が備える送受信部100、入力部110、出力部120を有する。
(送受信部)
送受信部100は、ネットワークNを介して、配信サーバS及び他の情報通信装置Pとの間で情報を送受信する処理部である。ネットワークNは、多対1、多対多、1対1のいずれの関係でもよい。たとえば、送受信部100は、携帯電話の基地局及びWiFi等の無線LANを介したインターネットへの接続機能、WiFi等の無線LAN、WiFi Direct等による情報通信装置Pの相互接続機能を有する。
(入力部)
入力部110は、ユーザが、本実施形態の処理、操作に必要な情報を入力する入力装置である。この入力部110は、タッチセンサ111、加速度センサ112、マイク113、カメラ114を有する。
タッチセンサ111は、後述するディスプレイ121に構成され、表面への接触を感知するセンサであり、タップ、スライド等の入力操作を可能とする。タップは、指で表面を短くタッチすることであり、スライドは表面を指で触れながら移動させることである。但し、タップは表面に触れている時間が短い操作、スライドは表面に触れている時間が長い操作を便宜的に示したに過ぎず、フリック、スワイプ等の他の呼び名であってもよい。
加速度センサ112は、傾き及び振動を感知して、傾きや振動の程度に応じた電気信号に変換するセンサである。マイク113は、音声信号を電気信号に変換する入力装置である。カメラ114は、静止画若しくは動画を撮像して、画像データ、動画データとして入力する入力装置である。
(出力部)
出力部120は、ユーザが、本実施形態の処理、操作に必要な情報を出力する出力装置である。この出力部120は、ディスプレイ121、バイブレータ122、音声出力部123を有する。
ディスプレイ121は、ユーザが視覚的に認識する画像(静止画、動画、テキスト等を含む)を表示する表示装置である。本実施形態では、ディスプレイ121は、後述するように、タッチセンサ111による入力のためのインタフェース、参加者の反応の程度を視覚的に示す表示を行うことができる。
バイブレータ122は、モータを駆動源として、振動を発生させる装置である。本実施形態では、バイブレータ122は、参加者の反応の程度に応じた振動を生じさせることができる。音声出力部123は、ユーザが聴取する音声を出力するスピーカ、イヤホン、ヘッドホン等の出力装置である。本実施形態は、音声出力部123は、参加者の反応の程度に応じた音声を出力することができる。
上記のような送受信部100、入力部110、出力部120は、スマートフォン等に一般的に備えられているものを使用することができる。さらに、情報通信装置Pは、反応データ生成部200、要求部210、記憶部220、イベント選択部230、出力制御部240、入力モード選択部310、出力モード選択部320、抑制部330を有する。
(反応データ生成部)
反応データ生成部200は、入力部110からの所定の入力操作に応じて、反応データを生成する処理部である。所定の入力操作は、タッチセンサ111のタップ操作、スライド操作、情報通信装置Pを傾ける操作、情報通信装置Pを振る操作を含む。
反応データは、イベントの参加者が、イベントの実施中に、イベントに対する反応を示すデータである。この反応データは、所定の入力操作がどの程度の量で行われたかを示す量的情報を含む。量的情報としては、例えば、タップの回数、スライドの時間、スライドの距離、傾けた回数、傾きの角度、動かした回数等を含む。
回数の情報としては、入力操作が行われる度に、1回の入力がなされたことを示す情報であっても、所定時間内に何回の入力がなされたことを示す情報であっても、入力の周期を示す情報であってもよい。さらに、各反応データ又は反応データに含まれる各入力には、タイマから取得する時間データ212に基づいて、タイムコードが付与される。これにより、反応データを時系列で並べて分析することが可能となる。なお、反応データの生成処理の一部は、配信サーバS、受信側の情報通信装置Pにおいて行ってもよい。例えば、送信側では、1回の入力がなされたことのみを生成して送信し、これを受信した配信サーバS又は情報通信装置Pにおいて、所定時間の入力の回数、入力の周期等を求めて、後述するように反応として出力するようにしてもよい。
(要求部)
要求部210は、配信サーバSに、各種の要求を出力する処理部である。要求部210が要求する情報は、アプリ要求データ、イベントデータ、イベント指定、過去反応データが含まれる。アプリ要求データは、本実施形態のアプリのダウンロードを要求するデータである。イベントデータは、イベントの名称、開催場所、開催日時等のイベントを特定する情報を含む。開催場所は、イベントを開催する会場の名称、住所、GPSによる位置情報から特定可能な座標情報を含む。開催日時は、開催日、開始時間、終了時間の情報を含む。さらに、イベントについて、後述する入力モード及び出力モードを特定する情報、送受信部100による外部との通話等の通信制限の有無、ディプレイ121のバックライトの発光制限の有無についての情報も含む。入力モード、出力モードを特定する情報は、同一のイベントであっても、開催する時間帯や地域によって異なっていてもよい。なお、イベントデータの要求には、GPSから取得した情報通信装置Pの現在の位置データ211を含めることができる。
(記憶部)
記憶部220は、本実施形態の処理に必要な情報を記憶する処理部である。記憶部220が記憶する情報としては、イベントデータ、リアルタイム反応データ、過去反応データ、イベント記録データを含む。イベントデータは、上記のように、要求部210からの要求に応じて、配信サーバSから送信されてきたものを、送受信部100が受信して、記憶する。
リアルタイム反応データは、イベントの開催中に、配信サーバS又は他の情報通信装置Pから送信され、送受信部100が受信した反応データである。この反応データは、例えば、反応の累積回数、所定時間毎の反応の回数又はその平均値、反応の周期等の量的情報とすることが考えられる。反応の回数は、単一の情報通信装置Pからの反応であっても、複数の情報通信装置Pからの反応の総計であってもよい。過去反応データは、過去に開催されたイベントの反応データであり、配信サーバS又は他の情報通信装置Pが記憶している。過去反応データは、要求部210からの要求に応じて、配信サーバS又は他の情報通信装置Pから送信されてきたものを、送受信部100が受信して記憶する。
イベント記録データは、イベントの開催中に、マイク113により集音した音声データ、カメラ114により撮像した静止画データ、動画データを記録したデータである。このイベント記録データも、タイマから取得する時間データ212と関連付けて記憶される。なお、イベント記録データは、映画、音楽などのように、あらかじめデータとして存在するコンテンツとすることもできる。
(イベント選択部)
イベント選択部230は、入力部110からの入力に応じて、記憶部220から、特定のイベントに関する情報を選択する処理部である。例えば、ディスプレイ121に表示された複数のイベントデータの中から、所望のイベントがタッチされた場合に、そのイベントを選択する。また、イベント記録データのうち、過去の特定のイベントのデータを選択することができる。
(出力制御部)
出力制御部240は、出力部120を制御する処理部である。出力制御部240は、表示制御部241、バイブレータ制御部242、音声制御部243、再生制御部244を有する。
表示制御部241は、反応の程度を示すディスプレイ121の表示を制御する処理部である。この表示制御部241は、ディスプレイ121に、参加者が反応を入力するための表示、反応の程度を示す表示をさせる処理部である。反応を入力するための表示は、参加者がタッチセンサ111に触れて、タップやスライドによって反応を入力するための領域を示す表示である。反応の程度を示す表示は、タップ等の反応の回数を数字で示すカウント表示、時系列での変化をグラフ化したグラフ表示を含む。
なお、反応の程度を示す表示は、他の参加者からの反応データに基づく表示をさせる場合のみならず、参加者自身が自己の情報通信装置Pから入力した反応データに基づくフィードバック表示をさせる場合も含む。カウント表示やグラフ表示のより具体的な例は、後述する。なお、表示制御部241は、上記以外にも、タッチセンサ110により操作可能なユーザインタフェースの表示を制御する。
バイブレータ制御部242は、反応の程度を示すバイブレータ122の作動を制御する処理部である。このバイブレータの作動は、単に、反応がある毎に振動を発生させる態様でもよいが、後述の具体例で示すように、振動の回数を変動させる態様、周期を変動させる態様とすることもできる。また、反応の程度を示す振動は、他の参加者からの反応データに基づく振動をさせる場合のみならず、参加者自身が自己の情報通信装置Pから入力した反応データに基づいて振動をさせるフィードバックも含む。
音声制御部243は、反応の程度を示す音声出力部122の出力音声を制御する処理部である。この出力音声は、単に、反応がある毎に音声を発生させる態様でもよいが、後述の具体例で示すように、音声の回数を変動させる態様、音声の周期を変動させる態様とすることもできる。拍手や笑い声とすることもできる。また、反応の程度を示す音声は、他の参加者からの反応データに基づく音声出力をさせる場合のみならず、参加者自身が自己の情報通信装置Pから入力した反応データに基づいて音声出力をさせるフィードバックも含む。
再生制御部244は、イベント選択部230により選択されたイベンド記録データを再生させる処理部である。つまり、再生制御部244は、イベント記録データである音声、静止画、動画を、ディスプレイ121や音声出力部123に出力することにより再生させる。このとき、反応の程度を示す表示、振動、音声を、イベントの経過に同期させて再生する。より具体的な態様は、後述する。
(入力モード選択部)
入力モード選択部310は、イベントデータに応じて、参加者が反応を入力する態様である入力モードを選択する処理部である。入力モードとしては、例えば、タッチセンサ111に対するタップによるタップモード(スライドによるスライドモードが設定されていてもよい)、加速度センサ112による傾き検出の傾き検出モード、加速度センサ112による動き検出の動き検出モードがある。入力モードは、複数のモードを同時に併用できるように、複数選択できるようにしてもよい。参加者が、入力部110から、所望の入力モードを選択、変更できるようにしてもよい。
(出力モード選択部)
出力モード選択部320は、イベントデータに応じて、反応を出力する態様である出力モードを選択する処理部である。出力モードとしては、例えば、ディスプレイ121の表示によるディスプレイモード、バイブレータ122の振動によるバイブレータモード、音声出力部123による音声出力によるサウンドモードがある。出力モードは、複数のモードを同時に併用できるように、複数選択できるようにしてもよい。参加者又は提供者が、入力部110から、所望の出力モードを選択、変更できるようにしてもよい。
(抑制部)
抑制部330は、反応データを受け付ける場合に、ディスプレイ121のバックライトの光量を抑えるバックライト制御部331と、送受信部110による外部との通信を抑制する電波制御部332、バイブレータ122による振動を抑制する振動抑制部333を有する。この抑制部330による抑制をすべきか否かは、イベントデータ又は外部の状況に基づいて決定することができる。
[1−3.配信サーバ]
配信サーバSは、図6に示すように、アプリの提供者、イベントの提供者等において管理されるサーバである。この配信サーバSは、記憶部410、配信制御部420を有する。
(記憶部)
記憶部410は、配信用の情報を記憶する処理部である。この記憶部110は、アプリ、ユーザプロファイル、イベントデータ、反応データ、解析データを記憶する。アプリは、本実施形態のアプリである。ユーザプロファイルは、アプリ配信時等に登録されるユーザの属性情報を記録したデータである。イベントデータ、反応データは、上記の通りである。解析データは、反応データを解析した結果を示すデータである。これらの具体例は、後述する。
(配信制御部)
配信制御部420は、送受信部421、要求取得部422、データ配信部423、反応データ受信部424、反応データ解析部425、検索部426を有する。
送受信部421は、ネットワークNを介して、情報通信装置P及び他のサーバとの間で情報を送受信する処理部である。たとえば、送受信部421は、インターネットへの接続機能を有する。
要求取得部422は、情報通信装置Pからの要求を取得する処理部である。要求は、アプリのダウンロード要求、イベントデータの要求、イベントの指定要求、反応データの要求、解析データの要求等がある。データ配信部423は、情報通信装置Pからの要求に応じて、要求されたデータを配信する処理部である。
反応データ受信部424は、参加者の情報通信装置Pから送信された反応データを受信する処理部である。受信した反応データは、記憶部410が記憶する。
反応データ解析部425は、過去の反応データを解析する処理部である。この解析は、後述するように、ユーザプロファイルに基づいて、参加者の傾向を求めることにより行う。解析データは、記憶部410が記憶する。検索部426は、記憶部410から各部の処理に必要な情報を検索する処理部である。
[2.作用]
以上のような本実施形態の処理の一例を、図7〜図10に従って説明する。なお、以下のような手順による処理方法も、本発明の一態様である。
[2−1.反応の入力]
イベント参加者による反応の入力処理を、図7のフローチャート、図8のシーケンス図に沿って説明する。なお、各情報通信装置Pは、あらかじめ配信サーバSに対する要求により、本実施形態のアプリのダウンロード及びインストールを完了しているものとする。また、配信サーバSにおける記憶部410には、アプリの要求時にユーザが登録した属性情報がユーザプロファイルとして登録されている。
まず、参加者がアプリの起動操作を行うと、アプリが起動して設定の初期化を行い、送受信部100はインターネットへの接続を行う(ステップS101)。要求部210は、GPSからの位置データ211を取得する(ステップS102)。そして、要求部210は、配信サーバSへのイベントデータの要求を、送受信部100に送信させる(ステップS103)。この要求には、現在の位置データ211が含まれている。
図6に示すように、配信サーバSの送受信部421が受信したイベントデータの要求を、要求取得部422が取得すると、検索部426は、要求に含まれる位置データと現在時刻に基づいて、イベントデータを検索する。例えば、開催場所が位置データから所定の範囲内であって、開催時間が現在時刻から所定の時間内におけるイベントが検索される。データ配信部423は、検索されたイベントデータを、要求のあった情報通信装置Pに配信する。
情報通信装置Pの送受信部は、配信されたイベントデータを受信して、記憶部220が記憶する。そして、表示制御部241は、イベントデータの一覧を、ディスプレイ121に表示させる(図7のステップS104)。参加者が、表示された一覧の中から所望のイベントを選択すると、表示制御部241がパスコードの入力フォームをディスプレイ121に表示させて、入力を待つ(ステップS105のNO)。
参加者は、ユーザプロファイル登録時等に、あらかじめ設定したパスコードを入力することにより、所望のイベントの指定要求を入力する(ステップS105のYES)。送受信部100は、イベントの指定及びパスコードを配信サーバSに送信し、これを受信した配信サーバSは、参加者からの反応データの入力の受け付けを開始することを示すイベント指定応答を返信する。これにより、参加者は、指定したイベントにおいて、アプリを使用した反応の入力が可能となる。
なお、参加者は、入力部110を用いて、いずれの入力モードにより反応を入力するかを指定することができる。つまり、入力部110の指定に応じて、入力モード選択部310は、タップモード、傾き検出モード、動き検出モードを選択し、選択されたモードによる反応入力を可能とする。
参加者は、さらに、配信サーバS経由でリアルタイムに反応データを送受信するか、ユーザ間でのみリアルタイムで反応データを送受信するかを選択する(ステップ106)。配信サーバS経由で反応データを送受信する場合には、そのままインターネット接続を継続する(ステップS106のNO)。ユーザ間で反応データを共有する場合には(ステップS106のYES)、ユーザ間でのネットワーク接続に切り替える(ステップS107)。つまり、所望の参加者とのWiFi Direct等の相互通信に切り替える。
また、抑制部330は、イベントデータに基づいて、通話制限又は発光制限が必要な会場と判定した場合(ステップS108のYES)、電波をOFF又はバックライトの発光を弱くする(ステップS109)。抑制部330は、通話制限又は発光制限が必要な会場ではないと判定した場合(ステップS108のNO)、電波及び発光の抑制は行わない。
このような準備をした後、イベントが開始から終了までの間、入力部110は、参加者から、あらかじめ入力モード選択部310により選択されたモードによる所定の入力が行われることを待つ(ステップS110のNO)。
入力部110から、所定の入力が行われた場合(ステップS110のYES)、反応データ生成部200が反応データを生成し、送受信部100が、配信サーバS又は相互接続された参加者の情報通信装置Pに、タイムコードとともに送信する(ステップS111)。後述するように、これを受信した情報通信装置Pにおいては、バイブレータ等、選択されたモードによる反応を出力する。
なお、通話制限により外部との通信ができない場合には、反応データ生成部200が生成した反応データは、リアルタイム反応データとして、記憶部220が記憶する。この記憶された反応データは、イベント終了後、外部との通信が可能となった時に、送受信部100が配信サーバSに送信し、記憶部410が記憶する。
なお、イベント開催中に、参加者は、マイク113による録音、カメラ114による撮像を行うことができる。録音されたイベントの開催中の音声データ、撮像された静止画データ、動画データは、リアルタイム反応データ及び時間データとともに、記憶部220が記憶する。
参加者は、イベントの開催中、終了操作を行わない限り(ステップS112のNO)、ステップS110〜S111の処理を繰り返す。そして、イベントが終了して終了操作を行うと(ステップS112のYES)、処理を終了する。
[2−2.反応データの受信]
上記の反応データを受信する演者又は参加者側の処理を、図9〜図11のシーケンス図を参照して説明する。なお、図9に示すアプリ起動からイベント指定応答までの処理は、図7及び図8に示した送信側の処理と同様であるために、説明を省略する。
なお、演者又は参加者は、入力部110を用いて、いずれの出力モードにより反応を出力するかを指定することができる。つまり、入力部110の指定に応じて、出力モード選択部320は、ディスプレイモード、バイブレータモード、サウンドモードを選択し、選択されたモードによる反応出力を可能とする。
さらに、このような反応データの受信側の設定は、反応データを入力する情報通信装置Pにおいても行うことができる。つまり、参加者は、同一の情報通信装置Pにおいて、反応の入力及び出力を行う設定を行うことにより、自らの反応の入力をしつつ、他者の反応の出力を得ることができる。
次に、図10に示すように、演者又は参加者は、入力部110を用いて、送受信部100により接続するネットワークNを選択する。外部との接続が可能な場合には、携帯電話の基地局を介したインターネット接続、又は内部に設置された無線LANルータを介したWiFiによるインターネット接続を行う。
内部の情報通信装置Pのみで接続する場合には、無線LANルータを介したWiFi接続、特定の情報通信装置Pのみとの相互接続を行う場合には、WiFi Directによる接続を行う。
また、抑制部330は、イベントデータに基づいて、通話制限又は発光制限が必要な会場と判定した場合、通話用の電波又はバックライトの発光を抑制する。抑制部330は、通話制限又は発光制限が必要な会場ではないと判定した場合、抑制は行わない。
そして、送受信部100は、イベントの開催中に、リアルタイム反応データを受信すると、選択された出力モードにより、反応の程度に応じた出力がなされる。つまり、ディスプレイ121の画面表示、バイブレータ122による振動、音声出力部123による音声出力がなされる。
さらに、図11に示すように、イベントの開催中に通信ができなかった場合には、要求部210が、イベント終了後、過去の反応データを要求する。配信サーバSの要求取得部422は、送受信部421が受信した要求を取得すると、検索部426が、要求されたイベントの反応データを検索する。検索された反応データは、データ配信部422により、要求された情報通信装置Pに配信される。情報通信装置Pの送受信部421が過去の反応データを受信すると、記憶部220が記憶する。
再生制御部244が再生制御を行う場合、抑制部330は、イベントデータに基づいて、通話制限又は発光制限が必要な会場と判定した場合、通話用の電波又はバックライトの発光を抑制する。抑制部330は、通話制限又は発光制限が必要な会場ではないと判定した場合、抑制は行わない。
そして、再生制御部244は、受信した過去の反応データと、これに対応するイベント記録データを時間データに基づいて同期した態様で、ディスプレイ121や音声出力部123により再生させる。これにより、イベントが音声や映像で再生されながら、リアルタイムに取得した反応データに応じた反応が、振動、表示又は音声により出力される。
[2−3.反応の入力態様]
上記のような実施形態における参加者による反応の入力態様の具体例を説明する。
(タップ)
まず、タップ(スライドも含む)により反応を入力する態様の一例を説明する。タップにより入力する場合のユーザインタフェースとしては、図12に示すように、表示画面における広範囲な部分(例えば、表示領域の半分以上)を、タップによる入力可能な領域とする。反応データ生成部200は、参加者がこの領域をタップする毎に1回の反応があったことを意味する反応データを生成してもよいし、所定時間におけるタップされた回数を意味する反応データを生成してもよい。タップを繰り返す周期を、反応データとしてもよい。
そして、その他の領域を、タップしても反応の入力にはならないが、スリープ状態となるのを防止する領域とする。このように、タップ位置を広範囲に設定することで、反応入力をし易くすることができる。また、反応入力にならない部分を、時々タップすることにより、スリープ状態となることを防止できる。
また、図13に示すように、指のタップ位置を移動させることで、反応を入力するようにしてもよい。つまり、センターライン(図中、50で示す)を挟んで左(図中、0側)、右(図中、100側)をタップする又は左右にスライドさせ、一往復又は片道で1回の反応があったことを意味する反応データを生成してもよいし、所定の時間内に一往復又は片道の入力があったことを意味する反応データを生成してもよい。タップやスライドの往復の周期を、反応データとしてもよい。この場合、抑制部330により画面のバックライトをOFFとして、タップ領域を限定しないこともできる。これにより、参加者は、手元を見ずに入力できる。
なお、上記の例で、スリープ状態となるのを防止する領域を設けるか否かは、自由である。例えば、Webアプリであって、情報通信装置Pのスリープ機能を抑制できない場合に設けることが考えられる。このため、アプリに情報通信装置Pのスリープ機能を制限する機能を持たせることができる場合には、スリープ状態となるのを防止する領域は不要となる。
(傾き)
次に、傾きにより反応を入力する態様の一例を説明する。参加者が、情報通信装置Pを水平に寝かせた状態から立ち上げるなど、角度を変更させる動きを行う。すると、その角度変化を、加速度センサ112が検出して、反応データ生成部200が反応データを生成する。反応データ生成部200は、変化がある毎に、1回の反応があったことを意味する反応データを生成してもよいし、所定時間における角度変更の回数を意味する反応データを生成してもよい。変化した角度に応じた数値を意味する反応データを生成してもよい。
(動き)
参加者が、情報通信装置Pを振る、情報通信装置Pを所持した参加者がジャンプする等の動きを与える動作を行う。すると、その動きを、加速度センサ112が検出して、反応データ生成部200が反応データを生成する。反応データ生成部200は、動きがある毎に、1回の反応があったことを意味する反応データを生成してもよいし、所定時間における動きの回数を意味する反応データを生成してもよい。
動きによる入力の場合、例えば、ライブや競技観戦などに適している。この場合、例えば、腕時計型のウェアラブルデバイスやスマートフォン等の加速度センサ112の値の変化量を反応値として用いるとよい。
より具体的には、反応値=x方向の加速度の変化量×A+y方向の加速度の変化量×B+z方向の加速度の変化量×Cとするとよい。ここで、A、B、Cは重み付けパラメータであり、値は状態により変化させてもよい。例えば、加速度値で判明する重力方向がy方向の場合は、y方向はジャンプということで、反応としては大きいため、重みBを大きくするとよい。但し、ポケット内の情報通信装置Pが縦から横向きになり、重力方向がx方向になった場合は、重みBを大きくするとよい。さらに、斜めになっている場合には、角度による比率で調整するとよい。
(音)
マイク113から入力された音声信号に基づいて、反応データ生成部200が反応データを生成してもよい。例えば、バラードなどの静かな楽曲になると、動きでは盛り上がりを検知できないため、演奏後に起こる歓声や拍手の音、拍手の動きから反応値を導くことができる。
より具体的には、
反応値=マイクから入力された音声信号のレベル
反応値=マイクから入力された音声信号を周波数解析した結果、歓声や拍手音のように反応とすべき帯域のみの音声信号のレベル
なお、上記の動きの一例として、
反応値=拍手の運動特有の、x、y、z各方向の加速度変化の値から、その強さも含めた値
としてもよい。
[2−4.反応の出力]
(画面表示)
量的情報を数字、色、表示数等によって表示することができる。例えば、図12に示すように、反応の累積回数又は所定時間内の反応の回数等の量的情報に応じて、これを数値で表示したり、色が徐々に変化するグラフの伸張で表示したりすることができる。文字、図形、キャラクター等の表示数が、量的情報に応じて増減することによっても示すことができる。単に、反応が一回ある毎に、これと同じタイミングで表示色や形状を変えるだけでも、反応を伝えることができる。この場合、ステージや壇上に立つ演者にとって、ディスプレイ121が視野に入る位置に情報通信装置Pを置いておけばよい。
図14に示すように、全面を一色とした画面が、ある色から、これと異なる色に変化することにより、反応の大きさを示してもよい。例えば、マッサージなどの施術に対する反応を得る場合には、一対一の関係であり、数値表示は与える印象が厳しいため、入力する側が躊躇や遠慮をする場合も想定される。また、マッサージ中に、振動により反応を得ることは、施術の際には煩わしく、施術の邪魔になる場合もある。このため、色の変化による曖昧な出力とするとよい。
さらに、ライブなどのイベントにおいては、画面にイルミネーション表示をさせ、反応の程度に応じて、イルミネーション表示を変化させると、雰囲気を盛り上げることに役立つのでよい。
(振動)
量的情報を、振動回数や振動周期で表現することができる。例えば、反応の平均値又は反応した人数の増分に応じて、回数や周期を変化させる。増分が1桁ならば1回振動、2桁ならば2回振動、3桁ならば3回振動といった変化でもよい。10秒〜60秒の所定時間内の反応数に応じた回数で、振動させてもよい。反応数に応じて、1振動の長さや強さを変化させてもよい。一定間隔で振動し続けて、反応数の変化に応じて、周期が早くなったり、遅くなったりしてもよい。このように振動により反応を伝える場合、周囲の人間に気付かれることも、周囲の明るさや音に影響を受けることなく、様々な場面で、さり気なく反応を得ることができる。あらかじめ接続した参加者同士のみで、イベントを楽しみながら、お互いの反応によりコミュニケーションをとることにも適している。
より具体的には、以下の(1)(2)のような態様で振動させることができる。
(1)反応の値に応じて振動回数を変化させる
例えば、一定時間内の反応のカウント数(10秒の累積数、30秒の反応した人数など、一定時間毎に集計したデータ)に応じて、振動回数を変化させる。この場合、反応がない場合には振動しないか、振動回数が少ないため、無反応が判断し易く、無反応と反応があった場合とを区別し易い。また、反応が少ない場合には、バッテリー消費が少ない。カウント数と振動回数の関係は、図15(A)に示すように、直線的に変化するように設定、調整しても、図15(B)に示すように、緩やかに変化するように設定、調整してもよい。
(2)一定間隔に振動させながら、反応の値に応じて振動間隔を変える
例えば、一定間隔で振動させながら、一定時間内の反応のカウント数に応じて、振動間隔を短くし、脈が打つように周期の変化で表現する。この場合、突然振動が発生して驚くことがないため、演者に影響が出にくい、正常に動作していることが常に確認できるといった利点がある。カウント数と振動間隔の関係は、図16(A)に示すように、直線的に変化するように設定、調整しても、図16(B)に示すように、緩やかに変化するように設定、調整してもよい。
(音声)
スピーカ、イヤホン、ヘッドホンを介して、信号音、合成音、あらかじめ録音された音等の音声を用いることにより、反応を聴覚的に得ることができる。例えば、パルス、声、拍手、合いの手を出力することが考えられる。反応に応じて、パルスの回数、大きさ、周期を変化させてもよい。あらかじめ登録された複数種の音声から、反応に応じて選択的に出力するようにしてもよい。反応に応じて、拍手、歓声、笑い声を出力するようにしてもよい。これにより、イヤホン等を装着している演者が、受けているかどうかを擬似的に感じ取ることができる。
さらに、例えば、信号音は、振動と同様に、反応発生時に音量で反応の程度を示すか、周期的に音を鳴らして、反応に応じて周期を変える他に、音程の高い低いで表現してもよい。合成音の場合、拍手、歓声の他、合成音声による反応の程度に対応する数値の読み上げとすることもできる。録音した音声により、反応に応じた値を出力するようにしてもよい。
なお、上記のような態様を、反応データの入力側の情報通信装置Pにおいて、出力させるフィードバックを行うことにより、自己が参加しているイベントの反応が、どのように出力されているかを確認することもできる。
[2−5.反応とフィードバックの組み合わせ]
上記のようなフィードバックの態様の例を、以下に説明する。例えば、映画館のような暗がりでバックライトを最小限にした場合、又はマッサージなど手許を見ることができない場合、上記のように指をタップ又はスライドさせる入力では、指の位置が分からなくなることがある。このため、入力値に応じた振動を出力することによって、フィードバックするとよい。
連続した入力に対して、分かりやすいフィードバックとしては、指で画面に触れる振動を定期的に出力するが、横軸の座標等、指が接触する位置に応じて、振動の周期を変化させるとよい。例えば、図17に示すように、センターライン(図中、50で示す)の付近の振動周期に対して、左(図中、0側)の付近は1/2、右(図中、100側)の付近は2倍の振動周期とすることにより、反応の入力値を大きくしたいほど、右側に触れることにより、テンポアップさせる。また、図18に示すように、接触する位置に応じて、振動の周期のみならず、連続して振動する回数とともに、振動する時間の長さを増減させてもよい。
上記のように振動によるフィードバックを行う場合、参加者及び提供者のうちの一対のペア、それより多い人数のグループ、タイムシフト等により、他者の反応である共有反応値に応じた振動と、自己の入力である反応入力値に応じたフィードバックとしての振動を共存させる必要がある。この場合にも、周期的な振動が適している。
例えば、共有反応値が増加した場合、増加分を自己の入力値に応じた振動に加えてテンポアップした周期で振動させるとよい。また、共有反応値と自己の入力値が共に増加した場合、それぞれの増加分をフィードバックに加えた値に応じた周期で振動させるとよい。この場合、自己の入力値が増加している間は、さらに自己の入力の増加分が加えられることになる。このような方式により、他者と自己が共鳴した反応は、増幅されたような感覚が得られるのでよい。これは、自己と嗜好の合う人の反応が強調されることになるのでよい。反応が減少する分に関しては、それに応じて積極的な処理を行うことはなく、入力された反応のフィードバックの正確さを優先する。
より具体的には、図19に示すように、反応入力値に応じた周期のフィードバックの振動に、共有反応値が加わって周期が上がり、一定期間で共有反応値が収まると、元の周期に戻るといった処理が考えられる。また、振動の間隔である周期tは、図20に示すように表すことができる。この各式において、
T:定数
point:入力値
a:係数
C:定数
point´Δ:共有反応値の増分
pointΔ:反応入力値の増分
である。
上記の方法は、変化分である増加分に応じて周期を一定時間短くするという方式であったが、変化分のみではなく、共有反応値と反応入力値を合わせた周期とする合成による方式も可能である。この場合、例えば、振動の間隔である周期tは、図21に示すように表すことができる。この式において、
T:定数
point:入力値
point´:共有反応値
a:係数
b:係数
C:定数
である。
そして、上記の2つの方式を合わせた方式も適用可能である。この場合、各時刻の反応値の共有と変化時の強調を実現できる。なお、共有反応値は、一人の値とは限らない。グループの場合には、複数人の平均値などの値とすることが考えられる。
なお、フィードバックは、上記のように暗い場合や手元が見えない場合等、画面上の位置を見なくても操作できるようにするためのものである。このため、タップによる入力の場合には、入力のフィードバック信号は不要とすることもできる。この場合、振動による反応の共有は、図22に示すように、タップされた時にタップ回数に応じた振動を他の者の情報通信装置Pに発生させればよい。
上記のようなフィードバックについては、周囲の状況に応じて、態様を変化させることができる。例えば、ライブや競技観戦のように、周囲が騒がしく、皆が動いている場合もある。この場合には、弱い振動では、反応が伝わらないため、動きなどによる反応値が生じる際に、あらかじめ設定されたしきい値を超えた場合に、図23に示すように、強い振動を発生させて反応の共有を行うことができる。これにより、盛り上がりの始めに反応を共有することができる。強い振動は、長い振動を複数回数行うことにより発生させることができる。
一方、映画館や静かに鑑賞するコンサート等のイベントにおいては、ペア、グループ、タイムシフトで振動による反応共有の機能を用いている場合、静寂になった時に、強い振動を発生させると、振動によるノイズが生じるため、周囲の人に迷惑がかかることが考えられる。これに対処するため、かかるイベントにおいては、図24に示すように、周辺の音が所定のしきい値を超えている場合には、反応に応じた振動をさせて、周辺の音がしきい値以下の場合には、振動をさせないか、振動を弱めるように、振動を抑制する処理を行うことが考えられる。
このような処理のフローチャートを、図25に示す。まず、反応の入力や共有する反応データが発生した場合(ステップS201)、振動抑制部333は、マイク113から入力された周囲の音声のレベルが、所定のしきい値を超えているか否かを判定する(ステップS202)。しきい値を超えている場合には(ステップ202のYES)、バイブレータ制御部242が、入力や共有する反応データに応じた振動を、バイブレータ122に発生させる(ステップS203)。しきい値以下の場合には(ステップS202のNO)、振動抑制部333は、バイブレータ122の振動を発生させない。なお、しきい値以下の場合に、振動抑制部333が、バイブレータ122に発生させる振動が弱まるように、バイブレータ制御部242による振動制御を調節することも可能である。なお、映画などのように、内容が固定的に定まっているコンテンツの場合には、時間の経過に従った音声のレベルの変化もあらかじめ定まっている。このため、タイムコードに対する音声のレベルの変動データをあらかじめ共有しておくことができるので、この音声のレベルとしきい値との関係を上記のように判定して、振動を発生させるか、振動を抑制することができる。従って、マイク113による音声入力を使う必要がなくなり、バッテリーの消耗を抑えることができる。
[2−6.反応データの集計]
(平均化)
頻繁に反応を入力する人と、入力する頻度が低い人とでは、そのまま量的情報に変換しても、差異が大きくなり過ぎてしまう。そこで、各ユーザについて、それぞれの最大反応値を上限値として揃えて、その他の反応値を、その最大反応値に対する割合の値に変換して、各反応値を集計するとよい。これにより、頻繁に反応を入力する人の反応のみが出力に反映されるような事態を防止できる。
(マッチングとレコメンド)
反応データ解析部425が参加者の反応の傾向を解析して、反応の傾向が近似している参加者同士を紹介したり(マッチング)、これらの参加者に共通のお薦め情報を提示(レコメンド)することが考えられる。例えば、所定時間内に反応する回数が近似していることから、反応しやすさの度合いが共通すると判断することができる。また、反応する時間が一致していることから、感受性が共通していると判断することができる。
ユーザプロファイルである属性(性別、年齢、好きなジャンルなど)が共通する参加者について、反応データ、参加したイベント、鑑賞したコンテンツ等を収集し、収集した情報を、これらの参加者に提示することが考えられる。
さらに、複数人の反応の傾向を、複数のイベントにおいてトレースした結果に応じて、提示するお薦め情報を変えてもよい。例えば、図26に示すように、同じようなコンテンツを見ている、反応変化が似ている、反応の強度(タップ数や速度)が似ている等の同じ傾向によりユーザA、B、Cがグループ化されていたとする。この時点では、ユーザBの傾向はユーザCよりもユーザAに近い傾向であったとする。ユーザCの傾向は、ユーザAよりもユーザBに近い傾向であったとする。
ここで、新しいイベントでは、Aは多く反応し(good)、ユーザCは反応しなかった(bad)等、AとCが異なる反応を示したとする。この場合、ユーザBは、ユーザAにより近い傾向であったため、ユーザBに対するお薦め情報は、ユーザAのものと共通とする。このように、グループ化された中で、それぞれの傾向がいずれに近いかを細かく判定することで、新しいコンテンツを勧めるべきか否かが変わってくる。
[2−7.反応データの再生]
再生制御部244は、イベント記録データを、反応データと同期させて再生することにより、演者は、どの時点で反応があり、どの時点で反応がなかったかが分かるので、イベントの反省及び改良に役立てることができる。また、参加者又は参加していなかった者は、過去のイベントを擬似的に体験することができる。
より具体的な再生の態様の例を以下に示す。
(1)トレーニング用録音機能
図27に示すように、演者は、録音機能を用いて自らの説明やセリフを録音したイベント記録データとともに、上記のような反応を出力させることにより、ユーザの反応と説明やセリフの場面との関係性を確認できる。図27は、時間を横軸、反応の多さを縦軸としたグラフ表示を行った例である。なお、反応に合わせて振動させてもよい。
(2)タイムシフト反応再生機能
図28に示すように、映画や音楽のように記録されたコンテンツを、過去のユーザの反応とともに再生することで、擬似的に同時に体験しているような状態を作り出すことができる。図28も、時間に従ったグラフ表示、振動を行った例である。
[3.用途の具体例]
本発明の用途としては、上記で例示したものも含めて、以下のような種々のものが考えられ、それぞれの利点を有する。
(プレゼンテーション)
セミナーや講義などのプレゼンテーションで、本実施形態を活用することができる。その一例を、図29に示す。
(1)参加者がボタンのタップ等により入力した反応データは、ネットワークを介して配信サーバSに送信され、集計される。
(2)配信サーバSは、ネットワークを介してプロジェクタに接続されたコンピュータに配信するプレゼン資料の一部に、ページ毎の集計ポイントを付して、スクリーンにリアルタイムに表示させる。
(3) 配信サーバSは、取得した反応データをグラフにまとめて配信して、リアルタイムに表示させることもできる。
このような利用方法により、客観的評価に基づくプレゼンテーターのトレーニングに役立てることができる。また、参加者は、それぞれの関心がどこにあったのかをフィードバックすることで、互いの反応を共有し、参加意識を高めることができる。参加者の属性毎に集計して、別の参加者への参考情報として開示することもできる。
(アクタースクール、劇場、映画館、演奏会)
コンテンツに対する時間毎の反応を収集して提示することにより、役者やコンテンツ提供者は思惑通りに反応が得られているか否かを、確認、反省することができる。例えば、収集した反応のレベルを、時系列で示したグラフを、図30に示す。また、文章のレビューとは異なる評価値として、情報を共有することができる。クラシック音楽の演奏会のように、静かに鑑賞する状況でも、周囲に迷惑をかけることなく利用できる。
(ライブ、フェス)
情報通信装置Pを所持した参加者の動きをセンシングすることにより、盛り上がりとして検出することができる。検出した盛り上がり度合いを、会場別に表示した例を、図31に示す。図31では、会場毎に、集計した盛り上がり度合いを、変化する色を積み重ねたメータと数字で表示したものである。図中、矢印で示した表示は、別行動中の同行者の状態を、他と区別して表示したものである。このように、場所別のノリの良さが分かるため、別の場所への送客に繋げることができる。場所は、フェスならば会場、ツアーなら都道府県や国単位とすることが考えられる。このようなデータを、会場でディスプレイに表示する等により、参加者は意識的に盛り上げる努力をする場合もある。
(マッサージ、カイロプラクティック、歯の治療)
図32に示すように、マッサージ、カイロプラクティック、歯の治療のように、施術や治療を受けるような場面において、患者が手元の情報通信装置Pを用いて、気持ち良さや痛みなどを反応として入力して、施術や治療をする者の情報通信装置Pに、数値表示、振動等により伝えることができる。これは、施術や治療をする側にとっては、有益な情報を得ることができ、トレーニングとなる。
[4.効果]
以上のような本実施形態の効果は、以下の通りである。
(1)イベントの演者は、イベントの参加者からの反応のレベルを、リアルタイムに知ることができる。つまり、プレゼンテーション、演劇、ライブ、映画、競技等のイベントの場において、演者がリアルタイムに反応を得ることができる。このため、演者は、イベントの開催中に、その場で演じ方や説明を変えるなど、内容の修正、変更等の調整を容易に行うことができる。
イベントの提供者は、従来は消失していたリアルタイムの反応を、反応データにより得ることができ、イベントの性質を分析することができる。さらに、演者やコンテンツ制作者のトレーニングや参考情報となり、提供者のスキルアップ、ユーザのニーズに答えたコンテンツ制作に役立てることができる。また、医療や介護などの場面において、医者と患者との間、介護者と被介護者との間で、治療や介護の際に本実施形態を用いることにより、日頃からの気持ちの疎通ができ、トラブルを回避することができる。
日頃からの
このような反応を、参加者同士で共有することができるので、相手の反応と自己の反応とを比較して、共感や相違を楽しむことができるコミュニケーションツールとして利用できる。しかも、その反応は、わかり易い形でリアルタイムに得ることができるので、お互いに共感を持って、イベント自体をより一層楽しむことができる。さらに、使用する言語が異なる者同士でも、共感を得て、コミュニケーションを深めることができる。つまり、言語不要で、反応も単純なため、どのような国や地域においても普及できる可能性が高い。文化や対象となるイベントの性質の違いがあっても、適用可能である。特に、今後のウォッチ型、グラス型等を含むウェアラブルコンピュータへの展開によるより自然体での利用において、用途が広がる可能性が高い。
入力モードや出力モードは、イベントデータに応じて自動的に選択されるので、あらかじめイベントにより最適なモードが設定されることになり、参加者や提供者が選択する手間がかからず、即座にイベントを楽しむことができる。
(2)演者及び参加者は、バイブレータ122の振動により、周囲の人に知られることなく、直感的に反応を得ることができる。
(3)入力を行った参加者と、その他の参加者の反応とを、ともに出力することにより、共感、共鳴が得られ、イベントをより楽しむことができる。
(4)周囲の状況に応じて、振動を制限することができるので、周囲に迷惑がかかることを防止できる。
(5)イベントの演者を含む提供者は、反応の程度を、量的情報を識別可能な態様で把握することができるので、参加者の反応の傾向を詳細に知ることができる。つまり、イベントにおける参加者の感情変化や盛り上がりを量的に把握できるので、演者及び参加者ともに、より詳細な判断が可能となる。
(6)反応データは、反応の有無によって評価を判断できる単純なものであるため、演者は、リアルタイムに状況を把握し易く、イベントに即座に反映させることができる。時々刻々と変化するイベントの瞬間における感想は、通常は記憶に正確に留めておくことは難しく、詳細な感想として入力することも不可能である。これは、例えば、種々の選択肢の中から選択するとしても、同様である。また、イベント終了後に、アンケートに答える場合には、既に忘れてしまっていたり、こんな点に共鳴するなんで恥ずかしい、こうあるべきだといった余計な価値観が働き易いので、正確な感想を得ることが難しい。
本実施形態では、反応として受け付ける内容を、反応の有無によって評価を判断できる単純なものとしているため、瞬間の感想を、正確に入力することができる。喜び、笑い、驚き、泣き、興奮、恐怖、心地良い、称賛、喝采など、反応の種類は問わず、何も考えずにインプットすることができる。つまり、参加者からの肯定的な反応を、オンラインでもオフラインでも、タイムコードとともに、収集できるので、消えてしまう情報を取得して管理、分析に役立てることができる。参加者は、感情の表明が苦手な人の場合や、映画、セミナー、講義など私語が禁止されていてリアルタイムに感情を表明し難い場面、ライブなど周囲が騒がしくて声が届かない場面であっても、ネットワークを介して、リアルタイムに素直に感情を表明することができる。これは、参加者であるユーザ自身の感情の表明のスキルを磨くことにも繋がる。
さらに、反応について、言語が介在しないため、国籍、人種、文化等の相違を問わず、あらゆる人に利用可能となり、海外における展開、普及も容易である。対象となるイベント、提供するコンテンツの違いがあっても、広く適用可能である。また、専門的なイベント提供者のみならず、一般のユーザが、結婚式、打ち上げ等の私的なイベントに用いることもできる。そこで収集した反応データを、外部に提供して、経済的な価値があるものとして活用させることもできる。
(7)反応の程度を示す態様は、イベントの提供者が期待する反応の程度を示すものであるため、イベントの提供者は、直感的に状況が把握し易い上に、より多くの反応が得られる方向への努力をすることに繋がる。
(8)演者及び参加者は、ディスプレイ121の表示により、反応の程度を把握しやすい。
(9)演者及び参加者は、音声により、臨場感のある反応が得られる。
(10)タッチパネルに対する単純な入力操作によって、簡単に反応を入力することができる。反応の入力に煩わされることなく、イベントを楽しむことができる。また、イベントに対するリアルタイムの反応を、正確に提供できる。
(11)傾きや動きによって、反応を入力することができるので、タッチする箇所を確認する等の煩わしさがなく、イベントを楽しむことができる。
(12)現在の位置データとともにイベントデータを要求することにより、実際にイベントに参加している者による反応の入力を保証することができる。
(13)イベントの会場に応じて、通信を制限することにより、周囲に迷惑がかかることを防止できる。この場合、反応データは、イベント終了後に取得することができるが、反応の入力自体は、リアルタイムでなされているので、反応の正確さは確保できる。
(14)イベント記録データとともに、反応を再生することができるので、演者は振り返って参考にすることができ、参加者は振り返って楽しむことができる。例えば、参加者同士でマッチング度合いを確認することができる。また、参加者が過去を振り返り、自分の感受性の推移を楽しむこともできる。通常では、記憶に残っていない本能的、反射的な評価、体験記録を得ることができる。つまり、イベント終了後の総括では、埋もれてしまいがちな細かい評価を取得することができ、特に、時間ごとの全ての反応を得ることができる。
(15)参加者は、同じイベントに対して、共通の反応を示す参加者が参加しているイベントを知ることで、自分に合ったイベントを探すことができる。さらに、共通の反応を示すユーザのマッチングを行うことにより、適格な情報をレコメンドすることができる。
[4.外部接続デバイス]
上記のような情報通信装置Pに接続され、情報通信装置Pの各部の機能の一部を担う外部接続デバイスDの実施形態について、図33〜図39を参照して説明する。なお、外部接続デバイスDは、コンピュータを所定のプログラムで制御することにより、又は専用の電子回路により、以下のような各部の機能を実現することができる。
[構成]
外部接続デバイスDは、図33、図34に示すように、ケースC、接続部601、記憶部602、識別信号出力部603、伝達部604を有する。
(ケース)
ケースCは、本実施形態の外装を構成する筐体である。大きさや形状は特定のものには限定されない。例えば、長尺部分である幅方向の長さが、情報通信装置Pの外装の幅以下、短尺部分である高さ方向の長さが、情報通信装置Pの高さの半分以下であると、情報通信装置Pの把持や使用の妨げにならず、操作しやすい。一方、幅方向の長さが情報通信装置Pの外装の幅以上、又は高さ方向の長さが情報通信装置Pの高さの半分以上であると、非常に目立つので、イベントに参加してアプリを使用していることが、外部からより分かりやすい。さらに、ケースCを、腕時計形や眼鏡形等のウエアラブルなユニットとして構成することもできる。
ケースCには、図示はしないが、外部接続デバイスDを利用できるイベントに関連する情報が表示されている。イベントに関連する情報には、イベントの名称、開催場所、開催日時等のイベントデータの他、イベントの主催者、協賛者、スポンサー等の名称、これらの提供する商品名、サービス名、出演者名、これらが使用する標章、商標、マーク、ロゴ、キャラクター、キャッチフレーズ等が含まれる。
表示態様としては、ケースCの外表面に貼付、印刷、刻印されている等の態様を含む。また、後述する発光部61又はこれとは別に設けられた発光部材を複数配置して、これらが発光することにより、発光部分又は非発光部分がイベントに関連する情報の表示となるようにしてもよい。さらに、透かし部を備えることにより、発光部61又はこれとは別に設けられた発光部材の発光で、イベントに関連する情報の表示が浮かび上がる態様でもよい。
(接続部)
接続部601は、情報通信装置Pとの間で、情報の入出力が可能となるように、電気的な接続を確保する接続端子である。また、接続部601は、情報通信装置Pに対する機械的な支持を行うことができる端子であることが望ましい。
より具体的には、接続部601としては、ケースCに固定されたイヤホンジャック用のプラグを用いる。このプラグは、スマートフォンの4極端子によるイヤホンジャックJに対応した4極端子を有している。イヤホンプラグとイヤホンジャックJにおける各端子は、左音声、右音声、マイク、グランドが割り当てられており、そのうちの左音声、右音声、マイクのいずれかの端子を、本実施形態における接続用に用いることができる。
なお、情報通信装置Pは、左音声、右音声の信号発生の時間差で区別されるトリガ情報を出力することで、外部接続デバイスDを制御することができる。これにより、情報通信装置Pからの転送データ量を少なくすることができる。
接続部601としてのプラグは、ケースCに固定され、導電性の端子部分が外部に突出している。このため、プラグがイヤホンジャックJに差し込まれると、ケースCを含む外部接続デバイスDは、情報通信装置Pに機械的に支持される。
なお、接続部601は、ケースCの外部に設けられ、接続コードを介して接続される構成としてもよい。これにより、参加者は、情報通信装置Pとは別の位置で、外部接続デバイスDを利用することができる。例えば、情報通信装置Pはポケットやバッグに入れておき、外部接続デバイスDのみを、外部に露出させて用いることもできる。これは、ケースCをウエアラブルなユニットとして構成した場合にも有効である。なお、接続部601としては、USB等、公知のあらゆる端子を用いることができるが、イヤホン用のプラグとすることにより、後述するような種々の利点がある。
(記憶部)
記憶部602は、本実施形態の処理に必要な情報を記憶する処理部である。記憶部602が記憶する情報は、イベント識別情報を含む。イベント識別情報は、イベントを一意に特定できる情報である。イベント識別情報は、イベント毎に割り当てられた固有の情報であって、コンピュータが各イベントを区別できる情報であればよい。例えば、識別コードとすることにより、記憶部602の記憶容量を節約できる。このイベント識別情報は、情報通信装置Pにおいて処理されるイベントデータ、配信サーバSにおいて記憶されるイベントデータに含まれており、イベント毎に付与されている。なお、記憶部602に、上記の情報通信装置P用のプログラムであるアプリが記憶されていて、接続部601が情報通信装置Pに接続されると、アプリが情報通信装置Pに読み込まれ、インストールされる態様でもよい。これにより、参加者が別途アプリをインストールする手間が省ける。
(識別信号出力部)
識別信号出力部603は、識別信号を、接続部601を介して情報通信装置Pに出力する処理部である。識別信号は、イベントを特定する契機となる信号である。識別信号には、例えば、上記のイベント識別情報を含む信号とすることにより、これが入力された情報通信装置Pにおけるイベント選択部230が、当該イベント識別情報に基づいてイベントを特定し、入力モード、出力モードを決定できる。
但し、例えば、情報通信装置Pのアプリにおいて、デフォルトでイベントが決まっている場合には、識別信号は、単純な電気信号であっても、これを受信したアプリにおいてイベントを特定する契機とすることができる。このため、識別信号出力部603は、接続部601が情報通信装置Pに接続されると、イベント識別情報を含まない特定の周波数のパルス波、アナログ波等の単なる電気信号を出力する回路によって構成してもよい。さらに、識別信号出力部603は、識別信号として、音声の右信号と左信号を所定の時間差で発生させることもできる。この場合、情報通信装置Pにおいて、右信号と左信号の時間差が、イベント又はイベントに対応するアプリを特定する情報、つまり、上記のイベント識別情報として機能する。
なお、接続部601が情報通信装置Pに接続されると、識別信号出力部603が識別信号を出力する。これは、情報通信装置Pに設定された確認信号出力部が、接続部601の接続を検知して出力する確認信号を、識別信号出力部603が受信した場合に、識別信号を出力する態様でもよい。また、識別信号出力部603が、接続部601の接続を検知するとともに、識別信号を出力する態様でもよい。
(伝達部)
伝達部604は、反応データを、接続部601を介して、情報通信装置Pとの間で伝達する処理部である。伝達は、情報通信装置Pからの反応データの入力、情報通信装置Pへの反応データの出力の双方でも、いずれか一方のみでもよい。入力は受信、出力は送信と表現することもできる。反応データは、イベントに応じてあらかじめ設定された入力モード、出力モードに対応するものとなる。この伝達部604は、出力部60、入力操作部65、通信部66、入出力制御部67を有する。
(1)出力部
出力部60は、入力された反応データに応じた反応を出力する処理部である。この出力部60は、発光部61、振動部62、音声出力部63、超音波発振部64を有する。
発光部61は、入力された反応データに応じて、発光する部材である。この発光部61としては、例えば、LEDとすることができる。発光の態様としては、反応データに応じて、点滅する、色を変える、明るさを変える等が考えられる。反応がある毎に発光させる、発光の回数を変動させる、点滅、色及び明るさの変化の周期を変動させる態様とすることもできる。上記の情報通信装置Pの画面表示の例で示した態様も適用可能である。
発光部61は、例えば、図34に示すように、ケースCの内部に収容されていて発光の有無や色がケースCの一部を透過して視認できるようにしてもよいし、全部を透過して視認できるようにしてもよい。発光部61は、光源からの光を所望の位置に導く導光部材を有していてもよい。
振動部62は、入力された反応データに応じて、振動する部材である。この振動部62としては、例えば、モータを駆動源として、振動を発生させるバイブレータとすることができる。振動の態様としては、反応がある毎に振動を発生させる態様でもよいが、振動の回数を変動させる態様、周期を変動させる態様とすることもできる。上記の情報通信装置Pの例で示した態様も適用可能である。
音声出力部63は、入力された反応データに応じて、可聴域の音を出力する手段である。この音声出力部63としては、例えば、スピーカ、ブザー等とすることができる。音声の出力の態様は、反応がある毎に出力させる態様でもよいが、出力の回数を変動させる態様、出力の周期を変動させる態様とすることもできる。上記の情報通信装置Pの振動の例で示した態様も適用可能である。
なお、音声出力部63を、接続部601とは別に設けたイヤホンジャックとすることもできる。つまり、この場合、イヤホンジャックに接続ケーブルを介して接続されたイヤホンやスピーカから、音声を出力することができる。これにより、情報通信装置PのイヤホンジャックJが使用されていても、イヤホンやスピーカを接続して、これを介して反応を得ることができる。
超音波出力部64は、入力された反応データに応じて、非可聴域の超音波を出力する超音波発振器である。出力の態様は、反応がある毎に出力させる態様でもよいが、出力の回数を変動させる態様、出力の周期を変動させる態様とすることもできる。出力した超音波は、情報通信装置Pのマイク113により検出可能である。
(2)入力操作部
入力操作部65は、参加者が反応データを入力する装置である。この入力操作部65としては、例えば、接触や押圧を検出するスイッチ、ボタン、タッチパネル、把持部に対する把持圧の程度で抵抗値を変える押圧センサ、スライダの位置で抵抗値を変えるスライドボリューム等が考えられる。この入力操作部65は、ケースCに取り付けられていてもよいし、図36に示すように、ケースCとは分離して構成され、接続コードLを介して接続されていてもよい。図36の入力操作部65は、スライドボリュームの例である。
(3)通信部
通信部66は、他の外部接続デバイスDとの情報の送受信を行う処理部である。この通信部66は、図37に示すように、入出力がクロスされた接続ケーブルLを介して、他の外部接続デバイスDと接続されている。このように、通信部66は、外部の通信環境に影響されずに、他の外部接続デバイスDとの有線による情報の送受信を可能とする。なお、接続ケーブルLとの接続は、着脱自在な接続端子を適用してもよい。
(4)入出力制御部
入出力制御部67は、接続部601を介して、発光部61、振動部62、音声出力部63、超音波出力部64、入力操作部65、通信部66との情報の入出力を制御するインタフェースである。つまり、入出力制御部67は、上記のように、入力された反応データに応じた発光態様で、発光部61を発光させることができ、入力された反応データに応じた振動態様で、振動部62を振動させることができる。また、入出力制御部67は、上記のように、入力された反応データに応じた音声の出力態様で、音声出力部63から音声を出力させることができる。さらに、入出力制御部67は、上記のように、入力された反応データに応じた発振パターンで、超音波出力部64から超音波を出力させることができる。
なお、上記の伝達部604は、発光部61、振動部62、音声出力部63、超音波出力部64、入力操作部65、通信部66のうちの一つ又は複数を有していればよい。外部接続デバイスDの構成の簡素化とコスト削減の観点からは、少なくとも一つを有していればよい。
つまり、発光部61による発光機能のみ、振動部62による振動機能のみ、音声出力部63による音声出力機能のみ、超音波出力部64による超音波発振機能のみ、入力操作部65による入力機能のみ、通信部66による通信機能のみの外部接続デバイスDを、それぞれ構成することができる。
また、出力部60として、発光部61、振動部62、音声出力部63のうちの一つ又は複数と、超音波出力部64とを組み合わせて、超音波による連携と発光、振動又は音声による反応の出力を行う外部接続デバイスDも構成できる。出力部60として、発光部61、振動部62、音声出力部63、超音波出力部64のうちの一つ又は複数と、通信部66及び入力操作部65のうちの一つ又は両方とを組み合わせた外部接続デバイスDも構成できる。
(電源部)
電源部605は、外部接続デバイスDを駆動する電力の供給源であり、情報通信装置Pとは独立している。電源部605としては、一次電池であっても、二次電池であってもよく、交換可能な構造でも、交換不可能な使い捨ての態様であってもよい。電池の容量を、イベント1回で使用する電力量とすれば、電池の小型化とコスト低減が可能となる。
[作用]
以上のような本実施形態の作用を、上記の図面に加えて、図38、図39のフローチャートを参照して説明する。図38は、情報通信装置Pにおけるイベント選択処理、図39は、外部接続デバイスDの全体処理を示す。
(イベント特定処理)
まず、デバイスDの装着によるイベントの特定処理を説明する。すなわち、イベントの参加者は、情報通信装置Pのアプリを起動させ、外部接続デバイスDの接続部601を情報通信装置Pに接続する(ステップ301、401)。例えば、ケースCのイヤホンジャックJに、接続部601であるプラグを挿入する。
すると、情報通信装置Pは、確認信号を送信する(ステップ302)。外部接続デバイスDは、接続部601を介して、確認信号を受信する(ステップ402)。識別信号出力部603は、記憶部602に記憶されたイベント識別情報を含む識別信号を、情報通信装置Pに出力する(ステップ403)。
識別信号を受信した情報通信装置Pのイベント選択部230は、記憶部220のイベントデータに、受信したイベント識別情報に対応するイベントが登録されているかどうかを確認する(ステップ304)。イベントが登録されている場合には(ステップ304のYES)、イベント選択部230が、当該イベントを選択する。このとき、入力モード、出力モードは、当該イベントにデフォルトで関連付けられたモードが選択される(ステップ305)。ここでいう入力モードは、上記の情報通信装置Pの例で示したものの他、外部接続デバイスDの入力操作部65からの入力態様も含まれる。また、出力モードは、上記の情報通信装置Pの例で示したものの他、外部接続デバイスDの発光部61の発光、振動部62の振動、音声出力部63の音声出力、超音波出力部64の超音波出力の態様も含まれる。
なお、イベント毎に、入力モード、出力モードは固定的に決まっていてもよいし、外部接続デバイスDの記憶部220に入力モード、出力モードを指定する情報を記憶しておいて、この情報を識別信号出力部603が識別信号とともに情報通信装置Pに出力することにより、情報通信装置Pで入力モード、出力モードが決定されるようにしてもよい。さらに、上記の情報通信装置Pの例で示したように、情報通信装置Pにおいて、所望の入力モード、出力モードを選択してもよい。
(反応の入出力処理)
外部接続デバイスDの伝達部604は、以上のように選択されたイベントにおいて、参加者からの反応が入力されるのを待つ(ステップ404のNO)。この反応の入力は、情報通信装置Pからの場合と、入力操作部65からの場合がある。反応の入力があった場合(ステップ404のYES)、伝達部604による反応の出力等が行われる。以下の説明では、反応の出力態様、入力態様、通信態様に分けて説明する。
(出力態様)
まず、情報通信装置Pからの反応データを、接続部601を介して、入出力制御部67が受信すると、入出力制御部67は、反応データに応じて、発光部11を発光させる。発光の態様は、上記の通りである。また、入出力制御部67は、反応データに応じて、振動部62を振動させる。振動の態様は、上記の通りである。さらに、また、入出力制御部67は、反応データに応じて、音声出力部63に音声を出力させる。音声の出力態様は、上記の通りである。
さらに、入出力制御部67は、超音波出力部64に超音波を発生させる。発生した超音波は、情報通信装置Pのマイク113で検出される。超音波を検出した情報通信装置Pにおいては、超音波を出力した側の情報通信装置Pとの連携を行う。連携は、上記の情報通信装置Pにおける例で示したような、情報通信装置P同士又は配信サーバSを介した通信の確立等により行う。
入出力制御部67は、連携により受信した情報通信装置Pに装着されたデバイスDの発光、振動又は音声出力を、超音波を出力した情報通信装置Pと同期させることができる。例えば、図35に示すように、超音波を検出した情報通信装置Pに接続された外部接続デバイスDにおいては、入出力制御部67が、発光部61の発光色を変化させて、同期している情報通信装置Pが一目で分かるようにする。このように、一つの情報通信装置Pに入力された参加者の反応を、複数の情報通信装置Pに伝播させて共有することができる。
(入力態様)
次に、情報通信装置Pを操作して入力するのみならず、外部接続デバイスDに設けられた入力操作部64を用いて、反応を入力することができる。例えば、図36に示すように、スライダの移動により、反応を入力することができる。このように反応を入力すると、これが、接続部601を介して情報通信装置Pに入力される。入力された反応の処理は上記の情報通信装置Pの例で説明した通りである。この反応を、これが入力された情報通信装置Pにおいて出力することも、当該情報通信装置Pに接続された外部接続デバイスDにおいて出力することもできる。また、他の情報通信装置Pと通信が確立された場合には、その情報通信装置P又はこれに接続された外部接続デバイスDにおいて出力することもできる。
(通信態様)
さらに、図37に示すように、通信部65は、有線の接続ケーブルLで接続された外部接続デバイスD’及びこれが接続された情報通信装置P’との間で、情報の送受信ができる。これは、WiFi等の通信設備が無いか、使用できない環境であっても、互いの反応を伝達することを可能とする。なお、外部接続デバイスDの接続数は、一対には限定されない。一対よりも多い数の接続デバイスDを接続し、情報を送受信してもよい。
以上の処理の後、アプリ終了又は接続部601の脱着により、外部接続デバイスDの処理を終了する(ステップ406)。
[効果]
以上のような本実施形態の効果は、以下の通りである。まず、前提として、情報通信装置Pのみによって、反応の入出力を行う場合の問題点を以下に述べる。
(A)最適化の限界
反応の入力に対してディスプレイ121を利用した視覚表現による出力を行う場合には、バックライトの明るさに限界があるため、明るさの変化の幅に限界がある。フラッシュ光を利用する場合には、単色のみとなる。さらに、反応の入力をタッチセンサ111で行う場合には、参加者は手元のディスプレイ121を見ながら入力しなければならず、イベントに集中できない場合も生じる。
(B)状態の分かり難さ
参加者に使用してもらうために、アプリのダウンロードから始める必要があり、傍から利用者を見た時に、アプリのみで処理していると、何をやっているのかが分かり難い。映画鑑賞などで、2者で利用する時に、無線による接続では、お互いに接続されているのかどうかが分かり難い。
(C)参加者の限定やアプリのモード切り替えの手間がかかる
参加者を、GPSやWiFiにより限定するには、技術的に改ざんや、接続できる端末数、WiFiが使える環境に限定されるなどの問題があり、当日発行するパスコードなどで限定する必要がある。イベントに応じたアプリのモード切り替えも、パスコードと連携させて行うことになる。
これに対して、本実施形態では、以下のような効果が得られる。
(1)情報通信装置Pのみの機能を補う
発光の強度、振動の程度、音量等は、情報通信装置Pの機種に依存するため、機種による差が出てしまうが、外部接続デバイスDがそれぞれ備える出力部60により、情報通信装置Pに依存しない出力が可能となる。つまり、発光の強度、振動の程度、音量を統一されたものとすることができ、より反応を共有している感覚を強めることができる。情報通信装置P側で、発光の強度、振動の程度、音量を最大にする等の調整の手間はかからない。特に、独立した電源部68を有しているため、発光の強度、振動の程度、音量を大きくすることができる。
また、ライブや競技観戦等のイベントにおいて、超音波の発生と受信を行うことにより、外部接続デバイスDを介して情報通信装置Pを簡単に連携させることができるので、連携に手間がかからず、スムーズに行うことができる。
入力操作部64を用いることにより、映画鑑賞や施術等のイベントにおいて、押し加減や握り加減、スライダ位置等により、手元を見なくても入力することができる。
(2)外部から分かりやすい
情報通信装置Pに外部接続デバイスDが装着されていることにより、何をしているのかが傍から見て分かり易い。これは、外部接続デバイスDの発光部61を発光させることにより、状態をより顕著に視認することができる。また、外部接続デバイスDのケースCの表面に、イベントに関する情報が表示されているので、当該イベントに利用する外部接続デバイスDであることが容易に理解できる。
さらに、複数の外部接続デバイスDの接続を有線で行うことにより、通信している状態や連携している状態を、参加者もそれ以外の者も一目で理解できる。さらに、接続ケーブルLによる有線接続により、外部環境に依存せず、安定した通信が簡単に実現できる。例えば、映画館、コンサートホール等の通信が制限される場所においても、有線接続により簡単に通信が確立できるとともに、反応をやり取りしている相手が明確となり、心の動きの共有を視覚的にも実感できる。
(3)参加者を容易に限定できる
外部接続デバイスDの接続部601を、情報通信装置Pに接続するだけで、これに対応する識別信号が情報通信装置Pに出力され、イベントの選択、モードの決定が行われる。このため、面倒な設定が不要で、参加者の限定も容易となる。外部接続デバイスDのケースCの表面に、イベントに関する情報が表示されているため、参加者も目的を理解して外部接続デバイスDを情報通信装置Pに装着することができる。
(4)イヤホン用のプラグを用いる点
接続部601として、イヤホン用のプラグを用いることにより、以下のような効果が得られる。
(a)入出力の情報量が少なくて済むので、高い通信レートを必要としない。例えば、情報通信装置Pからの転送データ量が多い場合、速度とノイズ対策から、出力を最大にする必要があるが、上記のように、トリガ情報により制御する等が可能となるので、情報量を抑えることができる。
(b)安価でシンプルな構造とすることができるので、イベントでの配布に適している。
(c)接続コードLで接続された一対の外部接続デバイスDのイヤホンプラグを、それぞれ情報通信装置PにおけるイヤホンジャックJに差し込めばよいので、接続相手をアプリで指定する等の手間がかからない。
(d)通信時の消費電力を、無線を利用するよりも抑えることができる。
(e)イベントや競技観戦のように、動きが激しくなるイベントにおいても、小型で軽量にすることができるので、動きの妨げにならない。
[5.他の実施形態]
なお、本発明は上記実施形態に限定されるものではない。アプリは、情報通信装置Pが上記の全ての構成を備えるように設定されている必要はない。例えば、反応を出力するための出力制御部240を省略した構成、反応を入力するための反応データ生成部200を省略した構成とすることも可能である。
より具体的には、参加者として必要な機能のみを実現するオーディエンス用アプリ、演者として必要な機能のみを実現するプレゼンター用アプリとして構成されていてもよい。また、上記のように、Webアプリとして機能の一部をサーバが担う場合であっても、スマートフォンアプリとして単体で機能する場合であってもよい。
オーディエンス用アプリをWebアプリにより実現する場合、ユーザインタフェースをブラウザで表示されるタップボタンとする等、インターネットへのアクセスによって簡単に参加することができるため、セミナーやイベントに向いている。機能を限定したフィーチャーフォンや、パーソナルコンピュータからも簡単に参加できる。
オーディエンス用アプリをスマートフォンアプリにより実現する場合、加速度センサを利用する、バックライトを控える、外部との通信を制限する、通信できない場合に反応データをタイムコードとともにメモリに一時的に記憶する等、スマートフォンが備えるハードウェアを活用する設定がしやすい。
プレゼンター用アプリをWebアプリにより実現する場合、サーバとの連携により反応のリアルタイム集計表示等が容易となる。
プレゼンター用アプリをスマートフォンアプリにより実現する場合、バイブレータの振動によるフィードバック等、スマートフォンが備えるハードウェアを活用する設定がしやすい。
反応の入力や出力のための態様としては、上記の態様には限定されない。たとえば、タップ入力の領域の大きさ、形状等はユーザが識別しやすい態様であればよい。また、入力は、タッチパネルを利用したものには限定されず、情報通信装置Pに設けられた物理ボタン、スイッチによる入力であってもよい。また、出力は、LEDランプの発光の有無、発行色による出力であってもよい。
60 出力部
61 発光部
62 振動部
63 音声出力部
64 超音波出力部
65 入力操作部
66 通信部
67 入出力制御部
100 送受信部
110 入力部
111 タッチセンサ
112 加速度センサ
113 マイク
114 カメラ
120 出力部
121 ディスプレイ
122 バイブレータ
123 音声出力部
200 反応データ生成部
211 位置データ
212 時間データ
230 イベント選択部
241 表示制御部
242 バイブレータ制御部
243 音声制御部
244 再生制御部
310 入力モード選択部
320 出力モード選択部
330 抑制部
331 バックライト制御部
332 電波制御部
410 記憶部
420 配信制御部
421 送受信部
422 要求取得部
424 反応データ受信部
425 反応データ解析部
426 検索部
601 接続部
602 記憶部
603 識別信号出力部
604 伝達部
605 電源部
D 外部接続デバイス
N ネットワーク
P 情報通信装置
S 配信サーバ

Claims (13)

  1. あらかじめ設定されたイベントの参加者からの反応を示す反応データの入出力を行う情報通信装置の接続端子に、電気的に接続される接続部と、
    前記接続端子に前記接続部が接続されると、イベントを特定する契機となる識別信号を、前記情報通信装置に出力する識別信号出力部と、
    特定されたイベントにおける反応データを、前記接続部を介して、前記情報通信装置との間で伝達する伝達部と、
    を有することを特徴とする情報通信装置の外部接続デバイス。
  2. 前記伝達部は、前記反応データに応じた反応を出力する出力部を有することを特徴とする請求項1記載の情報通信装置の外部接続デバイス。
  3. 前記出力部は、前記反応データに応じて発光する発光部を有することを特徴とする請求項2記載の情報通信装置の外部接続デバイス。
  4. 前記出力部は、前記反応データに応じて音声を出力する音声出力部を有することを特徴とする請求項2記載の情報通信装置の外部接続デバイス。
  5. 前記出力部は、前記反応データに応じて超音波を出力する超音波出力部を有することを特徴とする請求項2記載の情報通信装置の外部接続デバイス。
  6. 前記出力部は、前記反応データに応じて振動する振動部を有することを特徴とする請求項2記載の情報通信装置の外部接続デバイス。
  7. 前記伝達部は、イベントの参加者からの反応を入力する入力部を有することを特徴とする請求項1〜6のいずれか1項に記載の情報通信装置の外部接続デバイス。
  8. 前記伝達部は、接続コードにより電気的に接続された他のデバイスとの間で、前記反応データを送受信する通信部を有することを特徴とする請求項1〜7のいずれか1項に記載の情報通信装置の外部接続デバイス。
  9. 前記接続部は、前記情報通信装置のイヤホンジャックに接続されるプラグであることを特徴とする請求項1〜8のいずれか1項に記載の情報通信装置の外部接続デバイス。
  10. 前記識別信号は、イベントを識別するイベント識別情報を含むことを特徴とする請求項1〜9のいずれか1項に記載の情報通信装置の外部接続デバイス。
  11. 前記接続部、前記識別信号出力部及び前記伝達部の一部又は全部を備えたケースを有し、
    前記ケースには、前記イベントに関連する情報が表示されていることを特徴とする請求項1〜10のいずれか1項に記載の情報通信装置の外部接続デバイス。
  12. 前記情報通信装置の電源とは独立した電源部を有することを特徴とする請求項1〜11のいずれか1項に記載の情報通信装置の外部接続デバイス。
  13. あらかじめ設定されたイベントの参加者からの反応を示す反応データの入出力を行う情報通信装置の接続端子に、電気的に接続される接続部を有するコンピュータに、
    前記接続端子に前記接続部が接続されると、イベントを特定する契機となる識別信号を、前記情報通信装置に出力させ、
    前記反応データを、前記接続部を介して、前記情報通信装置と外部との間で伝達させることを特徴とする情報通信装置の外部接続デバイス用プログラム。
JP2014062352A 2014-03-25 2014-03-25 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム Pending JP2015185019A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014062352A JP2015185019A (ja) 2014-03-25 2014-03-25 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014062352A JP2015185019A (ja) 2014-03-25 2014-03-25 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム

Publications (1)

Publication Number Publication Date
JP2015185019A true JP2015185019A (ja) 2015-10-22

Family

ID=54351446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014062352A Pending JP2015185019A (ja) 2014-03-25 2014-03-25 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム

Country Status (1)

Country Link
JP (1) JP2015185019A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6273048B1 (ja) * 2017-01-04 2018-01-31 株式会社ドワンゴ 配信システム、配信サーバ、端末およびプログラム
JP2021077257A (ja) * 2019-11-13 2021-05-20 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2022070379A1 (ja) * 2020-10-01 2022-04-07 ヤマハ株式会社 信号処理システム、信号処理装置、及び信号処理方法
WO2022208609A1 (ja) * 2021-03-29 2022-10-06 ヤマハ株式会社 配信システム、配信方法、及びプログラム
WO2023062767A1 (ja) * 2021-10-14 2023-04-20 日本電信電話株式会社 反応提示制御装置、方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6273048B1 (ja) * 2017-01-04 2018-01-31 株式会社ドワンゴ 配信システム、配信サーバ、端末およびプログラム
JP2018110324A (ja) * 2017-01-04 2018-07-12 株式会社ドワンゴ 配信システム、配信サーバ、端末およびプログラム
JP2021077257A (ja) * 2019-11-13 2021-05-20 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7229146B2 (ja) 2019-11-13 2023-02-27 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7465019B2 (ja) 2019-11-13 2024-04-10 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2022070379A1 (ja) * 2020-10-01 2022-04-07 ヤマハ株式会社 信号処理システム、信号処理装置、及び信号処理方法
WO2022208609A1 (ja) * 2021-03-29 2022-10-06 ヤマハ株式会社 配信システム、配信方法、及びプログラム
WO2023062767A1 (ja) * 2021-10-14 2023-04-20 日本電信電話株式会社 反応提示制御装置、方法およびプログラム

Similar Documents

Publication Publication Date Title
KR102564949B1 (ko) 상호작용식 훈련 및 데몬스트레이션을 위한 반사 비디오 디스플레이 장치 및 그 사용 방법들
US20220337693A1 (en) Audio/Video Wearable Computer System with Integrated Projector
US11465030B2 (en) Reflective video display apparatus for interactive training and demonstration and methods of using same
JP6835070B2 (ja) システム、端末装置、方法及び記録媒体
JP2015125647A (ja) 情報通信プログラム、情報通信装置及び配信サーバ
JP2015185019A (ja) 情報通信装置の外部接続デバイス、情報通信装置の外部接続デバイス用プログラム
CN116471431A (zh) 在设备之间修改和转移音频
CN105107073A (zh) 助眠方法及装置
EP3526775A1 (en) Audio/video wearable computer system with integrated projector
JP2022042227A (ja) 情報処理装置及びプログラム
JP2004056161A (ja) マルチメディア通信システム
US11392194B1 (en) Method and system for detecting, interpreting and communicating touch, physiological responses or emotional responses between mobile user devices
Werner Phones, applications, mobility: Framing music use on the go
JP4538322B2 (ja) 電子機器間で人間の知覚信号を共有するシステム
CN117714426A (zh) 用于视听会议中的可穿戴音频设备的动态音频馈送