JP2023183150A - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

情報処理装置、情報処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2023183150A
JP2023183150A JP2022096627A JP2022096627A JP2023183150A JP 2023183150 A JP2023183150 A JP 2023183150A JP 2022096627 A JP2022096627 A JP 2022096627A JP 2022096627 A JP2022096627 A JP 2022096627A JP 2023183150 A JP2023183150 A JP 2023183150A
Authority
JP
Japan
Prior art keywords
degree
users
work
information processing
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022096627A
Other languages
English (en)
Inventor
遼 水山
Ryo MIZUYAMA
崇紀 栗栖
Takanori Kurisu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2022096627A priority Critical patent/JP2023183150A/ja
Priority to PCT/JP2023/021038 priority patent/WO2023243492A1/ja
Publication of JP2023183150A publication Critical patent/JP2023183150A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】複数の人間が同じ作業を行っている場合において、難易度の調節により当該作業を楽しませることが可能な、情報処理装置を提供する。
【解決手段】同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部１０３と、同期度計算部１０３が計算した同期度を用いて各ユーザ間の感情共有度を計算する感情共有度計算部１０４と、作業に対する各ユーザの実績の度合いに関する実績度と、感情共有度計算部１０４が計算した各ユーザ間の感情共有度とに基づき、作業の負荷の変更を制御する負荷制御部１０５と、を備える、情報処理装置１０が提供される。
【選択図】図３

Description

特許法第３０条第２項適用申請有り 令和４年３月１５日 ｈｔｔｐｓ：／／ｗｗｗ．ｏｍｒｏｎ．ｃｏｍ／ｊｐ／ｊａ／ｔｅｃｈｎｏｌｏｇｙ／ｏｍｒｏｎｔｅｃｈｎｉｃｓ／２０２１／２０２１０３１５－ｎａｋａｙａｍａ．ｈｔｍｌにて公開 令和４年３月９日 ２０２２国際ロボット展にて公開 令和４年３月９日 ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｗＷｃｌｐ＿ｍｓＫｐＥにて公開
本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
複数の人間同士の関係性を推測するための技術が開示されている。特許文献１では、人の身体または活動に関する属性の時系列データに基づいて、該人にとって意味のある属性の関係性を推定することを目的とした技術が開示されている。
特開２０２２－１３４０９号公報
しかし、複数の人間が、ゲーム、リハビリテーション、問題の解答等の同一の作業を同時に行っている場合において、複数の人間同士の関係性を推測するだけでは、当該作業を楽しませることはできない。
本開示は、上記の点に鑑みてなされたものであり、複数の人間が同じ作業を行っている場合において、難易度の調節により当該作業を楽しませることが可能な、情報処理装置、情報処理方法及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために、本発明のある観点に係る情報処理装置は、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部と、前記同期度計算部が計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算する感情共有度計算部と、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、前記感情共有度計算部が計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する負荷制御部と、を備える。
前記負荷制御部は、さらに前記ユーザ間の関係性に基づいて前記作業の負荷の変更を制御してもよい。
前記負荷制御部は、前記感情共有度が所定の閾値以上である場合は前記作業の負荷を維持し、前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値以上である場合は前記作業の負荷を増加させ、前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値未満である場合は前記作業の負荷を減少させてもよい。
前記負荷制御部は、複数の前記ユーザに対して共通に設定された負荷の変更を制御してもよい。
前記負荷制御部は、前記ユーザの各々に対して個別に設定された負荷の変更を制御してもよい。
前記感情共有度計算部は、前記時系列生体情報を構成する生理指標毎に所定の係数を掛けて前記感情共有度を計算してもよい。
前記係数は、前記時系列生体情報から前記感情共有度を推測する学習済みモデルを用いて決定された係数であってもよい。
前記作業は、スポーツ、ゲーム、リハビリテーション、問題の解答の少なくともいずれかであってもよい。
上記目的を達成するために、本発明の別の観点に係る情報処理方法は、プロセッサが、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する。
上記目的を達成するために、本発明の別の観点に係るコンピュータプログラムは、コンピュータに、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、処理を実行させる。
本開示によれば、複数の人間が同じ作業を行っている場合において、当該作業の負荷の調節により当該作業を楽しませることが可能な、情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。
開示の技術の実施形態に係る情報処理システムの概略構成を示す図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の機能構成の例を示すブロック図である。 作業のパフォーマンスに関する情報の一例を示す図である。 同じ作業を同時に行っている人間の同期度を説明するグラフである。 同期度の計算手法の例を示す図である。 情報処理装置による情報処理の流れを示すフローチャートである。
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図１は、本実施形態に係る情報処理システムの概略構成を示す図である。
図１に示した情報処理システムは、情報処理装置１０、センサ２０、操作入力装置３０、及び出力装置４０を有する。
情報処理装置１０は、複数の人間が同じ作業を同時に行っている場合において、人間間の感情共有度と、作業のパフォーマンスの内容とを用いて、当該作業の負荷の調節を行う装置である。情報処理装置１０は、人間間の感情共有度を、センサ２０から取得した各人間の生体情報の同期度を用いて計算する。また情報処理装置１０は、作業のパフォーマンスの内容を操作入力装置３０から取得する。
なお、本実施形態において作業とは、例えばスポーツ、ゲーム、リハビリテーション、問題の解答等の複数人で同時に行われうるもの先般を指し、作業の負荷とは、例えば当該作業の実施の困難性に影響を及ぼすものの全般を指す。そして作業のパフォーマンスとは、当該作業の実績の度合いに関するもの全般を指し、成功数、成功率、目標基準への近さ等の指標が含まれ、これらの指標は本発明の実績度の一例である。以下の説明では、作業のパフォーマンスを能力発揮度という指標でまとめて示すことがある。
例えば、作業がロボット相手の卓球である場合、作業の負荷は、ロボットによる打球の速度、回転方向又は打球されたボールが卓球台でバウンドする位置等であり、作業のパフォーマンスは、返球の成功数、返球の連続成功数、返球の成功率、狙った位置からの距離の誤差及び誤差の平均又はばらつき、ラリーの継続回数等である。
また例えば、作業が自転車エルゴメータを用いたリハビリテーションである場合、作業の負荷は、ペダルの重さ等であり、作業のパフォーマンスは走行速度、走行距離等である。
また例えば、作業がシューティングゲームである場合、作業の負荷は、敵の出現位置、出現量、プレイヤが発射する弾が当たる範囲等であり、作業のパフォーマンスは、倒した敵の数、弾の的中率、敵からの攻撃を受けた回数等である。
センサ２０は、作業を実行している人間の生体情報を取得する。生体情報の生理指標としては、表情、瞬目回数、瞬目タイミング、体温、心拍数、心拍変動、脈拍数、脈拍変動、呼吸数、血圧、皮膚電気反応（発汗）、瞳孔径、脳波、筋電、唾液中ストレスホルモン濃度等がある。
操作入力装置３０は、作業を実行している人間が作業に対する操作を入力する装置である。例えば作業がロボット相手の卓球の場合、操作入力装置３０は、卓球のプレイヤが使用するラケット及び卓球台を撮像するステレオカメラである。また例えば、作業が自転車エルゴメータを用いたリハビリテーションの場合、操作入力装置３０は自転車エルゴメータである。また例えば、作業がシューティングゲームの場合、操作入力装置３０はコントローラである。
出力装置４０は、情報処理装置１０が調節した作業の負荷を反映する装置である。例えば作業がロボット相手の卓球の場合、出力装置４０は、負荷に基づいてロボットに対して打球の速度又は打球されたボールが卓球台でバウンドする位置を調整する。また例えば、作業が自転車エルゴメータを用いたリハビリテーションの場合、出力装置４０は自転車エルゴメータのペダルの重さを調整する。また例えば、作業がシューティングゲームの場合、出力装置４０は敵の出現位置、出現量、プレイヤが発射する弾が当たる範囲等を調整する。
図２は、情報処理装置１０のハードウェア構成を示すブロック図である。
図２に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２またはストレージ１４には、作業の負荷を調整する情報処理プログラムが格納されている。
ＲＯＭ１２は、各種プログラムおよび各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
入力部１５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
表示部１６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
通信インタフェース１７は、センサ２０、操作入力装置３０、出力装置４０等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
上記の情報処理プログラムを実行する際に、情報処理装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。情報処理装置１０が実現する機能構成について説明する。
図３は、情報処理装置１０の機能構成の例を示すブロック図である。図３には併せてセンサ２０及び操作入力装置３０の機能構成の例も示されている。
図３に示すように、情報処理装置１０は、機能構成として、生体情報記憶部１０１、パフォーマンス記憶部１０２、同期度計算部１０３、感情共有度計算部１０４、負荷制御部１０５及び負荷記憶部１０６を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２またはストレージ１４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
なお、図３に示した機能構成のうち、生体情報記憶部１０１、パフォーマンス記憶部１０２及び負荷記憶部１０６はストレージ１４に設けられ得る。
生体情報記憶部１０１は、センサ２０の生体情報取得部２１が取得した、作業を行っている人間の時系列生体情報を、作業を行う人間毎に記憶する。作業を行っている人間の時系列生体情報は、時系列データとして表されるデータである。作業を行っている人間の生体情報には、例えば表情、瞬目回数、瞬目タイミング、体温、心拍数、心拍変動、脈拍数、脈拍変動、呼吸数、血圧、皮膚電気反応（発汗）、瞳孔径、脳波、筋電、唾液中ストレスホルモン濃度等がある。
パフォーマンス記憶部１０２は、操作入力装置３０のパフォーマンス取得部３１が取得した、作業のパフォーマンスに関する情報を記憶する。
図４は、パフォーマンス記憶部１０２に記憶される、作業のパフォーマンスに関する情報の一例を示す図である。図４には、横軸が時間、縦軸が作業の能力発揮度のグラフが示されている。図４に示したグラフは能力発揮度として作業の成功率を例示しており、ある目標基準からどれだけ上回っているか、またはどれだけ下回っているか、が当該情報から把握可能である。
同期度計算部１０３は、生体情報記憶部１０１に記憶されている、作業を行っている人間の生体情報を用いて、作業を行っている人間の同期度を計算する。同期度は、作業を行っている複数の人間の生体情報がどれだけ同期して変化しているかを示す指標である。
図５は、同じ作業を同時に行っている人間の同期度を説明するグラフである。図５には、横軸が時間、縦軸がセンサ２０の生体情報取得部２１が取得した生体情報に基づいた生理反応強度のグラフが示されている。図５のグラフには、同じ作業を同時に行っている２人の人間の生理反応強度の時間変化が示されている。２つの波形が似ている区間は、生理反応強度の変化の同期度が高い区間であると考えられる。一方で、２つの波形が似ていない区間は、生理反応強度の変化の同期度が低い区間であると考えられる。
同期度計算部１０３は、図５に示したグラフで示される生理反応強度に対する演算を行うことで、同じ作業を同時に行っている人間の同期度を把握できる。図６は、同期度の計算手法の例を示す図である。図６には、同期度の計算手法として、Pearson correlation（相関）、Multilevel Model（回帰）、Signal Matching（信号間の面積差）、CRQA（状態の類似性）、DTW（波形間の距離）、Cross correlation（時間遅れを考慮した相関）、Instantaneous derivative matching（微分値の差）、Directional movement（変化方向の一致度）、Weighted coherence（周波数解析）が示されている。同期度計算部１０３は、図６に示した同期度の計算手法の少なくともいずれかを用いることで、同じ作業を同時に行っている人間の同期度を計算する。もちろん、同期度の計算手法は図６に示した手法に限定されるものでは無い。
図５では、生理反応強度の変化の同期度が低い、すなわち波形の変化が似ていない低同期の区間と、生理反応強度の変化の同期度が高い、すなわち波形の変化が似ている高同期の区間とが示されている。
生体情報は複数存在しうるため、同期度計算部１０３は、生体情報毎に同期度を計算する。従って、ある期間では同期度が高い生体情報であっても、別の期間では同期度が低い生体情報もあり得る。
感情共有度計算部１０４は、同期度計算部１０３が計算した同期度に基づいて、同じ作業を同時に行っている人間間の感情共有度を計算する。具体的には、感情共有度計算部１０４は、同期度計算部１０３が計算した同期度に対して生体情報毎に所定の係数を掛けて、正規化した感情共有度を計算する。当該係数は、生理指標毎に掛けられるものであり、行っている作業によって変化し得る要素である。例えば、ある作業では心拍数の係数を大きくするが、別の作業では心拍数の係数を小さくするような係数の調整が行われてもよい。
感情共有度計算部１０４が感情共有度の計算に用いる係数は、生体情報から感情共有度を推測する学習済みモデルを用いて決定された係数であってもよい。
負荷制御部１０５は、感情共有度計算部１０４が計算した感情共有度と、パフォーマンス記憶部１０２に記憶されている作業のパフォーマンスに関する情報とを用いて、作業の負荷を制御する。具体的には、負荷制御部１０５は、感情共有度が所定の閾値以上の場合は、作業を行っている人間が現在の作業を楽しめているものと判断して、現在の負荷を維持する。また、負荷制御部１０５は、感情共有度が所定の閾値未満であり、作業のパフォーマンスも所定の閾値未満の場合は、作業が難しいために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を減少する制御を行う。また、負荷制御部１０５は、感情共有度が所定の閾値未満で、作業のパフォーマンスが所定の閾値以上の場合は、作業が簡単なために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を上げる制御を行う。なお、現在の負荷の情報は負荷記憶部１０６に記憶されている。負荷制御部１０５は、負荷の制御により負荷を変更すると、変更後の負荷の情報を負荷記憶部１０６に記憶する。
なお、負荷は同一の作業を同時に行っている人間の全てに対して共通に設定されてもよく、個別に設定されてもよい。例えば、負荷制御部１０５は、作業に熟練している人間には負荷を高くし、作業に未熟な人間には負荷を低くすることで、感情共有度を高めるようにしてもよい。負荷制御部１０５は、パフォーマンス記憶部１０２に記憶されている作業のパフォーマンスに関する情報を参照して、その作業に熟練しているかどうかを判断してもよい。
情報処理装置１０は、係る構成を有することで、生体情報の同期度から求めた感情共有度と、パフォーマンスに関する情報とから、複数の人間が同時に行っている作業の負荷を制御することが出来る。情報処理装置１０は、複数の人間が同時に行っている作業の負荷を制御することで、作業に対するモチベーションの維持、又は向上に寄与し得る。
次に、情報処理装置１０の作用について説明する。
図７は、情報処理装置１０による情報処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、情報処理が行なわれる。
ＣＰＵ１１は、ステップＳ１０１において、同一の作業を同時に行っている人間の生体情報をセンサ２０から取得して、ストレージ１４に記憶する。
続いてＣＰＵ１１は、ステップＳ１０２において、当該作業に対して各人間が行った操作の内容を操作入力装置３０から取得して、パフォーマンス情報としてストレージ１４に記憶する。
続いてＣＰＵ１１は、ステップＳ１０３において、ステップＳ１０１で取得して記憶した生体情報を用いて、同一の作業を同時に行っている人間の同期度を計算する。ＣＰＵ１１は、上述したように、図６で示されているような生理反応強度に対する演算を行うことで、同じ作業を同時に行っている人間の同期度を生体情報毎に計算する。
続いてＣＰＵ１１は、ステップＳ１０４において、ステップＳ１０１で計算した同期度を用いて、同一の作業を同時に行っている人間間の感情共有度を計算する。ＣＰＵ１１は、上述したように、生体情報毎の同期度に係数を掛けて正規化することで、同一の作業を同時に行っている人間間の感情共有度を計算する。
続いてＣＰＵ１１は、ステップＳ１０５において、ステップＳ１０４で計算した感情共有度とステップＳ１０１で取得して記憶したパフォーマンス情報とを用いて、複数の人間が同時に行っている作業の負荷を制御する。
ＣＰＵ１１は、感情共有度が所定の閾値以上の場合は、作業を行っている人間が現在の作業を楽しめているものと判断して、現在の負荷を維持する。また、ＣＰＵ１１は、感情共有度が所定の閾値未満であり、作業のパフォーマンスも所定の閾値未満である場合は、作業が難しいために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を減少する制御を行う。また、ＣＰＵ１１は、感情共有度が所定の閾値未満であり、作業のパフォーマンスが所定の閾値以上である場合は、作業が簡単なために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を上げる制御を行う。
情報処理装置１０は、係る処理を実行することで、生体情報の同期度から求めた感情共有度と、パフォーマンスに関する情報とから、複数の人間が同時に行っている作業の負荷を制御することが出来る。情報処理装置１０は、複数の人間が同時に行っている作業の負荷を制御することで、作業に対するモチベーションの維持、又は向上に寄与し得る。
（ユースケース例１）
続いて、作業の具体例を示しながら、情報処理装置１０の作用を説明する。まず、最初のユースケースとして、複数の人間で負荷を共有する作業の例として、卓球ロボットのユースケースを説明する。このユースケースは、卓球ロボットが打球するボールを２人のプレイヤが交互に返球する場合である。
センサ２０は、卓球をプレイしている各プレイヤの表情、瞬目回数、瞬目頻度などの生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、プレイヤによる返球の連続成功回数、返球成功率などのパフォーマンス情報を取得する。例えば、操作入力装置３０として、卓球台を撮像するステレオカメラを設け、プレイヤが打球したボールの三次元位置をステレオカメラが取得し、ボールがバウンドした場所を検出することで、プレイヤによる返球の連続成功回数、返球成功率などのパフォーマンス情報を得ることが可能である。
情報処理装置１０は、センサ２０から取得した卓球のプレイヤの生体情報に基づいて、プレイヤ間の感情共有度を計算する。そして情報処理装置１０は、プレイヤ間の感情共有度及び操作入力装置３０から取得した卓球のパフォーマンス情報に基づいて、負荷として卓球ロボットによる打球の速度、回転方向又は打球されたボールが卓球台でバウンドする位置の範囲を制御する。
例えば、プレイヤ間の感情共有度が所定の閾値より高い場合は、情報処理装置１０は、卓球ロボットによる現在の打球速度、回転方向やボールのバウンド位置の範囲を維持する。
また例えば、プレイヤ間の感情共有度が所定の閾値より低く、パフォーマンス情報からプレイヤのパフォーマンスが基準に到達していれば、情報処理装置１０は、打球速度を速くしたり、回転方向をプレイヤが打ちづらい方向にしたり、バウンドする位置をプレイヤが打ちづらい位置に調整したりするなどの制御を行う。また例えば、プレイヤ間の感情共有度が所定の閾値より低く、パフォーマンス情報からプレイヤのパフォーマンスが基準に到達していなければ、情報処理装置１０は、打球速度を遅くしたり、回転方向をプレイヤが打ちやすい方向にしたり、バウンドする位置をプレイヤが打ち易い位置に調整したりするなどの制御を行う。
（ユースケース例２）
次のユースケースとして、複数の人間で負荷を共有する作業の例として、遠隔地にいる人間との間で自転車エルゴメータを漕ぎながら仮想現実空間をサイクリング（バディバイキング、Ｂｕｄｄｙ Ｂｉｋｉｎｇ）するユースケースを説明する。
センサ２０は、自転車エルゴメータを漕いでいる各人間の表情、瞬目回数、瞬目頻度などの生体情報を取得して、情報処理装置１０に提供する。なお、センサ２０は心拍、呼吸といった運動により変動する情報を得ることができるが、変動の要因が自転車エルゴメータを漕いだことによるものなのか、一緒に自転車エルゴメータを漕いでいる人間との関係性によるものなのかは不明であるため、感情共有度の計算には運動により変動する情報を用いないようにしてもよい。
また操作入力装置３０は、自転車エルゴメータのペダル回転数、走行距離、走行速度等のバディバイキングのパフォーマンス情報を取得して、情報処理装置１０に提供する。
情報処理装置１０は、センサ２０から取得した、自転車エルゴメータを漕いでいる人間の表情、瞬目回数、瞬目頻度などの生体情報に基づいて、バディバイキングを行っている人間間の感情共有度を計算する。そして情報処理装置１０は、バディバイキングを行っている人間間の感情共有度及び操作入力装置３０から取得したバディバイキングのパフォーマンス情報に基づいて、負荷として自転車エルゴメータのペダルを漕ぐ重さを制御する。
例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値以上である場合は、情報処理装置１０は、自転車エルゴメータのペダルを漕ぐ重さを維持する。
また例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値未満であり、パフォーマンス情報からバディバイキングを行っている人間のパフォーマンスが基準に到達していれば、情報処理装置１０は、ペダルを漕ぐ重さを重くする制御を行う。また例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値未満であり、パフォーマンス情報からバディバイキングを行っている人間のパフォーマンスが基準に到達していなければ、情報処理装置１０は、ペダルを漕ぐ重さを軽くする制御を行う。
（ユースケース例３）
次のユースケースとして、複数の人間で負荷を共有する作業の例として、同一のゲームをプレイするユースケースを説明する。ここでプレイヤがプレイするゲームは、シューティングゲーム、アドベンチャーゲーム等の複数人で同時に同じ場面を共有して進めていくゲームである。
センサ２０は、ゲームを行っている各プレイヤの表情、瞬目回数、瞬目頻度、心拍、呼吸、脈拍等の生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、敵を倒した数、敵に弾が命中した数、敵に弾が命中した割合、敵の攻撃を受けた数、敵の攻撃を受けた割合等のゲームのパフォーマンス情報を取得して、情報処理装置１０に提供する。
情報処理装置１０は、センサ２０から取得した、同一のゲームを行っている各プレイヤの表情、瞬目回数、瞬目頻度などの生体情報に基づいて、同一のゲームを行っているプレイヤ間の感情共有度を計算する。そして情報処理装置１０は、同一のゲームを行っているプレイヤ間の感情共有度及び操作入力装置３０から取得した当該ゲームのパフォーマンス情報に基づいて、負荷としてゲームの難易度を制御する。制御対象のゲームの難易度は、例えば敵の出現位置、敵の出現量、プレイヤが発射する弾が当たる範囲等である。
（ユースケース例４）
次のユースケースとして、複数の人間で負荷を共有する作業の例として、教師に与えられた問題を生徒が解答するユースケースを説明する。
センサ２０は、問題を解答する各生徒の表情、瞬目回数、瞬目頻度、心拍、呼吸、脈拍等の生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、問題の正答数、正答率等の問題への解答に関するパフォーマンス情報を取得して、情報処理装置１０に提供する。
情報処理装置１０は、センサ２０から取得した、同一の問題を解答している各生徒の表情、瞬目回数、瞬目頻度などの生体情報に基づいて、同一の問題を解答している生徒間の感情共有度を計算する。そして情報処理装置１０は、同一の問題を解答している生徒間の感情共有度及び操作入力装置３０から取得した問題への解答のパフォーマンス情報に基づいて、負荷として問題の難易度を制御する。
以上、添付図面を参照しながら本開示の実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらの変更例または修正例についても、当然に本開示の技術的範囲に属するものと了解される。
また、上記実施形態において記載された効果は、説明的又は例示的なものであり、上記実施形態において記載されたものに限定されない。つまり、本開示に係る技術は、上記実施形態において記載された効果とともに、又は上記実施形態において記載された効果に代えて、上記実施形態における記載から、本開示の技術分野における通常の知識を有する者には明らかな他の効果を奏しうる。
なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した情報処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、情報処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、情報処理のプログラムがＲＯＭまたはストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１ 情報処理システム
１０ 情報処理装置
２０ センサ
３０ 操作入力装置
４０ 出力装置

Claims (10)

  1. 同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部と、
    前記同期度計算部が計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算する感情共有度計算部と、
    前記作業に対する各前記ユーザの実績の度合いに関する実績度と、前記感情共有度計算部が計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する負荷制御部と、
    を備える、情報処理装置。
  2. 前記負荷制御部は、さらに前記ユーザ間の関係性に基づいて前記作業の負荷の変更を制御する、請求項１に記載の情報処理装置。
  3. 前記負荷制御部は、
    前記感情共有度が所定の閾値以上である場合は前記作業の負荷を維持し、
    前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値以上である場合は前記作業の負荷を増加させ、
    前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値未満である場合は前記作業の負荷を減少させる、
    請求項１に記載の情報処理装置。
  4. 前記負荷制御部は、複数の前記ユーザに対して共通に設定された負荷の変更を制御する、請求項１に記載の情報処理装置。
  5. 前記負荷制御部は、前記ユーザの各々に対して個別に設定された負荷の変更を制御する、請求項１に記載の情報処理装置。
  6. 前記感情共有度計算部は、前記時系列生体情報を構成する生理指標毎に所定の係数を掛けて前記感情共有度を計算する、請求項１に記載の情報処理装置。
  7. 前記係数は、前記時系列生体情報から前記感情共有度を推測する学習済みモデルを用いて決定された係数である、請求項６に記載の情報処理装置。
  8. 前記作業は、スポーツ、ゲーム、リハビリテーション、問題の解答の少なくともいずれかである、請求項１に記載の情報処理装置。
  9. プロセッサが、
    同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、
    計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、
    前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、
    情報処理方法。
  10. コンピュータに、
    同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、
    計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、
    前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、
    処理を実行させる、コンピュータプログラム。
JP2022096627A 2022-06-15 2022-06-15 情報処理装置、情報処理方法及びコンピュータプログラム Pending JP2023183150A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022096627A JP2023183150A (ja) 2022-06-15 2022-06-15 情報処理装置、情報処理方法及びコンピュータプログラム
PCT/JP2023/021038 WO2023243492A1 (ja) 2022-06-15 2023-06-06 情報処理装置、情報処理方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022096627A JP2023183150A (ja) 2022-06-15 2022-06-15 情報処理装置、情報処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2023183150A true JP2023183150A (ja) 2023-12-27

Family

ID=89191079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022096627A Pending JP2023183150A (ja) 2022-06-15 2022-06-15 情報処理装置、情報処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2023183150A (ja)
WO (1) WO2023243492A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006026357A (ja) * 2004-07-14 2006-02-02 Sogo Ikagaku Kenkyusho:Kk 身体疲労負荷方法およびその装置
JP2012235887A (ja) * 2011-05-11 2012-12-06 Nikon Corp 電子機器及びプログラム
CN109684811B (zh) * 2018-12-26 2021-04-13 巽腾(广东)科技有限公司 定点授权的身份识别方法、装置及服务器
WO2020137637A1 (ja) * 2018-12-27 2020-07-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、ユーザ側装置、サーバ、及びプログラム

Also Published As

Publication number Publication date
WO2023243492A1 (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
Novak et al. Increasing motivation in robot-aided arm rehabilitation with competitive and cooperative gameplay
Paraskevopoulos et al. Design guidelines for developing customised serious games for Parkinson’s Disease rehabilitation using bespoke game sensors
Burke et al. Serious games for upper limb rehabilitation following stroke
US20190351289A1 (en) Targeted neurogenesis stimulated by aerobic exercise with virtual reality enhanced brain function specific tasks
Nijhar et al. Does movement recognition precision affect the player experience in exertion games?
Muñoz et al. Closing the loop in exergaming-health benefits of biocybernetic adaptation in senior adults
Mortazavi et al. Near-realistic mobile exergames with wireless wearable sensors
Tadayon et al. Real-time stealth intervention for motor learning using player flow-state
Pasch et al. Immersion in movement-based interaction
Mat Rosly et al. Exergaming for individuals with spinal cord injury: A pilot study
Darzi et al. Difficulty adaptation in a competitive arm rehabilitation game using real-time control of arm electromyogram and respiration
US20230223122A1 (en) Cloud-based gaming platform with health-related data collection
Finn Competitive excellence: It's a matter of mind and body
Ferreira et al. A serious game for post-stroke motor rehabilitation
Tamayo-Serrano et al. A game-based rehabilitation therapy for post-stroke patients: An approach for improving patient motivation and engagement
Martins et al. A serious game for rehabilitation of neurological disabilities: Premilinary study
Mangal et al. Frozen shoulder rehabilitation using microsoft kinect
Alankus Motion-based video games for stroke rehabilitation with reduced compensatory motions
WO2023243492A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Sinclair Feedback control for exergames
Ning et al. A Review on Serious Games for Exercise Rehabilitation
Tang et al. VR-MMA: a virtual reality motion and muscle sensing action game for personal sport
Caldas et al. Behavioral and Psychophysiological Measures of Engagement During Dynamic Difficulty Adjustment in Immersive Virtual Reality.
Haghbin et al. Multimodal Cueing in Gamified Physiotherapy: A Preliminary Study.
Hiraga et al. Contribution of virtual reality (Nintendo Wii) for exercise training and rehabilitation

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220713