JP2016009424A - 操作支援装置、操作支援方法及び操作支援プログラム - Google Patents

操作支援装置、操作支援方法及び操作支援プログラム Download PDF

Info

Publication number
JP2016009424A
JP2016009424A JP2014131060A JP2014131060A JP2016009424A JP 2016009424 A JP2016009424 A JP 2016009424A JP 2014131060 A JP2014131060 A JP 2014131060A JP 2014131060 A JP2014131060 A JP 2014131060A JP 2016009424 A JP2016009424 A JP 2016009424A
Authority
JP
Japan
Prior art keywords
operation support
player
guide
support
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014131060A
Other languages
English (en)
Other versions
JP6292672B2 (ja
Inventor
令子 瀧塚
Reiko Takizuka
令子 瀧塚
加藤 晴久
Haruhisa Kato
晴久 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014131060A priority Critical patent/JP6292672B2/ja
Publication of JP2016009424A publication Critical patent/JP2016009424A/ja
Application granted granted Critical
Publication of JP6292672B2 publication Critical patent/JP6292672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】複数のプレイヤが電子機器等の装置を操作する場合に、個々のプレイヤによる操作状況から動的に、習熟度等に適した、操作全体の作業効率が最も効率的に進むように操作支援を行う操作支援装置を得る。【解決手段】複数の操作支援端末装置3と操作支援サーバ装置2とが通信網で繋がり、各操作支援端末装置3のプレイヤが協調して操作を行うときに、個々のプレイヤに対して操作支援ガイドアプリを提供する操作支援装置1であって、操作全体の効率をあげるために、個々のプレイヤが操作する操作支援端末装置3で操作支援ガイドアプリを実行する際に、プレイヤの操作状況や周辺状況を取得して習熟度や習熟意欲を推測し、プレイヤ間の相互作用を配慮しながらプレイヤに応じた操作支援方法を操作支援サーバ装置2が動的に提供する。【選択図】図2

Description

本発明は、タッチパネル等の表示部を備えた情報処理装置等の電子機器の操作について、操作全体が最も効率よく進むように、個々のユーザ(プレイヤ)の習熟度等に適した操作支援を行う操作支援装置、操作支援方法及び操作支援プログラムに関する。
従来から、機器などのハードウェアをユーザが操作するときの操作支援技術としては、各種の手法が提案されている。例えば、特許文献1に記載された機器や装置では、一人で行うオンラインゲームにおいて、あらかじめ蓄積された個々のプレイヤの個人情報や嗜好情報履歴等に基づいて個々のプレイヤに操作支援(ヒント)を与えることが行われる。
また、家電やスマートフォンなどの電子機器の操作ガイド技術に関し、本発明者らは、操作ガイドアプリを使うユーザの操作状況や周辺状況を取得して、プレイヤの習熟度や習熟意欲を推測して動的に操作支援を行う操作支援装置を提案するに至った(特許文献2)。
特許第4610580号公報 特願2014−003667号
しかしながら、上述した特許文献1の手法によれば、プレイヤの個人情報や嗜好情報履歴に基づいてプレイヤが推測できそうな内容を判別し、推測できそうな内容についてのみ操作ガイドアプリでヒントを提示するので、以下に示すような課題が存在した。
(1)プレイヤの個人情報や嗜好情報を事前に収集していないとプレイヤの推測の仕方や習熟度を判断できず、操作ガイドアプリの使用開始時からプレイヤにあわせた支援ができない。
(2)プレイヤが一人でオンラインゲームを行うときの支援方法であり、複数のプレイヤで行う操作に対しての支援方法でない。複数のプレイヤが互いに協力したり牽制をしたりしてオンラインゲームを行う際には、操作支援アプリとプレイヤ、もしくはプレイヤ間の関係を考慮して支援内容を変えられることが望ましい。
また、特許文献2の手法によれば、説明視聴時や操作中や操作開始直後のプレイヤの操作状況を観察すれば、プレイヤの習熟度や習熟意欲を動的に推測できるとしている。しかし、特許文献2の手法では、プレイヤが単体の操作のみを支援対象としており、プレイヤが複数であってプレイヤ相互の動きがお互いに影響を及ぼす操作については支援対象としていない。
すなわち、従来技術の中には、プレイヤに使用開始前に余計な操作をさせることなく操作ガイドアプリの使用開始時から操作支援を行い、複数のプレイヤで競ったり、協調して操作を行ったりするときに、操作デバイスだけでプレイヤの操作状況を把握し、動的にプレイヤの習熟度や習得意欲を推測して、プレイヤ間の関係を配慮して、説明の詳細度や練習回数や操作スピードといった指導内容を変化させる操作支援装置や操作支援方法が存在しなかった。
本発明は上記実情に鑑みて提案されたもので、複数のプレイヤが電子機器等の装置を操作する場合に、個々のプレイヤによる操作状況から動的に、習熟度等に適した、操作全体の作業効率が最も効率的に進むように操作支援を行う操作支援装置、操作支援方法及び操作支援プログラムを提供することを目的とする。
本発明は、上記目的を達成するため、複数のプレイヤが協調して操作を行うときに、個々のプレイヤに対して操作支援ガイドアプリを提供する操作支援装置であって、操作全体の効率をあげるために、個々のプレイヤが自身の所有する情報端末で操作支援ガイドアプリを実行する際に、プレイヤの操作状況や周辺状況を取得して習熟度や習熟意欲を推測し、プレイヤ間の相互作用を配慮しながらプレイヤに応じた操作支援方法を動的に提供することを要旨としている。
すなわち、請求項1は、複数の操作支援端末装置と操作支援サーバ装置とが通信網で繋がり、前記各操作支援端末装置のプレイヤが協調して操作を進められるように前記操作支援サーバ装置が操作支援ガイドアプリを提供する操作支援装置であって、次の構成を含むことを特徴としている。
前記操作支援端末装置は、
表示画面及び入力装置と、
前記操作支援サーバ装置から指定された前記操作支援ガイドアプリやその操作ガイドパラメタを記憶させる操作ガイド設定部と、
前記操作支援ガイドアプリを実行して前記表示画面に表示する操作ガイド実行部と、
前記入力装置を用いて前記表示画面におけるプレイヤの操作状況や周辺状況を受付ける操作状況受付部と、
前記操作状況受付部が受付けたプレイヤの操作状況や周辺状況などからプレイヤの習熟度や習得意欲を推測する操作状況解析部を備えている。
また、前記操作支援サーバ装置は、
前記各操作支援端末装置から操作支援対象となる操作支援端末装置を決定し前記各操作支援端末装置に操作予定の操作支援ガイドアプリを指示する操作支援準備部と、
前記操作支援端末装置の操作ガイド実行部にプロセス毎の操作を指示する操作ガイド実行制御部と、
前記操作支援端末装置の操作状況解析部からプレイヤの習熟度や習熟意欲を受け取り、個々のプレイヤに応じた操作支援方法を決定する操作支援方法決定部を備えている。
請求項2は、請求項1の操作支援装置において、
前記操作支援サーバ装置の操作支援準備部は、
操作支援の対象とする操作支援端末装置を接続し、接続した操作支援端末装置の操作ガイドアプリ設定部に対して、操作対象の操作支援ガイドアプリを指示することを特徴としている。
請求項3は、請求項1又は請求項2に記載の操作支援装置において、
前記操作支援サーバ装置の操作ガイド実行制御部は、
前記操作支援端末装置の操作状況受付部よりプレイヤの操作状況や周辺状況を受付け、接続している全ての操作支援端末装置のプレイヤが操作を開始できる状態にあることを確認して個々の操作ガイド実行部に開始指示を出すことを特徴としている。
請求項4は、請求項1〜請求項3のいずれかに記載の操作支援装置において、
前記操作支援サーバ装置の操作支援方法決定部は、
前記操作支援端末装置の操作状況解析部から受け取ったプレイヤの習熟度や習熟意欲から、操作を完了するプレイヤの数の増加、全操作ステップや全操作時間の減少といった評価値を向上させるために、個々のプレイヤに応じた操作支援方法を決定することを特徴としている。
請求項5は、請求項4の操作支援装置において、
前記操作支援サーバ装置の操作支援方法決定部は、
期待されるリアクションに反した行動をとったプレイヤだけではなく、前記プレイヤと影響を及ぼしあう他のプレイヤに対して、操作の速さ、操作時間、方向、繰り返し回数、距離、手順を変更させたり、プレイヤの役割を替えたりする、といった操作支援を行うことを特徴としている。
請求項6は、請求項4又は請求項5の操作支援装置において、
前記操作支援サーバ装置の操作支援方法決定部が、同時に複数の操作支援方法を決定した場合は、操作を完了できないプレイヤ数、総操作時間、総操作ステップ数の少なくとも一つが支援操作を受付けないときよりも有利になることを目的として、最も有利になる方法だけを提供し、又は、有利になる順に提供することを特徴としている。
請求項7は、請求項1の操作支援装置において、
前記操作支援端末装置の操作ガイド設定部は、
前記操作支援サーバ装置の操作支援準備部の指示に従って、前記操作ガイド記憶部と前記操作ガイドパラメタ記憶部に、指示を受けた操作支援ガイドアプリの内容と、操作に必要な操作ガイドパラメタを設定することを特徴としている。
請求項8は、請求項1又は請求項7に記載の操作支援装置において、
前記操作支援端末装置の操作ガイド実行部は、
前記操作支援サーバ装置の前記操作ガイド実行制御部の指示に従って、前記操作ガイド記憶部と前記操作ガイドパラメタ記憶部を参照しながら操作支援ガイドアプリの一プロセスを開始することを特徴としている。
請求項9は、請求項1、請求項7又は請求項8のいずれかに記載の操作支援装置において、
前記操作支援端末装置は、プレイヤの操作時における操作状況や周辺状況を検知する認識装置を含み、
前記操作状況受付部は、前記入力装置や前記認識装置からプレイヤの操作状況や周辺状況を受け付けることを特徴としている。
請求項10は、請求項1、請求項7、請求項8又は請求項9のいずれかに記載の操作支援装置において、
前記操作支援端末装置は、前記入力装置や前記認識装置が受け付けた操作支援ガイドアプリの操作状況や周辺状況と、前記期待されるリアクションや前記習熟度や前記習熟意欲が対応付けされた操作習熟度判定情報を記憶する操作習熟度判定記憶部を含み、
前記操作状況解析部は、前記操作習熟度判定情報を参照して、受け付けた操作状況などが前記期待されるリアクションに合致しているか否かを判断することで、プレイヤの習熟度や習熟意欲を推測することを特徴としている。
プレイヤの習熟度は、例えば、以下の様に分類することができる。( )内の表記は、プレイヤタイプの識別子(図9〜図12)に対応している。
・操作ガイドの説明を見ていられないほど習熟度の低いプレイヤ(P1)
・解説された操作ガイドの説明を理解して覚えて実際に操作ができない程習熟度の低いプレイ(P2)
・特定の操作に関心が強く操作ガイドの進行を無視しているプレイヤ(P3)
・操作に自信がなくもっと練習を丁寧にやりたいプレイヤ(P4)
・操作ガイドに戸惑っているプレイヤ(P5)
・操作ガイドの説明が聞き取りにくいプレイヤ(P6)
・操作の説明を無視して勝手なことをやっているプレイヤ(P7)
・操作ガイドの開始指示に従えない習熟度の低いプレイヤ(P8)
・何かの理由で戸惑っていたり怒っていたりして集中度が低いプレイヤ(P9)
・周囲の不測事態の発生に気付かないプレイヤ(P10)
・操作ガイドの指示に従っていないことに気付かないプレイヤ(P11)
・習熟度が高く操作ガイドの内容が簡単過ぎるプレイヤ(P12)
・操作支援の対象外であるプレイヤ(P13)
ここで、前記操作状況解析部におけるプレイヤの習熟度や習熟意欲の推測例について、以下に示す。
前記操作状況解析部は、期待されるリアクションに従わずにプレイヤがタッチパネルを押下している場合、プレイヤの習熟度が、操作支援ガイドアプリの説明にしたがって説明を注視できなかったり、注視していても理解できなかったりするほど低いことを検出することで前記推測を行う(P1,P2)。
前記操作状況解析部は、期待されるリアクションに従わずにプレイヤが操作支援装置を傾けたり回転させたりしている場合、プレイヤが操作支援装置の側面や背面の特定機能に関心をもっていることを検出することで前記推測を行う(P3)。
前記操作状況解析部は、期待されるリアクションに従わずにプレイヤがタッチパネルの上方でジェスチャ操作をしている場合、プレイヤが操作のイメージトレーニングをしていることを検出することで前記推測を行う(P4)。
前記操作状況解析部は、操作支援端末装置の周辺の騒音が操作支援ガイドアプリの音声と比較して大き過ぎるときに、プレイヤが操作支援ガイドアプリの音声を聞き取れない可能性があることを検出することで前記推測を行う(P5)。
前記操作状況解析部は、期待されるリアクションに従わずにプレイヤが言葉や音声を発している場合、プレイヤが操作支援ガイドアプリの内容に戸惑っていることを検出することで前記判定を行う。また、プレイヤの言葉や音声を解析することにより、プレイヤの発言や発生が操作の進捗を妨げる危険性があることで前記推測を行う(P6)。
前記操作状況解析部は、プレイヤが操作支援装置の表示画面を見ていない場合、プレイヤが操作支援ガイドアプリに関心がないことを検出することで前記推測を行う(P7)。
前記操作状況解析部は、操作練習の開始を指示した後で一定時間が経過してもプレイヤから期待したリアクションが戻ってこない場合、プレイヤが操作支援ガイドアプリの指示を理解できないほど自信がなかったり習熟度が低かったりすることを検出することで前記推測を行う(P8)。
前記操作状況解析部は、プレイヤの表情を検出して、プレイヤが何かに戸惑っていたり、困っていたりするといった、プレイヤの操作時の感情を検出することで前記推測を行う(P9)。
前記操作状況解析部は、操作支援装置や周辺のにおいや温度や湿度、硬度を検出することによって、プレイヤが操作支援ガイドアプリの指示通りに操作が出来なかったり、操作支援ガイドアプリの指示通りに操作ができないことに気が付かなかったり、不測事態の発生に気が付かなかったりするほど習熟度が低いことを検出することで前記推測を行う(P10)。
前記操作状況解析部は、操作練習中に、カメラや加速度センサやジャイロセンサを用いることにより、プレイヤが操作支援ガイドアプリの指示と異なる開始のタイミングや速度や方向や手順で操作をしているにも関わらずそれに気づかないことを検出することで、前記推測を行う(P11)。
前記操作状況解析部は、操作練習中に、カメラや加速度センサやジャイロセンサを用いることにより、プレイヤが操作支援ガイドアプリの期待する以上の早さや精度で操作をしていることを検出することで前記推測を行う(P12)。
前記操作状況解析部は、プレイヤがP1からP12のどこにも属さないことを検出することで前記推測を行う(P13)。
請求項11は、複数の操作支援端末装置と操作支援サーバ装置とが通信網で繋がり、前記各操作支援端末装置のプレイヤが協調して操作を進められるように前記操作支援サーバ装置が操作支援ガイドアプリを提供する操作支援方法であって、
表示画面及び入力装置を備えた前記操作支援端末装置において、
前記操作支援サーバ装置から指定された前記操作支援ガイドアプリやその操作ガイドパラメタを記憶させる操作ガイド設定ステップと、
前記操作支援ガイドアプリを実行して前記表示画面に表示する操作ガイド実行ステップと、
前記入力装置を用いて前記表示画面におけるプレイヤの操作状況や周辺状況を受付ける操作状況受付ステップと、
前記操作状況受付ステップが受付けたプレイヤの操作状況や周辺状況などからプレイヤの習熟度や習得意欲を推測する操作状況解析ステップを実行する一方、
前記操作支援サーバ装置において、
前記各操作支援端末装置から操作支援対象となる操作支援端末装置を決定し前記各操作支援端末装置に操作予定の操作支援ガイドアプリを指示する操作支援準備ステップと、
前記操作支援端末装置の操作ガイド実行ステップにプロセス毎の操作を指示する操作ガイド実行制御ステップと、
前記操作支援端末装置の操作状況受付ステップから操作状況などを受け取り、個々の操作支援端末装置についての操作支援方法を決定すると共に該当する操作ガイドパラメタを決定する操作支援方法決定ステップを実行する
ことを特徴としている。
請求項12は、請求項11に記載の操作支援方法の各ステップをコンピュータにより実行可能とした操作支援プログラムであることを特徴としている。
請求項13は、請求項1から請求項10のいずれかに記載の操作支援装置における各部をコンピュータ上に構築可能とした操作支援プログラムであることを特徴としている。
本発明の操作支援装置および操作支援方法によれば、複数のプレイヤが協調して作業をしようとするにも関わらず、個々のプレイヤが互いの操作状況や周辺状況を把握しきれないときに、個々のプレイヤの操作状況や周辺状況からそれぞれの習熟度や習熟意欲を推測して、全体として最も効果的に操作が進むように、個々のプレイヤの操作を動的に支援することができる。
また、本発明の操作支援装置及び操作支援方法によれば、プレイヤが使用開始前に余計な操作をすることなく、操作支援ガイドアプリの使用開始時からプレイヤの習熟度に応じた動的な操作支援を提供することができる。
したがって、従来の操作履歴に基づく操作支援装置や操作支援方法を使用した場合と比較して、操作支援開始までの準備を少なくすることができる。
更に、本発明の操作支援装置および操作支援方法によれば、プレイヤの習熟度や習熟意欲と関係の深いプレイヤの操作状況や周辺状況を取得して、即座にプレイヤの習熟度や習得意欲を推測することにより、動的に操作の説明方法や練習回数や速度を変えて提供することでプレイヤを支援することができる。
その結果、シニア層など新しい情報機器の操作に不慣れで操作中に周辺の環境や精神面の変化の影響を受けやすい人達に対して、ゲームや会議や点検操作などの情報機器を利用した協調作業の操作支援ガイドアプリを提供する際に、個々のプレイヤの習熟度等に応じて適正な操作支援ガイドアプリを提供することができる。
本発明の実施形態の一例である操作支援装置の構成例を示すブロック図である。 本発明の実施形態の一例である操作支援装置の機能構成の一例を示すブロック図である。 本発明の操作支援装置の全体の処理手順を示すフローチャートである。 操作支援サーバ装置の操作支援準備部における処理手順を示すフローチャートである 操作支援端末装置の操作ガイド設定部における処理手順を示すフローチャートである。 操作支援端末装置の操作ガイド実行部における処理手順を示すフローチャートである。 操作支援サーバ装置の操作ガイド実行制御部における処理手順を示すフローチャートである。 操作支援端末装置の操作状況受付部における処理手順を示すフローチャートである。 操作支援端末装置の操作状況解析部における処理手順の一部を示すフローチャートである。 図9に続く操作状況解析部における処理手順を示すフローチャートである。 図10に続く操作状況解析部における処理手順を示すフローチャートである。 図11に続く操作状況解析部における処理手順を示すフローチャートである。 操作支援サーバ装置の操作支援方法決定部における処理手順を示すフローチャートである。 個々の操作支援端末装置に対する操作支援方法決定部の処理手順の一部を示すフローチャートである。 図14に続く操作支援方法決定部における処理手順を示すフローチャートである。 図15に続く操作支援方法決定部における処理手順を示すフローチャートである。 操作支援サーバ装置の習熟度判定部における処理手順を示すフローチャートである。
本発明の実施形態の一例としての操作支援装置について、図1のシステム概要図を参照しながら説明する。
操作支援装置1は、操作支援サーバ装置2と、複数の操作支援端末装置3とが、インターネット等の通信網4で繋がることで構成され、操作支援端末装置3の各プレイヤが協調して操作を進められるように、操作支援サーバ装置2が各操作支援端末装置3に対して制御を行うようになっている。
操作支援サーバ装置2は、インターネットなどの通信網4を通して複数の操作支援端末装置3と接続され、クラウド上に設置してもよい。操作支援サーバ装置2は、複数の操作支援端末装置3による協調作業の操作支援の制御を目的として設置され、操作支援端末装置3では個々のプレイヤに応じた操作支援ガイドアプリが動作している。
次に、操作支援サーバ装置2及び操作支援端末装置3の構成について、図2を参照しながら説明する。
操作支援サーバ装置2は、操作支援の対象とする操作支援端末装置3を決定し、操作支援端末装置3のプレイヤの操作状況から推測した習熟度などに応じて操作支援方法を決定したりするサーバ制御部10と、操作状況に対応した操作支援方法などを記憶するサーバ記憶部20とを備えて構成されている。
サーバ制御部10は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えるコンピュータで構成されている。CPUはROMやサーバ記憶部20に記憶された操作支援プログラムをRAMに読み出して実行することにより、操作支援サーバ装置2の各部を制御する。サーバ制御部10は、複数の操作支援端末装置3を束ねて制御管理する機器として、クラウド上に設置してもよい。
サーバ制御部10は、操作支援準備部11、操作ガイド実行制御部12、操作支援方法決定部13、習熟度判定部14を備えている。各部の機能については後述する。
サーバ記憶部20は、例えばEPROMを備え、各種アプリケーションプログラムの他、プレイヤの習熟度や習熟意欲に応じた操作支援方法を記憶する操作支援方法決定記憶部21と、過去の全被験者の操作履歴から作成した習熟度の判定基準を記憶する習熟度記憶部22から構成される。
操作支援端末装置3では、個々のプレイヤの操作支援のために、操作支援サーバ装置2から提供された操作支援ガイドアプリが動作する。すなわち、操作支援端末装置2で判定した個々のプレイヤの操作状況に基づき、操作全体を最も効率よく動かすための操作支援方法を個別に動的に決定して提供される。
操作支援端末装置3は、タッチパネルなど操作を行うための表示部を備えた情報処理装置等の各種装置に内蔵され、各種装置の操作を説明するために表示部に表示される操作支援ガイドアプリの操作支援を行うものである。操作支援端末装置3が適用される各種装置は、スマートフォン、タブレット端末、携帯型音楽再生機、携帯型ゲーム機などの情報処理装置や、プリンター、電子レンジや冷蔵庫など、操作説明を表示するための表示部を備えた機器である。
操作支援端末装置3をスマートフォン(情報処理装置)に適用した例について説明する。
スマートフォン(情報処理装置)はタッチパネルを採用し、本発明の操作支援端末装置3を内蔵している。操作支援端末装置3は、プレイヤによる操作が行われる入力装置としてのUI部30と、プレイヤの操作時における周辺状況を検知する認識部40と、プレイヤへの操作支援ガイドをプレイヤの操作状況に基づいて支援する制御部50と、操作履歴などを記録する記憶部60とを備えて構成されている。
UI部30は、GUI(Graphical User Interface)を提供し、表示面に画像を表示させる表示画面(表示部)31と、表示画面31に重ねて設けられプレイヤに操作されるタッチパネル(操作部)32とを備える。UI部30は、プレイヤによりタッチパネルが操作されることで、プレイヤの操作状況を検出できる。
認識部40は、プレイヤが情報処理装置を操作する場合の周辺状況を検知するため、スマートフォン(情報処理装置)を動かした場合の加速度を検知する加速度センサ41、表示画面31から離れた位置でのプレイヤのジェスチャ操作を検知する近隣センサ42、プレイヤの受話音声等を収音するマイクロホン43、プレイヤの視線等を検知するカメラ44を備える。認識部40は、これら全部を必要とするものではなく、1つ又は複数の組み合わせであってもよい。
端末制御部50は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えるマイクロコンピュータで構成されている。CPUはROMや記憶部に記憶された操作支援プログラムをRAMに読み出して実行することにより、操作支援端末装置3の各部を制御する。端末制御部50は、複数のスマートフォン(情報処理装置)を束ねて制御管理する機器として、クラウド上に設置してもよい。
端末制御部50は、操作支援プログラムを実行することにより、操作ガイド設定部51、操作ガイド実行部52、操作状況受付部53、操作状況解析部54を構築している。各部の機能については後述する。
端末記憶部60は、例えばEPROMを備え、各種アプリケーションプログラムの他、実行予定もしくは実行中の操作支援ガイドアプリが記憶された操作ガイド記憶部61と、操作支援ガイドアプリのパラメタが記憶された操作ガイドパラメタ記憶部62と、プレイヤの操作履歴を記憶する操作履歴記憶部63と、プレイヤの操作習熟度判定を記録する操作習熟度判定記憶部64と、を備えて構成されている。端末記憶部60はクラウド上に設置してもよい。
続いて、操作支援サーバ装置2で実行される機能の詳細について説明する。
操作支援準備部11は、操作支援の対象とする操作支援ガイドアプリを決定して全ての操作支援端末装置3の操作ガイド設定部51に伝える。操作支援ガイドアプリは、操作支援サーバ装置2の一存で決定しても、いずれかの操作支援端末装置3からの要求によって決定してもよい。
操作ガイド実行制御部12は、操作支援端末装置3の操作ガイド実行部52に、操作支援ガイドアプリのプロセス毎の開始時を指示する。操作ガイド実行制御部12は、操作に関連する全ての操作支援端末装置3の操作状況受付部53から動的に操作状況を受け取り、操作の完了者数、操作全体の完了時間、操作完了までの総ステップ数といった操作効果についての指標を集計し検討することにより、再度他の支援方法を適応するか否かを決定してもよい。
操作支援方法決定部13は、全ての操作支援端末装置3の操作状況解析部54からプレイヤの習熟度や習熟意欲に関する情報を受け取り、操作支援できる状況にあるか否かを判断し、操作支援できる状況にあると判断した場合は、操作支援方法決定記憶部21を参照して対応する操作支援方法を決定する。その際、一人のプレイヤもしくは一台の操作支援端末装置3に対して複数の支援方法が決定される場合がある。
続いて、習熟度に基づく支援方法の決定の仕方を説明する。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ(P1)であるという信号を受け取った場合は、上記もしくは同等の習熟度のプレイヤに対して、操作支援ガイドアプリの操作指示方法を、本来ならば包括的な説明方法が適した場合であっても、ワンステップ毎の説明方法に切り替えるように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ(P2)であるという信号を受け取った場合は、上記もしくは同等の習熟度のプレイヤに対して、操作支援ガイドアプリの操作指示方法を、本来ならば包括的な説明方法が適した場合であっても、ワンステップ毎の説明方法に切り替えたり、操作の間違いをすぐに指示したりするように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、特定機能に関心が高く習熟意欲も高いプレイヤ(P3)であるという信号を受け取った場合は、オリジナルの操作支援ガイドアプリの進捗を一時停止して、該当機能についての説明を繰り返したり、詳細な説明を追加したりすることにより、プレイヤの習熟意欲を満たすように決定してもよい。
上述した操作支援方法決定部13では、操作状況解析部54において、プレイヤの関心が、操作支援端末装置の背面や側面にある機能から、表示画面31に戻ったことを示す信号を受け取ったことを把握した場合は、操作支援方法決定部13が、表示画面31で実施している背面や側面の機能についての説明を終了して、表示画面31でオリジナル操作支援ガイドアプリの提供を再開するようにしてもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作に自信がなく念入りな学習を希望するプレイヤ(P4)であるという信号を受け取った場合は、操作学習の回数をふやしたり、操作スピードを遅くしたりするように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作支援ガイドアプリの内容に戸惑っているかもしれないプレイヤ(P5)であるという信号を受け取った場合は、操作支援ガイドアプリの進捗内容と一致したショートヘルプ機能を表示画面31に提示するように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作支援ガイドアプリの音声が聞き取りにくいプレイヤ(P6)であるという信号を受け取った場合は、操作支援ガイドアプリの操作音声を大きくしたり、イヤホンを使用したり、操作支援ガイドアプリの説明をテキスト主体にするように、といった提案を表示画面3 1に提示するように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作支援ガイドアプリの説明を無視して勝手なことをしている習得意欲に乏しいプレイヤ(P7)である、という信号を受け取った場合は、「操作支援ガイドアプリの説明に集中して下さい」といったメッセージを表示画面31に提示し、一定時間が経過してもプレイヤが従わなかった場合は、プレイヤが操作支援ガイドアプリの説明に集中する準備ができるまで操作支援ガイドアプリを一時停止させるように決定してもよい。SNSやビデオ会議では他のプレイヤを指示して話題や場の雰囲気を変えてもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作支援ガイドアプリの開始指示に従えないほど自信がなかったり習熟度の低かったりするプレイヤ(P8)であるという信号を受け取った場合は、プレイヤが操作を開始するまで指示を出し続けたり、繰り返して出したり、テキストだけでなく音声などを使ってもっとインパクトの大きな指示を出したり、プレイヤの遅れや習熟度に応じて操作支援ガイドアプリの進捗スピードを遅らせたりするように決定してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、戸惑っていたり怒っていたりして操作支援ガイドアプリの学習に集中できないプレイヤ(P9)であるという信号を受け取った場合は、プレイヤに対して、平静になってから操作練習をするようにメッセージを提示したり、プレイヤが平静になるまで操作支援ガイドアプリを一時停止させてもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、周囲の不測事態の発生に気が付かない習熟度の低いプレイヤ(P10)であるという信号を受け取った場合は、プレイヤに対して不測事態の内容や発生していることを知らせ、回避する方法を指示してもよい。点検作業などで、不測事態の影響が他のプレイヤにも及ぶ場合は、他の関連するプレイヤにも通知してもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、自身の操作が操作支援ガイドアプリの指示と異なっていることに気が付かない習熟度の低いプレイヤ(P11)であるという信号を受け取った場合は、操作内容が操作支援ガイドアプリの指示と異なっていることを提示し、指示通りにできない操作に対して1ステップずつの詳細なガイドを提供してもよい。さらに、点検作業などで、詳細なガイドを提供してもP11が操作を正確にできない場合や、お互いの操作が見えないために操作が協調しあえない場合に、他のプレイヤにP11の補助操作を依頼してもよいし、プレイヤの習熟度に応じて、操作の役割を替えてもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、プレイヤのスキルが予め設定した操作支援ガイドアプリのレベル以上に優秀なプレイヤ(P12)であるという信号を受け取った場合は、プレイヤが習熟意欲を減らさせないように、問題のレベルを高めたり、問題数を多くしたり、ヒントのレベルを低くしたり、ヒントの数を少なくしてもよい。P12以外のプレイヤの問題のレベルを低くしたり、問題数を減らしたり、ヒントのレベルを高くしたり、ヒントの数を多くしてもよい。
さらに操作支援ガイドアプリがP12を賞賛すると共に、他のプレイヤに対しても賞賛できるプレイヤがいることを通知して、プレイヤ間の競争心を煽ってもよい。
操作支援方法決定部13が、操作支援端末装置3の操作状況解析部54から、操作支援ガイドアプリの説明通りに操作ができるプレイヤ(P13)であるという信号を受け取った場合は、過去に信号を受け付けた回数や、操作履歴などに基づくスキルアップ度に従って、プレイヤを賞賛してもよい。
上述した段落番号(0055)から(0068)に示すように、個々のプレイヤの習熟度に対応した支援方法を全プレイヤに対して決定した後に、操作支援方法を組み合わせて、操作支援全般で最も効果を発揮できる組み合わせ方法を決定する。評価には、例えば以下の値を使用する。また、これらの値は、単独で又は共同で使用してもよい。
(1)操作完了者数(多い程効果大)
(2)全操作支援端末における操作時間の合計値(少ない程効果大)
(3)全操作支援端末における操作ステップの合計値(少ないほど効果大)
また、操作の難しさや時間、プレイヤ数やレベルなどに基づいて評価方法を替えたり、複数候補を決定したりしてもよい。
同一プロセスにおいて、操作支援方法決定部13が、複数の操作支援方法を決定した際には、操作支援方法決定記憶部21に記憶された優先度を参照して、最も優先度の高い操作支援方法だけを操作支援ガイドパラメタに変換後、操作支援端末装置の操作ガイドパラメタ記憶部62に提供してもよいし、複数個の操作支援方法を操作支援ガイドパラメタに変換後、優先度と共に操作支援端末装置3に提供してもよい。
上記において、全プレイヤが協調して行う操作に対してのみ操作支援を実施するため、プロセス毎に全プレイヤの進捗を揃えてもよい。したがって、操作支援方法決定部13では、プロセス毎に個々の操作支援端末装置3に対応した操作支援方法を決定した後、個々の操作支援端末装置3に適応した場合の操作支援時間を推定し、最も短い操作支援時間の操作支援端末装置3を決定し、
操作支援時間 − 最短の操作支援時間 > α(待ち時間の閾値)
であるプレイヤ(P14)に対しては、習熟意欲の減少を防ぐために、プレイヤの習熟度や習熟意欲に応じて詳細な説明を追加したり、速度を調整したりするなどの追加の支援方法を提供してもよい。
次に、操作支援端末装置3で実行される機能の詳細について説明する。
操作支援端末装置3の端末制御部50の操作ガイド設定部51は、操作支援サーバ装置2の操作支援準備部11から、操作予定の操作支援ガイドアプリの指示を受け、操作支援ガイドアプリと、アプリを実行するのに必要な操作ガイドパラメタを、端末記憶部60の操作ガイド記憶部61と操作ガイドパラメタ記憶部62にそれぞれ記憶する。
操作ガイド実行部52は、操作支援サーバ装置2の操作ガイド実行制御部12から操作開始の指示を受けた操作支援ガイドアプリのプロセスを、操作ガイド記憶部61と操作ガイドパラメタ記憶部62を参照しながら実行する。
操作ガイド実行部52は、プレイヤに操作内容を理解させるため、表示画面31に操作説明を表示する説明画面を提示する操作支援ガイドアプリを実行してもよい。
また、操作ガイド実行部52は、表示画面31に操作説明を表示する説明画面と、表示画面31に操作練習を表示する操作画面とを交互に提示することにより、プレイヤに対して複数の関連操作が提供される操作支援ガイドアプリを実行してもよい。また、操作ガイド実行部52は、表示画面31に操作練習を表示する操作画面を提示する操作支援ガイドアプリを実行してもよい。
これらの場合において、操作ガイド実行部52は、直前のプレイヤの操作状況又は周辺状況に応じて操作説明や操作練習における指導方法や指導レベルを変化させた操作支援ガイドアプリを実行するようにしてもよい。
操作ガイド実行部52は、プレイヤによって期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程で、同一の操作状況に対して期待されるリアクションに従った操作が行われた場合は、実行していた操作支援を解除する操作支援ガイドアプリを実行してもよい。
操作ガイド実行部52は、操作ガイドパラメタ記憶部62に同一プロセスについて複数の操作ガイドパラメタが記憶されている場合は、優先度パラメタが記憶されている場合には優先度パラメタに従って、優先度パラメタが記憶されていない場合は任意の順序で他の操作支援端末装置3と同期をとりながら操作ガイドパラメタを適応させる。
一つのガイドパラメタを適応させることにより、支援操作全体の支援結果が思わしくない場合は、別の操作支援方法を適応させてもよい。
操作ガイド実行部52は、プレイヤの期待されるリアクションが期待よりも遅れて発生する場合、その後の操作練習の開始時期や速度をプレイヤの習熟度や習得意欲に応じて遅らせてもよい。
操作状況受付部53は、プレイヤの操作状況や操作支援端末装置3の周辺状況を示す信号を操作履歴記憶部63に記憶すると共に、操作支援サーバ装置2の操作ガイド実行制御部12に送付する。
また、操作状況受付部53は、プレイヤによる操作支援端末装置3の回転操作や傾け操作の角度や速度、プレイヤによる入力装置から離れた位置のジェスチャ操作、プレイヤの音声やプレイヤの音声以外の操作支援端末装置3の周辺の音声、プレイヤの視線の動きの速度や方向の変化や表情、プレイヤの操作時間や操作の速度や方向の変化、操作支援装置や周辺の臭いや温度や湿度や硬度、いずれか又は複数の操作状況や周辺状況を受け付け、操作状況解析部54に提供する。
操作状況受付部53は、例えば、操作支援端末装置3に付属の加速度センサ41を用いて、プレイヤが操作支援装置を傾けたり回転させたりしていることを検出する。
操作状況受付部53は、操作支援端末装置3に付属の近隣センサ42を用いて、プレイヤがタッチパネルに触らずにタッチパネルの上方でジェスチャ操作をしていることを検出してもよい。
操作状況受付部53は、操作支援端末装置3に付属のマイクロホン43を用いて操作支援端末装置3の周辺の音声を検出してもよい。
操作状況受付部53は、操作支援端末装置3に付属のマイクロホン43を用いて、プレイヤの発する言葉や音声を検出してもよい。
操作状況受付部53は、操作支援端末装置3に付属のカメラ44を用いて、操作支援ガイドアプリの説明中に、プレイヤが表示画面以外を見ていることを検出してもよい。
操作状況受付部53は、操作支援端末装置3に付属のカメラ44を用いて、操作支援ガイドアプリの説明中に、プレイヤの顔の構成や表情を検出してもよい。
操作状況受付部53は、操作支援端末装置3に付属のカメラ44や加速度センサ41やジャイロセンサを用いて、プレイヤの操作中の操作のタイミングや速度や方向の変化や操作時間を検出してもよい。
また、操作状況受付部53は、臭気センサ、温度センサ、湿度センサ、硬度センサを用いて、操作支援端末装置3の周辺の臭いや温度や湿度を検知してもよい。
操作状況受付部53は、操作開始指示を出した後に一定時間が経過しても、入力装置(タッチパネル)32や認識装置40で、プレイヤからの期待されるリアクションを検出する手段を備えていてもよい。
操作状況解析部54は、操作状況受付部53から受け取った、プレイヤの操作状況などの信号に基づいて、操作履歴記憶部63や操作習熟度判定記憶部64や習熟度記憶部22の情報を参照してプレイヤの習熟度や習熟意欲を推測し、推測した習熟度などを操作支援サーバ装置2の操作支援方法決定部13に伝える。
次に、操作支援端末装置3上の操作状況解析部54が推測する習熟度や習熟意欲の判断手法について説明する。
操作状況解析部54が、操作支援ガイドアプリの提示中にタッチパネル32への何らかの期待に反する接触動作を受け取った場合は、操作支援ガイドアプリ視聴時(操作説明時)には、プレイヤが操作説明ガイドの指示に従わずに、無駄に操作の説明中にタッチパネル32を触ったり、表示画面31上のボタンを押したりしており、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ(P1)であると判断して、操作支援方法決定部13に伝える。
また、操作練習中に受け取った場合は、操作支援ガイドアプリの事前の説明や表示中の説明を視聴していなかったり、視聴していたとしても理解ができなかったりする習熟度の低いプレイヤ(P2)であると判断して、操作支援方法決定部13に伝える。ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発生した、事前の説明や練習中に画面に提示される説明に反した操作を意味する。
また、推測の手段として、操作履歴記憶部63や習熟度記憶部22の情報を利用してもよい。操作履歴記憶部63の情報から、過去にも操作支援ガイドアプリの説明中にタッチパネル32を無駄に触る操作を繰り返していたり、習熟度記憶部22の情報から過去の操作支援ガイドアプリの操作成績が低かったりした場合は、プレイヤの習熟度の低さについての確実度が増す。
一方、過去において、操作支援ガイドアプリの説明中にタッチパネル32を無駄に触る操作を実施した回数が少ない場合や、過去の操作支援ガイドアプリの操作結果が優れている場合は、タッチパネル32への接触操作はプレイヤの誤操作と判断して、推測結果を操作支援方法決定部13へは伝えない。オンラインゲームなどで操作履歴や嗜好履歴を参照すればヒントを出すときに事前に正答率を予想できる。
上述において、プレイヤの習熟度は、習熟度記憶部22を参照して同等の習熟度のプレイヤの成績から推測してもよい。
操作状況解析部54が、操作支援ガイドアプリを提示中の操作支援端末装置3の期待に反する傾きや回転を受け付けた場合は、プレイヤが表示画面31以外を注目していると推測して、受け付けた傾きや回転の向きや大きさから、プレイヤが注目している操作支援端末装置3の背面や側面の機能を特定する。特定できた機能が、操作支援ガイドアプリが説明中の内容と一致した場合は、該当する特定機能に関心が高く学習意欲も高いプレイヤ(P3)であると判断して、操作支援方法決定部13に伝える。
ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発した、事前の説明や練習中に画面に提示される説明に反した操作を意味する。
一方、特定した機能が、操作支援ガイドアプリで説明している内容と異なる場合は、プレイヤが操作支援ガイドアプリの説明を無視して勝手なことをしている、習熟意欲に乏しいプレイヤ(P7)であると判断して、操作支援方法決定部13に伝える。
操作状況解析部54が、操作支援ガイドアプリの提示中にタッチパネル32の上方で行われた期待に反するジェスチャ操作についての信号を受け取り、受け取ったジェスチャ操作がガイドの説明内容と一致した場合は、操作に自信がなく念入りな練習を希望するプレイヤ(P4)が、タッチパネルの上方で実際に操作をする前にイメージトレーニングを行ったと判断して操作支援方法決定部13に伝える。
ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発生した、事前の説明や練習中に画面に提示される説明に反した操作を意味する。
受け取ったジェスチャ操作の軌跡がガイドの操作内容と一致するか否かについては、例えば、受け取ったジェスチャや想定される操作の軌跡の面積や特徴点を解析結果と共に操作習熟度判定記憶部64に記憶して後の判定に用いてもよい。
一方、受け取ったジェスチャ操作と操作支援ガイドアプリの操作内容が一致しない場合は、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲に乏しいプレイヤ(P7)であると判断して、操作支援方法決定部13に伝える。
操作状況解析部54が、期待に反するプレイヤの音声を受け取った場合は、操作支援ガイドアプリの内容に戸惑っているプレイヤ(P5)であると判断して、操作支援方法決定部13に伝える。
ここにおいて、期待に反するプレイヤの音声とは、説明視聴中に発生した全音声や、操作練習中の、事前の説明や練習中に画面に提示された説明に反した音声を意味する。
上述した解析では、音声認識ソフトを利用してプレイヤの発する言葉を認識し、認識した言葉からプレイヤの気持ちを推測することにより推測精度を向上させる。音声認識ソフトを使用する際は、プレイヤや状況ごとに発する言葉を収集し、データベース化をして操作習熟度判定記憶部64に保存して後の判定に使用してもよい。
操作状況解析部54が、操作支援端末装置3の周辺の音声を定期的に取得し、周辺の音声からプレイヤの音声を取り除いた音声(周辺の騒音)と操作支援ガイドの音声とを比較し、操作習熟度判定記憶部64に記憶した閾値より大きい場合は、周辺の騒音が大きすぎるために操作支援ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ(P6)であると判断して、操作支援方法決定部13に伝える。
プレイヤの特性と騒音の大きさ、および操作の正確度を、データベース化して操作習熟度判定記憶部64に保存し、閾値の精度更新に利用してもよい。
操作状況解析部54が、定期的に受け付けるプレイヤの視線信号から視線の方向を計算し、プレイヤが表示画面の方向を向いていないと推測した場合は、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲に乏しいプレイヤ(P7)と判断して操作支援方法決定部13に伝える。
プレイヤの視線の方向を操作習熟度判定記憶部64にデータベース化し、プレイヤが表示画面を見ていることを判断するための閾値の精度更新に利用してもよい。
操作状況解析部54が、プレイヤに操作を指示した後に一定時間が経過しても、期待するプレイヤのリアクションを受け取れなかった場合は、操作支援ガイドアプリの開始指示に従うことができないほど自信がなかったり習熟度の低かったりするプレイヤ(P8)である可能性が高いとして、操作支援方法決定部13に伝える。
操作状況解析部54が、カメラ44で取得した画像信号から、顔認識の技術を利用してプレイヤの顔や表情を取得し、プレイヤの身元の確認やプレイヤの感情を推測し、例えば、何かの理由で戸惑っていたり怒っていたりするプレイヤ(P9)として、操作支援方法決定部13に伝える。
プレイヤの表情と、習熟度や習熟意欲の関係をデータベース化して、後の判定制度を高めるために、データベース化して、操作習熟度判定記憶部64に保存してもよい。
操作状況解析部54は、操作支援端末装置3や周辺の臭いや温度や湿度、操作対象の硬度や成分比率を検出することにより、プレイヤが操作支援ガイドアプリの指示通りに操作が出来なかったり不測事態の発生に気が付かなかったりする程習熟度が低いプレイヤ(P10)であると判断して、操作支援方法決定部13に伝える。
操作状況解析部54は、操作練習中に、カメラ44や加速度センサ41やジャイロセンサを用いることにより、プレイヤが操作支援ガイドアプリの指示と異なる速度や方向や手順で操作をしているにも関わらずそれに気づいていないと推測した場合は、自分の操作の間違いの真偽を判断できない習熟度の低いプレイヤ(P11)として、操作支援方法決定部13に伝える。
操作状況解析部54は、操作練習中に、カメラ44や加速度センサ41やジャイロセンサを用いることにより、プレイヤが操作支援ガイドアプリの指示と異なる速度や方向や手順で操作をしているにも関わらずそれに気づいていないと推測した場合は、自分の操作の間違いの真偽を判断できない習熟度の高いプレイヤ(P12)として、操作支援方法決定部13に伝える。
操作状況解析部54で、P1からP12までに分類されなかったプレイヤは操作支援の対象ではないプレイヤ(P13)と判断して操作支援方法決定部13に伝える。
上述した解析では、プレイヤの特性と、指示が出てから操作を開始するまでの時間や操作支援方法をデータベース化して操作習熟度判定記憶部64に保存し、待機時間や操作支援方法の精度更新に利用してもよい。
操作支援サーバ装置2の習熟度判定部14は、プレイヤが操作支援ガイドアプリを全て終了した後に、操作支援ガイドアプリ内の練習操作の成功率や実施した操作支援内容に基づき、実施した操作支援ガイドアプリについての総合的な習熟度を判定してプレイヤの情報とともに習熟度記憶部22に記憶する。
次に、実施形態として示した図2の操作支援装置の動作について、図3のフローチャートを参照して説明する。
ステップS1:先ず、操作支援サーバ装置2の操作支援準備部11が、操作対象となる操作支援端末装置3の操作ガイド設定部51に使用する操作支援ガイドアプリの情報を提供する。
すなわち、操作支援準備部11における処理手順のフローチャート(図4)に示すように、操作支援サーバ装置2では操作支援準備部11が操作支援の対象となる操作支援端末装置3を確認して、何らかの操作支援端末装置3からの指示や、操作支援サーバ装置2内の判断によって、操作支援ガイド設定部51に操作支援に用いる操作支援ガイドアプリを決定する(ステップ401)。
次に、操作予定の操作支援ガイドアプリを関連する全ての操作支援端末装置3の操作ガイド設定部51へ送る(ステップ402)。
一方、操作ガイド設定部51における処理手順のフローチャート(図5)に示すように、操作支援端末装置3では、操作ガイド設定部51が、操作支援サーバ装置2の操作ガイド準備部11から指示された操作予定の操作支援ガイドアプリの情報を受け付ける(ステップ501)。
続いて、受け付けた操作支援ガイドアプリとそれを動作させるために必要な初期パラメタを、操作支援端末装置3の操作ガイド記憶部61と操作ガイドパラメタ記憶部62に記憶する(ステップ502)。
続いて、図3の全体フローチャートにおいて、操作支援ガイドアプリが未終了であるか否かを判断し(ステップ301)、未終了である場合にはステップS2へ進む。操作支援ガイドアプリが終了している場合は、後述するステップS6に進む。
ステップS2:操作支援サーバ装置2の操作ガイド実行制御部12の指示により、操作支援端末装置3では、操作ガイド実行部52が、操作支援ガイドアプリを実行する。即ち、操作ガイド実行部52における処理手順のフローチャート(図6)に示すように、操作ガイド実行部52は、操作ガイド実行制御部12の指示に従い、操作ガイド記憶部61と操作ガイドパラメタ記憶部62を参照しながら、表示画面上で操作支援ガイドアプリを実行する(ステップ601)。操作ガイド実行制御部12からの指示により、操作ガイド実行部52は、操作ガイドパラメタ記憶部62内の別の操作ガイドパラメタを使って再度操作支援ガイドアプリを実行する場合もある。
また、操作ガイド実行制御部12における処理手順のフローチャート(図7)に示すように、操作ガイド実行制御部12は、全ての操作支援端末装置3の操作状況受付部53から操作状況を受け取り(ステップ701)、操作支援装置1全体について、操作を完了したプレイヤ数、全操作時間、全操作ステップ数などの値を集計し(ステップ702)、操作支援の効果があったか否かを判定する(ステップ703)。ステップ703において、効果がなかった場合は、別の操作支援方法の適応を判断し(ステップ704)、操作ガイド実行部52に指示してもよい(ステップ705)。
ステップS3:操作支援端末装置3の操作状況受付部53では、タッチパネル(入力装置)32や、認識装置40からプレイヤの操作状況や周辺状況を受け付ける。すなわち、操作状況受付部53における処理手順のフローチャート(図8)に示すように、操作状況受付部53は、操作支援ガイドアプリが始まると、プレイヤの操作状況や操作支援装置の周辺状況を示す信号を、タッチパネル32や加速度センサ41や近隣センサ42やマイクロホン43やカメラ44から受け取り(ステップ801)、操作履歴記憶部63に記憶すると共に、操作状況解析部54と操作支援サーバ装置2の操作ガイド実行制御部12に送る(ステップ802)。
認識装置40として、臭気センサ、温度センサ、湿度センサなどを設置した場合は、これらのセンサが検知した周辺状況の情報も操作状況解析部54に送られる。
ステップS4:次に、操作支援端末装置3では操作状況解析部54が、操作状況受付部53から受けとったプレイヤの操作状況や周辺状況から、操作履歴記憶部63や操作習熟度判定記憶部64や習熟度記憶部22を参照して、プレイヤの習熟度や習熟意欲を推測し、結果の信号を操作支援サーバ装置2の操作支援方法決定部13に送る。
操作状況解析部54において、受け取った操作信号からプレイヤの習熟度や取得意欲を推測して、プレイヤが操作支援の対象になるか否かを判断する場合の詳細手順について、図9〜図12のフローチャートを参照して説明する。
受け取った信号が期待に反する画面を触れる操作か否かを判断し(ステップ901)、期待に反する画面を触れる操作である場合は説明視聴中か否かを判断する(ステップ902)。
説明視聴中の場合は、操作支援ガイドアプリの説明に従って表示画面を見ていられない習熟度の低いプレイヤ(P1)と判断し(ステップ903)、説明視聴中でない場合は、操作支援ガイドアプリの理解ができなかったために指示通りに操作ができない習熟度の低いプレイヤ(P2)と判断する(ステップ904)。
ステップ901において期待に反する画面を触れる操作でない場合、受け取った信号が期待に反する傾きや回転操作か否かを判断する(ステップ905)。期待に反する傾きや回転操作である場合、スマートフォン(操作装置)に関して、傾きや回転からプレイヤが注目する背面や側面の機能を特定する(ステップ906)。そして、機能が特定できた場合(ステップ907)、操作支援ガイドアプリで取り扱っている機能と一致しているか否かを判断し(ステップ908)、取り扱っている機能であれば、特定機能に関心が高く学習意欲も高いプレイヤ(P3)と判断する(ステップ909)。
ステップ907において機能が特定できない場合、又は、ステップ908において操作支援ガイドアプリで取り扱っている機能と一致しない場合は、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ(P7)と判断する(ステップ910)。
ステップ905において、期待に反する傾きや回転操作でない場合、受け取った信号がタッチパネルの上方で行われた、期待に反するジェスチャ操作か否かを判断する(ステップ911)。期待に反するジェスチャ操作である場合、ジェスチャの内容を認識し(ステップ912)、操作支援ガイドアプリで取り扱っている操作内容と一致しているか否かを判断し(ステップ913)、操作内容が一致していれば、操作に自信がなく念入りな練習を希望するプレイヤ(P4)と判断する(ステップ914)。
ステップ913において、操作支援ガイドアプリで取り扱っている操作内容と一致していない場合、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ(P7)と判断する(ステップ915)。
ステップ911において、タッチパネルの上方で行われた、期待に反するジェスチャ操作でない場合、受け取った信号がスマートフォン(操作装置)周辺の音声であるか否かを判断する(ステップ916)。
スマートフォン(操作装置)周辺の音声である場合、プレイヤの音声と操作支援ガイドアプリの音声と周辺の騒音を分離し(ステップ917)、期待に反するプレイヤの音声が有るか否かを判断し(ステップ918)、音声が有る場合はプレイヤの音声の音声認識を行い(ステップ919)、戸惑いを表す言葉が有るか否かを判断し(ステップ920)、戸惑いを表す言葉がある場合は、操作支援ガイドアプリの内容に戸惑っているプレイヤ(P5)と判断する(ステップ921)。
また、戸惑いを表す言葉がない場合は、操作支援ガイドアプリの内容に戸惑っているかもしれないプレイヤ(P5)と判断する(ステップ922)。
更に、周辺の騒音が操作支援ガイドアプリの音声より著しく大きいか否かを判断し(ステップ923)、著しく大きい場合は、操作支援ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ(P6)と判断する(ステップ924)。
ステップ916において、受け取った信号がスマートフォン(操作装置)周辺の音声でない場合、受け取った信号が操作者(プレイヤ)の視線であるか否かを判断する(ステップ925)。
その際、受け取った信号が視線である場合、視線推定を行い(ステップ926)、視線の方向が表示画面外であるか否かを判断する(ステップ927)。視線の方向が表示画面外である場合、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ(P7)と判断する(ステップ928)。
視線の方向が表示画面外でない場合、操作支援の対象でないプレイヤ(P10)と判断する(ステップ929)。
ステップ925において、受け取った信号がプレイヤの視線でない場合、操作指示後一定時間がたっても操作が始まらないか否かを判断する(ステップ930)。操作が始まらない場合、操作支援ガイドアプリの開始指示に従えないほど自信がなかったり、習熟度の低かったりするプレイヤ(P8)と判断する(ステップ931)。
ステップ930において、一定時間後に操作が始まる場合、受け取った信号が操作者の顔であるか否かを判断する(ステップ932)。操作者の顔である場合、顔認識を行い(ステップ933)、戸惑っていたり怒っている顔であるかを判断する(ステップ934)。戸惑っていたり怒っている顔の場合、何かの理由で戸惑っていたり怒っていたりして集中度が低いプレイヤ(P9)と判断する(ステップ935)。
また、ステップ934において、戸惑っていたり怒っている顔でない場合、操作支援の対象外であるプレイヤ(P13)と判断する(ステップ936)。
ステップ932において、受け取った信号が操作者の顔でない場合、受け取った信号が操作者周辺の匂い、温度、湿度などであるか否かを判断する(ステップ937)。
受け取った信号が操作者周辺の匂い、温度、湿度などである場合、操作支援ガイドアプリの進捗状態と比較して周辺で不測事態が起きていないか否かを判断する(ステップ938)。不測事態が起きているにもかかわらずプレイヤが気付いていないか否かを判断し(ステップ939)、気付いていない場合は、周囲の不測事態の発生に気付かないプレイヤ(P10)と判断する(ステップ940)。
また、ステップ939において、周囲の不測事態の発生に気付いている場合、操作支援の対象外であるプレイヤ(P13)と判断する(ステップ941)。
ステップ937において、受け取った信号が操作者周辺の匂い、温度、湿度などでない場合、受け取った信号が操作中の操作者の操作部位の動きであるか否かを判断する(ステップ942)。操作者の操作部位の動きである場合、操作者の操作部位の動きを判断し(ステップ943)、操作支援ガイドアプリの指示通りの方向や速さや手順での操作をしているかを判断し(ステップ944)、指示通りの動きでない場合は、操作ガイドの指示に従っていないことに気付かないプレイヤ(P11)と判断する(ステップ945)。
ステップ944において、指示通りの動きである場合は、操作支援ガイドアプリの期待よりも早く正確に操作をしているか否かを判断し(ステップ946)、操作をしていない場合は、操作支援の対象外であるプレイヤ(P13)と判断する(ステップ947)。ステップ946において早く正確な操作をしている場合は、習熟度が高く操作ガイドの内容が簡単過ぎるプレイヤ(P12)と判断する(ステップ948)。
また、ステップ942において、受け取った信号が操作中の操作者の操作部位の動きでない場合は、操作支援の対象外であるプレイヤ(P13)と判断する(ステップ949)。
操作状況解析部54では、操作状況及び周辺状況からプレイヤの分類(P1〜P13)を行った結果の信号を操作支援方法決定部13に伝える(ステップ950)。このステップS4においては、例えばP5とP6の様に複数のプレイヤについての信号を伝える場合もある。
ステップS5:次に、操作支援サーバ装置2の操作支援方法決定部13が、操作状況解析部54から取得した全プレイヤの習熟度などについての信号を受け取り、個々のプレイヤに適した操作支援方法を決定する詳細手順について、図13のフローチャートを参照して説明する。
先ず、操作支援方法決定部13は、個々の操作支援端末装置3より全プレイヤの習熟度や習熟意欲についての信号を受け取り(ステップ101)、受け取った情報に基づき、操作支援方法決定記憶部21を参照して、個々のプレイヤへの操作支援方法を決定する(ステップ102)。
操作支援方法決定部13における個々のプレイヤへの操作支援方法決定(ステップ102)のための詳細手順を、図14〜図16を参照しながら説明する。
個々の操作支援端末装置3よりプレイヤの習熟度などの信号を受け取った後(ステップ101)、先ず、操作支援ガイドアプリの説明に従って表示画面を見ていられない習熟度の低いプレイヤ(P1)か否かを判断し(ステップ111)、該当する場合は、操作の進め方をワンステップずつにする操作支援とする(ステップ112)。
次に、操作支援ガイドアプリの説明の視聴や理解ができず指示通りに操作ができない習熟度の低いプレイヤ(P2)か否かを判断する(ステップ113)。該当する場合は、操作の進め方をワンステップずつにし、操作の間違いを直ぐに指示する操作支援とする(ステップ114)。
次に、特定機能に関心が高く学習意欲も高いプレイヤ(P3)か否かを判断する(ステップ115)。該当する場合は該当機能に注目している間はガイドを一時中止すると共に該当機能の詳細な説明を追加する操作支援とする(ステップ116)。
次に、操作に自信がなく念入りな練習を希望するプレイヤ(P4)か否かを判断する(ステップ117)。該当する場合は、該当操作について、練習回数を増やし、操作スピードを遅くする操作支援とする(ステップ118)。
次に、操作支援ガイドアプリの内容に戸惑っている(又はかもしれない)プレイヤ(P5)か否かを判断する(ステップ119)。該当する場合、該当操作について表示画面に対してショートヘルプ機能を提示する操作支援とする(ステップ120)。なお、プレイヤがP5である場合は、図9〜図12のフローチャートにより、同時にP6である可能性がある。
次に、操作支援ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ(P6)か否かを判断する(ステップ121)。該当する場合は、該当操作について、操作ガイド音声の拡大、イヤホンの使用、テキストベースの操作ガイドを提案する操作支援とする(ステップ122)。
次に、操作支援ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ(P7)か否かを判断する(ステップ123)。該当する場合は、操作ガイドの説明に集中するようにメッセージを提示し、効果がない場合は、プレイヤが操作ガイドの説明に集中するまで操作ガイドを一時停止させる操作支援とする(ステップ124)。また、他のプレイヤを誘導して話題や場の雰囲気を変えても良い。
次に、操作支援ガイドアプリの開始指示に従えないほど自信がなかったり習熟度の低かったりするプレイヤ(P8)か否かを判断する(ステップ125)。該当する場合は、プレイヤが操作を開始するまで指示を出したり、よりインパクトの強い指示を出したりする(ステップ126)。プレイヤの操作の開始の遅れに応じて操作ガイドの進捗を遅らせてもよい。
次に、戸惑っていたり怒っていたりしている集中度が低いプレイヤ(P9)か否かを判断する(ステップ127)。該当する場合は、平静に戻ってから学習を再開するように指示し、場合によっては一時的に操作を停止させる(ステップ128)。
次に、周囲の不測事態の発生に気付かないプレイヤ(P10)か否かを判断する(ステップ129)。該当する場合は、不測事態の発生を知らせ事態の回避の方法を指示する(ステップ130)。また、他のプレイヤにも不測事態の発生を知らせる。
次に、自身の操作がガイドの指示と異なることに気付かないプレイヤ(P11)か否かを判断する(ステップ131)。該当する場合は、操作の間違いを指摘し、正しい操作に導くメッセージを提示する。ショートヘルプ機能を提示してもよい(ステップ132)。また、補助が可能なプレイヤに対して補助を依頼したり、プレイヤに特技に応じて役割を変更してもらう。
次に、特に習熟度の高いプレイヤ(P12)か否かを判断する(ステップ133)。該当する場合は、プレイヤを賞賛する(ステップ134)。プレイヤの学習意欲を低下させないように、該当するプレイヤの操作支援ガイドアプリのみ、ガイドの説明を詳細にしたり、質問に対するヒントを少なくしたりしてもよい。他のプレイヤに対しては、習熟度の高さを知らせたり、問題レベルを低下させたり、ヒントを増加するような支援を行っても良い。
プレイヤがP1〜P12のいずれにも該当しない場合、操作支援の対象外であるプレイヤ(P13)と判断する(ステップ135)。プレイヤ(P13)に該当する場合は、プレイヤを賞賛し、他のプレイヤに習熟度の高さを知らせる(ステップ136)。
また、図14〜図16のフローチャートによれば、同一のプレイヤに対して、上述のP1からP13の判定を重ねて行うようにしている。
次に、全プレイヤについて上述の判定が終了したら、個々の操作支援方法を組み合わせて、操作支援環境全般で最も効果を発揮できる組み合わせ方法を決定する(ステップ103)。
組み合わせ方法の評価(最も効果を発揮できる指標)としては、例えば以下の値を単独や共同で使用してもよい。
(1)操作完了者数(多い程効果大)
(2)全操作支援端末における操作時間の合計値(少ない程効果大)
(3)全操作支援端末における操作ステップの合計値(少ないほど効果大)
操作の難しさや時間、プレイヤの数やレベルなどに基づいて評価の方法を変化させたり、複数の候補を決定したりしてもよい。
上述において、決定した操作支援方法を個々の操作支援端末装置3に適応させた際の操作支援時間を推定し(ステップ104)、最短の操作支援時間が適応されるプレイヤを決定する。
上述において、操作支援時間 − 最短の操作支援時間 > α(待ち時間の閾値)
であるプレイヤ(P14)に対しては、習熟意欲の減少を防ぐために、プレイヤの習熟度や興味に応じて追加の操作支援方法を提供する(ステップ105)。
操作支援方法決定部13が操作支援方法を決定した際には、操作ガイドパラメタに変換後、操作支援端末装置3の操作ガイドパラメタ記憶部62に送る(ステップ106)。操作支援方法決定部13が同一プロセスについて複数の操作支援方法を決定した際には、最も優先度の高い操作支援方法だけを操作ガイドパラメタに変換後、操作支援端末装置3の操作ガイドパラメタ記憶部62に提供してもよいし、複数個の操作支援方法を操作ガイドパラメタに変換後、優先度と共に操作支援端末装置3の操作ガイドパラメタ記憶部62に提供してもよい。
上述した図3のステップS2からステップS5までの処理は、操作支援ガイドアプリが終了するまで繰り返され、操作支援ガイドアプリが終了した場合は、ステップS6の処理が行われる。
ステップS6:習熟度判定部14は、操作支援端末装置3の操作履歴記憶部63を参照し、操作支援ガイドアプリ全体を通しての操作全体の習熟度を判定し、習熟度記憶部22に記憶する。すなわち、習熟度判定部14における手順を示すフローチャート(図17)に示すように、プレイヤが操作支援ガイドアプリを全て終了した時点で、練習の正解率や操作支援ガイドアプリが提供した支援内容に基づき、操作支援ガイドアプリ単位のプレイヤの習熟度を判定して習熟度記憶部22に記憶する。
上述した操作支援装置1によれば、操作支援端末装置3のタッチパネル32や認識装置40から検出されたプレイヤの操作状況や周辺状況に基づいて、操作中のプレイヤに対する操作支援方法を操作支援サーバ装置2の操作支援方法決定部13が決定し、動的に操作支援ガイドアプリの操作パラメタを更新することにより、操作支援端末装置3に対して随時プレイヤに適した操作支援ガイドアプリを提供することができる。
更に、操作支援ガイドアプリで行われる複数の関連操作について、操作説明による視聴部分と、操作練習による行動部分を交互に提示する操作支援ガイドアプリを実行する操作支援端末装置3である場合は、プレイヤの説明視聴時の操作状況から推測した習熟度や習熟意欲に応じて後続の操作練習時の操作支援方法を決定することで、決定した操作支援方法を後続のいずれかの操作練習に適応させることができる。
また、期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程において期待されるリアクションに従った操作が行われた場合は、実施していた操作支援を解除するようにしてもよい。
従って、上述した構成の操作支援装置1は、直前のプレイヤの操作状況などを考慮することでプレイヤの精神状態に応じて練習操作の指導方法や指導レベルを変えるため、感情変化や物忘れが起り易い高齢者などに有効である。
また、上述の実施形態は、全て本発明を例示的に示すものであり、限定的に示すものではなく、本発明は他の数々の変形態様および変更態様で実施することができる。
1…操作支援装置、 2…操作支援サーバ装置、 3…操作支援端末装置、 4…通信網、 10…サーバ制御部、 11…操作支援準備部、 12…操作ガイド実行制御部、 13…操作支援方法決定部、 14…習熟度判定部、 20…サーバ記憶部、 21…操作支援方法決定記憶部、 22…習熟度記憶部、 30…UI部、 31…表示画面、 32…タッチパネル、 40…認識部、 41…加速度センサ、 42…近隣センサ、 43…マイクロホン、 44…カメラ、 50…端末制御部、 51…操作ガイド設定部、 52…操作ガイド実行部、 53…操作状況受付部、 54…操作状況解析部、 60…端末記憶部、 61…操作ガイド記憶部、 62…操作ガイドパラメタ記憶部、 63…操作履歴記憶部、 64…操作習熟度判定記憶部。

Claims (13)

  1. 複数の操作支援端末装置と操作支援サーバ装置とが通信網で繋がり、前記各操作支援端末装置のプレイヤが協調して操作を進められるように前記操作支援サーバ装置が操作支援ガイドアプリを提供する操作支援装置であって、
    前記操作支援端末装置は、
    表示画面及び入力装置と、
    前記操作支援サーバ装置から指定された前記操作支援ガイドアプリやその操作ガイドパラメタを記憶させる操作ガイド設定部と、
    前記操作支援ガイドアプリを実行して前記表示画面に表示する操作ガイド実行部と、
    前記入力装置を用いて前記表示画面におけるプレイヤの操作状況や周辺状況を受付ける操作状況受付部と、
    前記操作状況受付部が受付けたプレイヤの操作状況や周辺状況などからプレイヤの習熟度や習得意欲を推測する操作状況解析部を備え、
    前記操作支援サーバ装置は、
    前記各操作支援端末装置から操作支援対象となる操作支援端末装置を決定し前記各操作支援端末装置に操作予定の操作支援ガイドアプリを指示する操作支援準備部と、
    前記操作支援端末装置の操作ガイド実行部にプロセス毎の操作を指示する操作ガイド実行制御部と、
    前記操作支援端末装置の操作状況解析部からプレイヤの習熟度や習熟意欲を受け取り、個々のプレイヤに応じた操作支援方法を決定する操作支援方法決定部を備える
    ことを特徴とする操作支援装置。
  2. 前記操作支援サーバ装置の操作支援準備部は、
    操作支援の対象とする操作支援端末装置を接続し、接続した操作支援端末装置の操作ガイドアプリ設定部に対して、操作対象の操作支援ガイドアプリを指示する請求項1に記載の操作支援装置。
  3. 前記操作支援サーバ装置の操作ガイド実行制御部は、
    前記操作支援端末装置の操作状況受付部よりプレイヤの操作状況や周辺状況を受付け、接続している全ての操作支援端末装置のプレイヤが操作を開始できる状態にあることを確認して個々の操作ガイド実行部に開始指示を出す請求項1又は請求項2に記載の操作支援装置。
  4. 前記操作支援サーバ装置の操作支援方法決定部は、
    前記操作支援端末装置の操作状況解析部から受け取ったプレイヤの習熟度や習熟意欲から、操作を完了するプレイヤの数の増加、全操作ステップや全操作時間の減少といった評価値を向上させるために、個々のプレイヤに応じた操作支援方法を決定する請求項1〜請求項3のいずれかに記載の操作支援装置。
  5. 前記操作支援サーバ装置の操作支援方法決定部は、
    期待されるリアクションに反した行動をとったプレイヤだけではなく、前記プレイヤと影響を及ぼしあう他のプレイヤに対して、操作の速さ、操作時間、方向、繰り返し回数、距離、手順を変更させたり、プレイヤの役割を替えたりする、といった操作支援を行う請求項4に記載の操作支援装置。
  6. 前記操作支援サーバ装置の操作支援方法決定部が、同時に複数の操作支援方法を決定した場合は、操作を完了できないプレイヤ数、総操作時間、総操作ステップ数の少なくとも一つが支援操作を受付けないときよりも有利になることを目的として、最も有利になる方法だけを提供し、又は、有利になる順に提供する請求項4又は請求項5に記載の操作支援装置。
  7. 前記操作支援端末装置の操作ガイド設定部は、
    前記操作支援サーバ装置の操作支援準備部の指示に従って、前記操作ガイド記憶部と前記操作ガイドパラメタ記憶部に、指示を受けた操作支援ガイドアプリの内容と、操作に必要な操作ガイドパラメタを設定する請求項1に記載の操作支援装置。
  8. 前記操作支援端末装置の操作ガイド実行部は、
    前記操作支援サーバ装置の前記操作ガイド実行制御部の指示に従って、前記操作ガイド記憶部と前記操作ガイドパラメタ記憶部を参照しながら操作支援ガイドアプリの一プロセスを開始する
    請求項1又は請求項7に記載の操作支援装置。
  9. 前記操作支援端末装置は、プレイヤの操作時における操作状況や周辺状況を検知する認識装置を含み、
    前記操作状況受付部は、前記入力装置や前記認識装置からプレイヤの操作状況や周辺状況を受け付ける
    請求項1、請求項7又は8のいずれかに記載の操作支援装置。
  10. 前記操作支援端末装置は、前記入力装置や前記認識装置が受け付けた操作支援ガイドアプリの操作状況や周辺状況と、前記期待されるリアクションや前記習熟度や前記習熟意欲が対応付けされた操作習熟度判定情報を記憶する操作習熟度判定記憶部を含み、
    前記操作状況解析部は、前記操作習熟度判定情報を参照して、受け付けた操作状況などが前記期待されるリアクションに合致しているか否かを判断することで、プレイヤの習熟度や習熟意欲を推測する請求項1、請求項7、請求項8又は請求項9のいずれかに記載の操作支援装置。
  11. 複数の操作支援端末装置と操作支援サーバ装置とが通信網で繋がり、前記各操作支援端末装置のプレイヤが協調して操作を進められるように前記操作支援サーバ装置が操作支援ガイドアプリを提供する操作支援方法であって、
    表示画面及び入力装置を備えた前記操作支援端末装置において、
    前記操作支援サーバ装置から指定された前記操作支援ガイドアプリやその操作ガイドパラメタを記憶させる操作ガイド設定ステップと、
    前記操作支援ガイドアプリを実行して前記表示画面に表示する操作ガイド実行ステップと、
    前記入力装置を用いて前記表示画面におけるプレイヤの操作状況や周辺状況を受付ける操作状況受付ステップと、
    前記操作状況受付ステップが受付けたプレイヤの操作状況や周辺状況などからプレイヤの習熟度や習得意欲を推測する操作状況解析ステップを実行する一方、
    前記操作支援サーバ装置において、
    前記各操作支援端末装置から操作支援対象となる操作支援端末装置を決定し前記各操作支援端末装置に操作予定の操作支援ガイドアプリを指示する操作支援準備ステップと、
    前記操作支援端末装置の操作ガイド実行ステップにプロセス毎の操作を指示する操作ガイド実行制御ステップと、
    前記操作支援端末装置の操作状況受付ステップから操作状況などを受け取り、個々の操作支援端末装置についての操作支援方法を決定すると共に該当する操作ガイドパラメタを決定する操作支援方法決定ステップを実行する
    ことを特徴とする操作支援方法。
  12. 請求項11に記載の操作支援方法の各ステップをコンピュータにより実行可能とした操作支援プログラム。
  13. 請求項1から10のいずれかに記載の操作支援装置における各部をコンピュータ上に構築可能とした操作支援プログラム。
JP2014131060A 2014-06-26 2014-06-26 操作支援装置、操作支援方法及び操作支援プログラム Active JP6292672B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014131060A JP6292672B2 (ja) 2014-06-26 2014-06-26 操作支援装置、操作支援方法及び操作支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014131060A JP6292672B2 (ja) 2014-06-26 2014-06-26 操作支援装置、操作支援方法及び操作支援プログラム

Publications (2)

Publication Number Publication Date
JP2016009424A true JP2016009424A (ja) 2016-01-18
JP6292672B2 JP6292672B2 (ja) 2018-03-14

Family

ID=55226916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014131060A Active JP6292672B2 (ja) 2014-06-26 2014-06-26 操作支援装置、操作支援方法及び操作支援プログラム

Country Status (1)

Country Link
JP (1) JP6292672B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018038694A (ja) * 2016-09-09 2018-03-15 株式会社カプコン ゲームプログラムおよびゲームシステム
JP6980883B1 (ja) * 2020-09-30 2021-12-15 株式会社ドワンゴ アシストシステム、アシスト方法、およびアシストプログラム
JP7361862B1 (ja) 2022-10-18 2023-10-16 エスエイティーティー株式会社 学習システム、プログラムおよび方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314181A (ja) * 1993-04-28 1994-11-08 Hitachi Ltd 複数ディスプレイによる対話型制御システムとその制御方法
WO2002019295A1 (fr) * 2000-08-31 2002-03-07 Jes Co., Ltd. Procede et systeme de support d'apprentissage
JP2004355392A (ja) * 2003-05-29 2004-12-16 Fuji Electric Holdings Co Ltd 画面自律最適化装置、最適化方法、記録媒体、プログラム
JP2008009808A (ja) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 情報処理装置
JP2008269588A (ja) * 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
JP2008295776A (ja) * 2007-05-31 2008-12-11 Square Enix Holdings Co Ltd プレイヤ情報蓄積サーバ、プレイヤ情報蓄積プログラム、およびデータベース
JP2009020554A (ja) * 2007-07-10 2009-01-29 Panasonic Corp 操作支援表示装置
JP2010218359A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd 操作方法案内装置、操作方法案内プログラムおよび操作方法案内方法
JP2012073993A (ja) * 2010-09-03 2012-04-12 Mitsubishi Electric Corp グラフィカルユーザインタフェース装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314181A (ja) * 1993-04-28 1994-11-08 Hitachi Ltd 複数ディスプレイによる対話型制御システムとその制御方法
WO2002019295A1 (fr) * 2000-08-31 2002-03-07 Jes Co., Ltd. Procede et systeme de support d'apprentissage
JP2004355392A (ja) * 2003-05-29 2004-12-16 Fuji Electric Holdings Co Ltd 画面自律最適化装置、最適化方法、記録媒体、プログラム
JP2008009808A (ja) * 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 情報処理装置
JP2008269588A (ja) * 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
JP2008295776A (ja) * 2007-05-31 2008-12-11 Square Enix Holdings Co Ltd プレイヤ情報蓄積サーバ、プレイヤ情報蓄積プログラム、およびデータベース
JP2009020554A (ja) * 2007-07-10 2009-01-29 Panasonic Corp 操作支援表示装置
JP2010218359A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd 操作方法案内装置、操作方法案内プログラムおよび操作方法案内方法
JP2012073993A (ja) * 2010-09-03 2012-04-12 Mitsubishi Electric Corp グラフィカルユーザインタフェース装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018038694A (ja) * 2016-09-09 2018-03-15 株式会社カプコン ゲームプログラムおよびゲームシステム
JP6980883B1 (ja) * 2020-09-30 2021-12-15 株式会社ドワンゴ アシストシステム、アシスト方法、およびアシストプログラム
WO2022070747A1 (ja) * 2020-09-30 2022-04-07 株式会社ドワンゴ アシストシステム、アシスト方法、およびアシストプログラム
JP7361862B1 (ja) 2022-10-18 2023-10-16 エスエイティーティー株式会社 学習システム、プログラムおよび方法

Also Published As

Publication number Publication date
JP6292672B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
CN108804013B (zh) 信息提示的方法、装置、电子设备及存储介质
JP7254772B2 (ja) ロボットインタラクションのための方法及びデバイス
CN105122353B (zh) 用于语音识别的计算装置和用于计算装置上的语音识别的方法
AU2019262848B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
US10860345B2 (en) System for user sentiment tracking
JP6302381B2 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
US11638879B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
CN112203732A (zh) 识别玩家参与度以生成情景游戏玩法辅助
JP6292672B2 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
JP6210884B2 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
JP2014094029A (ja) 動作評価支援装置、動作評価支援システム、動作評価支援方法及びプログラム
JP2016179138A (ja) ゲームシステム及びプログラム
CN111077997B (zh) 一种点读模式下的点读控制方法及电子设备
TWI729323B (zh) 互動式遊戲系統
JP5003706B2 (ja) 情報処理装置、情報処理システム及びプログラム
US11886773B1 (en) Systems and methods for a voice-controlled interactive application
US20230128658A1 (en) Personalized vr controls and communications
EP4140549A1 (en) Ai onboarding assistant
JP2016101261A (ja) サウンドメッセージシステム
US20240029726A1 (en) Intent Identification for Dialogue Support
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
US20230271093A1 (en) Vocal collision queue
CN116036577A (zh) 游戏中的远程协助方法和电子设备
JP6548929B2 (ja) ゲームシステム及びプログラム
JP2021096340A (ja) 学習支援システム、プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6292672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150