JP2020064380A - コミュニケーションシステムおよびプログラム - Google Patents

コミュニケーションシステムおよびプログラム Download PDF

Info

Publication number
JP2020064380A
JP2020064380A JP2018194689A JP2018194689A JP2020064380A JP 2020064380 A JP2020064380 A JP 2020064380A JP 2018194689 A JP2018194689 A JP 2018194689A JP 2018194689 A JP2018194689 A JP 2018194689A JP 2020064380 A JP2020064380 A JP 2020064380A
Authority
JP
Japan
Prior art keywords
terminal
user
display
picture
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018194689A
Other languages
English (en)
Other versions
JP7194554B2 (ja
Inventor
友希 新田
Yuki Nitta
友希 新田
岳陽 冨田
Takeharu Tomita
岳陽 冨田
彩華 清石
Ayaka Kiyoishi
彩華 清石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Gas Co Ltd
Original Assignee
Tokyo Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Gas Co Ltd filed Critical Tokyo Gas Co Ltd
Priority to JP2018194689A priority Critical patent/JP7194554B2/ja
Publication of JP2020064380A publication Critical patent/JP2020064380A/ja
Application granted granted Critical
Publication of JP7194554B2 publication Critical patent/JP7194554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】端末のユーザと表示媒体のユーザとがコミュニケーションを図れているかを端末のユーザに分かりやすくさせる。【解決手段】表示媒体を利用するユーザの視線に関する視線情報を取得する取得手段と、表示媒体に表示されている表示内容に関する内容情報を、ユーザとは異なる他のユーザの端末に表示させる表示制御手段と、取得手段に取得された視線情報に基づいて、ユーザによる表示内容の視認に関する視認情報を端末に出力させる出力制御手段と、を備えた、コミュニケーションシステム。【選択図】図8

Description

本発明は、コミュニケーションシステムおよびプログラムに関する。
例えば特許文献1には、視線検出部は、光源の発光位置を移動させた後に撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して視線の検出を行うことが開示されている。
特開2014−188322号公報
例えば、表示媒体の表示内容に関する情報を端末に表示させるシステムがある。表示媒体のユーザと端末のユーザとは、表示内容を通じて互いにコミュニケーションを図る。
ここで、例えば、表示媒体のユーザと端末のユーザとが互いに離れた場所にいる場合において、表示媒体のユーザによる表示内容の視認を端末のユーザが認識できるようになると、端末のユーザは、表示媒体のユーザとコミュニケーションを図れているかが分かりやすくなる。
本発明は、端末のユーザと表示媒体のユーザとがコミュニケーションを図れているかを端末のユーザに分かりやすくさせることを目的とする。
請求項1に記載の発明は、表示媒体を利用するユーザの視線に関する視線情報を取得する取得手段と、前記表示媒体に表示されている表示内容に関する内容情報を、前記ユーザとは異なる他のユーザの端末に表示させる表示制御手段と、前記取得手段に取得された前記視線情報に基づいて、前記ユーザによる前記表示内容の視認に関する視認情報を前記端末に出力させる出力制御手段と、を備えた、コミュニケーションシステムである。
請求項2に記載の発明は、前記表示制御手段は、前記表示内容に関する関連画像を前記端末に表示させ、前記出力制御手段は、前記表示内容のうちの前記ユーザに視認された領域に対応する前記関連画像の領域に予め定められた第1画像を表示させることを特徴とする請求項1記載のコミュニケーションシステムである。
請求項3に記載の発明は、前記ユーザに用いられ音声を出力可能な出力機器と、前記端末との音声通信を確立する確立手段をさらに備え、前記表示媒体には、絵が表示され、前記内容情報は、前記表示媒体に表示されている前記絵に係る文章に関する情報であることを特徴とする請求項1記載のコミュニケーションシステムである。
請求項4に記載の発明は、空間における前記ユーザの位置に関する位置情報を取得する位置情報取得手段と、前記ユーザに用いられ音声を出力可能な出力機器と、前記端末との音声通信を確立する確立手段と、をさらに備え、前記出力制御手段は、前記位置情報取得手段に取得された前記位置情報を前記端末に出力させることを特徴とする請求項1記載のコミュニケーションシステムである。
請求項5に記載の発明は、前記表示媒体は、情報を表示する表示部を有する表示端末であり、前記表示制御手段は、前記表示端末上にて、予め定められた第2画像を移動させ、前記出力制御手段は、前記第2画像の移動の軌跡を前記端末に表示させるとともに、前記視線情報に基づいて、前記ユーザの視線の軌跡を当該端末に表示させることを特徴とする請求項1記載のコミュニケーションシステムである。
請求項6に記載の発明は、コンピュータに、表示媒体を利用するユーザの視線に関する視線情報を取得する取得機能と、前記表示媒体に表示されている表示内容に関する内容情報を、前記ユーザとは異なる他のユーザの端末に表示させる機能と、前記取得機能に取得された前記視線情報に基づいて、前記ユーザによる前記表示内容の視認に関する視認情報を前記端末に出力させる機能と、を実現させるための、プログラムである。
本発明によれば、端末のユーザと表示媒体のユーザとがコミュニケーションを図れているかを端末のユーザに分かりやすくさせることができる。
本実施形態に係る読み聞かせ支援システムの全体構成例を示す図である。 管理サーバ、依頼ユーザの端末、および被依頼ユーザの端末のハードウェア構成例を示す図である。 管理サーバの機能構成例を示した図である。 読み聞かせ支援システムのシーケンス図である。 依頼ユーザの端末における画像の表示例および被依頼ユーザの端末における画像の表示例を示した図である。 依頼ユーザの端末における画像の表示例および被依頼ユーザの端末における画像の表示例を示した図である。 依頼ユーザの端末における画像の表示例および被依頼ユーザの端末における画像の表示例を示した図である。 絵本の読み聞かせ中における管理サーバの処理の流れを示したフローチャートである。 変形例としての読み聞かせ支援システムを示した図である。 絵本情報管理テーブルの一例を示した図である。 読み聞かせ中において開かれている絵本および被依頼ユーザの端末における画像の表示例を示した図である。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
<読み聞かせ支援システムの構成>
図1は、本実施形態に係る読み聞かせ支援システム1の全体構成例を示す図である。
本実施形態に係る読み聞かせ支援システム1は、絵本の情報を提供することにより、絵本の読み聞かせを支援するコミュニケーションシステムである。
読み聞かせ支援システム1は、管理サーバ10と、端末20と、端末30と、ビデオカメラ40とを備える。管理サーバ10と端末20、管理サーバ10と端末30、および管理サーバ10とビデオカメラ40とは、ネットワークを介して接続されている。
管理サーバ10は、絵本の絵に関する情報および絵本の文章に関する情報を提供する。具体的には、管理サーバ10は、読み聞かせ支援システム1の利用申請を、端末20から受け付ける。また、管理サーバ10は、読み聞かせ支援システム1の利用グループへの招待の承諾を、端末30から受け付ける。そして、管理サーバ10は、端末20からの絵本の読み聞かせの依頼が端末30にて承諾されることに基づいて、絵本の絵に関する情報を端末20に送信し、絵本の文章に関する情報を端末30に送信する。本実施形態では、絵本の読み聞かせを依頼するユーザを依頼ユーザと称し、読み聞かせを依頼されるユーザを被依頼ユーザと称する。なお、依頼ユーザおよび被依頼ユーザを区別せずに説明する場合には、単にユーザと称する。
管理サーバ10は、例えば、コンピュータにより実現される。管理サーバ10は、単一のコンピュータにより構成しても良いし、複数のコンピュータによる分散処理により実現しても良い。
端末20は、依頼ユーザが所持する端末である。
依頼ユーザの端末20は、画像表示部21と、カメラ22とを備える。
画像表示部21は、画像を表示する。カメラ22は、撮影領域内の被写体を撮影する。カメラ22は、依頼ユーザが依頼ユーザの端末20に表示されている表示内容を視認している場合において、撮影領域に依頼ユーザが入るように設けられている。依頼ユーザの端末20は、カメラ22により撮影された動画を、ネットワークを介して管理サーバ10に送信する機能を有する。
端末30は、被依頼ユーザが所持する端末である。
被依頼ユーザの端末30は、画像表示部31と、カメラ32とを備える。
被依頼ユーザの端末30は、依頼ユーザの端末20と同じ構成である。
依頼ユーザの端末20および被依頼ユーザの端末30には、スマートフォンなどの携帯電話、タブレット型端末などの携帯端末機器など、ユーザが持ち歩くことが可能な装置を用いることができる。なお、依頼ユーザの端末20および被依頼ユーザの端末30は、例えば、コンピュータ、その他の情報処理装置により実現されてもよい。
本実施形態の依頼ユーザの端末20および被依頼ユーザの端末30は、タッチパネルが設けられており、画面をユーザがタッチすることで画面に表示される画像に対する操作および指示を行う。
ビデオカメラ40は、空間50の内部を撮影する。空間50は、絵本の読み聞かせが行われる際に依頼ユーザが存在する空間である。空間50としては、例えば、依頼ユーザが生活する部屋等が挙げられる。
本実施形態のビデオカメラ40は、撮影した動画を、ネットワークを介して管理サーバ10へ送信する機能を有する。
管理サーバ10と端末20との接続、管理サーバ10と端末30との接続、および管理サーバ10とビデオカメラ40との接続に用いられるネットワークは、データの送受信が可能であれば、その種類は特に限定されず、例えばインターネット、LAN(Local Area Network)、WAN(Wide Area Network)等として良い。データ通信に用いられる通信回線は、有線であっても無線であっても良い。また、複数のネットワークや通信回線を介して各装置を接続する構成としても良い。
<ハードウェア構成例>
図2は、管理サーバ10、依頼ユーザの端末20、および被依頼ユーザの端末30のハードウェア構成例を示す図である。
図2に示すように、管理サーバ10、依頼ユーザの端末20、および被依頼ユーザの端末30は、演算手段であるCPU(Central Processing Unit)100aと、主記憶手段であるメモリ100cとを備える。また、各装置は、外部デバイスとして、磁気ディスク装置(HDD:Hard Disk Drive)100g、ネットワークインターフェイス100f、表示機構100d、音声機構100h、キーボードやマウス等の入力デバイス100i等を備える。
メモリ100cおよび表示機構100dは、システムコントローラ100bを介してCPU100aに接続されている。また、ネットワークインターフェイス100f、磁気ディスク装置100g、音声機構100hおよび入力デバイス100iは、ブリッジコントローラ100eを介してシステムコントローラ100bと接続されている。各構成要素は、システムバスや入出力バスなどの各種のバスによって接続される。
磁気ディスク装置100gには、各機能を実現するためのプログラムが格納されている。そして、このプログラムがメモリ100cにロードされ、このプログラムに基づく処理がCPU100aにより実行されることで、各種の機能が実現される。
<管理サーバの機能構成>
次に、管理サーバ10の機能構成について説明する。
図3は、管理サーバ10の機能構成例を示した図である。
管理サーバ10は、送受信部11と、利用受付部12と、利用者管理部13と、依頼受付部14と、通信制御部15と、情報管理部16と、視線検出部17と、位置検出部18と、出力内容管理部19とを備える。
送受信部11は、ネットワークを介して、依頼ユーザの端末20、被依頼ユーザの端末30およびビデオカメラ40と接続するためのネットワークインターフェイスである。これにより、管理サーバ10は、依頼ユーザの端末20、被依頼ユーザの端末30およびビデオカメラ40とデータ交換を行う。
利用受付部12は、依頼ユーザの端末20から、読み聞かせ支援システム1の利用の申請を受け付ける。利用受付部12は、依頼ユーザの端末20から利用の申請を受けると、依頼ユーザの端末20へのログインIDの付与や、依頼ユーザの端末20からの暗証番号の登録の受付を行う。そして、ログインIDおよび暗証番号が入力された依頼ユーザの端末20による読み聞かせ支援システム1の利用を許可し、利用を許可した依頼ユーザをグループの一員とする読み聞かせ支援システム1の利用グループを作成する。
また、利用受付部12は、読み聞かせ支援システム1の利用グループに加える被依頼ユーザを決定する。具体的には、利用受付部12は、依頼ユーザの端末20から、利用グループに招待したいユーザの指定を受け付ける。ユーザの指定は、例えば、招待したいユーザのメールアドレスを依頼ユーザの端末20に入力することによって行われる。そして、依頼ユーザに指定されたユーザの端末30に対し、読み聞かせ支援システム1の利用グループへの招待を通知する。利用グループへの招待がユーザの端末30により承諾されると、利用受付部12は、このユーザを被依頼ユーザとして読み聞かせ支援システム1の利用グループに加える。利用受付部12は、利用グループ内の各ユーザに関するユーザ情報を、各ユーザが依頼ユーザおよび被依頼ユーザの何れであるかを識別可能な形式で利用者管理部13へ送信する。
利用者管理部13は、読み聞かせ支援システム1の利用者を管理する。具体的には、利用者管理部13は、読み聞かせ支援システム1の利用グループごとに、利用グループ内の依頼ユーザと被依頼ユーザとを関連付けて記憶する。
依頼受付部14は、依頼ユーザの端末20から、被依頼ユーザによる絵本の読み聞かせの依頼を受け付ける。具体的には、依頼受付部14は、利用者管理部13にて依頼ユーザに関連付けられて記憶されている被依頼ユーザのうちの一の被依頼ユーザを指定した読み聞かせの依頼を依頼ユーザの端末20から受け付ける。依頼受付部14は、読み聞かせの依頼を受け付けると、指定された被依頼ユーザの端末30に、依頼ユーザから読み聞かせを依頼されたことを通知する。また、読み聞かせの依頼が被依頼ユーザの端末30により承諾されると、依頼受付部14は、依頼ユーザの端末20に、読み聞かせの依頼が承諾されたことを通知する。さらに、通信制御部15に、絵本の読み聞かせが開始されることを示す開始情報を送信する。またさらに、依頼ユーザの端末20から、複数種類の絵本のうち被依頼ユーザに読み聞かせてほしい絵本の選択を受け付ける。そして、選択された絵本に関する絵本情報を、出力内容管理部19に送信する。
通信制御部15は、依頼受付部14から開始情報を取得すると、依頼ユーザの端末20と被依頼ユーザの端末30との音声通信を確立する。音声通信としては、例えば、P2P(Peer to Peer)による通信方式やVoIP(Voice over Internet Protocol)による通信方式等が用いられる。
また、通信制御部15は、開始情報を取得すると、送受信部11を介して依頼ユーザの端末20に撮影指示を送信し、依頼ユーザの端末20のカメラ22による撮影を開始させる。
情報管理部16は、複数種類の絵本の情報を記憶する。情報管理部16は、例えば、絵本の絵を画像データとして記憶し、絵本の文章をテキストデータとして記憶する。また、情報管理部16は、絵本の各ページに対応する絵と文章とを関連付けて記憶する。以下では、画像データとして記憶されている絵本の絵を、絵情報と称する。また、テキストデータとして記憶されている絵本の文章を、文章情報と称する。
また、情報管理部16には、絵本の読み聞かせ中において依頼ユーザの端末20や被依頼ユーザの端末30に表示される画像が記憶されている。
視線検出部17は、依頼ユーザの視線を検出する。視線検出部17は、依頼ユーザの端末20のカメラ22により撮影された動画を、送受信部11を介して取得する。視線検出部17は、取得した動画を解析し、動画に映っている依頼ユーザの目から、依頼ユーザの視線を検出する。具体的には、依頼ユーザが依頼ユーザの端末20の画像表示部21を視認しているか否かや、画像表示部21のうちの依頼ユーザに視認されている領域を検出する。視線検出部17は、例えば、依頼ユーザの目頭と虹彩との位置関係に基づいて、依頼ユーザの視線を検出する。そして、検出結果を、ユーザの視線に関する視線情報として、出力内容管理部19へ送信する。
位置検出部18は、空間50における依頼ユーザの位置を検出する。位置検出部18は、ビデオカメラ40により撮影された動画を、送受信部11を介して取得する。位置検出部18は、取得した動画を解析し、動画に映っている依頼ユーザを識別することにより、空間50における依頼ユーザの位置を検出する。位置検出部18は、例えば、動画における明度、彩度、色相等に基づいて、依頼ユーザを識別する。そして、検出結果を、空間50における依頼ユーザの位置に関する位置情報として、出力内容管理部19へ送信する。
出力内容管理部19は、依頼受付部14から絵本情報を取得すると、情報管理部16に記憶されている絵情報のうち、絵本情報に基づいて特定される絵情報を依頼ユーザの端末20に送信する。具体的には、出力内容管理部19は、絵本情報から、情報管理部16に記憶されている複数種類の絵本のうちの一の絵本を特定する。そして、特定した絵本の1ページ目に対応する絵情報を、依頼ユーザの端末20の画像表示部21に表示させる。
また、出力内容管理部19は、情報管理部16に記憶されている文章情報のうち、絵本情報に基づいて特定される文章情報を被依頼ユーザの端末30に送信する。具体的には、出力内容管理部19は、絵本情報から特定した絵本の1ページ目に対応する文章情報を、被依頼ユーザの端末30の画像表示部31に表示させる。言い換えると、依頼ユーザの端末20に表示させる絵情報に関連付けられて記憶されている文章情報を、被依頼ユーザの端末30に表示させる。被依頼ユーザの端末30に表示される文章情報は、依頼ユーザの端末20に表示されている表示内容に関する内容情報として捉えられる。また、出力内容管理部19は、依頼ユーザの端末20に表示させる絵情報を、被依頼ユーザの端末30にも表示させる。被依頼ユーザの端末30に表示される絵情報は、依頼ユーザの端末20に表示されている表示内容に関する内容情報として捉えられる。
また、出力内容管理部19は、視線検出部17から視線情報を取得すると、この視線情報に関する情報を被依頼ユーザの端末30に出力させる。出力内容管理部19は、取得した視線情報に基づいて、依頼ユーザの端末20における画像表示部21に表示されている絵情報が依頼ユーザに視認されているか否かや、画像表示部21に表示されている絵情報のうちの依頼ユーザに視認されている領域を特定する。出力内容管理部19は、画像表示部21に表示されている絵情報が依頼ユーザに視認されていないことを特定した場合、依頼ユーザが絵情報を視認していないことを示す情報を、被依頼ユーザの端末30に出力させる。また、絵情報が依頼ユーザに視認されていることを特定した場合、依頼ユーザが絵情報を視認していることを示す情報を、被依頼ユーザの端末30に出力させる。なお、出力内容管理部19は、視線情報を取得する取得手段として捉えられる。
また、出力内容管理部19は、位置検出部18から位置情報を取得すると、この位置情報に関する情報を被依頼ユーザの端末30に出力させる。
<読み聞かせ支援システムの動作例>
続いて、本実施形態の読み聞かせ支援システム1の動作例について説明する。
図4は、読み聞かせ支援システム1のシーケンス図である。
図4に示すように、依頼ユーザは、依頼ユーザの端末20を用いて、読み聞かせ支援システム1の利用申請を行う(S101)。
管理サーバ10の利用受付部12は、依頼ユーザの端末20からの利用申請を受け付け、依頼ユーザによる読み聞かせ支援システム1の利用を許可する(S102)。また、依頼ユーザの端末20に対し、読み聞かせ支援システム1の利用グループに招待したいユーザを指定させる(S103)。
依頼ユーザは、利用グループに招待したいユーザを指定する(S104)。
管理サーバ10の利用受付部12は、依頼ユーザに指定された被依頼ユーザの端末30に対し、利用グループへの招待を通知する(S105)。
被依頼ユーザは、被依頼ユーザの端末30を用いて、利用グループへの招待を承諾する(S106)。
管理サーバ10の利用受付部12は、依頼ユーザの端末20に対し、被依頼ユーザの利用グループへの招待が承諾されたことを通知する(S107)。
依頼ユーザは、被依頼ユーザを指定した読み聞かせの依頼を行う(S108)。
管理サーバ10の依頼受付部14は、読み聞かせの依頼を被依頼ユーザの端末30に通知する(S109)。
被依頼ユーザは、読み聞かせの依頼を承諾する(S110)。
管理サーバ10の通信制御部15は、依頼ユーザの端末20と被依頼ユーザの端末30との音声通信を確立させる(S111)。
管理サーバ10の依頼受付部14は、依頼ユーザの端末20に対し、依頼ユーザが読み聞かせてほしい絵本を選択させる(S112)。
依頼ユーザは、依頼ユーザの端末20の画像表示部21に表示されている絵本の中から、被依頼ユーザに読み聞かせてほしい絵本を選択する(S113)。
管理サーバ10の出力内容管理部19は、情報管理部16に記憶されている絵情報のうち、依頼ユーザに選択された絵本の1ページ目に対応する絵情報を、依頼ユーザの端末20に送信する(S114)。また、依頼ユーザに選択された絵本の1ページ目に対応する文章情報を、被依頼ユーザの端末30に送信する(S115)。
これにより、依頼ユーザの端末20における画像表示部21には、絵情報が表示される(S116)。また、被依頼ユーザの端末30における画像表示部31には、文章情報が表示される(S117)。
これにより、被依頼ユーザから依頼ユーザへの絵本の読み聞かせが始まる。本実施形態の読み聞かせ支援システム1を用いることで、例えば、孫(依頼ユーザの一例)と、この孫の祖父母(被依頼ユーザの一例)とが互いに離れた場所に居住する場合であっても、祖父母は孫とコミュニケーションを図ることができる。また、例えば、孫の親は、絵本の読み聞かせを祖父母に依頼することで、絵本の読み聞かせに必要な時間を、夕飯の支度などの他の用事を済ますために必要な時間に充てることができる。
<読み聞かせ中における画像の表示例>
次に、絵本の読み聞かせ中において依頼ユーザの端末20の画像表示部21に表示される画像および被依頼ユーザの端末30の画像表示部31に表示される画像の表示例について説明する。以下では、被依頼ユーザである「Bさん」が依頼ユーザである「Aさん」に絵本の読み聞かせを行う場合について説明する。
図5〜図7は、依頼ユーザの端末20における画像の表示例および被依頼ユーザの端末30における画像の表示例を示した図である。
図5に示すように、依頼ユーザの端末20の画像表示部21には、被依頼ユーザの端末30のカメラ32に撮影されている撮影映像51が表示されている。図示の例では、撮影映像51には、被依頼ユーザが映っている。
また、画像表示部21には、絵画面52が表示されている。絵画面52には、絵53が表示されている。
被依頼ユーザの端末30における画像表示部31には、文章画面71が表示されている。文章画面71には、文章72が表示されている。この文章72は、依頼ユーザの端末20に表示されている絵53に関連付けられて情報管理部16に記憶されている文章情報である。
また、依頼ユーザの端末20と被依頼ユーザの端末30とで音声通信が行われている。被依頼ユーザは、被依頼ユーザの端末30のマイク(不図示)に向かって被依頼ユーザの端末30に表示されている文章72を読み上げると、依頼ユーザの端末20のスピーカー(不図示)から、被依頼ユーザが読み上げた言葉が出力される。
図示の例では、被依頼ユーザが文章72「みきちゃんは、バッグを探していました。」を読み上げると、依頼ユーザは、読み上げられた話を聞いて、依頼ユーザの端末20に表示されている絵53が、女の子がバッグを探している絵であることを理解する。このようにして、被依頼ユーザから依頼ユーザへの絵本の読み聞かせが行われる。
また、被依頼ユーザの端末30における画像表示部31には、空間平面図73が表示されている。空間平面図73は、ビデオカメラ40により撮影されている空間50(図1参照)内の映像を平面図として示した画像である。
また、画像表示部31には、不在通知部74が表示されている。不在通知部74は、空間50内に依頼ユーザが存在していないことを通知するための画像である。図示の例では、不在通知部74には、「※Aちゃんは、部屋にいません。」というメッセージが表示されている。不在通知部74は、ビデオカメラ40により撮影されている空間50内の映像に依頼ユーザが映っていないことが位置検出部18に検出された場合に表示される。
被依頼ユーザは、例えば、被依頼ユーザの端末30のマイク(不図示)に向かって空間50内に戻ることを話し掛けることで、依頼ユーザに対して空間50内に戻ることを促すことができる。
また、画像表示部31には、絵画面75が表示されている。絵画面75には、絵76が表示されている。この絵画面75は、依頼ユーザの端末20に表示されている絵画面52と同じである。絵画面75は、依頼ユーザの端末20に表示されている表示内容に関する関連画像として捉えられる。
また、画像表示部31には、視線外通知部77が表示されている。視線外通知部77は、依頼ユーザの視線が依頼ユーザの端末20に表示されている絵画面52から外れていることを通知するための画像である。図示の例では、視線外通知部77には、「※Aちゃんは、絵を見ていません。」というメッセージが表示されている。視線外通知部77は、依頼ユーザの端末20に表示されている絵画面52が依頼ユーザに視認されていないことが視線検出部17に検出された場合に表示される。さらにこのとき、被依頼ユーザの端末30のマイク(不図示)から、「絵を見ていません」という音声が出力される。なお、視線外通知部77および「絵を見ていません」という音声の情報は、それぞれ、依頼ユーザによる絵画面52の視認に関する視認情報として捉えられる。
また、画像表示部31には、キャラクタ表示ボタン78と、キャラクタ非表示ボタン79とが表示されている。図示の例では、キャラクタ非表示ボタン79が選択されている。
被依頼ユーザが、例えば、キャラクタ表示ボタン78を選択すると、図6に示すように、依頼ユーザの端末20における画像表示部21には、第1キャラクタ画像54が表示される。第1キャラクタ画像54は、絵画面52のうちの何れかの領域に表示される。図示の例では、第1キャラクタ画像54は、絵53における女の子の頭の付近に表示されている。また、図示の例では、第1キャラクタ画像54として、被依頼ユーザの顔を模した画像が表示されている。この第1キャラクタ画像54としては、例えば、依頼ユーザの端末20に表示させる画像として被依頼ユーザにより予め撮影された画像が用いられる。なお、第1キャラクタ画像54として、依頼ユーザにより予め撮影された画像が用いられてもよい。また、第1キャラクタ画像54として、情報管理部16に記憶されている特定のキャラクタの画像が表示されてもよい。
依頼ユーザの端末20に第1キャラクタ画像54が表示されることにより、依頼ユーザの目を絵画面52に惹き付けることができる。ここでは、依頼ユーザが、絵画面52における領域Xを視認しているものとする。この領域Xは、絵画面52のうち絵53における女の子の頭が表示されている領域である。
また、被依頼ユーザの端末30における画像表示部31には、第1キャラクタ画像81が表示される。この第1キャラクタ画像81は、依頼ユーザの端末20に表示されている第1キャラクタ画像54と同じ画像である。また、被依頼ユーザの端末30に表示されている絵76と第1キャラクタ画像81との位置関係は、依頼ユーザの端末20に表示されている絵53と第1キャラクタ画像54との位置関係と同じである。すなわち、第1キャラクタ画像81は、絵76における女の子の頭の付近に表示されている。
また、画像表示部31には、第2キャラクタ画像82が表示されている。この第2キャラクタ画像82は、絵画面75のうちの何れかの領域に表示される。図示の例では、第2キャラクタ画像82として、依頼ユーザの顔を模した画像が表示されている。第2キャラクタ画像82としては、例えば、被依頼ユーザの端末30に表示させる画像として依頼ユーザにより予め撮影された画像が用いられる。なお、第2キャラクタ画像82として、被依頼ユーザにより予め撮影された画像が用いられてもよい。また、第2キャラクタ画像82として、情報管理部16に記憶されている特定のキャラクタの画像が用いられてもよい。
被依頼ユーザの端末30に表示されている絵76と第2キャラクタ画像82との位置関係は、依頼ユーザの端末20に表示されている絵53と依頼ユーザに視認されている領域Xとの位置関係と同じである。すなわち、依頼ユーザの端末20に表示されている表示内容のうちの依頼ユーザに視認された領域に対応する絵画面75の領域に第2キャラクタ画像82が表示される。図示の例では、第2キャラクタ画像82は、絵76における女の子の頭に重なってこの女の子よりも図中手前側に表示されている。さらにこのとき、被依頼ユーザの端末30のマイク(不図示)から、「絵を見ています」という音声が出力される。なお、第2キャラクタ画像82および「絵を見ています」という音声の情報は、それぞれ、依頼ユーザによる絵画面52の視認に関する視認情報として捉えられる。
また、画像表示部31には、依頼ユーザ位置画像80が表示されている。依頼ユーザ位置画像80は、空間50における依頼ユーザの位置を示すための画像である。依頼ユーザ位置画像80は、空間平面図73のうちの、空間50における依頼ユーザの位置に対応付けられた領域に表示される。ここで、依頼ユーザの位置とは、位置検出部18によって検出された依頼ユーザの位置である。
被依頼ユーザは、依頼ユーザ位置画像80を視認することで、空間50における依頼ユーザの位置を把握しながら絵本の読み聞かせを行うことができる。
また、図7に示すように、依頼ユーザの端末20に表示されている第1キャラクタ画像54は、絵画面52上を移動する。これにより、依頼ユーザの目を絵画面52にさらに惹き付けることができる。ここでは、依頼ユーザが、絵画面52における領域Xを視認しているものとする。この領域Xは、絵画面52のうち絵53における女の子の右手が表示されている領域である。
また、被依頼ユーザの端末30に表示されている第1キャラクタ画像81は、絵画面75上を移動する。第1キャラクタ画像81の移動中においても、被依頼ユーザの端末30に表示されている絵76と第1キャラクタ画像81との位置関係は、依頼ユーザの端末20に表示されている絵53と第1キャラクタ画像54との位置関係と同じである。さらに、絵画面75には、第1キャラクタ画像81の移動の軌跡を示した第1軌跡画像83が示されている。第1軌跡画像83の矢印は、第1キャラクタ画像81の移動方向を指している。また、第1軌跡画像83の丸印が表示されている領域は、第1キャラクタ画像81が最初に表示された領域を示している。
また、被依頼ユーザの端末30に表示されている第2キャラクタ画像82は、絵画面75上を移動する。第2キャラクタ画像82の移動中においても、被依頼ユーザの端末30に表示されている絵76と第2キャラクタ画像82との位置関係は、依頼ユーザの端末20に表示されている絵53と依頼ユーザに視認されている領域Xとの位置関係と同じである。さらに、絵画面75には、第2キャラクタ画像82の移動の軌跡を示した第2軌跡画像84が表示されている。第2軌跡画像84の矢印は、第2キャラクタ画像82の移動方向を指している。また、第2軌跡画像84の丸印が表示されている領域は、第2キャラクタ画像82が最初に表示された領域を示している。
被依頼ユーザは、第1軌跡画像83および第2軌跡画像84を視認することで、依頼ユーザの端末20に表示されている第1キャラクタ画像54と依頼ユーザの視線との関係を認識することができる。
<読み聞かせ中における管理サーバ10の処理>
続いて、絵本の読み聞かせ中における管理サーバ10の処理について説明する。
図8は、絵本の読み聞かせ中における管理サーバ10の処理の流れを示したフローチャートである。
まず、視線検出部17は、依頼ユーザの端末20から動画を取得したか否かを判定する(S201)。否定結果が継続している間、視線検出部17は、ステップ201の判定動作を繰り返す。
一方、視線検出部17が動画を取得した場合、肯定結果を得てステップ202へ進む。
視線検出部17は、取得した動画に映っている依頼ユーザの視線を検出する(S202)。視線検出部17は、検出結果を、視線情報として出力内容管理部19へ送信する。
出力内容管理部19は、視線情報に基づいて、依頼ユーザの端末20に表示されている絵画面52が依頼ユーザに視認されているか否かを判定する(S203)。
肯定結果が得られた場合、出力内容管理部19は、第2キャラクタ画像82(図6参照)を被依頼ユーザの端末30に表示させるとともに、依頼ユーザが絵画面52を視認していることを音声により被依頼ユーザの端末30に出力させることで、依頼ユーザが絵本の絵を視認していることを被依頼ユーザに通知する(S204)。
また、ステップ203にて否定結果が得られた場合、出力内容管理部19は、視線外通知部77(図5参照)を被依頼ユーザの端末30に表示させるとともに、依頼ユーザが絵画面52を視認していないことを音声により被依頼ユーザの端末30に出力させることで、依頼ユーザが絵本の絵を視認していないことを被依頼ユーザに通知する(S205)。
このように、本実施形態では、出力内容管理部19は、取得した視線情報に基づいて、依頼ユーザによる絵画面52の視認に関する情報を被依頼ユーザの端末30に出力させる。
この場合、依頼ユーザと被依頼ユーザとが互いに離れた場所にいる場合であっても、依頼ユーザによる絵画面52の視認を被依頼ユーザが認識できるようになる。そのため、被依頼ユーザは、依頼ユーザとコミュニケーションを図れているかが分かりやすくなる。
<変形例>
続いて、読み聞かせ支援システム1の変形例について説明する。
依頼ユーザに用いられる表示媒体は、依頼ユーザの端末20に限定されない。
図9は、変形例としての読み聞かせ支援システム1を示した図である。なお、上記と同様の構成については、同一の符号を用いる。
読み聞かせ支援システム1には、絵本90が設けられている。管理サーバ10と絵本90とは、ネットワークを介して接続されている。
絵本90は、被依頼ユーザから依頼ユーザへの読み聞かせの対象となる本である。本実施形態の絵本90には、各ページに、絵が描かれているとともにこの絵を説明するための文章が記載されている。
絵本90には、複数の識別シール91と、読取装置94と、ビデオカメラ95とが取り付けられている。
識別シール91は、絵本90に対して付け外し可能になっている。本実施形態では、依頼ユーザによって、識別シール91が、絵本90の見開き左側の各ページにそれぞれ取り付けられている。また、識別シール91には、識別子92と、識別番号93とが表示されている。
識別子92は、識別シール91が取り付けられている絵本90のページを識別するために用いられる。識別子92としては、例えば、QR(Quick Response)コード(登録商標)などの二次元コードや、バーコードなどが用いられる。
識別番号93は、識別子92に対応付けられている絵本90のページを識別する番号である。本実施形態では、識別番号93に表示されている数字は、この識別番号93が付された識別シール91の識別子92に対応付けられている絵本90のページ番号を意味する。すなわち、識別番号93が「7」である場合(図9参照)、この識別番号93が付された識別シール91の識別子92には、絵本90の「7ページ」が対応付けられている。依頼ユーザは、一の識別シール91に表示されている識別番号93から、この一の識別シール91を取り付ける対象となる絵本90のページを認識する。
読取装置94は、識別シール91に表示されている識別子92を読み取る。読取装置94は、例えば、絵本90に取り付けられた識別子92を読み取り可能な位置に設けられる。読取装置94としては、例えば、コードリーダが用いられる。読取装置94は、識別子92を読み取ると、読み取った識別子92に対応付けられている絵本90のページを識別するページ識別情報、および読み取った識別子92が付されている識別シール91を識別するシール識別情報を生成する。そして、生成したページ識別情報およびシール識別情報を管理サーバ10に送信する。
なお、読取装置94は、図中矢印A方向へ移動することで、絵本90に対して進退可能になっている。
ビデオカメラ95は、撮影領域内の被写体を撮影する。ビデオカメラ95は、撮影した動画を、ネットワークを介して管理サーバ10に送信する機能を有する。ビデオカメラ95は、依頼ユーザが絵本90を読んでいる場合において、撮影領域に依頼ユーザが入るように設けられている。
変形例において、利用受付部12(図3参照)は、依頼ユーザの端末20から利用の申請を受けると、依頼ユーザの絵本90に取り付けられる識別シール91の登録を行う。識別シール91の登録は、例えば、識別シール91に付された識別IDの入力などによって行われる。
また、利用受付部12は、依頼ユーザの端末20による読み聞かせ支援システム1の利用を許可すると、依頼ユーザに登録された識別シール91の情報を利用者管理部13へ送信する。
利用者管理部13は、依頼ユーザと、この依頼ユーザに登録された識別シール91とを関連付けて記憶する。
依頼受付部14は、依頼ユーザからの読み聞かせの依頼が被依頼ユーザにより承諾されると、依頼ユーザの端末20から、複数種類の絵本90のうち被依頼ユーザに読み聞かせてほしい絵本90の選択を受け付ける。そして、選択された絵本90が示された選択情報を、出力内容管理部19に送信する。
情報管理部16は、複数種類の絵本90の情報を記憶する。情報管理部16の記憶内容については、後に詳述する。
視線検出部17は、ビデオカメラ95により撮影された動画を、送受信部11を介して取得する。そして、取得した動画から依頼ユーザの視線を検出し、ユーザの視線に関する視線情報として、出力内容管理部19へ送信する。
出力内容管理部19は、依頼受付部14から選択情報を取得すると、取得した選択情報から、依頼ユーザが選択した絵本90を特定する。また、出力内容管理部19は、送受信部11を介して読取装置94から取得したシール識別情報に基づいて、文章情報を送信する対象となる被依頼ユーザの端末30を特定する。具体的には、シール識別情報を取得すると、取得したシール識別情報から識別シール91を特定するとともに、利用者管理部13にてこの識別シール91に関連付けられて記憶されている依頼ユーザを特定する。そして、特定した依頼ユーザが依頼受付部14に対して読み聞かせの依頼を行った被依頼ユーザの端末30を、文章情報の送信対象とする。
また、出力内容管理部19は、ページ識別情報を取得すると、取得したページ識別情報から絵本90のページを特定する。そして、情報管理部16に記憶されている文章情報のうち、特定の絵本90の特定のページの文章情報を、特定の被依頼ユーザの端末30に表示させる。出力内容管理部19が特定の絵本90の特定のページの文章情報を表示させる処理については、後に詳述する。
<情報管理部の記憶内容>
次に、情報管理部16の記憶内容について説明する。
図10は、絵本情報管理テーブルの一例を示した図である。
図10に示す絵本情報管理テーブルは、絵本のページと、文章情報とを関連付けて管理するためのテーブルである。
絵本情報管理テーブルでは、「絵本」に、絵本90のタイトルが示されている。また、「文章情報」に、絵本90に記載されている文章が示されている。「文章情報」の「ページ」には、絵本90の該当ページに記載されている文章が示されている。一例を挙げると、「みきちゃんのおでかけ」の「1〜2ページ」には、みきちゃんのおでかけというタイトルの絵本90における1〜2ページに記載されている文章「あるお家に、みきちゃん〜」が示されている。
また、図示を省略するが、「絵本」ごとに、「文章情報」の「ページ」に、絵本90の該当ページに描かれている絵に係る絵情報が関連付けられている。
絵本情報管理テーブルでは、「ページ」ごとに、複数種類の絵本90の該当ページに記載されている文章に関する「文章情報」がそれぞれ示されている。そのため、同じ「ページ」であっても、「絵本」ごとにそれぞれ異なる「文章情報」が示されている。
<出力内容管理部の処理>
出力内容管理部19の処理について説明する。出力内容管理部19は、選択情報を取得すると、絵本情報管理テーブルに示されている「絵本」のうち取得した選択情報に示された「絵本」を特定する。また、ページ識別情報を取得すると、取得したページ識別情報から識別されるページを含む「ページ」を特定する。そして、特定した「絵本」の「ページ」に示されている文章情報を、被依頼ユーザの端末30に表示させる。
<開かれている絵本のページと端末に表示される画像との関係>
次に、絵本90の読み聞かせ中において開かれている絵本90のページと、被依頼ユーザの端末30に表示される画像との関係について説明する。図11は、読み聞かせ中において開かれている絵本90および被依頼ユーザの端末30における画像の表示例を示した図である。
図11に示すように,依頼ユーザは、絵本90の3ページおよび4ページを開いている。絵本90の3ページには、女の子の絵201が描かれているとともに、この絵201を説明するための文章202が記載されている。ここでは、依頼ユーザが、絵本90の3ページ目のうちの領域Xを視認しているものとする。この領域Xは、絵本90の3ページ目のうち絵201における女の子の左手が表示されている領域である。
また、絵本90の3ページには、識別番号93が「3」である識別シール91が取り付けられている。識別シール91に表示されている識別子92が読取装置94に読み取られることにより、被依頼ユーザの端末30には、文章画面71と、絵画面75とが表示される。
文章画面71には、文章72と、空間平面図73とが表示されている。また、空間平面図73には、依頼ユーザ位置画像80が表示されている。
文章画面71に表示されている文章72は、絵本90の3ページに記載されている文章202と同一の内容である。
絵画面75には、絵76と、第2キャラクタ画像82と、ページ番号85とが表示されている。
ページ番号85には、絵本90の全ページのうち被依頼ユーザの端末30に表示されている文章72に対応付けられているページ番号が示されている。
被依頼ユーザの端末30に表示されている絵76と第2キャラクタ画像82との位置関係は、絵本90の3ページ目に表示されている絵201と依頼ユーザに視認されている領域Xとの位置関係と同じである。図示の例では、第2キャラクタ画像82は、絵76における女の子の左手に重なってこの女の子よりも図中手前側に表示されている。
また、このとき、依頼ユーザの端末20と被依頼ユーザの端末30とで音声通信が行われている。被依頼ユーザは、被依頼ユーザの端末30のマイク(不図示)に向かって被依頼ユーザの端末30に表示されている文章を読み上げると、依頼ユーザの端末20のスピーカー(不図示)から、被依頼ユーザに読み上げられた言葉が出力される。
例えば、被依頼ユーザが、文章画面71に表示されている文章72「今日は、待ちに待ったお出かけです。みきちゃんは、・・・」を読み上げると、依頼ユーザは、読み上げられた話を聞いて、絵本90の絵201に描かれている女の子がこれから出かけることを理解する。このようにして、被依頼ユーザから依頼ユーザへの絵本90の読み聞かせが行われる。
このように、依頼ユーザに用いられる表示媒体は、依頼ユーザの端末20に限られず、絵本90であってもよい。
なお、本実施形態では、読取装置が絵本90に取り付けられる構成を説明したが、これに限定されない。
例えば、読取装置は、依頼ユーザに取り付け可能に設けられてもよい。
また、本実施形態では、依頼ユーザの端末20を用いて絵本90の読み聞かせを依頼することを説明したが、これに限定されない。
例えば、絵本90に取り付けられている識別子92が読取装置に読み取られると、ページ識別情報やシール識別情報とともに、読み聞かせの依頼が管理サーバ10に送信されてもよい。この場合、依頼ユーザが、読み聞かせを依頼するためだけの操作を行う必要がなくなる。
また、依頼ユーザによる絵本90の選択や、読み聞かせを依頼する被依頼ユーザの指定は、読取装置や他の端末により実行可能であってもよい。さらに、読み聞かせ中において被依頼ユーザの端末30から送信される音声が、音声を出力可能な読取装置や他の端末から出力されてもよい。
また、絵本90が、依頼ユーザによる絵本90の選択や、読み聞かせを依頼する被依頼ユーザの指定を実行可能に設けられてもよい。さらに、絵本90に音声を出力可能な出力機器を設け、読み聞かせ中において被依頼ユーザの端末30から送信される音声が絵本90の出力機器から出力されてもよい。
すなわち、絵本90の読み聞かせには依頼ユーザの端末20が用いられなくてもよい。
また、例えば、情報管理部16には、文章情報とともにこの文章情報に係る文章の音声が記憶されてもよい。そして、出力内容管理部19は、文章情報とともに音声を被依頼ユーザの端末30に出力させてもよい。また、文章情報の代わりに音声のみを被依頼ユーザの端末30に出力させてもよい。
また、本実施形態では、識別子92から絵本90における特定の1ページが識別されることを説明したが、識別されるページ数は、2ページ以上であってもよい。
また、本実施形態では、絵本情報管理テーブルに、文章情報が2ページごとに管理されていることを説明したが、3ページ分以上の文章に係る文章情報が管理されてもよいし、2ページ分よりも少ない文章に係る文章情報が管理されてもよい。
また、本実施形態では、読取装置を用いて識別子92を読み取ることを説明したが、例えば、依頼ユーザの端末20を用いて識別子92を読み取り、生成した情報が管理サーバ10に送信されてもよい。
また、本実施形態では、依頼ユーザに指定されたユーザが利用グループへの招待を承諾することによって、絵本の読み聞かせの依頼の対象となる被依頼ユーザが加わることを説明したが、これに限定されない。
例えば、ユーザが絵本の読み聞かせを行う者としての読み聞かせ支援システム1の利用申請を行うことで、読み聞かせの依頼の対象となる被依頼ユーザが加わってもよい。この場合に、依頼ユーザは、自らが所属している利用グループ外の被依頼ユーザに対して読み聞かせを依頼してもよい。
また、例えば、依頼ユーザの端末20には、絵53(図5参照)とともに、この絵53に関連付けられた文章72の一部または全部が表示されてもよい。
また、不在通知部74(図5参照)におけるメッセージは、音声により被依頼ユーザの端末30から出力されてもよい。また、このメッセージは、画像として出力されるとともに音声として出力されてもよい。
また、本実施形態では、出力内容管理部19が被依頼ユーザの端末30に視線外通知部77を表示させるとともに音声を出力させる条件を、絵画面52が依頼ユーザに視認されていないことが視線検出部17に検出されることと説明したが、これに限定されない。
例えば、依頼ユーザの端末20における画像表示部21が依頼ユーザに視認されていないことが視線検出部17に検出されることを条件としてもよい。また、例えば、依頼ユーザの端末20が依頼ユーザに視認されていないことが視線検出部17に検出されることを条件としてもよい。すなわち、予め定められた領域が依頼ユーザに視認されていないことが視線検出部17に検出されることを条件としてもよい。
また、例えば、予め定められた領域が予め定められた期間(例えば5秒間)以上依頼ユーザに視認されていないことが視線検出部17に検出されることを条件としてもよい。この予め定められた期間は、予め定められた領域が依頼ユーザに視認されていないと視線検出部17が判定するための閾値である。
また、依頼ユーザの端末20に表示されている第1キャラクタ画像54(図6参照)が依頼ユーザに視認されたことが視線検出部17に検出された場合、被依頼ユーザの端末30に、第1キャラクタ画像81と第2キャラクタ画像82とを重ねて表示してもよい。この場合に、例えば、第2キャラクタ画像82が第1キャラクタ画像81よりも図中手前側に位置するように表示してもよい。
また、本実施形態では、第1キャラクタ画像54が絵画面52のうちの何れかの領域に表示されることを説明したが、これに限定されない。
例えば、第1キャラクタ画像54は、絵画面52および撮影映像51上の何れかの領域に表示されてもよい。すなわち、第1キャラクタ画像54は、依頼ユーザの端末20における画像表示部21上の何れかの領域に表示されればよい。
また、例えば、被依頼ユーザが、被依頼ユーザの端末30に表示されている第1キャラクタ画像81に対していわゆるフリック操作を行うと、このフリック操作に応じて、依頼ユーザの端末20に表示されている第1キャラクタ画像54が移動してもよい。すなわち、依頼ユーザの端末20の画像表示部21において第1キャラクタ画像54が表示される領域は、被依頼ユーザにより設定可能であってもよい。この場合、被依頼ユーザは、例えば、依頼ユーザの端末20に表示されている絵画面52など、依頼ユーザの端末20のうち依頼ユーザに視認してほしい領域に第1キャラクタ画像54を表示させることができる。また、この場合に、被依頼ユーザの端末30に表示されている絵76と第1キャラクタ画像81との位置関係を、依頼ユーザの端末20に表示されている絵53と第1キャラクタ画像54との位置関係と同じとしてもよい。
また、本実施形態では、画像表示部31に表示される絵画面75は、依頼ユーザの端末20に表示されている絵画面52と同じであることを説明したが、これに限定されない。画像表示部31に表示される画像は、例えば、絵画面52に類似する画像など、絵画面52に関する関連画像であればよく、絵画面52と同じ画像に限定されない。
また、本実施形態では、被依頼ユーザの端末30に表示されている関連画像と第1キャラクタ画像81との位置関係が、依頼ユーザの端末20に表示されている絵53と第1キャラクタ画像54との位置関係と同じであることを説明したが、これに限定されない。すなわち、依頼ユーザの端末20に表示されている表示内容のうちの第1キャラクタ画像54が表示されている領域に対応する関連画像の領域に第1キャラクタ画像81が表示されればよい。
また、本実施形態では、被依頼ユーザの端末30に表示されている関連画像と第2キャラクタ画像82との位置関係が、依頼ユーザの端末20に表示されている絵53と依頼ユーザに視認されている領域Xとの位置関係と同じであることを説明したが、これに限定されない。すなわち、依頼ユーザの端末20に表示されている表示内容のうちの依頼ユーザに視認された領域に対応する関連画像の領域に第2キャラクタ画像82が表示されればよい。
また、関連画像を被依頼ユーザの端末30に表示させることなく、依頼ユーザの端末20における画像表示部21のうちの依頼ユーザに視認されている領域に関する情報を被依頼ユーザの端末30に表示させてもよい。
また、本実施形態では、視線検出部17が、動画に映っている依頼ユーザの視線を検出することを説明したが、これに限定されない。
例えば、依頼ユーザの端末20やビデオカメラ95により、依頼ユーザの静止画像が少なくとも一枚以上撮影されてもよい。そして、視線検出部17は、この静止画像に基づいて、依頼ユーザの視線を検出してもよい。
また、本実施形態では、位置検出部18が、動画に映っている空間50における依頼ユーザの位置を検出することを説明したが、これに限定されない。
例えば、ビデオカメラ40により、空間50の静止画像が少なくとも一枚以上撮影されてもよい。そして、位置検出部18は、この静止画像に基づいて、空間50における依頼ユーザの位置を検出してもよい。
また、ビデオカメラ40に撮影された画像や動画を、被依頼ユーザの端末30に表示するようにしてもよい。この場合に、ビデオカメラ40に撮影された画像や動画は、空間50における依頼ユーザの位置に関する位置情報として捉えられる。
また、本実施形態では、依頼ユーザの端末20や被依頼ユーザの端末30に絵本に関する画像を表示させることを説明したが、絵本に関連しない画像を表示してもよい。
また、本実施形態では、依頼ユーザの端末20や被依頼ユーザの端末30など、ユーザによる操作が行われる端末に画像を表示することを説明したが、画像を表示可能な表示媒体であれば、ユーザによる操作が行われる端末とは別の表示媒体に画像を表示させてもよい。
また、本実施形態では、管理サーバ10から送信された情報が依頼ユーザの端末20や被依頼ユーザの端末30に出力されることで絵本の読み聞かせが実現される構成としたが、これに限定されない。
例えば、依頼ユーザの端末20や被依頼ユーザの端末30が管理サーバ10の機能を有してもよい。言い換えると、依頼ユーザの端末20や被依頼ユーザの端末30が、管理サーバ10の送受信部11、利用受付部12、利用者管理部13、依頼受付部14、通信制御部15、情報管理部16、視線検出部17、位置検出部18、出力内容管理部19等の機能を備えることとしてもよい。
また、本発明の実施形態を実現するプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で提供し得る。また、インターネットなどの通信手段を用いて提供することも可能である。
以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記の実施形態に記載の範囲には限定されない。上記の実施形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…読み聞かせ支援システム、10…管理サーバ、11…送受信部、12…利用受付部、13…利用者管理部、14…依頼受付部、15…通信制御部、16…情報管理部、17…視線検出部、18…位置検出部、19…出力内容管理部、20…端末、21…画像表示部、22…カメラ、30…端末、31…画像表示部、32…カメラ、40…ビデオカメラ、90…絵本

Claims (6)

  1. 表示媒体を利用するユーザの視線に関する視線情報を取得する取得手段と、
    前記表示媒体に表示されている表示内容に関する内容情報を、前記ユーザとは異なる他のユーザの端末に表示させる表示制御手段と、
    前記取得手段に取得された前記視線情報に基づいて、前記ユーザによる前記表示内容の視認に関する視認情報を前記端末に出力させる出力制御手段と、
    を備えた、コミュニケーションシステム。
  2. 前記表示制御手段は、前記表示内容に関する関連画像を前記端末に表示させ、
    前記出力制御手段は、前記表示内容のうちの前記ユーザに視認された領域に対応する前記関連画像の領域に予め定められた第1画像を表示させることを特徴とする請求項1記載のコミュニケーションシステム。
  3. 前記ユーザに用いられ音声を出力可能な出力機器と、前記端末との音声通信を確立する確立手段をさらに備え、
    前記表示媒体には、絵が表示され、
    前記内容情報は、前記表示媒体に表示されている前記絵に係る文章に関する情報であることを特徴とする請求項1記載のコミュニケーションシステム。
  4. 空間における前記ユーザの位置に関する位置情報を取得する位置情報取得手段と、
    前記ユーザに用いられ音声を出力可能な出力機器と、前記端末との音声通信を確立する確立手段と、
    をさらに備え、
    前記出力制御手段は、前記位置情報取得手段に取得された前記位置情報を前記端末に出力させることを特徴とする請求項1記載のコミュニケーションシステム。
  5. 前記表示媒体は、情報を表示する表示部を有する表示端末であり、
    前記表示制御手段は、前記表示端末上にて、予め定められた第2画像を移動させ、
    前記出力制御手段は、前記第2画像の移動の軌跡を前記端末に表示させるとともに、前記視線情報に基づいて、前記ユーザの視線の軌跡を当該端末に表示させることを特徴とする請求項1記載のコミュニケーションシステム。
  6. コンピュータに、
    表示媒体を利用するユーザの視線に関する視線情報を取得する取得機能と、
    前記表示媒体に表示されている表示内容に関する内容情報を、前記ユーザとは異なる他のユーザの端末に表示させる機能と、
    前記取得機能に取得された前記視線情報に基づいて、前記ユーザによる前記表示内容の視認に関する視認情報を前記端末に出力させる機能と、
    を実現させるための、プログラム。
JP2018194689A 2018-10-15 2018-10-15 コミュニケーションシステムおよびプログラム Active JP7194554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018194689A JP7194554B2 (ja) 2018-10-15 2018-10-15 コミュニケーションシステムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018194689A JP7194554B2 (ja) 2018-10-15 2018-10-15 コミュニケーションシステムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2020064380A true JP2020064380A (ja) 2020-04-23
JP7194554B2 JP7194554B2 (ja) 2022-12-22

Family

ID=70388323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018194689A Active JP7194554B2 (ja) 2018-10-15 2018-10-15 コミュニケーションシステムおよびプログラム

Country Status (1)

Country Link
JP (1) JP7194554B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333561A (ja) * 2002-05-10 2003-11-21 Sumitomo Electric Ind Ltd モニタ画面表示方法、端末装置及びテレビ会議システム
JP2005192637A (ja) * 2003-12-26 2005-07-21 Advanced Inst Of Wearable Environmental Information Networks 脳機能計測方法及び脳機能計測システム
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置
JP2015049789A (ja) * 2013-09-03 2015-03-16 日本電信電話株式会社 表示制御装置、表示制御装置の動作方法およびコンピュータプログラム
JP2016178492A (ja) * 2015-03-20 2016-10-06 Kddi株式会社 携帯端末、情報通知方法及びプログラム
WO2017199483A1 (ja) * 2016-05-18 2017-11-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333561A (ja) * 2002-05-10 2003-11-21 Sumitomo Electric Ind Ltd モニタ画面表示方法、端末装置及びテレビ会議システム
JP2005192637A (ja) * 2003-12-26 2005-07-21 Advanced Inst Of Wearable Environmental Information Networks 脳機能計測方法及び脳機能計測システム
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置
JP2015049789A (ja) * 2013-09-03 2015-03-16 日本電信電話株式会社 表示制御装置、表示制御装置の動作方法およびコンピュータプログラム
JP2016178492A (ja) * 2015-03-20 2016-10-06 Kddi株式会社 携帯端末、情報通知方法及びプログラム
WO2017199483A1 (ja) * 2016-05-18 2017-11-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
湯川和秀: "リアルタイム視線表示機能を持つ絵本読み聞かせ支援システム", 電子情報通信学会技術研究報告, vol. 第112巻,第500号, JPN6017050525, 22 March 2013 (2013-03-22), JP, pages 145 - 150, ISSN: 0004811677 *

Also Published As

Publication number Publication date
JP7194554B2 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
CN111557006B (zh) 用于抽取关于内联注释的知识的混合智能方法
JP6200483B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP6096998B2 (ja) インスタントメッセージング方法、装置、プログラム及び記録媒体
CN102598084B (zh) 远程通信系统和方法
US20200301647A1 (en) Information processing apparatus, information processing method, and information processing system
CN111078655A (zh) 文档内容分享方法、装置、终端及存储介质
JP6340926B2 (ja) 情報処理システム、情報処理装置およびプログラム
CN115004145A (zh) 针对远程内容源设备的子显示屏指定
WO2022089209A1 (zh) 一种图片评论的处理方法、装置、电子设备和存储介质
WO2019033663A1 (zh) 视频教学互动方法、装置、设备及存储介质
WO2022057393A1 (zh) 事件处理方法、装置、存储介质、移动终端及电脑
US20110276634A1 (en) Network system, communication terminal, communication method, and communication program
US20170249513A1 (en) Picture acquiring method, apparatus, and storage medium
JP2023554519A (ja) 電子文書の編集方法と装置及びコンピュータ機器とプログラム
CN114846433A (zh) 指定子显示屏的基于手势的方法和系统
CN114930280A (zh) 子显示屏通知处理
CN103853326A (zh) 动态增强现实媒体创建
CN114830076A (zh) 子显示屏指定和共享
JP2020194371A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015082729A (ja) 携帯端末
JP7194554B2 (ja) コミュニケーションシステムおよびプログラム
JP2021039616A (ja) 情報処理システム、情報処理装置、画像表示方法、プログラム
US10244196B2 (en) Display control apparatus and display control method
JP2020198078A (ja) 情報処理装置、情報処理システム及び情報処理方法
JP7353402B2 (ja) 端末装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7194554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150