JP2021113963A

JP2021113963A - 学習プログラム

Info

Publication number: JP2021113963A
Application number: JP2020016636A
Authority: JP
Inventors: 童童王; Tongtong Wang
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-01-17
Filing date: 2020-01-17
Publication date: 2021-08-05

Abstract

【課題】任意の視覚情報に対して文字データ等を関連づけて記録し、学習に用いるプログラムを提供する。【解決手段】プログラムは、画像または映像を含む背景データが表示される表示領域への指示入力を受け付け、前記指示入力がなされた表示領域内の位置に基づき文字データ入力部を表示し、前記文字データ入力部に入力された文字データと、前記文字データ入力部の表示位置を示す座標データおよび前記背景データとを関連付けて、表示用データとして記憶する。【選択図】図５

Description

本発明は、学習時に単語や用語等を記憶するのに好適な学習プログラムに関する。

近年、スマートフォンやタブレットといった情報端末を学習に用いる要求が高まっている。

特許文献１には、画像中の複数の対象に当該対象から連想される英単語を関連付けて情報端末に表示する技術が記載されている。

特開２０１２−１２８３７８号公報

画像といった視覚情報と単語等とを関連付けて記憶する際、用いられる視覚情報としては、学習者の記憶に残りやすい内容であることが望ましい。しかしながらどういった内容の視覚情報が記憶に残りやすいかは、学習者によって異なる。そのため、視覚情報を用いた学習においては、学習者自身が当該視覚情報の内容を決定できることが望ましい。この点に関して、特許文献１が開示する技術においては、視覚情報およびそれに関連付けられる単語が予め決定されていることを前提としており、改善の余地があった。

本発明は、任意の視覚情報に対して文字データ等を関連づけて記録し、学習に用いるプログラムを提供することを目的の一つとする。

本発明の一実施形態に係るプログラムは、画像または映像を含む背景データが表示される表示領域への指示入力を受け付け、前記指示入力がなされた表示領域内の位置に基づき文字データ入力部を表示し、前記文字データ入力部に入力された文字データと、前記文字データ入力部の表示位置を示す座標データおよび前記背景データとを関連付けて、表示用データとして記憶する。

上記プログラムにおいて、前記表示用データを呼び出し、前記背景データを表示し、前記座標データに基づき、前記文字データまたは標識画像を当該背景データに重畳させて表示する。

上記プログラムにおいて、前記文字データまたは前記標識画像のどちらか一方のみを表示する。

上記プログラムにおいて、前記標識画像はグラフィカル・ユーザ・インタフェースであり、当該標識画像に対する入力がなされると表示内容を当該標識画像から前記文字データへと変化させる。

上記プログラムにおいて、前記標識画像を移動させながら表示する。

上記プログラムにおいて、前記文字データ入力部に入力された文字データを多言語に変換する。

上記プログラムにおいて、前記文字データ入力部に入力された文字データを多言語に変換し、前記表示用データとして記憶する。

上記プログラムにおいて、前記文字データ入力部に入力された文字データに関連する情報をさらに前記表示用データとして記憶する。

本発明の一実施形態に係るプログラムを実行するための通信システムの構成を示す図である。本発明の一実施形態に係るプログラムを実行するためのサーバのハードウェア構成を示すブロック図である。本発明の一実施形態に係るプログラムを実行するための端末のハードウェア構成を示すブロック図である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムのフローチャートである。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムのフローチャートである。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。本発明の一実施形態に係るプログラムによって実現された表示領域の一例である。

（第１実施形態）
本発明の一実施形態について、図１から図１４を参照して説明する。

図１は、第１実施形態に係るプログラムを実行させるための通信システム１０を表す図である。通信システム１０は、サーバ２０と複数の端末３０を備える。サーバ２０と複数の端末３０は、ネットワーク４０を介して接続される。なお本実施形態においては、ネットワーク４０をインターネットとして説明するがこれに限定されない。

サーバ２０は、端末３０にアプリを実行するためのプログラムを提供する。また、サーバ２０は、ネットワーク４０を介して端末に各種サービスを提供する。各種サービスとは、例えば動画や音楽の視聴、地図や天気といった情報の閲覧、情報の検索、言語の翻訳、仮想通貨や証券の取引き、オンラインショッピング、飲食店やチケットの検索や予約、ゲーム、ソーシャルネットワーキングシステム（ＳＮＳ）、ビジネスマッチング、位置情報サービス、クラウドサービスのようなソフトウェアの一部や全部の機能の提供等である。各種サービスの提供時には、サーバ２０がプログラムを実施して、その結果を端末３０に送信し表示させてもよいし、サーバ２０のプログラムと端末３０にインストールされたアプリのプログラムの双方により処理を分担してもよい。また、サーバ２０がユーザ管理や端末３０から提供される各種ログの統計処理等を実施し、端末３０のプログラムが各種サービスの機能を実行してもよい。また、サーバ２０は１つの装置であってもよいし、複数の装置群であってもよい。サーバ２０は、上記各種サービスを提供するにあたり、他者が提供するＷｅｂサービスをさらに利用してもよい。

端末３０は、例えばスマートフォン、タブレット、パーソナルコンピュータ、ゲーム機、ＩｏＴ対応の各種機器等である。各端末３０は、ネットワーク４０を介して互いに通信可能である。本実施形態においては、端末３０をスマートフォンとして説明する。端末３０は、サーバ２０からアプリを実行するためのプログラムを受信し、自身にインストールする。当該プログラムおよびサーバ２０との通信を通じて、端末３０はアプリを実行する。ユーザは端末３０を操作することで各種サービスや機能を利用することができる。

図２は、サーバ２０のハードウェア構成２００を示す図である。ハードウェア構成２００は、制御部２０１、記憶部２０２、ＲＡＭ２０３、通信部２０４を備える。

制御部２０１は、例えばＣＰＵ等である。制御部２０１は、例えば記憶部２０２に記録されているプログラムを読み出し、ＲＡＭ２０３に展開して実行する。また、制御部２０１は、後述する通信部２０４を介して端末３０から得たデータ、例えば位置情報等を利用して、各種プログラムの実行または外部の情報サービスとの連携を制御することも可能である。外部の情報サービスとは、例えば地図情報を提供するサードパーティーから得られる最新の地図に関する情報等である。制御部２０１は、当該地図情報と前記端末３０から得た位置情報（ＧＰＳ等）に基づいた処理を実行するよう設計されたプログラムを制御することも可能である。制御部２０１は、通信部２０４を介して端末３０から得たユーザ情報を用いて、ＳＮＳ等の外部サービスとの連携を制御することも可能である。ＳＮＳとの連携とは、例えば使用者がサーバ２０から端末３０に提供された本アプリにログインする際に、当該使用者が保有しているＳＮＳといった他社のサービスのアカウントとの連携を行い、当該ＳＮＳのアカウントを用いてユーザ認証を行い、本アプリのサービスを使用可能にする方法等である。また、制御部２０１は、後述の記憶部２０２に格納されている各種情報、ログ、またはレポートを呼び出し、エラーの解析、アプリ利用に関する統計、ユーザ間のランキングの作成、リアルタイムチャットやコメント投稿の処理等を制御することも可能である。

記憶部２０２は、例えば揮発性メモリやＨＤＤ等の恒久的な情報保持及び書き換えが可能な記録装置である。記憶部２０２は、本実施形態に係るプログラム及びその動作に必要なパラメータ等の情報を格納する。また、記憶部２０２は、後述する通信部２０４を介して端末３０から得たユーザの登録情報、アカウント情報、サービスの利用状況や権限といったユーザ管理に必要な情報を格納する。また、記憶部２０２は、後述する通信部２０４を介して端末３０から得たユーザのアプリの操作ログやクラッシュレポートを格納する。

ＲＡＭ２０３は、例えば揮発性メモリ等の一時的な情報保持に用いられ、情報の書き換えが可能な記憶装置である。ＲＡＭ２０３は、記録媒体に記録されているプログラムの展開領域として用いられる。また、ＲＡＭ２０３は、プログラムの動作において出力された中間データ等を記憶する格納領域としても用いられる。

通信部２０４は、サーバ２０が端末３０と通信するための通信インターフェースである。本実施形態ではサーバ２０は、通信部２０４を介しネットワーク４０を経由して端末３０との情報の送受信や他者が提供するＷｅｂサービスへのアクセスを行う。

図３は、端末３０のハードウェア構成３００を示す図である。ハードウェア構成３００は、制御部３０１、記憶部３０２、ＲＡＭ３０３、表示部３０４、操作部３０５、通信部３０６、撮影部３０７を備える。

制御部３０１は、例えばＣＰＵ等である。制御部３０１は、例えば記憶部３０２に記録されているプログラムを読み出し、ＲＡＭ３０３に展開して実行する。

記憶部３０２は、例えば揮発性メモリやＨＤＤ等の恒久的な情報保持及び書き換えが可能な記録装置である。記憶部３０２は、本実施形態に係るプログラム及びその動作に必要なパラメータ等の情報を格納する。記憶部３０２は、端末３０の使用者の操作または制御部３０１の指示に従い、テキスト、画像、映像、音声、モーションデータ、位置情報データ、その他のセンサーから取得可能なデータ等を保存する。

ＲＡＭ３０３は、例えば揮発性メモリ等の一時的な情報保持に用いられ、情報の書き換えが可能な記憶装置である。ＲＡＭ３０３は、記録媒体に記録されているプログラムの展開領域として用いられる。また、ＲＡＭ３０３は、プログラムの動作において出力された中間データ等を記憶する格納領域としても用いられる。

表示部３０４は、例えば液晶パネルや有機ＥＬパネルである。表示部３０４は、制御部３０１の指示に従いアプリの画面等を表示領域に表示する。表示部３０４は、端末３０と一体でもよいし、外部接続された表示装置でもよい。表示部３０４は、典型的には平面の形状であるが、曲面部や立体構造を有していてもよい。

操作部３０５は、例えばタッチパネル、キーボード、マウス、ボタン、音声認識等である。操作部３０５は、表示部３０４と少なくとも一部が一体のタッチパネルでもよい。その場合、表示部３０４に表示されたグラフィカル・ユーザ・インタフェース（ＧＵＩ）に対するユーザ入力を検出すると信号を制御部３０１に出力してもよい。また、操作部３０５は、端末３０と外部接続される入力装置でもよい。

通信部３０６は、端末３０がサーバ２０や他の端末３０と通信するための通信インターフェースである。端末３０は、通信部３０６を介してサーバ２０または他の端末３０と交信する。また、端末３０は、通信部３０６を介してネットワーク４０を経由して他者が提供するＷｅｂサービスに直接アクセスすることもできる。本実施形態において、端末３０が他の端末３０と交信をするシーンとしては、後述する学習画像をユーザ間で共有するとき等があげられる。

撮影部３０７は、例えばカメラである。撮影部３０７は、写真や動画などを撮影する。撮影された写真や動画は、記憶部３０２に保存される。

本実施形態に係るプログラムは、例えば単語等を暗記するための学習アプリに適用することができる。まずは本学習アプリを用いて学習する際の処理について説明する。端末３０にインストールされた当該学習アプリが起動されると、表示部３０４の全体または一部に図４に示すような表示領域４００が表示される。表示領域４００には背景４０１が表示されており、背景４０１の表面にはマーク４１１、マーク４１２、マーク４１３、マーク４１４、マーク４１５、マーク４１６、およびボタン４２１、ボタン４２２、ボタン４２３、ボタン４２４が表示されている。背景４０１は写真データまたは画像データでもよく、または動きを有する動画データでもよい。マーク４１１〜４１６、およびボタン４２１〜４２４は、グラフィカル・ユーザ・インタフェース（ＧＵＩ）である。本実施形態においては、背景４０１、マーク４１１〜４１６、および後述する文字データ５１１〜５１６がセットとなって一つの学習画像を構成する。各学習画像は、対応する背景、マーク、文字データと紐づけられて記憶部２０２または記憶部３０２に記録される。なお本実施形態において学習画像とは、静止画像だけではなく、動画やアニメーションといった動的要素も含まれる。

本学習アプリの使用者は、表示部３０４と一体のタッチパネルである操作部３０５に対して入力を行い、当該入力によってマーク４１１〜４１６、およびボタン４２１〜４２４を操作できる。例えば使用者が表示部３０４上のマーク４１１が表示されている箇所をタップすると、表示部３０４と一体の操作部３０５が有するタッチセンサーが使用者のタップを検出し、タップされた位置の座標データを取得する。取得された座標データは制御部３０１に出力される。当該座標データが示す位置が、マーク４１１が配置されている場所またはその周囲の所定の範囲内である場合、制御部３０１は、マーク４１１が操作されたと判断し、事前にプログラムされた当該操作がされた際に行うべき所定の制御を行う。なお本実施形態において、グラフィカル・ユーザ・インタフェースの操作としては、タップなどの指示入力を例に説明するが、これに限られることなく、タッチペンや他のコントローラによる入力でもよいし、マウスカーソルによるクリック等でもよい。

図５に示すように、本実施形態において例えばマーク４１１が操作された際には、制御部３０１は、マーク４１１を非表示にし、代わりに文字データ５１１を表示する。次に、この状態からマーク４１５が操作された際には、図６が示すように、制御部３０１は、まず文字データ５１１の表示をマーク４１１に戻し、さらにそこからマーク４１５を非表示にし、代わりに文字データ５１５を表示する。このように制御部３０１は、操作されたマークに対応する文字データを表示する。本実施形態においては、一つのマークに対応する文字データが表示されている状態から、別のマークが操作された際には、それまで表示されていた文字データをマークの表示に戻し、続いて操作された別のマークに対応する文字データを新たに表示する態様としているが、これに限られず、例えば一度操作されたマークに対応する文字データは、再度タップなどの操作を受け付けるまでは表示された状態が維持されるような態様でもよい。

図７に示すように、本実施形態においてボタン４２１は、マーク４１１〜４１６までの全てのマームに対応する文字データ５１１〜５１６を一括で表示するボタンである。一度ボタン４２１が操作されると表示領域４００にある全てのマークの表示が文字データの表示へと切り替わる。またその状態から再度ボタン４２１が操作されると、表示されている全ての文字データがマークの表示に戻る。

ボタン４２２は、表示領域４００にあるマークの表示を順番に文字データの表示へと切り替える。例えば、ボタン４２２が操作されると、マーク４１１の表示が文字データ５１１の表示へと切り替わり、一定時間経過後に再びマーク４１１の表示へと戻る。続いてマーク４１２の表示が文字データ５１２の表示へと切り替わり、一定時間経過後に再びマーク４１２の表示へと戻る。以後マーク４１３〜４１６についても同様の操作を繰り返す。また、本実施形態においては、マーク４１１の表示が文字データ５１１の表示へと切り替わった後再びマーク４１１の表示へと戻り、次のマーク４１２の表示が文字データ５１２の表示へと切り替わるといった態様をとるが、それに限られず例えば、マーク４１１の表示が文字データ５１１の表示へと切り替わった後再びマーク４１１の表示戻ることなく、次のマーク４１２の表示が文字データ５１２の表示へと切り替わるといった態様でもよい。この場合、全てのマークの表示が文字データの表示へと切り替わってから一定時間経過後に、全ての文字データの表示が一斉にマークの表示へと戻ってもよい。

ボタン４２３が操作されると、表示領域４００に表示されている学習画像が非表示になる。また、複数の学習画像が保存されている場合、ボタン４２４は、表示されている学習画像に代わって、保存されている複数の学習画像の中から所定の順番に従って、前の学習画像また次の学習画像に表示を切り替えるためのボタンである。ボタン４２４が操作されると、学習画像が別の学習画像に切り替わり、それに対応する背景、マーク、文字データのセットが表示される。

このように、本学習アプリの使用者は、暗記したい単語を視覚情報に紐づけて確認することができるため、暗記効率が向上する。

次に本学習アプリを用いて学習する際のプログラムの処理方法について、図８を参照して説明する。

プログラムが開始される（ＳＴＡＲＴ）と、操作部３０５において使用者の操作の受付を開始する（ステップＳ１０１）。その後、操作部３０５は、使用者がタッチパネルを介してマークにタップを行ったかを検出する（ステップＳ１０２）。ステップＳ１０２でマークへのタップが検出された場合、制御部３０１は、マークの表示を当該マークに対応する文字データの表示へと切り替える（ステップＳ１０３）。また、ステップＳ１０２でマークへのタップが検出されなかった場合、操作部３０５は繰り返しマークへのタップの検出を試みる。ステップＳ１０３の後、操作部３０５は、使用者がタッチパネルを介して終了操作または学習画像の切替操作を行ったかを検出する（ステップＳ１０４）。ステップＳ１０４で終了操作または学習画像の切替操作が検出された場合、制御部３０１は、学習画像を非表示にするまたは別の学習画像へと表示を切り替える（ＥＮＤ）。また、ステップＳ１０４で終了操作または学習画像の切替操作が検出されなかった場合、操作部３０５は再びマークへのタップの検出を繰り返す。

次に使用者が本学習アプリを用いて単語等を記憶するにあたり、記憶したい内容を学習画像として保存する際の処理について説明する。まず、本学習アプリが起動されると制御部３０１は、学習画像を用いて学習するか、または学習画像を作成するかの選択肢（図示せず）を表示部３０４に表示する。ここで学習画像を作成する選択がされた場合さらに制御部３０１は、使用者が学習画像の背景となる画像または動画を選択できるよう、図９に示すような画面６００を表示部に表示する。画面６００には、ＧＵＩであるボタン６０１〜ボタン６０３が表示される。ボタン６０１〜ボタン６０３は、背景用のデータとして何を用いるのかを選択するためのボタンである。例えば、ボタン６０１が選択された場合、制御部３０１は記憶部２０２または記憶部３０２に記録されている画像または動画データを一覧として表示する。その後使用者によって当該一覧から選択された画像または動画データを背景として用いる。ボタン６０２が選択された場合、制御部３０１は新たに写真または動画を撮影できるよう撮影部３０７を起動する。その後撮影部３０７によって撮影された写真または動画データを背景として用いる。ボタン６０３が選択された場合、テンプレートとして予め用意されている画像または動画データを背景として用いる。

本実施形態においては、背景として写真データが選択された場合について説明する。図１０に示すように、表示部３０４には選択された写真データが背景７００として表示される。また例えば表示部３０４には、ＧＵＩである保存ボタン７０１およびメニューボタン７０２が表示される。保存ボタン７０１は学習画像の作成が終了し、作成した内容を保存する際に操作される。メニューボタン７０２はスタンプ機能や落書き機能といった各種機能を実行さるためのメニューを開く際に操作される。また、前記メニューは、写真の明るさの調整や後述する言語の設定等といった各種設定を行えるようにしてもよい。使用者が背景７００の任意の位置（ここでは位置７１０とする）をタップすると、タッチパネルである操作部３０５はタップされた位置７１０の座標を検出し制御部３０１へと送る。

図１１に示すように、制御部３０１は、位置７１０の座標を受け取ると当該座標に対応する位置に文字データ入力部７２０を表示させる。本実施形態において文字データ入力部７２０は、背景７００に重畳されるように表示制御されるが、それ以外の一般的な画像合成技術により背景７００に表示させてもよい。文字データ入力部７２０は、使用者が記憶したい単語等の文字データを入力するためのスペースを備えており、図１１においては「まくら」という日本語の単語が入力されている。文字データを入力するにあたっては、前記スペースをタップすることにより画面上に出現する仮想キーボードを用いてもよい。仮想キーボードは、タップ操作と同様に操作部３０５のタッチパネルへの入力により操作される。また、文字データ入力部７２０は、辞書ボタン７２１および確定ボタン７２２を備えもよい。

辞書ボタン７２１は、入力されている単語を他の言語へと翻訳する際に用いられる。文字データ入力部７２０に文字が入力されている状態で辞書ボタン７２１が操作されると制御部３０１は、通信部３０６を制御し、ネットワーク４０を介してサーバ２０との通信を実行する。当該通信時に文字データ入力部に入力された文字データは、端末３０からサーバ２０へと送信される。サーバ２０は受信した文字データが意味する語に対応する他の言語の単語等を端末３０に送信する。ここでサーバ２０が辞書データベースを備え、単語等の照合や翻訳処理を実行してもよいし、サーバ２０はさらに外部のデータベース、他者が提供するサービス、または検索サイト等にネットワーク４０を介してアクセスを行い、対応する単語等を検索してもよい。また、サーバ２０は、複数のソース（例えばＷｅｂサイト）から情報を得る場合は、それら全てを端末３０に送信し、制御部３０１はそれらを例えば一覧として表示させて、使用者に選択させてもよい。前記一覧は、背景７００に重畳されるように表示されてもよいし、または一時的に表示画面の一部または全体が別画面に切り替わり、当該別画面中に表示されてもよい。入力された単語をどの言語に翻訳するかの選択は、例えばメニューボタン７０２を操作することにより予め設定されてもよいし、または辞書ボタン７２１が操作されるに付随して別途選択肢を新たに出現させてもよい。なお、辞書ボタン７２１の利用は必須ではなく、例えば入力すべき英語の綴りを知っている場合は、直接その英語を入力して保存してもよい。また、サーバ２０の代わりに端末３０が辞書データベースを備え、制御部３０１が翻訳処理を行ってもよいし、端末３０がネットワーク４０を介して検索サイト等にアクセスして、他の言語等を検索してもよい。

辞書ボタン７２１が操作され、文字データの翻訳が実行された様子を図１２に示す。文字データ入力部７２０には、当初入力された日本語の「まくら」に対応する英語の「ｐｉｌｌｏｗ」が表示されている。この状態で確定ボタン７２２を操作することにより、タップされた位置７１０の座標における文字データが仮登録される。

図１３は、文字データが仮登録された状態を示す。文字データが仮登録されたことにより、位置７１０の座標に対応する場所にはマーク７３０が表示されている。仮登録の段階においては、マーク７３０が備える編集ボタン７３１を操作することにより、文字データをさらに編集または修正することができる。編集ボタン７３１が操作されると、データ入力部７２０が再び表示され、入力されている文字データを編集することができる。

仮登録の内容で問題ない場合、保存ボタン７０１を操作することにより、学習画像の作成を終了する。なお、学習画像に仮登録できる単語等の数に上限はない。複数の単語等を仮登録する際は、上記の操作を単語ごとに行う。その場合、全ての仮登録が終了した状態で保存ボタン７０１を操作することにより、学習画面の作成を終了する。作成された学習画像は、端末３０の記憶部３０２に記録されるか、使用者のユーザ情報等と紐づけられてサーバ２０の記憶部２０２に記録される。

本実施形態においては、文字データを入力する態様を説明したが、文字以外のデータを入力可能としてもよい。例えば、手書きの絵、グラフ、図表、画像や動画のデータであってもよい。その場合、文字データ入力部７２０の代わりに、手書き入力用のバーチャルパッドや、記憶部２０２または記憶部３０２からグラフや画像のデータを呼び出すためのユーザインタフェースを表示させてもよい。

また、本実施形態においては、使用者が記憶したい単語等の文字データを入力するとしたが、これに加え、関連情報等を入力してもよい。関連情報とは例えば、入力された文字データに関する解説、類似語、他の近似表現、参考情報などである。

また、本実施形態においては、文字データ入力部７２０が辞書ボタン７２１および確定ボタン７２２を備える構成としたが、これに限られず、例えば辞書ボタン７２１は、表示領域内の任意の箇所に配置されてもよい。その場合、文字データ入力部７２０に文字データが入力されている状態で、表示領域内にある辞書ボタン７２１を操作することにより、翻訳等を実行してもよい。また、例えば辞書ボタン７２１は、文字データを入力中の文字データ入力部７２０の付近に表示されてもよい。その場合、辞書ボタン７２１は、当該文字データ入力部７２０の位置を示す座標データに基づいて位置が決められもよい。ここでの座標データとは、当該文字データ入力部７２０を表示するために使用者がタッチパネルにタップした位置の座標でもよいし、表示された後の当該文字データ入力部７２０の外郭または外周に基づく位置座標でもよい。文字データ入力部７２０が多角形の形状を有する場合は、前記位置座標とは当該多角形の角を示す位置の座標でもよい。

上記のように、本学習アプリの使用者は、記憶したい単語を視覚情報に紐づけて保存することができる。上述の通り、使用者は視覚情報である背景７００を確認しながら、文字データを設置する座標位置を決定できるため、容易に学習画像を作成することができる。また、背景７００に含まれる被写体の位置付近に当該被写体に対応する単語等を設置できるため、視覚情報と文字情報が結びつき記憶の効率が向上する。また、辞書ボタン７２１を用いることにより、事前に単語の綴りなどを調べて準備しておく必要がないので、使用者は背景７００を目視で確認しながら、気になった被写体の英語表現をその場で知ることができ、さらにそのまま記憶する用の学習画像として保存できる。また、背景７００に用いられる画像または動画のデータを使用者が選択できるため、自身の生活環境の写真や思い出深い情景の映像を用いることにより、より一層記憶に定着させることができる。

次に本学習アプリを用いて学習画像を作成する際に、暗記したい単語を学習画像に仮登録するプログラムの処理方法について、図１４を参照して説明する。

使用者により背景となる画像または動画データが選択されてプログラムが開始される（ＳＴＡＲＴ）と、操作部３０５において使用者の操作の受付を開始する（ステップＳ２０１）。その後操作部３０５は、使用者がタッチパネルにタップを行ったかを検出する（ステップＳ２０２）。ステップＳ２０２でタッチパネルへのタップが検出された場合、制御部３０１は、タップされた位置に対応する座標に文字データ入力部７２０を表示する（ステップＳ２０３）。また、ステップＳ２０２でタップが検出されなかった場合、操作部３０５はタップの検出を繰り返す。ステップＳ２０３の後、操作部３０５は、文字データ入力部７２０に文字の入力がされたかを検出する（ステップＳ２０４）。ステップＳ２０４で文字の入力がされなかった場合、操作部３０５は当該検出を繰り返す。ステップＳ２０４で文字の入力がされた場合、操作部３０５は辞書ボタン７２１が操作されたかを検出する（ステップＳ２０５）。ステップＳ２０５で辞書ボタン７２１の操作が検出された場合、制御部３０１は翻訳処理を実行する（ステップＳ２０６）。翻訳処理は、通信部３０６を介してのサーバ２０との交信により行われ、文字データ入力部７２０に翻訳後の文字データが表示されることをもって終了する。翻訳処理が実行された後、またはステップＳ２０５で辞書ボタン７２１の操作が検出されなかった場合、操作部３０５は確定ボタン７２２が操作されたかを検出する（ステップＳ２０７）。ステップＳ２０７で確定ボタン７２２の操作が検出されなかった場合、操作部３０５はステップ２０４の文字入力の検出からの操作を繰り返す。ステップＳ２０７で確定ボタン７２２の操作が検出された場合、制御部３０１は、仮登録の処理を終了する（ＥＮＤ）。

なお、図１４には仮登録の終了までの処理方法が示されているが、学習画像の作成は、仮登録がされた単語等が１つ以上存在する状態で保存ボタン７０１が操作されることをもって終了する。

（第２実施形態）
次に、本発明の別の施形態について、図１５から図１７を参照して説明する。

第１実施形態では、学習画像を作成する際に、タッチパネルにタップをすることで、当該箇所の座標を基に記憶したい単語等を設置したが、第２実施形態では、タッチパネルに対して行ったスワイプ操作を基に単語等を動的に設置する。なお、第１実施形態と同じ内容の処理については説明を省略する。

図１５は、本実施形態において、学習画像作成時に使用者が記憶したい単語等を仮登録する際の操作を表す図である。図１５には、背景８００が表示されている表示領域に使用者がタッチパネルを介して指示操作８０１を行い、そのまま指示を解除することなく、すなわち指をタッチパネルに接触したまま、指示操作８０２の位置までスワイプ操作をしていることが示されている。指示操作８０２の位置で指示は解除される。この際操作部３０５は、指示操作８０１の位置でタッチパネルにより操作入力を検出し、その後当該入力を逐次検出し続け、指示操作８０２の位置で入力の解除を検出する。また、操作部３０５は、制御部３０１に対して、これらの検出信号を出力する。

制御部３０１は、入力の解除の検出信号を受け取ると、解除がなされた位置の座標を基に文字データ入力部８１０を表示する。図１６には、指示操作８０２の位置で入力が解除された後に、入力解除位置に基づき文字データ入力部８１０が表示されていることが示されている。文字データ入力部８１０の詳細については、第１実施形態の文字データ入力部７２０と同様である。また、以後の処理についても第１実施形態と同じであるため省略する。

次に、本実施形態において学習をする際に、学習画像に記憶したい単語等が表示される様子について、図１７を参照して説明する。図１７には、ＧＵＩであるマーク８２０が移動しながら表示されている様子が示されている。マーク８２０は、第１実施形態のマーク４１１〜４１６と同様、タップ操作をされることにより文字データの表示へと変わる。ここで表示される文字データは、上記の学習画像作成時に文字データ入力部８１０に入力された文字データある。また、マーク８２０の移動経路は、学習画像作成時に操作入力が行われた軌跡に従う。従ってここでは、マーク８２０は、指示操作８０１の位置（図１５）から指示操作８０２の位置（図１５）まで、学習画像作成時に操作部３０５が逐次検出した操作入力の軌跡に沿って移動する。マーク８２０は、移動の途中でタップされた場合は、文字データの表示に変わり、移動を続ける。

このように本実施形態では、学習時に表示されるマークや文字データに動きを与えることで、学習画像に動的要素を追加でき、記憶の定着を促すことができる。

１０：通信システム、２０：サーバ、３０：端末、４０：ネットワーク、２００：サーバのハードウェア構成、２０１：制御部、２０２：記憶部、２０３：ＲＡＭ、２０４：通信部、３００：端末のハードウェア構成、３０１：制御部、３０２：記憶部、３０３：ＲＡＭ、３０４：表示部、３０５：操作部、３０６：通信部、３０７：撮影部、４００：表示領域、４０１：背景、４１１〜４１６：マーク、４２１〜４２４：ボタン、５１１〜５１６：文字データ、７００：背景、７２０：文字データ入力部、７２１：辞書ボタン、７２２：確定ボタン、７３１：編集ボタン

Claims

画像または映像を含む背景データが表示される表示領域への指示入力を受け付け、
前記指示入力がなされた表示領域内の位置に基づき文字データ入力部を表示し、
前記文字データ入力部に入力された文字データと前記文字データ入力部の表示位置を示す座標データと前記背景データとを関連付けて、表示用データとして記憶することをコンピュータに実行させるプログラム。
前記表示用データを呼び出し、
前記背景データを表示し、
前記座標データに基づき、前記文字データまたは標識画像を当該背景データに重畳させて表示することをコンピュータに実行させる請求項１に記載のプログラム。
前記文字データまたは前記標識画像のどちらか一方のみを表示することをコンピュータに実行させる請求項２に記載のプログラム。
前記標識画像はグラフィカル・ユーザ・インタフェースであり、当該標識画像に対する入力がなされると表示内容を当該標識画像から前記文字データへと変化させることをコンピュータに実行させる請求項２または３に記載のプログラム。
前記標識画像を移動させながら表示することをコンピュータに実行させる請求項２〜４に記載のプログラム。
前記文字データ入力部に入力された文字データを他の言語に変換することをコンピュータに実行させる請求項１〜５に記載のプログラム。
前記他の言語への変換操作を受け付ける操作受付部を前記座標データに基づく位置に表示することをコンピュータに実行させる請求項６に記載のプログラム。
前記他の言語に変換された文字データを、前記表示用データとして記憶することをコンピュータに実行させる請求項６または７に記載のプログラム。
前記文字データ入力部に入力された文字データに関連する情報をさらに前記表示用データとして記憶することをコンピュータに実行させる請求項１〜８に記載のプログラム。