JP2023090740A - 入力装置、入力支援方法及びプログラム - Google Patents

Abstract

【課題】便利な入力方式を提供すること。【解決手段】入力プログラムは、表示装置２６の表示画面に表示された内容を選択することと、内容が選択されている間の実行指示を受けて、内容を表示画面の予め定められた入力エリアへの入力内容に設定することとをＣＰＵ２１に実行させる。【選択図】図１

Description

本発明は、入力プログラム、入力装置及び入力方法に関する。

ウェブブラウザ上で利用可能なグラフ描画アプリケーションが知られている。例えば、非特許文献１において提案されているアプリケーションでは、ユーザが式リストに入力した数式に基づいて演算が行われ、演算の結果に基づくグラフがウェブブラウザ上に描画される。

Ｄｅｓｍｏｓ，ｄｅｓｍｏｓ ユーザーガイド，堀川由人 訳［ｏｎｌｉｎｅ］，［令和２年９月１１日検索］、インターネット＜ＵＲＬ：https://desmos.s3.amazonaws.com/Desmos_User_Guide_JA.pdf＞

上述のようなアプリケーションでは、便利な入力方式が求められる。本発明は、便利な入力方式を提供することを目的とする。

本発明の第１の態様の入力プログラムは、表示装置の表示画面に表示された内容を選択することと、選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することとをコンピュータに実行させる。

本発明の第２の態様の入力装置は、表示装置の表示画面に表示された内容を選択するための入力部と、選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することを実行するプロセッサとを具備する。

本発明の第３の態様の入力方法は、表示装置の表示画面に表示された内容を選択することと、
選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することとを具備する。

図１は、本発明の一実施形態に係るシステムの構成の一例を示す図である。 図２は、端末のウェブブラウザ上で動作するアプリケーションによる画面表示の一例を示す図である。 図３は、システムにおけるウェブアプリケーションの実行時の処理の流れの一例を示す図である。 図４は、計算付箋作成処理の一例の流れを示す図である。 図５は、認識処理について示すフローチャートである。 図６は、通常の計算付箋の作成動作を説明するための図である。 図７は、参考付箋からの計算付箋の第１の作成動作を説明するための図である。 図８は、参考付箋からの計算付箋の第１の作成動作を説明するための図である。 図９は、参考付箋からの計算付箋の第２の作成動作を説明するための図である。 図１０は、参考付箋からの計算付箋の第３の作成動作を説明するための図である。 図１１は、参考付箋からの計算付箋の第３の作成動作を説明するための図である。 図１２は、参考付箋からの計算付箋の第４の作成動作を説明するための図である。

本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係るシステム１の構成の一例を示す図である。システム１は、サーバ１０と、端末２０とを含む。サーバ１０と端末２０とは、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットである。なお、図１には、１台の端末２０のみが示されているが、端末２０の台数は１台に限定されない。すなわち、端末２０は２台以上であってもよい。

サーバ１０は、プロセッサ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ストレージ１４と、通信装置１５とを有している。これらの各々は、システムバス１９を介して互いに接続されている。

プロセッサ１１は、ＣＰＵ（Central Processing Unit）等を含む集積回路であってよい。ＲＯＭ１２は、プロセッサ１１等の動作に用いられる情報を記録している。ＲＡＭ１３は、プロセッサ１１等の動作のための主記憶装置である。ストレージ１４には、プロセッサ１１で用いられるサーバ制御プログラム、各種演算を実行するための演算プログラム等の各種プログラム、パラメータ等が記憶されている。プロセッサ１１は、ストレージ１４に記憶されたプログラムに従ってサーバ１０の動作を制御する。プロセッサ１１として、ＣＰＵ以外のプロセッサ、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing unit）等が用いられてもよい。通信装置１５は、ネットワーク３０等の外部の通信ネットワークと通信するための回路を含む。

端末２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、入力装置２５と、表示装置２６と、通信装置２７とを有している。これらの各々は、システムバス２９を介して互いに接続されている。端末２０は、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の電子機器であってよい。また、端末２０は、通信機能を備えた関数電卓等であってもよい。

ＣＰＵ２１は、端末２０の各種動作を制御するプロセッサである。ＲＯＭ２２は、端末２０の起動プログラム等を記録している。ＲＡＭ２３は、ＣＰＵ２１等のための主記憶装置である。ストレージ２４には、ＣＰＵ２１で用いられる端末制御プログラム等の各種プログラム、パラメータ等が記憶されている。ＣＰＵ２１は、入力装置２５からの入力信号や通信装置２７による受信信号に応じて各種プログラムを実行することで端末２０の動作を制御する。各種プログラムは、不図示のウェブサーバからネットワーク３０、通信装置２７を介してストレージ２４にダウンロードされてもよい。通信装置２７は、ネットワーク３０等の外部の通信ネットワークと通信するための回路を含む。

入力装置２５は、キーボード、マウス、タッチパネル等を含む入力部である。入力装置２５を介したユーザ操作に応じて、そのユーザ操作の内容を示す信号がシステムバス２９を介してＣＰＵ２１に入力される。

表示装置２６は、液晶ディスプレイ、有機ＥＬディスプレイ等である。表示装置２６は、端末２０に一体的に設けられていてもよいし、端末２０とは別に設けられていてもよい。表示装置２６には、各種の画像が表示される。

一例では、ユーザは、端末２０で動作するウェブブラウザにおいてサーバ１０のアドレスを指定する。このとき、サーバ１０に記憶されているウェブアプリケーションのための表示画面が端末２０のウェブブラウザ上に表示される。この表示画面上での入力装置２５を介した操作に応じてサーバ１０へのリクエストが発行される。この操作は、例えば表示画面上での数値又は数式の入力操作を含む。サーバ１０は、リクエストに応じた処理を実行し、処理結果をレスポンスとして端末２０に返す。端末２０は、サーバ１０からのレスポンスに従って数式の計算結果を表示したり、数式に応じて作図されたグラフを表示したりする。このように、システム１では、端末２０のウェブブラウザ上で動作するプログラムとサーバ１０の演算プログラムとにより、グラフ描画等のためのウェブアプリケーションとしての機能が実現される。

このようなウェブアプリケーションは、例えば、ＩＣＴ（Information and Communication Technology）化が進む学校教育の現場において、数学の授業等で活用され得る。

図２は、端末２０のウェブブラウザ上で動作するアプリケーションによる画面表示の一例を示す図である。

端末２０の表示装置２６に表示される画面２６ａは、上段エリア１００ａと、下段エリア１００ｂとを含む。上段エリア１００ａは、画面２６ａの上側に表示される。上段エリア１００ａは、下段エリア１００ｂに比べて細長いエリアである。上段エリア１００ａには、新規ペーパ作成アイコン１００ｃが表示される。下段エリア１００ｂは、画面２６ａ中の上段エリア１００ａよりも下側に配置されるエリアである。以下の説明においては、下段エリア１００ｂは、ペーパ１００とも称される。ペーパ１００には、種々の「付箋」が表示され得る。付箋は、ウェブアプリケーションに係る種々の情報を表示するための小さな表示エリアである。付箋は、ユーザによる各種の入力を受け付ける入力エリアでもあり得る。付箋は、フローティングオブジェクトであってよい。フローティングオブジェクトは、画面に表示されるオブジェクト（表示体）であって、ユーザ操作に応じて少なくとも表示位置を変更できるオブジェクトである。

図２のペーパ１００には、計算付箋１０１と、グラフ関数付箋１０２と、参考付箋１０３とが表示されている例が示されている。付箋は、計算付箋１０１、グラフ関数付箋１０２、参考付箋１０３以外の付箋を有していてもよい。

計算付箋１０１は、ユーザの操作を受けて入力された数値又は数式を表示するための表示エリアを含む付箋である。図２では、２つの計算付箋１０１１及び１０１２が表示されている。例えば、ユーザがペーパ１００の任意の位置を選択すると、図示しない付箋作成メニューが表示される。ユーザが付箋作成メニューの中から「計算付箋作成」を選択すると、計算付箋１０１とソフトウェアキーボードとがペーパ１００の中に表示される。ユーザは、ソフトウェアキーボードの各キーを選択することによって、所望の数値又は数式を計算付箋１０１の中に入力することができる。計算付箋１０１に入力された数値又は数式は、それ自体が数値の情報を有する。計算付箋１０１に入力された数値又は数式の情報は、サーバ１０に送られる。

ここで、計算付箋１０１に入力された数式がそれ単独で数値計算できる式であるとき、サーバ１０は、数式の計算結果を端末２０に返す。この計算結果は、計算付箋１０１の例えば右下隅に表示される。例えば、計算付箋１０１１には「ａ＝３」と入力されている。この場合、計算結果である「３」が計算付箋１０１１の右下隅に表示される。一方、計算付箋１０１に入力された数式が文字式及び関数等のそれ単独で計算できない式であり、かつ、必要な引数の値が決まっていないときには、サーバ１０は、計算ができない旨を端末２０に返す。例えば、計算付箋１０１２には２次方程式の解の公式が入力されている。この場合、「ａ」、「ｂ」、「ｃ」が決まらなければ数値計算をすることができない。この場合、数式は関数として扱われ、計算付箋１０１２の右下隅には計算結果は表示されない。図２では、計算付箋１０１２の右下隅には計算結果の代わりに「ｄｏｎｅ」の文字列が表示されている。なお、計算付箋１０１２において入力された、「ａ」、「ｂ」、「ｃ」は、関数における引数として扱われる。例えば、図２では、計算付箋１０１１において、「ａ＝３」と入力されている。この場合、計算付箋１０１２の「ａ」は「３」であるとして扱われる。「ａ」、「ｂ」、「ｃ」のすべての値が決められたとき、サーバ１０は、計算付箋１０１２に入力された数式の計算結果を返す。この場合、計算付箋１０１２の例えば右下隅に計算結果が表示されることになる。また、関数として扱われる数式は、グラフの作図等に用いられ得る。

また、計算付箋１０１に入力される数値又は数式は、それ自体が文字又は記号の情報も有する。したがって、計算付箋１０１に入力される数値又は数式は、ユーザによるコピー・アンド・ペースト操作によって別の計算付箋１０１への入力に利用され得る。

さらに、実施形態では、後で説明する参考付箋１０３に表示される内容を計算付箋１０１への入力内容として利用することができる。参考付箋１０３に表示される内容は、文字の情報だけで、必ずしも数値の情報を有していなくてもよい。文字の情報しか有しない数値又は数式は、例えば電子書籍に表示された数値又は数式である。電子書籍は、教科書、参考書、論文集等の電子書籍であってよい。また、電子書籍は、スキャン等をすることで紙媒体の書籍を電子化したものであってもよい。また、文字の情報しか有しない数値又は数式は、電子書籍以外の各種の電子媒体の情報であってよい。

グラフ関数付箋１０２は、ユーザの操作を受けて入力された関数を表示するための表示エリアを含む付箋である。例えば、ユーザが付箋作成メニューの中から「グラフ付箋作成」を選択すると、グラフ関数付箋１０２とソフトウェアキーボードとがペーパ１００の中に表示される。ユーザは、ソフトウェアキーボードの各キーを選択することによって、所望の関数をグラフ関数付箋１０２の中に入力することができる。グラフ関数付箋１０２に入力された関数の情報は、サーバ１０に送られる。サーバ１０は、送られてきた関数の情報に基づいてグラフを表示するための点群の座標を計算し、計算した点群の座標の情報を端末２０に返す。端末２０は、この点群の座標の入力を受けて、図示しないグラフ付箋をペーパ１００の中に作成し、このグラフ付箋にグラフを描画する。

参考付箋１０３は、電子書籍等の別ファイルの内容を参考として表示するための表示エリアを含む付箋である。例えば、ユーザが付箋作成メニューの中から「参考付箋作成」を選択し、表示させる電子書籍等のファイルを選択すると、参考付箋１０３がペーパ１００に表示される。

以下、システム１における一連の処理の流れについて説明する。図３は、システム１におけるウェブアプリケーションの実行時の処理の流れの一例を示す図である。図３の処理は、端末２０からサーバ１０に対してウェブアプリケーションの起動のリクエストがされた後に実行される。なお、ウェブアプリケーションの起動のリクエストに際して、ＩＤ及びパスワードの入力等のログイン処理が行われてもよい。ウェブアプリケーションの起動のリクエストを受けて、サーバ１０は、初期画面のデータを含むウェブアプリケーションのプログラムを端末２０に送る。これを受けて、端末２０は、初期画面をウェブブラウザ上に表示する。初期画面では、ペーパ１００が作成されておらず、上段エリア１００ａに新規ペーパ作成アイコン１００ｃが表示されている。なお、図３の処理は、端末２０のＣＰＵ２１とサーバ１０のプロセッサ１１との連携によって実行される。

ステップＳ１において、端末２０のＣＰＵ２１は、新規ペーパを作成するか否かを判定する。例えば、初期画面において、ユーザによって新規ペーパ作成アイコン１００ｃが選択されたときに、端末２０のＣＰＵ２１は、新規ペーパを作成すると判定する。ステップＳ１において、新規ペーパを作成すると判定されていないときには、処理はステップＳ８に移行する。ステップＳ１において、新規ペーパを作成すると判定されたときには、処理はステップＳ２に移行する。

ステップＳ２において、ＣＰＵ２１は、新たにペーパ１００のデータを作成する。そして、ＣＰＵ２１は、作成したペーパ１００をウェブアプリケーションの表示画面に重ねてウェブブラウザ上に表示する。これにより、端末２０のウェブブラウザ上の表示は、新たに作成されたペーパ１００が表示された状態に更新される。その後、処理はステップＳ３に移行する。

ステップＳ３において、ＣＰＵ２１は、計算付箋１０１を作成するか否かを判定する。例えば、ペーパ１００が作成済みの場合において計算付箋１０１の作成のための操作がユーザによってされた場合に、ＣＰＵ２１は、計算付箋１０１を作成すると判定する。計算付箋１０１の作成のための操作は、例えばユーザがペーパ１００の任意の位置を選択したときに表示される付箋作成メニューの中の「計算付箋作成」を選択する操作である。または、計算付箋１０１の作成のための操作は、参考付箋１０３に表示された内容の選択操作である。ステップＳ３において、計算付箋１０１を作成すると判定されたときには、処理はステップＳ４に移行する。ステップＳ３において、計算付箋１０１を作成しないと判定されたときには、処理はステップＳ５に移行する。

ステップＳ４において、ＣＰＵ２１は、計算付箋作成処理を行う。計算付箋作成処理の後、処理はステップＳ８に移行する。計算付箋作成処理については後で詳しく説明する。

ステップＳ５において、ＣＰＵ２１は、参考付箋１０３を作成するか否かを判定する。例えば、ペーパ１００が作成済みの場合において参考付箋１０３の作成のための操作がユーザによってされた場合に、ＣＰＵ２１は、参考付箋１０３を作成すると判定する。参考付箋１０３の作成のための操作は、例えばユーザがペーパ１００の任意の位置を選択したときに表示される付箋作成メニューの中の「参考付箋作成」を選択する操作である。ステップＳ５において、参考付箋１０３を作成すると判定されたときには、処理はステップＳ６に移行する。ステップＳ５において、参考付箋１０３を作成しないと判定されたときには、処理はステップＳ７に移行する。

ステップＳ６において、ＣＰＵ２１は、参考付箋作成処理を行う。その後、処理はステップＳ８に移行する。参考付箋作成処理において、ＣＰＵ２１は、ユーザによる電子書籍等のファイルの選択を待つ。電子書籍等のファイルは、例えば端末２０のストレージ２４に記憶されている。この他、電子書籍等のファイルは、サーバ１０のストレージ１４に記憶されていてもよいし、ネットワーク３０上の他のストレージに記憶されていてもよい。電子書籍等のファイルの選択を受け、ＣＰＵ２１は、ペーパ１００に参考付箋１０３を表示させ、この参考付箋１０３にユーザによって選択された電子書籍等のファイルの内容を表示させる。

ステップＳ７において、ＣＰＵ２１は、計算付箋作成処理以外のその他の処理を行う。その他の処理は、作成済みの計算付箋への入力処理を含む。作成済みの計算付箋への入力処理は、後で説明する未作成の計算付箋への入力処理と同様でよい。したがって説明を省略する。また、その他の処理は、グラフ付箋の作成処理、幾何図形付箋の作成処理といった処理を含む。これらのその他の処理の詳細については説明を省略する。その他の処理の終了後、処理はステップＳ８に移行する。

ステップＳ８において、ＣＰＵ２１は、ウェブアプリケーションの処理を終了するか否かを判定する。例えば、ウェブブラウザを閉じる操作がされた場合には、ＣＰＵ２１は、処理を終了すると判定する。ステップＳ８において、ウェブアプリケーションの処理を終了すると判定されていないときには、処理はステップＳ１に戻る。ステップＳ８において、ウェブアプリケーションの処理を終了すると判定されたときには、ＣＰＵ２１は、図３の処理を終了する。

図４は、計算付箋作成処理の一例の流れを示す図である。ステップＳ１０１において、端末２０のＣＰＵ２１は、計算付箋１０１の作成のための操作として、付箋作成メニューの中から「計算付箋作成」が選択される操作がされたか否かを判定する。ステップＳ１０１において、「計算付箋作成」が選択される操作がされたと判定されたときには、処理はステップＳ１０２に移行する。ステップＳ１０１において、「計算付箋作成」が選択される操作がされていない、すなわち参考付箋１０３に表示された内容の選択がされたと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０２において、ＣＰＵ２１は、ペーパ１００のユーザによって指定された位置に計算付箋１０１を表示させる。また、ＣＰＵ２１は、ペーパ１００にソフトウェアキーボードを表示させる。そして、ＣＰＵ２１は、計算付箋１０１への入力処理を開始する。

ステップＳ１０３において、ＣＰＵ２１は、実行指示が入力されたか否かを判定する。実行指示は、例えばソフトウェアキーボードの実行キーの選択によってされる。ステップＳ１０３において、実行指示が入力されていないと判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、実行指示が入力されたと判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０４において、ＣＰＵ２１は、ユーザによる入力があるか否かを判定する。ステップＳ１０４におけるユーザによる入力は、例えばユーザが計算付箋１０１に入力したい、数値、数式、文字、数学記号の入力である。ユーザによる入力は、例えばソフトウェアキーボードによって行われる。ユーザによる入力は、ハードウェアとしてのキーボード等から行われてもよい。ステップＳ１０４において、ユーザによる入力があると判定されたときには、処理はステップＳ１０５に移行する。ステップＳ１０４において、ユーザによる入力がないと判定されたときには、処理はステップＳ１０６に移行する。

ステップＳ１０５において、ＣＰＵ２１は、ユーザの入力した内容に従って計算付箋１０１の表示内容を更新する。例えば、ＣＰＵ２１は、ユーザの入力した数値、数式、文字を計算付箋１０１に表示させる。その後、処理はステップＳ１０６に移行する。

ステップＳ１０６において、ＣＰＵ２１は、計算付箋１０１への入力処理を終了するか否かを判定する。例えば、ユーザによって計算付箋１０１以外の箇所が選択されたときには、計算付箋１０１への入力処理を終了すると判定される。ステップＳ１０６において、計算付箋１０１への入力処理を終了すると判定されたときには、ＣＰＵ２１は、図４の処理を終了させる。この場合、処理は、図３のステップＳ８に移行する。ステップＳ１０６において、計算付箋１０１への入力処理を終了しないと判定されたときには、処理はステップＳ１０３に戻る。

ステップＳ１０７において、ＣＰＵ２１は、計算付箋１０１において入力された内容をサーバ１０に送信する。サーバ１０のプロセッサ１１は、受信した内容に従って計算をする。前述したように、プロセッサ１１は、計算付箋１０１に入力された数式がそれ単独で数値計算できる式であるとき、数式の計算結果を端末２０に返す。一方、プロセッサ１１は、計算付箋１０１に入力された数式が文字式及び関数等のそれ単独で計算できない式であり、かつ、必要な引数の値が決定されていないときには、計算ができない旨の通知を端末２０に返す。

ステップＳ１０８において、ＣＰＵ２１は、サーバ１０からの応答があったか否かを判定する。ここでの応答は、計算結果又は計算ができない旨の通知を含む。ステップＳ１０８においてサーバ１０からの応答があったと判定されるまで、ＣＰＵ２１は、処理を待機する。ステップＳ１０８において、サーバ１０からの応答があったと判定されたとき、処理はステップＳ１０９に移行する。

ステップＳ１０９において、ＣＰＵ２１は、サーバ１０からの応答に従って計算付箋１０１の表示内容を更新する。例えば、ＣＰＵ２１は、計算結果を計算付箋１０１に表示させる。その後、ＣＰＵ２１は、図４の処理を終了させる。この場合、処理は、図３のステップＳ８に移行する。

ステップＳ１１０において、ＣＰＵ２１は、ペーパ１００における所定の位置に計算付箋１０１を表示させる。また、ＣＰＵ２１は、ペーパ１００にソフトウェアキーボードを表示させる。そして、ＣＰＵ２１は、計算付箋１０１への入力処理を開始する。

ステップＳ１１１において、ＣＰＵ２１は、実行指示が入力されたか否かを判定する。ステップＳ１１１において、実行指示が入力されていないと判定されたときには、処理はステップＳ１１２に移行する。ステップＳ１１１において、実行指示が入力されたと判定されたときには、処理はステップＳ１１５に移行する。

ステップＳ１１２において、ＣＰＵ２１は、ユーザによる入力があるか否かを判定する。ステップＳ１１２におけるユーザによる入力は、例えばユーザが変数登録をしたい変数名の入力である。ステップＳ１１２において、ユーザによる入力があると判定されたときには、処理はステップＳ１１３に移行する。ステップＳ１１２において、ユーザによる入力がないと判定されたときには、処理はステップＳ１１４に移行する。

ステップＳ１１３において、ＣＰＵ２１は、ユーザの入力した内容に従って計算付箋１０１の表示内容を更新する。例えば、ＣＰＵ２１は、ユーザの入力した数値、文字を計算付箋１０１に表示させる。

ステップＳ１１４において、ＣＰＵ２１は、計算付箋１０１への入力処理を終了するか否かを判定する。例えば、ユーザによって計算付箋１０１及び参考付箋１０３以外の箇所が選択されたときには、計算付箋１０１への入力処理を終了すると判定される。ステップＳ１１４において、計算付箋１０１への入力処理を終了すると判定されたときには、ＣＰＵ２１は、図４の処理を終了させる。この場合、処理は、図３のステップＳ８に移行する。ここで、ステップＳ１１４において、入力処理を終了すると判定されたとき、参考付箋１０３における選択が解除されてもよい。ステップＳ１１４において、計算付箋１０１への入力処理を終了しないと判定されたときには、処理はステップＳ１１１に戻る。

ステップＳ１１５において、ＣＰＵ２１は、参考付箋１０３において選択された内容を認識する認識処理を行う。認識処理の後、処理はステップＳ１１６に移行する。認識処理の詳細については後で説明する。

ステップＳ１１６において、ＣＰＵ２１は、計算付箋１０１において入力された内容をサーバ１０に送信する。サーバ１０のプロセッサ１１は、受信した内容に従って計算をする。前述したように、プロセッサ１１は、計算付箋１０１に入力された数式がそれ単独で数値計算できる式であるとき、数式の計算結果を端末２０に返す。一方、プロセッサ１１は、計算付箋１０１に入力された数式が文字式及び関数等のそれ単独で計算できない式であり、かつ、必要な引数の値が決定されていないときには、計算ができない旨の通知を端末２０に返す。

ステップＳ１１７において、ＣＰＵ２１は、サーバ１０からの応答があったか否かを判定する。ステップＳ１１７においてサーバ１０からの応答があったと判定されるまで、ＣＰＵ２１は、処理を待機する。ステップＳ１１７において、サーバ１０からの応答があったと判定されたとき、処理はステップＳ１１８に移行する。

ステップＳ１１８において、ＣＰＵ２１は、サーバ１０からの応答に従って計算付箋１０１の表示内容を更新する。例えば、ＣＰＵ２１は、計算結果を計算付箋１０１に表示させる。その後、ＣＰＵ２１は、図４の処理を終了させる。この場合、処理は、図３のステップＳ８に移行する。

図５は、認識処理について示すフローチャートである。ステップＳ２０１において、ＣＰＵ２１は、参考付箋１０３において選択された箇所の内容を認識する。認識の後、処理はステップＳ２０２に移行する。例えばストレージ２４には、数値、数式（数学記号）、文字の形状のデータが記憶されている。ＣＰＵ２１は、参考付箋１０３の表示に用いられているファイルが画像ファイル等の直接的に内容を認識することができないファイルであれば、表示されている画像と数値、数式、文字の形状とを比較することによって認識をする。一方、ＣＰＵ２１は、参考付箋１０３において表示に用いられているファイルがテキストファイル等の直接的に内容を認識することができるファイルであれば、そのデータの内容から認識をする。

ステップＳ２０２において、ＣＰＵ２１は、認識した内容が数値又は計算できる数式であるか否かを判定する。ステップＳ２０２において、認識した内容が数値又は計算できる数式であると判定されたときには、処理はステップＳ２０３に移行する。ステップＳ２０２において、認識した内容が数値又は計算できる数式でないと判定されたときには、処理はステップＳ２０４に移行する。

ステップＳ２０３において、ＣＰＵ２１は、認識した内容を数値又は計算できる数式として変数登録する。つまり、ＣＰＵ２１は、認識した数値又は数式とユーザによって入力された変数名とを関連づける。その後、ＣＰＵ２１は、図５の処理を終了させる。この場合、処理は図４のステップＳ１１６に移行し、その後にサーバ１０から計算結果が受信される。

ステップＳ２０４において、認識した内容が計算できない数式であるか否かを判定する。ステップＳ２０４において、認識した内容が計算できない数式であると判定されたときには、処理はステップＳ２０５に移行する。ステップＳ２０４において、認識した内容が計算できない数式でないと判定されたときには、処理はステップＳ２０６に移行する。

ステップＳ２０５において、ＣＰＵ２１は、認識した内容を計算できない数式、例えば関数として変数登録する。つまり、ＣＰＵ２１は、認識した数式とユーザによって入力された変数名とを関連づける。その後、ＣＰＵ２１は、図５の処理を終了させる。この場合、処理は図４のステップＳ１１６に移行し、その後にサーバ１０から計算ができない旨の通知が受信される。前述したように、計算できない数式は関数として扱われる。

ステップＳ２０６において、認識した内容が表であるか否かを判定する。表は、例えば少なくとも１つのセルに数値又は数式が記録されている画像又はそれを表すデータである。１つのセルは、４つの罫線に囲まれた領域である。表は、スプレッドシート等のデータであってもよい。ステップＳ２０６において、認識した内容が表であると判定されたときには、処理はステップＳ２０７に移行する。ステップＳ２０６において、認識した内容が表でないと判定されたときには、処理はステップＳ２０８に移行する。

ステップＳ２０７において、ＣＰＵ２１は、認識した内容を行毎のリストとして変数登録する。つまり、ＣＰＵ２１は、行毎に認識した数値とユーザによって入力された変数名とをリスト形式で関連づける。その後、ＣＰＵ２１は、図５の処理を終了させる。この場合、処理は図４のステップＳ１１６に移行する。

ステップＳ２０８において、認識した内容が行列であるか否かを判定する。行列は、複数の数値又は数式がカンマで区切られずに括弧の中に縦横に配列されている画像又はそれを表すデータである。ステップＳ２０８において、認識した内容が行列であると判定されたときには、処理はステップＳ２０９に移行する。ステップＳ２０８において、認識した内容が行列でないと判定されたときには、処理はステップＳ２１０に移行する。

ステップＳ２０９において、ＣＰＵ２１は、認識した内容を行列として変数登録する。つまり、ＣＰＵ２１は、認識した数値とユーザによって入力された変数名とを行列形式で関連づける。その後、ＣＰＵ２１は、図５の処理を終了させる。この場合、処理は図４のステップＳ１１６に移行する。

ステップＳ２１０において、ＣＰＵ２１は、エラーを通知する。つまり、認識した内容が、数値又は数式、表、行列の何れでもないときには、エラーが通知される。

ここで、図５の処理について具体的に説明する。図６は、通常の計算付箋の作成動作を説明するための図である。つまり、図６は、計算付箋１０１の作成のための操作として、付箋作成メニューの中から「計算付箋作成」が選択される操作がされたときの動作を示している。このとき、ペーパ１００には、計算付箋１０１と、ソフトウェアキーボード１０４とが表示される。ソフトウェアキーボード１０４は、例えば入力キー１０４ａと、キーボード切替キー１０４ｂと、実行キー１０４ｃとを有している。入力キー１０４ａは、文字、数字、記号を入力するためのキーである。キーボード切替キー１０４ｂは、入力キー１０４ａを、英字入力用のキー、数字入力用のキー、数学記号入力用のキーといった各種のキーボードに対応したキーに切り替えるためのキーである。実行キー１０４ｃは、計算付箋１０１における数値計算等を実行させるためのキーである。

ユーザは、キーボード切替キー１０４ｂによって所望のキーボードを選択し、入力キー１０４ａの各キーを適宜に選択することによって、所望の文字、数字、記号を計算付箋１０１に入力する。そして、ユーザは、必要に応じて実行キー１０４ｃを選択する。実行キー１０４ｃの選択を受けて、ＣＰＵ２１は、計算付箋１０１の内容をサーバ１０に送信する。この場合、図２で示したように計算付箋１０１の例えば右下隅に計算結果が表示される。

つまり、通常の計算付箋の作成動作では、ユーザの入力の操作に従って数値及び数式の入力が行われる。

図７及び図８は、参考付箋からの計算付箋の第１の作成動作を説明するための図である。図７では、参考付箋１０３の中に電子書籍の内容が表示されている。この電子書籍には、例えば「１＋２＋３」という数式が記載されているとする。ユーザは、参考付箋１０３の中の数式を例えばドラッグ操作によって選択する。ユーザは、例えば、参考付箋１０３の中の「１＋２」を選択したとする。この場合、表示上では参考付箋１０３における選択箇所「１＋２」を含むカーソルが表示される。また、このとき、計算付箋１０１と、ソフトウェアキーボード１０４とがペーパ１００に表示される。

ユーザは、ソフトウェアキーボード１０４の入力キー１０４ａを操作することにより、変数名を入力する。そして、変数名の入力後、実行キー１０４ｃを選択する。選択された箇所が数式であるので、参考付箋１０３において選択されている数式と変数名とが関連付けられて変数登録される。ここで、「１＋２」は、単独で数値計算することができる数式である。したがって、「１＋２」は、計算できる数式として変数登録される。例えば、図８は、ユーザによって変数名「ａ」が入力された例を示している。このとき、計算付箋１０１には、「ａ＝１＋２」と表示される。また、ユーザは、必要に応じて実行キー１０４ｃを選択する。実行キー１０４ｃの選択を受けて、ＣＰＵ２１は、計算付箋１０１の内容をサーバ１０に送信する。この場合、図２で示したように計算付箋１０１の例えば右下隅に計算結果が表示される。つまり、「１＋２」の計算結果である「３」が計算付箋１０１に表示される。

なお、図８の例では、参考付箋１０３の内容の選択の後で計算付箋１０１と、ソフトウェアキーボード１０４とが表示される。これに対し、通常の計算付箋の作成動作と同様にして計算付箋１０１とソフトウェアキーボード１０４とが表示されている状態で参考付箋１０３の内容の選択がされたときに、参考付箋１０３の内容が変数登録されてもよい。

また、変数名の入力がされずに実行キー１０４ｃが選択されたときには、選択されている参考付箋１０３の内容がそのまま計算付箋１０１に表示されてもよい。さらには、変数名の入力がされずに実行キー１０４ｃが選択されたときには、参考付箋１０３の内容が予め定められた変数名と関連づけて変数登録されてもよい。

図９は、参考付箋からの計算付箋の第２の作成動作を説明するための図である。図９では、参考付箋１０３に「２次方程式の解の公式」について説明する教科書が表示されている。２次方程式の解の公式は、「ａ」、「ｂ」、「ｃ」の３つの係数を持つ数式である。ユーザは、参考付箋１０３の中の数式を例えばドラッグ操作によって選択する。このとき、計算付箋１０１と、ソフトウェアキーボード１０４とがペーパ１００に表示される。

ユーザは、ソフトウェアキーボード１０４の入力キー１０４ａを操作することにより、変数名を入力する。そして、変数名の入力後、実行キー１０４ｃを選択する。選択された箇所が数式であるので、参考付箋１０３において選択されている数式と変数名とが関連付けられて変数登録される。ここで、２次方程式の解の公式は、３つの係数を持つ、単独では数値計算することができない数式である。したがって、２次方程式の解の公式は、関数として変数登録される。例えば、図９は、ユーザによって変数名「ｆｏｍｕ」が入力された例を示している。このとき、計算付箋１０１には、「ｆｏｍｕ（ａ，ｂ，ｃ）」とともに選択された数式が表示される。図９の「ｆｏｍｕ」に続く（ａ，ｂ，ｃ）は、その後に続く数式がａ、ｂ、ｃの関数であることを示している。関数としての登録のされ方は、ウェブアプリケーションの仕様等によって適宜に変更されてよい。

図１０及び図１１は、参考付箋からの計算付箋の第３の作成動作を説明するための図である。図１０及び図１１では、参考付箋１０３に「ｙ＝ｘ２」の表計算の結果を表すスプレッドシートが表示されている。ユーザは、参考付箋１０３の中の表を例えばドラッグ操作によって選択する。

ユーザは、例えば、図１０に示すように、参考付箋１０３の中のｙ行の各数値を選択したとする。このとき、計算付箋１０１と、ソフトウェアキーボード１０４とがペーパ１００に表示される。

ユーザは、ソフトウェアキーボード１０４の入力キー１０４ａを操作することにより、変数名を入力する。そして、変数名の入力後、実行キー１０４ｃを選択する。選択された箇所が表であるので、参考付箋１０３において選択されている各数値を要素とするリスト形式で変数登録される。例えば、図１０は、ユーザによって変数名「Ｌｉｓｔ」が入力された例を示している。この場合、例えば、計算付箋１０１には、「Ｌｉｓｔ＝｛２，４，９，１６，２５｝」と表示される。リスト形式で登録された各数値は、１行の行列と同様にまとめて計算に使用され得る。例えば、「Ｌｉｓｔ」に２を掛けるという計算が計算付箋１０１において入力された場合、「Ｌｉｓｔ」内の各数値が２倍される。リスト形式での登録のされ方は、ウェブアプリケーションの仕様等によって適宜に変更されてよい。

ここで、図１０は、１行が選択されたときの例を示している。例えば、図１１に示すようにして参考付箋１０３の中のｙ行とｘ行の２行分の各数値が選択されたときには、それぞれの行の数値を要素とする２つのリストとして変数登録される。例えば、計算付箋１０１には、「Ｌｉｓｔ１＝｛２，４，９，１６，２５｝」及び「Ｌｉｓｔ２＝｛１，２，３，４，５｝」と表示される。３行分以上の各数値が選択された場合も同様である。複数行のリストが作成されるとき、変数名の末尾にリストを識別するための番号が付けられる。

図１２は、参考付箋からの計算付箋の第４の作成動作を説明するための図である。図１２では、参考付箋１０３には行列について説明する教科書が表示されている。ユーザは、参考付箋１０３の中の行列を例えばドラッグ操作によって選択する。このとき、計算付箋１０１と、ソフトウェアキーボード１０４とがペーパ１００に表示される。

その後、ユーザは、ソフトウェアキーボード１０４の入力キー１０４ａを操作することにより、変数名を入力する。そして、変数名の入力後、実行キー１０４ｃを選択する。選択された箇所が行列であるので、参考付箋１０３において選択されている行列と変数名とが関連付けられて変数登録される。例えば、図１２は、ユーザによって変数名「Ｍａｔ」が入力された例を示している。このとき、計算付箋１０１には、「Ｍａｔ」とともに選択された行列が表示される。図１２の例では、行列は、カンマで区切られた行毎に表示される。行列形式での登録のされ方は、ウェブアプリケーションの仕様等によって適宜に変更されてよい。

以上説明したように本実施形態によれば、ペーパ１００の参考付箋１０３に表示されている内容を計算付箋１０１への入力内容として用いることができる。これにより、例えば教科書に記載の数式を計算付箋１０１に入力するとき等のユーザの入力の手間が軽減され得る。したがって、本実施形態の手法は、ユーザにとって便利な入力方式であると言える。

また、本実施形態によれば、参考付箋１０３において選択された箇所が数値、数式、表、行列の何れであるのか、また、数式であれば計算できる数式であるのか計算できない数式であるのかに応じて、入力されるべき数値、数式、表、行列が計算付箋１０１への入力形式に合うように自動的に変換される。つまり、ユーザは、参考付箋１０３において必要な箇所を選択するだけで、入力した数値、数式、表、行列を使用することができる。これによってもユーザの入力の手間が軽減され得る。

ここで、前述した実施形態では、計算付箋１０１への入力対象として、参考付箋１０３に表示された数値、数式、表、行列が示されている。しかしながら、他の内容が入力対象であってもよい。また、ウェブアプリケーションにおいてサポートされている各種の入力に参考付箋１０３の内容が利用されてよい。

また、前述した実施形態では、参考付箋１０３に表示されている電子書籍等における選択箇所が計算付箋１０１への入力対象となる例が示されている。これに対し、表示装置２６の参考付箋１０３以外の領域に表示されている電子書籍等の内容も計算付箋１０１への入力対象とされてもよい。例えば、ウェブブラウザとは別に起動された電子書籍アプリケーションにおいて表示されている電子書籍の内容も計算付箋１０１への入力対象とされてもよい。

また、前述した実施形態では、端末２０は、サーバ１０からウェブアプリケーションのためのプログラムをダウンロードして計算処理等を実行するように構成されている。これに対し、端末２０のストレージ２４にウェブアプリケーションと同等のプログラムを記憶させておくことにより、端末２０が単独で前述した実施形態で説明したウェブアプリケーションの処理を実行するようにすることもできる。この場合においては、端末２０は通信機能を有している必要はない。逆に、前述した認識処理等は、サーバ１０において行われてもよい。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］ 表示装置の表示画面に表示された内容を選択することと、
選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することと、
をコンピュータに実行させるための入力プログラム。
［２］ 前記選択された内容は、数値、数式、表、行列の少なくとも何れかを含み、
前記入力エリアへ入力することは、前記数値、数式、表、行列の少なくとも何れかを変数の値として入力することを前記コンピュータに実行させることを含む、
［１］に記載の入力プログラム。
［３］ 前記入力エリアへ入力することは、前記変数の形式を前記選択された内容に合わせて変換することを前記コンピュータに実行させることを含む、
［２］に記載の入力プログラム。
［４］ 前記選択された内容が選択されている間に、変数を前記入力エリアへ入力してから実行指示を受けると、前記選択された内容を前記変数に関連付けて前記入力エリアへ入力することを前記コンピュータに実行させることを含む、
［１］に記載の入力プログラム。
［５］ 前記選択された内容は、数式を含み、
前記入力エリアへ入力することは、
前記数式が計算できる数式であるか否かを判定することと、
前記数式が計算できる数式であるときには、前記数式を計算できる数式として入力することと、
を前記コンピュータに実行させることを含む、
［２］または［３］に記載の入力プログラム。
［６］ 前記選択された内容は、数式を含み、
前記入力エリアへ入力することは、
前記数式が計算できる数式であるか否かを判定することと、
前記数式が計算できない数式であるときには、前記数式を関数として入力することと、
を前記コンピュータに実行させることを含む、
［２］または［３］に記載の入力プログラム。
［７］ 前記選択された内容は、行毎に少なくとも１つの数値又は数式が配列された表を含み、
前記入力エリアへ入力することは、行毎の前記数値又は数式を要素として含む行毎のリスト形式で変数として入力することを前記コンピュータに実行させることを含む、
［２］または［３］に記載の入力プログラム。
［８］ 前記選択された内容は、行列を含み、
前記入力エリアへ入力することは、前記行列の行毎にカンマで区切られた変数として入力することを前記コンピュータに実行させることを含む、
［２］または［３］に記載の入力プログラム。
［９］ 表示装置の表示画面に表示された内容を選択するための入力部と、
選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することを実行するプロセッサと、
を具備する入力装置。
［１０］ 表示装置の表示画面に表示された内容を選択することと、
選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することと、
を具備する入力方法。

１ システム、１０ サーバ、１１ プロセッサ、１２ ＲＯＭ、１３ ＲＡＭ、１４
ストレージ、１５ 通信装置、１９ システムバス、２０ 端末、２１ ＣＰＵ、２２
ＲＯＭ、２３ ＲＡＭ、２４ ストレージ、２５ 入力装置、２６ 表示装置、２７ 通信装置、２９ システムバス、３０ ネットワーク。

本発明は、入力装置、入力支援方法及びプログラムに関する。

本発明に係る入力装置は、電子書籍の内容情報を表示するための第１表示領域として割り当てられた参考付箋と、変数名が対応付けられた数式または関数を表示するための第２表示領域として割り当てられた計算付箋と、を表示させる表示制御手段を備え、前記表示制御手段は、前記参考付箋に表示されている前記内容情報に対して所定の領域がユーザにより選択された場合に前記計算付箋の表示を開始するとともに、この選択された領域がこの選択されたままの状態で前記計算付箋に対してユーザにより変数名が入力された場合にこの選択された領域の内容情報が複製された情報またはこの選択された領域の内容情報に対応するように生成された情報を前記変数名に対応付けて前記計算付箋に前記数式または前記関数として表示させる、ことを特徴とする。

本発明に係る入力支援方法は、入力装置が実行する入力支援方法であって、
電子書籍の内容情報を表示するための第１表示領域として割り当てられた参考付箋と、変数名が対応付けられた数式または関数を表示するための第２表示領域として割り当てられた計算付箋と、を表示させる表示制御処理を含み、前記表示制御処理は、前記参考付箋に表示されている前記内容情報に対して所定の領域がユーザにより選択された場合に前記計算付箋の表示を開始するとともに、この選択された領域がこの選択されたままの状態で前記計算付箋に対してユーザにより変数名が入力された場合にこの選択された領域の内容情報が複製された情報またはこの選択された領域の内容情報に対応するように生成された情報を前記変数名に対応付けて前記計算付箋に前記数式または前記関数として表示させる、ことを特徴とする。

本発明に係るプログラムは、コンピュータを、電子書籍の内容情報を表示するための第１表示領域として割り当てられた参考付箋と、変数名が対応付けられた数式または関数を表示するための第２表示領域として割り当てられた計算付箋と、を表示させる表示制御手段として機能させ、前記表示制御手段は、前記参考付箋に表示されている前記内容情報に対して所定の領域がユーザにより選択された場合に前記計算付箋の表示を開始するとともに、この選択された領域がこの選択されたままの状態で前記計算付箋に対してユーザにより変数名が入力された場合にこの選択された領域の内容情報が複製された情報またはこの選択された領域の内容情報に対応するように生成された情報を前記変数名に対応付けて前記計算付箋に前記数式または前記関数として表示させる、ことを特徴とする。

Claims (10)

1. 表示装置の表示画面に表示された内容を選択することと、
   選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することと、
   をコンピュータに実行させるための入力プログラム。
2. 前記選択された内容は、数値、数式、表、行列の少なくとも何れかを含み、
   前記入力エリアへ入力することは、前記数値、数式、表、行列の少なくとも何れかを変数の値として入力することを前記コンピュータに実行させることを含む、
   請求項１に記載の入力プログラム。
3. 前記入力エリアへ入力することは、前記変数の形式を前記選択された内容に合わせて変換することを前記コンピュータに実行させることを含む、
   請求項２に記載の入力プログラム。
4. 前記選択された内容が選択されている間に、変数を前記入力エリアへ入力してから実行指示を受けると、前記選択された内容を前記変数に関連付けて前記入力エリアへ入力することを前記コンピュータに実行させることを含む、
   請求項１に記載の入力プログラム。
5. 前記選択された内容は、数式を含み、
   前記入力エリアへ入力することは、
   前記数式が計算できる数式であるか否かを判定することと、
   前記数式が計算できる数式であるときには、前記数式を計算できる数式として入力することと、
   を前記コンピュータに実行させることを含む、
   請求項２又は３に記載の入力プログラム。
6. 前記選択された内容は、数式を含み、
   前記入力エリアへ入力することは、
   前記数式が計算できる数式であるか否かを判定することと、
   前記数式が計算できない数式であるときには、前記数式を関数として入力することと、
   を前記コンピュータに実行させることを含む、
   請求項２又は３に記載の入力プログラム。
7. 前記選択された内容は、行毎に少なくとも１つの数値又は数式が配列された表を含み、
   前記入力エリアへ入力することは、行毎の前記数値又は数式を要素として含む行毎のリスト形式で変数として入力することを前記コンピュータに実行させることを含む、
   請求項２又は３に記載の入力プログラム。
8. 前記選択された内容は、行列を含み、
   前記入力エリアへ入力することは、前記行列の行毎にカンマで区切られた変数として入力することを前記コンピュータに実行させることを含む、
   請求項２又は３に記載の入力プログラム。
9. 表示装置の表示画面に表示された内容を選択するための入力部と、
   選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することを実行するプロセッサと、
   を具備する入力装置。
10. 表示装置の表示画面に表示された内容を選択することと、
    選択された内容が選択されている間に実行指示を受けると、前記選択された内容を前記表示画面上の入力エリアへ入力することと、
    を具備する入力方法。

Images