JP2017004298A - 文字入力システム、文字入力方法、及び、コンピュータプログラム - Google Patents

Abstract

【課題】ユーザが文字の入力操作をジェスチャーにより行なう際に、ユーザが意図する文字を表示装置に表示すること。【解決手段】振動センサ（１４０）は、シートがシート取付部（１３０）に取り付けられているときに、ユーザが指先またはペン先によりシートに触れながら文字を描画するジェスチャーを行なった場合に、指先またはペン先とシートとの摩擦により生じるレベルを表す振動データを出力する。制御装置（１２０）は、振動データを時系列で収集する振動データ収集部（１２１）と、時系列の振動データのレベルに基づいて、時間とシート上の座標とより文字を表すベクトルデータを生成するベクトルデータ生成部（１２２）と、ベクトルデータが表す文字を表示装置（４０）に出力するデータ出力部（１２３）と、を具備している。【選択図】図１

Description

本発明は、ユーザが文字の入力操作をジェスチャーにより行なう文字入力システム、文字入力方法、及び、コンピュータプログラムに関する。

ユーザが文字の入力操作をジェスチャーにより行なう技術が特許文献１に記載されている。特許文献１に記載された技術では、表示装置（ディスプレイ）と、カメラ（動画撮影用カメラ）と、マイクロホンと、コンピュータとを具備している。カメラは、ユーザが指先により文字を描画するジェスチャーを行なった場合に、ジェスチャーを撮影してジェスチャーの画像を表す画像データを出力する。マイクロホンは、ユーザがジェスチャーを行なう際に発する音声を音声データとして収音する。コンピュータは、複数の文字が登録されたデータベースを備えている。コンピュータは、画像データと音声データとの組み合わせにより、データベースに登録された複数の文字のうちの１つの文字を判定し、その文字を表示装置に表示する。

特開２００２−２５９０４６号公報

しかしながら、特許文献１に記載された技術では、コンピュータが画像データと音声データとを収集するものであるため、ユーザは、指先により文字を描画するジェスチャーを行なう際に、その文字を発声しなければならない。例えば、ユーザは、日本語のひらがなの文字「い」を描画するジェスチャーを行なう際に、その文字「い」を発声しなければならない。このように、ユーザは、ジェスチャーと発声という２つの動作を行なう必要があるため、ユーザにとっては、面倒であり、煩わしいことである。また、ユーザの喉の調子によって、ユーザが発した声が、ジェスチャーに関連する声にならない可能性がある。

また、特許文献１に記載された技術において、ユーザは、指先により文字を描画するジェスチャーを行なうため、コンピュータが収集する画像データは、文字が撮影されるわけではない。すなわち、図２２に示されるように、画像データは、ジェスチャーの画像（ユーザの指先の画像）を表している。したがって、図２２に示されるように、コンピュータでは、時系列の画像データが表すジェスチャーの画像は、ジェスチャーの軌跡を表す軌跡データとして処理される。軌跡データは文字ではないため、コンピュータは、単純に、軌跡データと音声データとの組み合わせることができず、音声データによる音声認識に基づいた文字判定を行なうことになる。この場合、軌跡データと音声データとを組み合わせることによる利点がない。

また、特許文献１に記載された技術において、コンピュータは、音声データによる音声認識に基づいた文字判定を行なう場合、音声データが表す音声により、データベースに登録された複数の文字のうちの１つの文字に絞ることが可能である。しかしながら、図２２に示されるように、「い」という音には、日本語のひらがなの文字「い」、カタカナの文字「イ」、アルファベットの文字「ｅ」などが存在する。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、コンピュータは、ユーザが意図する文字「い」を表示装置に表示できるとは限らない。

また、特許文献１に記載された技術において、コンピュータは、軌跡データによる画像解析に基づいた文字判定を行なう場合、軌跡データが表すジェスチャーの軌跡により、データベースに登録された複数の文字のうちの１つの文字に絞ることが可能である。しかしながら、図２２に示されるように、軌跡データが表すジェスチャーの軌跡には、アルファベットの大文字「Ｓ」、アルファベットの小文字「ｓ」、数字の「５」などが類似する。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、コンピュータは、ユーザが意図する文字「い」を表示装置に表示できるとは限らない。

本発明は、上記従来の問題点に鑑みてなされたものであって、ユーザが文字の入力操作をジェスチャーにより行なう際に、ユーザが意図する文字を表示装置に表示することができる文字入力システム、文字入力方法、及び、コンピュータプログラムを提供することを目的とする。

本発明の文字入力システムは、表示装置と、制御装置と、シートを取り付け可能なシート取付部と、前記シートが前記シート取付部に取り付けられているときに、ユーザが指先またはペン先により前記シートに触れながら文字を描画するジェスチャーを行なった場合に、前記指先または前記ペン先と前記シートとの摩擦により生じるレベルを表す振動データを出力する振動センサと、を具備し、前記制御装置は、前記振動データを時系列で収集する振動データ収集部と、前記時系列の振動データのレベルに基づいて、時間と前記シート上の座標とより前記文字を表すベクトルデータを生成するベクトルデータ生成部と、前記ベクトルデータが表す前記文字を前記表示装置に出力するデータ出力部と、を具備することを特徴とする。

本発明の文字入力方法は、表示装置と、制御装置と、シートを取り付け可能なシート取付部と、振動センサと、を具備するシステムを用いる文字入力方法であって、前記シートが前記シート取付部に取り付けられているときに、前記ユーザが指先またはペン先により前記シートに触れながら文字を描画するジェスチャーを行なった場合に、前記振動センサが、前記指先または前記ペン先と前記シートとの摩擦により生じるレベルを表す振動データを出力するステップと、前記制御装置が、前記振動データを時系列で収集する振動データ収集ステップと、前記制御装置が、前記時系列の振動データのレベルに基づいて、時間と前記シート上の座標とより前記文字を表すベクトルデータを生成するベクトルデータ生成ステップと、前記制御装置が、前記ベクトルデータが表す前記文字を表示装置に出力する出力ステップと、を具備することを特徴とする文字入力方法。

本発明のコンピュータプログラムは、前記文字入力方法において、前記制御装置が行なう各ステップをコンピュータに実行させることを特徴とする。

本発明によれば、ユーザが文字の入力操作をジェスチャーにより行なう際に、ユーザが意図する文字を表示装置に表示することができる。

本発明の第１実施形態に係る文字入力システムの構成を示すブロック図である。 本発明の第１実施形態に係る文字入力システムにおいて、シート５０とシート取付部１３０と振動センサ１４０との配置、及び、振動データ６０を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおいて、シート取付部１３０と振動センサ１４０との配置、及び、振動データ６０を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおいて、シート取付部１３０と振動センサ１４０との配置、及び、振動データ６０を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおいて、シート取付部１３０と振動センサ１４０との配置、及び、振動データ６０を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおける時系列の振動データ６０を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおけるベクトルデータ６２を説明するための図である。 本発明の第１実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。 本発明の第２実施形態に係る表示システムの構成を示すブロック図である。 本発明の第２実施形態に係る表示システムの文字データベース２２１を示す図である。 本発明の第２実施形態に係る文字入力システムの動作を示すフローチャートである。 本発明の第２実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。 本発明の第３実施形態に係る表示システムの構成を示すブロック図である。 本発明の第３実施形態に係る文字入力システムの動作を示すフローチャートである。 本発明の第３実施形態に係る文字入力システムにおける時系列の画像データ７０を説明するための図である。 本発明の第３実施形態に係る文字入力システムにおける軌跡データ７２を説明するための図である。 本発明の第３実施形態に係る文字入力システムにおける解析データ８０を説明するための図である。 本発明の第３実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。 本発明の第４実施形態に係る表示システムの構成を示すブロック図である。 本発明の第４実施形態に係る文字入力システムの動作を示すフローチャートである。 本発明の第４実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。 特許文献１に記載された技術の問題点を説明するための図である。

以下、図面を参照しながら本発明の実施形態について説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る文字入力システムの構成を示すブロック図である。図１に示されるように、本発明の第１実施形態に係る文字入力システムは、第１の情報処理装置１と、第２の情報処理装置１００と、を具備している。第１の情報処理装置１と第２の情報処理装置１００とはネットワークＮＥを介して接続されている。

図１に示されるように、第１の情報処理装置１は、記憶装置１０と、制御装置２０と、入力装置３０と、表示装置４０と、を備えている。制御装置２０は、ＣＰＵ（Central Processing Unit）である。記憶装置１０にはコンピュータプログラムが登録され、制御装置２０は、そのコンピュータプログラムを実行する。入力装置３０としては、キーボード、マウスがあげられる。ユーザが入力装置３０を操作した場合、制御装置２０は、入力装置３０の操作に応じてコンピュータプログラムを実行し、その実行結果を表示装置４０に表示する。制御装置２０は、データ受取部２１と、表示制御部２２と、を備えている。制御装置２０の各構成の動作については後述する。

図１に示されるように、第２の情報処理装置１００は、記憶装置１１０と、制御装置１２０と、を備えている。制御装置１２０は、ＣＰＵである。記憶装置１１０にはコンピュータプログラムが登録され、制御装置１２０は、そのコンピュータプログラムを実行する。制御装置１２０は、振動データ収集部１２１と、ベクトルデータ生成部１２２と、データ出力部１２３と、を備えている。制御装置１２０の各構成の動作については後述する。

図１に示されるように、第２の情報処理装置１００は、更に、シート取付部１３０と、振動センサ１４０と、を備えている。

図２〜４は、本発明の第１実施形態に係る文字入力システムにおいて、シート５０とシート取付部１３０と振動センサ１４０との配置、及び、振動データ６０を説明するための図である。

図２〜４に示されるように、シート取付部１３０は、シート５０を取り付け可能に構成され、振動センサ１４０は、シート取付部１３０に設けられている。シート５０は、ユーザが両手で支える必要があるか否かにより、シート取付部１３０、振動センサ１４０の仕様が異なる。そこで、（Ａ）シート５０は、用紙のように、ユーザが両手で支える必要がある場合と、（Ｂ）シート５０は、プラスティック等の材料で形成されたような所定の硬度を有していて、ユーザが両手で支える必要がない場合とに分けて説明する。

まず、（Ａ）シート５０は、所定の硬度を有してなく、ユーザが両手で支える必要がある場合、図２〜３に示されるように、シート取付部１３０は、シート５０の１辺に取り付けられる。例えば、シート５０の長辺方向をＸ方向とし、短辺方向をＹ方向とした場合、シート取付部１３０は、シート５０のＸ方向を表す軸（Ｘ軸）に設けられている。振動センサ１４０は、シート取付部１３０に、シート５０のＸ方向を左右に分割するように２つ配置されてもよいし、Ｘ軸の座標を構成するようにシート５０のＸ方向に１番目から最終番目まで一列に配置されてもよい。

図３に示されるように、振動センサ１４０は、シート５０がシート取付部１３０に取り付けられているときに、ユーザが指先またはペン先によりシート５０に触れながら手書きで文字を描画するジェスチャーを行なった場合に、振動データ６０を制御装置１２０に出力する。振動データ６０は、指先またはペン先とシート５０との摩擦により生じる摩擦振動または摩擦音のレベル（振幅）を表している。振動データ６０のレベルは、振動センサ１４０に近いほど高く、振動センサ１４０から遠いほど低くなり、これを振動センサ１４０が参照することで、シート５０のＹ方向を表す軸（Ｙ軸）の座標に相当する情報として取得される。振動データ６０のレベルは、図３においては、線形関数を適用するように処理されるが、振動センサ１４０内では、距離に応じた特性関数を用意することで、シート材質により特性が異なる場合にも対応することができる（図示せず）。

次に、（Ｂ）シート５０は、所定の硬度を有していて、ユーザが両手で支える必要がない場合、図４に示されるように、シート取付部１３０は、シート５０の交わる２辺に取り付けられる。例えば、シート５０の長辺方向をＸ方向とし、短辺方向をＹ方向とした場合、シート取付部１３０は、シート５０のＸ方向を表す軸（Ｘ軸）と、シート５０のＹ方向を表す軸（Ｙ軸）とに設けられている。例えば、振動センサ１４０は、シート取付部１３０のＸ方向に、Ｘ軸の座標を構成するようにシート５０のＸ方向に１番目から最終番目まで一列に配置され、シート取付部１３０のＹ方向に、Ｙ軸の座標を構成するようにシート５０のＹ方向に１番目から最終番目まで一列に配置されている。

図４に示されるように、振動センサ１４０は、シート５０がシート取付部１３０に取り付けられているときに、ユーザが指先またはペン先によりシート５０に触れながら手書きで文字を描画するジェスチャーを行なった場合に、振動データ６０を出力する。振動データ６０は、指先またはペン先とシート５０との摩擦により生じる摩擦振動または摩擦音のレベル（振幅）を表している。振動データ６０のレベルは、図３の場合と同様に、振動センサ１４０が配置された座標に相当する情報として取得される。

シート５０には色がついていてもよいし、シート５０は透明でも半透明でもよい。例えば、ユーザが、シート５０越しに、第１の情報処理装置１の表示装置４０に表示される画面を見ながら、シート５０に対してジェスチャーを行ないたい場合は、シート５０は透明であることが好ましい。

次に、本発明の第１実施形態に係る文字入力システムの動作について説明する。

図５は、本発明の第１実施形態に係る文字入力システムの動作を示すフローチャートである。図６は、本発明の第１実施形態に係る文字入力システムにおける時系列の振動データ６０を説明するための図である。図７は、本発明の第１実施形態に係る文字入力システムにおけるベクトルデータ６２を説明するための図である。図８は、本発明の第１実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。

図６に示されるように、第２の情報処理装置１００において、シート５０がシート取付部１３０に取り付けられているときに、ユーザは、指先またはペン先によりシート５０に触れながら、手書きで、日本語のひらがなの文字「い」を描画するジェスチャーを行なう。この場合に、振動センサ１４０は、振動データ６０を出力する。上述のように、振動データ６０は、指先またはペン先とシート５０との摩擦により生じる摩擦振動（または摩擦音）のレベルを表している（図５のステップＳ１０１；振動データ出力処理）。

図６に示されるように、第２の情報処理装置１００において、振動データ収集部１２１は、振動データ６０として、振動データ６０−１〜６０−８を時系列で収集する（図５のステップＳ１０２；振動データ収集処理）。

図７に示されるように、第２の情報処理装置１００において、ベクトルデータ生成部１２２は、時系列の振動データ６０（振動データ６０−１〜６０−８）のレベルに基づいて、時間とシート５０（図６）上の座標とより手書きの文字「い」を表すベクトルデータ６２を生成する（図５のステップＳ１０３；ベクトルデータ生成処理）。

図７に示されるように、ベクトルデータ６２は、ベクトルデータ６２−１〜６２−２を含んでいる。ベクトルデータ６２−１は、振動データ６０−１〜６０−２、６０−２〜６０−３、６０−３〜６０−４、６０−４〜６０−５をベクトルで結んだ線を表している。ベクトルデータ６２−２は、振動データ６０−６〜６０−７、６０−７〜６０−８をベクトルで結んだ線を表している。

図８に示されるように、第２の情報処理装置１００において、データ出力部１２３は、ベクトルデータ６２（ベクトルデータ６２−１〜６２−２）が表す手書きの文字「い」を第１の情報処理装置１の表示装置４０に表示させるために、そのベクトルデータ６２（ベクトルデータ６２−１、６２−２）を、ネットワークＮＥを介して、第１の情報処理装置１に送信する（図５のステップＳ１０４；データ送信処理）。

図８に示されるように、第１の情報処理装置１において、データ受取部２１は、第２の情報処理装置１００からネットワークＮＥを介して出力されたベクトルデータ６２（ベクトルデータ６２−１、６２−２）を受け取る（図５のステップＳ１；データ受取処理）。

図８に示されるように、第１の情報処理装置１において、表示制御部２２は、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）が表す手書きの文字「い」を表示装置４０に表示する（図５のステップＳ２；文字表示処理）。

以上の説明により、本発明の第１実施形態に係る文字入力システムは、表示装置４０と、制御装置１２０と、シート５０を取り付け可能なシート取付部１３０と、シート５０がシート取付部１３０に取り付けられているときに、ユーザが指先またはペン先によりシート５０に触れながら文字「い」を描画するジェスチャーを行なった場合に、指先またはペン先とシート５０との摩擦により生じるレベルを表す振動データ６０を出力する振動センサ１４０と、を具備している。制御装置１２０は、振動データ６０（振動データ６０−１〜６０−８）を時系列で収集する振動データ収集部１２１と、時系列の振動データ６０（振動データ６０−１〜６０−８）のレベルに基づいて、時間とシート５０上の座標とより文字「い」を表すベクトルデータ６２（ベクトルデータ６２−１、６２−２）を生成するベクトルデータ生成部１２２と、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）が表す文字「い」を表示装置４０に出力するデータ出力部１２３と、を具備している。

ここで、本発明の第１実施形態に係る文字入力システムは、第１の情報処理装置１と、第１の情報処理装置１にネットワークＮＥを介して接続された第２の情報処理装置１００と、を更に具備している。この場合、表示装置４０は、第１の情報処理装置１に設けられ、シート取付部１３０と振動センサ１４０と制御装置１２０は、第２の情報処理装置１００に設けられている。

このように、本発明の第１実施形態に係る文字入力システムによれば、第２の情報処理装置１００の制御装置１２０は、ユーザが指先またはペン先によりシート５０に触れながら文字「い」を描画するジェスチャーを行なった際に、上述の振動データ６０（振動データ６０−１〜６０−８）を時系列で収集して、上述のベクトルデータ６２（ベクトルデータ６２−１、６２−２）を生成する。その後、制御装置１２０は、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）が表す文字「い」を第１の情報処理装置１の表示装置４０に表示させる。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、ユーザが意図する文字「い」を表示装置４０に表示することができる。

［第２実施形態］
本発明の第１実施形態に係る文字入力システムでは、上述のように、第２の情報処理装置１００が、振動センサ１４０の出力（時系列の振動データ６０）からベクトルデータ６２（手書きの文字）を生成し、第１の情報処理装置１が、そのベクトルデータ６２が表す手書きの文字を表示装置４０に表示している。しかし、これに限定されない。本発明の第２実施形態に係る文字入力システムでは、第２の情報処理装置１００は、ベクトルデータ６２（手書きの文字）を生成した後、複数の登録文字の中から、ベクトルデータ６２が表す手書きの文字に最も近似する登録文字を近似登録文字として判定し、第１の情報処理装置１が、その近似登録文字を表示装置４０に表示してもよい。

図９は、本発明の第２実施形態に係る表示システムの構成を示すブロック図である。第２実施形態では、第１実施形態からの変更点を説明する。

図９に示されるように、第２の情報処理装置１００の制御装置１２０は、更に、文字データベース２２１と、文字判定部２２２と、を備えている。制御装置１２０の各構成の動作については後述する。

図１０は、本発明の第２実施形態に係る表示システムの文字データベース２２１を示す図である。

図１０に示されるように、文字データベース２２１には、複数の登録文字が登録されている。複数の登録文字の各々は、設定されたフォントにより文字データベース２２１に登録されている。フォントは、コンピュータが画面（表示装置）に表示したり、紙面に印刷したりするために利用されているデータ（書体データ）である。複数の登録文字としては、日本語のひらがな、カタカナ、漢字や、アルファベット、数字、記号などがあげられる。

次に、本発明の第２実施形態に係る文字入力システムの動作について説明する。

図１１は、本発明の第２実施形態に係る文字入力システムの動作を示すフローチャートである。図１２は、本発明の第２実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。

図１１に示されるように、まず、第２の情報処理装置１００において、第１実施形態におけるステップＳ１０１〜Ｓ１０３が行なわれる。

次に、第２の情報処理装置１００において、文字判定部２２２（図９）は、文字データベース２２１（図１０）に登録された複数の登録文字の中から、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）（図７）が表す手書きの文字「い」に最も近似する登録文字「い」を、近似登録文字として判定する（図１１のステップＳ２０１；登録文字判定処理）。

図１２に示されるように、第２の情報処理装置１００において、データ出力部１２３は、近似登録文字「い」を第１の情報処理装置１の表示装置４０に表示させるために、上記近似登録文字「い」を表す文字データを、ネットワークＮＥを介して、第１の情報処理装置１に送信する（図１１のステップＳ１０４；データ送信処理）。

図１２に示されるように、第１の情報処理装置１において、データ受取部２１は、第２の情報処理装置１００からネットワークＮＥを介して出力された文字データを受け取る（図１１のステップＳ１；データ受取処理）。

図１２に示されるように、第１の情報処理装置１において、表示制御部２２は、文字データが表す近似登録文字「い」を表示装置４０に表示する（図１１のステップＳ２；文字表示処理）。

以上の説明により、本発明の第２実施形態に係る文字入力システムにおいて、制御装置１２０は、複数の登録文字が登録された文字データベース２２１と、文字データベース２２１に登録された複数の登録文字の中から、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）が表す文字「い」に最も近似する登録文字「い」を、近似登録文字として判定する文字判定部２２２と、を更に具備している。この場合、データ出力部１２３は、近似登録文字「い」を表示装置４０に出力する。

このように、本発明の第２実施形態に係る文字入力システムによれば、第２の情報処理装置１００の制御装置１２０は、ユーザが指先またはペン先によりシート５０に触れながら文字「い」を描画するジェスチャーを行なった際に、上述の振動データ６０（振動データ６０−１〜６０−８）を時系列で収集して、上述のベクトルデータ６２（ベクトルデータ６２−１、６２−２）を生成する。その後、制御装置１２０は、文字データベース２２１を参照した結果、ベクトルデータ６２（ベクトルデータ６２−１、６２−２）から近似登録文字「い」を判定し、近似登録文字「い」を第１の情報処理装置１の表示装置４０に表示させる。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、ユーザが意図する近似登録文字「い」を表示装置４０に表示することができる。

［第３実施形態］
本発明の第１実施形態に係る文字入力システムでは、上述のように、第２の情報処理装置１００が、振動センサ１４０の出力（時系列の振動データ６０）からベクトルデータ６２（手書きの文字）を生成し、第１の情報処理装置１が、そのベクトルデータ６２が表す手書きの文字を表示装置４０に表示している。しかし、これに限定されない。本発明の第３実施形態に係る文字入力システムでは、第２の情報処理装置１００は、カメラの出力（時系列の画像データ）からジェスチャーの軌跡を表す軌跡データを生成し、軌跡データ（ジェスチャーの軌跡）とベクトルデータ６２（手書きの文字）との重畳部分を解析文字として判定し、第１の情報処理装置１が、その解析文字を表示装置４０に表示してもよい。

図１３は、本発明の第３実施形態に係る表示システムの構成を示すブロック図である。第３実施形態では、第１実施形態からの変更点を説明する。

図１３に示されるように、第２の情報処理装置１００の制御装置１２０は、更に、画像データ収集部３２１と、軌跡データ生成部３２２と、解析データ生成部３２３と、を備えている。制御装置１２０の各構成の動作については後述する。

図１３に示されるように、第２の情報処理装置１００は、更に、カメラ３５０を具備している。

カメラ３５０は、シート５０がシート取付部１３０に取り付けられているときに、ユーザがジェスチャーを行なった場合に、画像データを出力する。

次に、本発明の第３実施形態に係る文字入力システムの動作について説明する。

図１４は、本発明の第３実施形態に係る文字入力システムの動作を示すフローチャートである。図１５は、本発明の第３実施形態に係る文字入力システムにおける時系列の画像データ７０を説明するための図である。図１６は、本発明の第３実施形態に係る文字入力システムにおける軌跡データ７２を説明するための図である。図１７は、本発明の第３実施形態に係る文字入力システムにおける解析データ８０を説明するための図である。図１８は、本発明の第３実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。

図１４に示されるように、まず、第２の情報処理装置１００において、第１実施形態におけるステップＳ１０１〜Ｓ１０３と、後述のステップＳ３０１〜Ｓ３０３とが同時に行なわれる。

図１５に示されるように、第２の情報処理装置１００において、カメラ３５０は、シート５０がシート取付部１３０に取り付けられているときに、ユーザが指先またはペン先によりシート５０に触れながら手書きで文字「い」を描画するジェスチャーを行なった場合に、ジェスチャーを撮影してジェスチャーの画像（ユーザの指先またはペン先の画像）を表す画像データ７０を出力する（図１４のステップＳ３０１；画像データ出力処理）。

図１５に示されるように、第２の情報処理装置１００において、画像データ収集部３２１は、画像データ７０として、画像データ７０−１〜７０−８を時系列で収集する（図１４のステップＳ３０２；画像データ収集処理）。

時系列の画像データ７０（画像データ７０−１〜７０−８）は、時間ｔ１〜ｔ８において、ステップＳ１０１において収集された時系列の振動データ６０（振動データ６０−１〜６０−８）（図６）と同期している。

図１６に示されるように、第２の情報処理装置１００において、軌跡データ生成部３２２は、時系列の画像データ７０（画像データ７０−１〜７０−８）が表すジェスチャーの画像に基づいて、時間とシート５０（図１５）上の座標とよりジェスチャーの軌跡を表す軌跡データ７２を生成する（図１４のステップＳ３０３；軌跡データ生成処理）。

図１７に示されるように、第２の情報処理装置１００において、解析データ生成部３２３は、軌跡データ７２と、ステップＳ１０３において生成されたベクトルデータ６２（ベクトルデータ６２−１〜６２−２）とをシート５０上の座標に重ね合わせたときに、軌跡データ７２が表すジェスチャーの軌跡に対してベクトルデータ６２（ベクトルデータ６２−１〜６２−２）が表す手書きの文字「い」が重なる重畳部分８０−１、８０−２を解析する。このとき、解析データ生成部３２３は、重畳部分８０−１、８０−２である解析文字「い」を表す解析データ８０を生成する（図１４のステップＳ３０４；解析データ生成処理）。

図１８に示されるように、第２の情報処理装置１００において、データ出力部１２３は、解析データ８０（重畳部分８０−１、８０−２）が表す解析文字「い」を第１の情報処理装置１の表示装置４０に表示させるために、上記解析文字「い」を表す文字データを、ネットワークＮＥを介して、第１の情報処理装置１に送信する（図１４のステップＳ１０４；データ送信処理）。

図１８に示されるように、第１の情報処理装置１において、データ受取部２１は、第２の情報処理装置１００からネットワークＮＥを介して出力された文字データを受け取る（図１４のステップＳ１；データ受取処理）。

図１８に示されるように、第１の情報処理装置１において、表示制御部２２は、文字データが表す解析文字「い」を表示装置４０に表示する（図１４のステップＳ２；文字表示処理）。

以上の説明により、本発明の第３実施形態に係る文字入力システムは、シート５０がシート取付部１３０に取り付けられているときに、ユーザがジェスチャーを行なった場合に、ジェスチャーを撮影してジェスチャーの画像を表す画像データ７０を出力するカメラ３５０、を更に具備している。制御装置１２０は、画像データ７０（画像データ７０−１〜７０−８）を時系列で収集する画像データ収集部３２１と、時系列の画像データ７０（画像データ７０−１〜７０−８）が表すジェスチャーの画像に基づいて、時間とシート５０上の座標とよりジェスチャーの軌跡を表す軌跡データ７２を生成する軌跡データ生成部３２２と、軌跡データ７２とベクトルデータ６２（ベクトルデータ６２−１、６２−２）とをシート５０上の座標に重ね合わせたときに、軌跡データ７２が表すジェスチャーの軌跡に対してベクトルデータ６２（ベクトルデータ６２−１、６２−２）が表す文字「い」が重なる重畳部分８０−１、８０−２を解析し、重畳部分８０−１、８０−２である解析文字「い」を表す解析データ８０（重畳部分８０−１、８０−２）を生成する解析ベクトルデータ生成部３２３と、を更に具備している。この場合、データ出力部１２３は、解析データ８０（重畳部分８０−１、８０−２）が表す解析文字「い」を表示装置４０に出力する。

このように、本発明の第３実施形態に係る文字入力システムによれば、第２の情報処理装置１００の制御装置１２０は、ユーザが指先またはペン先によりシート５０に触れながら文字「い」を描画するジェスチャーを行なった際に、上述の振動データ６０（振動データ６０−１〜６０−８）を時系列で収集して、上述のベクトルデータ６２（ベクトルデータ６２−１、６２−２）を生成する。同時に、制御装置１２０は、上述の画像データ７０（画像データ７０−１〜７０−８）を時系列で収集して、上述の軌跡データ７２を生成する。その後、制御装置１２０は、軌跡データ７２とベクトルデータ６２（ベクトルデータ６２−１、６２−２）との重畳部分８０−１、８０−２である解析データ８０を解析し、解析データ８０（重畳部分８０−１、８０−２）が表す解析文字「い」を第１の情報処理装置１の表示装置４０に表示させる。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、ユーザが意図する解析文字「い」を表示装置４０に表示することができる。

［第４実施形態］
本発明の第４実施形態に係る文字入力システムでは、第３実施形態に第２実施形態を組み合わせてもよい。すなわち、本発明の第４実施形態に係る文字入力システムでは、第２の情報処理装置１００は、解析データ８０（解析文字）を生成した後、複数の登録文字の中から、解析データ８０が表す解析文字に最も近似する登録文字を近似登録文字として判定し、第１の情報処理装置１が、その近似登録文字を表示装置４０に表示してもよい。

図１９は、本発明の第４実施形態に係る表示システムの構成を示すブロック図である。第４実施形態では、第１実施形態〜第３実施形態からの変更点を説明する。

図１９に示されるように、第２の情報処理装置１００の制御装置１２０は、更に、第２実施形態における文字データベース２２１、文字判定部２２２を備えている。また、制御装置１２０は、更に、第３実施形態における画像データ収集部３２１、軌跡データ生成部３２２、解析データ生成部３２３を備えている。制御装置１２０の各構成の動作については後述する。

図１９に示されるように、第２の情報処理装置１００は、更に、第３実施形態におけるカメラ３５０を具備している。

次に、本発明の第４実施形態に係る文字入力システムの動作について説明する。

図２０は、本発明の第４実施形態に係る文字入力システムの動作を示すフローチャートである。図２１は、本発明の第４実施形態に係る文字入力システムにおいて、第１の情報処理装置１の表示装置４０に表示される文字を説明するための図である。

図２０に示されるように、まず、第２の情報処理装置１００において、第１実施形態におけるステップＳ１０１〜Ｓ１０３と、第３実施形態におけるステップＳ３０１〜Ｓ３０３とが同時に行なわれる。

次に、図２０に示されるように、第２の情報処理装置１００において、第３実施形態におけるステップＳ３０４が行なわれる。

次に、文字判定部２２２（図１９）は、文字データベース２２１（図１０）に登録された複数の登録文字の中から、解析データ８０（図１７）が表す解析文字「い」に最も近似する登録文字「い」を、近似登録文字として判定する（図２０のステップＳ２０１；登録文字判定処理）。

図２１に示されるように、第２の情報処理装置１００において、データ出力部１２３は、近似登録文字「い」を第１の情報処理装置１の表示装置４０に表示させるために、上記近似登録文字「い」を表す文字データを、ネットワークＮＥを介して、第１の情報処理装置１に送信する（図２０のステップＳ１０４；データ送信処理）。

図２１に示されるように、第１の情報処理装置１において、データ受取部２１は、第２の情報処理装置１００からネットワークＮＥを介して出力された文字データを受け取る（図２０のステップＳ１；データ受取処理）。

図２１に示されるように、第１の情報処理装置１において、表示制御部２２は、文字データが表す近似登録文字「い」を表示装置４０に表示する（図２０のステップＳ２；文字表示処理）。

以上の説明により、本発明の第４実施形態に係る文字入力システムにおいて、制御装置１２０は、複数の登録文字が登録された文字データベース２２１と、文字データベース２２１に登録された複数の登録文字の中から、解析データ８０（重畳部分８０−１、８０−２）が表す解析文字「い」に最も近似する登録文字「い」を、近似登録文字として判定する文字判定部２２２と、を更に具備している。この場合、データ出力部１２３は、近似登録文字「い」を表示装置４０に出力する。

このように、本発明の第４実施形態に係る文字入力システムによれば、第２の情報処理装置１００の制御装置１２０は、ユーザが指先またはペン先によりシート５０に触れながら文字「い」を描画するジェスチャーを行なった際に、上述の振動データ６０（振動データ６０−１〜６０−８）を時系列で収集して、上述のベクトルデータ６２（ベクトルデータ６２−１、６２−２）を生成する。同時に、制御装置１２０は、上述の画像データ７０（画像データ７０−１〜７０−８）を時系列で収集して、上述の軌跡データ７２を生成する。その後、制御装置１２０は、軌跡データ７２とベクトルデータ６２（ベクトルデータ６２−１、６２−２）との重畳部分８０−１、８０−２である解析データ８０を解析する。制御装置１２０は、文字データベース２２１を参照した結果、解析データ８０（重畳部分８０−１、８０−２）から近似登録文字「い」を判定し、近似登録文字「い」を第１の情報処理装置１の表示装置４０に表示させる。そのため、ユーザが文字「い」の入力操作をジェスチャーにより行なう際に、ユーザが意図する近似登録文字「い」を表示装置４０に表示することができる。

以上のように、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ … 第１の情報処理装置
２ … 第２の情報処理装置
１０ … 記憶装置
２０ … 制御装置
２１ … データ受取部
２２ … 表示制御部
３０ … 入力装置
４０ … 表示装置
５０ … シート
６０、６０−１〜６０−８ … 振動データ
６２、６２−１、６２−２ … ベクトルデータ
７０、７０−１〜７０−８ … 画像データ
７２ … 軌跡データ
８０−１、８０−２ … 重畳部分
８０ … 解析データ
１１０ … 記憶装置
１２０ … 制御装置
１２１ … 振動データ収集部
１２２ … ベクトルデータ生成部
１２３ … データ出力部
１３０ … シート取付部
１４０ … 振動センサ
２２１ … 文字データベース
２２２ … 文字判定部
３２１ … 画像データ収集部
３２２ … 軌跡データ生成部
３２３ … 解析データ生成部
３５０ … カメラ
ＮＥ … ネットワーク

Claims (7)

1. 表示装置と、
   制御装置と、
   シートを取り付け可能なシート取付部と、
   前記シートが前記シート取付部に取り付けられているときに、ユーザが指先またはペン先により前記シートに触れながら文字を描画するジェスチャーを行なった場合に、前記指先または前記ペン先と前記シートとの摩擦により生じるレベルを表す振動データを出力する振動センサと、
   を具備し、
   前記制御装置は、
   前記振動データを時系列で収集する振動データ収集部と、
   前記時系列の振動データのレベルに基づいて、時間と前記シート上の座標とより前記文字を表すベクトルデータを生成するベクトルデータ生成部と、
   前記ベクトルデータが表す前記文字を前記表示装置に出力するデータ出力部と、
   を具備することを特徴とする文字入力システム。
2. 前記制御装置は、
   複数の登録文字が登録された文字データベースと、
   前記文字データベースに登録された前記複数の登録文字の中から、前記ベクトルデータが表す前記文字に最も近似する登録文字を、近似登録文字として判定する文字判定部と、
   を更に具備し、
   前記データ出力部は、前記近似登録文字を前記表示装置に出力する、
   ことを特徴とする請求項１に記載の文字入力システム。
3. 前記シートが前記シート取付部に取り付けられているときに、前記ユーザが前記ジェスチャーを行なった場合に、前記ジェスチャーを撮影して前記ジェスチャーの画像を表す画像データを出力するカメラ、
   を更に具備し、
   前記制御装置は、
   前記画像データを時系列で収集する画像データ収集部と、
   前記時系列の画像データが表す前記ジェスチャーの画像に基づいて、時間と前記シート上の座標とより前記ジェスチャーの軌跡を表す軌跡データを生成する軌跡データ生成部と、
   前記軌跡データと前記ベクトルデータとを前記シート上の座標に重ね合わせたときに、前記軌跡データが表す前記ジェスチャーの軌跡に対して前記ベクトルデータが表す前記文字が重なる重畳部分を解析し、前記重畳部分である解析文字を表す解析データを生成する解析ベクトルデータ生成部と、
   を更に具備し、
   前記データ出力部は、前記解析データが表す前記解析文字を前記表示装置に出力する、
   ことを特徴とする請求項１に記載の文字入力システム。
4. 前記制御装置は、
   複数の登録文字が登録された文字データベースと、
   前記文字データベースに登録された前記複数の登録文字の中から、前記解析データが表す前記解析文字に最も近似する登録文字を、近似登録文字として判定する文字判定部と、
   を更に具備し、
   前記データ出力部は、前記近似登録文字を前記表示装置に出力する、
   ことを特徴とする請求項３に記載の文字入力システム。
5. 第１の情報処理装置と、
   前記第１の情報処理装置にネットワークを介して接続された第２の情報処理装置と、
   を更に具備し、
   前記表示装置は、前記第１の情報処理装置に設けられ、
   前記シート取付部と前記振動センサと前記制御装置は、前記第２の情報処理装置に設けられている、
   ことを特徴とする請求項１から４のいずれか一項に記載の文字入力システム。
6. 表示装置と、制御装置と、シートを取り付け可能なシート取付部と、振動センサと、を具備するシステムを用いる文字入力方法であって、
   前記シートが前記シート取付部に取り付けられているときに、前記ユーザが指先またはペン先により前記シートに触れながら文字を描画するジェスチャーを行なった場合に、前記振動センサが、前記指先または前記ペン先と前記シートとの摩擦により生じるレベルを表す振動データを出力するステップと、
   前記制御装置が、前記振動データを時系列で収集する振動データ収集ステップと、
   前記制御装置が、前記時系列の振動データのレベルに基づいて、時間と前記シート上の座標とより前記文字を表すベクトルデータを生成するベクトルデータ生成ステップと、
   前記制御装置が、前記ベクトルデータが表す前記文字を表示装置に出力する出力ステップと、
   を具備することを特徴とする文字入力方法。
7. 請求項６に記載の文字入力方法において、前記制御装置が行なう各ステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images