JP2017041192A - 文字処理システム及び文字処理プログラム - Google Patents

Abstract

【課題】 文字認識される文字からなる文章を適切に特定する。【解決手段】 文字処理システムである端末１０は、入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力部１１と、入力された情報から個々の文字を認識すると共に、入力領域における当該個々の文字の位置を特定する文字認識部１２と、認識されると共に位置が特定された連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りを判断する文章判断部１３とを備える。【選択図】 図１

Description

本発明は、手書き文字等の文字を処理する文字処理システム及び文字処理プログラムに関する。

従来から、画像に含まれる文字を認識し、認識結果を翻訳する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−２３１８１２号公報

上記のような翻訳を手書き文字に対してリアルタイムに行うことが考えられる。例えば、タッチパネルにおいて、ユーザの手書き文字の入力を受け付けて、当該手書き文字の翻訳結果を表示することが考えられる。通常、翻訳を行うためには、翻訳の単位となる文章を特定する必要がある。そのために例えば、翻訳対象となる文章を入力する毎にユーザがその旨を入力させることが考えられる。しかし、ユーザの操作性を考慮すると自動的に翻訳の単位となる文章が特定されることが望ましい。

翻訳対象となる文章の自動的な特定は、例えば、手書き文字の入力の時間間隔に基づいて行うことが考えられる。具体的には、手書き文字の入力が一定時間（２秒程度）なかった場合に文章を書き終わったと判断し、それまでに入力された文字列を翻訳対象となる文章として特定する。しかし、このような方法では、書いている途中に少し考えて筆を止めた場合、本来文章が書き終わっていないにもかかわらず書き終わったと判断されてしまうおそれがある。また、別文章とすべき文章でも、連続して手書き文字を入力すると、一つの文章とされてしまうおそれがある。その結果、手書き文字のリアルタイムの翻訳が適切になされないこととなってしまう。

本発明は、上記に鑑みてなされたものであり、文字認識される文字からなる文章を適切に特定することができる文字処理システム及び文字処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る文字処理システムは、入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力手段と、軌跡入力手段によって入力された情報から個々の文字を認識すると共に、入力領域における当該個々の文字の位置を特定する文字認識手段と、文字認識手段によって認識されると共に位置が特定された連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りを判断する文章判断手段と、を備える。

本発明に係る文字処理システムでは、連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りが判断される。従って、例えば、手書き文字が記載される位置に応じて、翻訳の単位となる文章を適切に判断することができる。即ち、本発明に係る文字処理システムによれば、文字認識される文字からなる文章を適切に特定することができる。

文章判断手段は、文章の最初の文字とそれ以外の各文字間の位置関係にも基づいて文章の区切りを判断することとしてもよい。この構成によれば、例えば、文章が右肩下がりに書かれるような特殊な場合であっても、文章を適切に特定することができる。

軌跡入力手段は、個々の文字の軌跡を入力した時間間隔を示す情報を取得し、文章判断手段は、軌跡入力手段によって取得された情報によって示される時間間隔にも基づいて文章の区切りを判断する、こととしてもよい。この構成によれば、文字認識される文字が入力されるタイミングにも応じて、文章を適切に特定することができる。

文章判断手段は、入力領域における当該個々の文字の位置に応じた時間間隔の判断基準に基づいて文章の区切りを判断することとしてもよい。この構成によれば、入力領域における文字の位置に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。

文章判断手段は、位置関係に応じた時間間隔の判断基準に基づいて文章の区切りを判断することとしてもよい。この構成によれば、上記の位置関係に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。

文章判断手段は、時間間隔に基づいて軌跡の入力速度を算出し、算出した入力速度にも基づいて文章の区切りを判断することとしてもよい。この構成によれば、入力速度に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。

文字処理システムは、文章判断手段によって判断された区切りに基づく文章を翻訳する翻訳手段を更に備えることとしてもよい。この構成によれば、適切に特定した文章に基づいた翻訳まで行うことができる。

ところで、本発明は、上記のように文字処理システムの発明として記述できる他に、以下のように文字処理プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る文字処理プログラムは、コンピュータを、入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力手段と、軌跡入力手段によって入力された情報から個々の文字を認識すると共に、入力領域における当該個々の文字の位置を特定する文字認識手段と、文字認識手段によって認識されると共に位置が特定された連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りを判断する文章判断手段と、として機能させる。

本発明によれば、例えば、手書き文字が記載される位置に応じて、翻訳の単位となる文章を適切に判断することができ、文字認識される文字からなる文章を適切に特定することができる。

本発明の実施形態に係る文字処理システムである端末の構成を示す図である。 文字認識された手書き文字の領域及び四隅の点の座標を示す図である。 手書き文字の書かれ方のパターンを示す図である。 手書き文字が右肩下がりに書かれた例を示す図である。 本発明の実施形態に係る文字処理システムである端末のハードウェア構成を示す図である。 本発明の実施形態に係る文字処理システムである端末で実行される処理全体を示すフローチャートである。 本発明の実施形態に係る文字処理システムである端末で実行される処理のうち文字認識及び文章判断の処理を示すフローチャートである。 時間間隔の判断基準を設定する場合の文字間の位置関係を示す図である。 時間間隔の判断基準を設定する場合の入力領域における文字の位置を示す図である。 本発明の実施形態に係る文字処理プログラムの構成を記録媒体と共に示す図である。

以下、図面と共に本発明に係る文字処理システム及び文字処理プログラムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る文字処理システムである端末１０を示す。端末１０は、ユーザによって使用される装置であり、例えば、タブレット又はスマートフォン等に相当する。端末１０は、ユーザに翻訳の機能を提供する。具体的には、端末１０は、例えば、端末１０が備えるタッチパネルでユーザから手書き文字の入力を受け付ける。端末１０は、入力された手書き文字を認識して、当該手書き文字によって構成される文章を別の言語に翻訳する。端末１０は、翻訳後の文章を、例えば、タッチパネルに表示して出力する。これにより、例えば、筆談によって使用言語が異なる複数の人の間で容易に意思の疎通を図ることができる。

図１に示すように、端末１０は、軌跡入力部１１と、文字認識部１２と、文章判断部１３と、翻訳部１４とを備えて構成される。なお、端末１０は、本実施形態に係る機能以外にも、タブレット又はスマートフォン等が通常備える機能を備えていてもよい。

軌跡入力部１１は、入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力手段である。入力領域（筆記可能領域）は、手書き文字を入力することができる領域である。また、軌跡入力部１１は、個々の文字の軌跡を入力した時間間隔を示す情報を取得する。

軌跡入力部１１は、例えば、タッチパネルを備えて構成されている。軌跡入力部１１がタッチパネルを備える構成では、タッチパネルの接触を検出する領域が入力領域となる。なお、入力領域は、タッチパネルの全体であってもよいし、タッチパネルの一部であってもよい。軌跡入力部１１は、ユーザのタッチパネルに対する手書き文字の入力操作（手書き文字を書く操作）を受け付けることで、入力領域における複数の文字の軌跡を入力する。また、軌跡入力部１１は、リアルタイムに軌跡（時系列の軌跡）を入力することで、文字の順番が特定可能なように軌跡を入力する。具体的には、軌跡入力部１１は、軌跡を入力した時刻を示す情報を、当該軌跡自体を示す情報に対応付ける。軌跡入力部１１は、入力した軌跡を示す情報を文字認識部１２に出力する。

なお、軌跡入力部１１による文字の軌跡の入力は、必ずしもタッチパネルによって行われる必要はなく、手書き文字の入力操作を行えるデバイスであれば、任意のデバイスが用いられてもよい。例えば、軌跡入力部１１は、マウスによる手書き文字の入力操作を受け付ける構成であってもよい。

文字認識部１２は、軌跡入力部１１から入力された情報から個々の文字を認識すると共に、入力領域における当該個々の文字の位置を特定する文字認識手段である。文字認識部１２は、軌跡入力部１１から入力された情報によって示される軌跡に対して、文字認識を行って個々の文字を特定する。また、文字認識部１２は、文字認識によって特定された個々の文字の入力領域における位置を特定する。個々の文字の位置は、例えば、文字認識によって個々の文字の領域のタッチパネル上の座標によって特定される。個々の文字領域は、例えば、矩形の領域とされる。文字認識部１２は、図２に示すように当該領域の四隅の点の座標を特定する。なお、図２の中の「Ｅ」は、手書き文字を示している。上記の文字認識及び上記の領域の特定については、従来の技術によって行うことができる。

文字認識部１２は、上記の文字認識等の処理を一定時間毎（例えば、数秒毎）に行う。文字認識部１２は、軌跡入力部１１から入力された情報によって示される軌跡を入力した時刻から、文字認識によって特定された個々の文字が入力された時刻を特定する。文字が入力された時刻として、例えば、文字認識部１２は、文字を構成する軌跡の最初を入力した時刻を当該文字が書き始められた時刻とし、文字を構成する軌跡の最後を入力した時刻を当該文字が書き終わった時刻とする。文字認識部１２は、当該処理によって得られた情報を文章判断部１３に出力する。

文章判断部１３は、文字認識部１２によって認識される文字から文章の区切りを判断（判定）する文章判断手段である。文章の区切りを判断するとは、複数の手書き文字のどこからどこまでが１つの文章を構成しているかを判断するものである。文章判断部１３による判断は、翻訳対象となる（翻訳の単位となる）文章を特定するためのものである。即ち、１つの文章についての手書き終了タイミングを判定するものである。具体的には、文字が一つ前の文字（一つ前に書かれた文字）と同一の文章に属するか否かを判断することで文章の区切りの判断を行う。

図３に本実施形態における手書き文字の書かれ方の例を示す。図３（ａ）では、アルファベットの順で文字が書かれた順を示している。即ち、Ａ、Ｂ、Ｃ…の順で文字が書かれることを示している。図３（ｂ）では、手書き文字で書かれる文章の具体例を示している。例えば、図３における（１）のパターンは、「この炊飯器を３つください」という１つの文章で翻訳するべき文字列である。（２）のパターンは、「いくらですか」及び「１５，０００円です」という２つの文章で翻訳するべき文字列である。なお、図３の各表において、列の左側は、６番目の文字「Ｆ」が５番目の文字「Ｅ」より左に書かれている例であり、列の右側は、「Ｆ」が「Ｅ」より右に書かれている例である。

文章判断部１３は、文字認識部１２によって認識されると共に位置が特定された連続する文字間の位置関係に基づいて文章の区切りを判断する。また、文章判断部１３は、文章の最初の文字とそれ以外の各文字間の位置関係にも基づいて文章の区切りを判断する。この位置関係は、例えば、後述するように文字の上下関係及び左右関係である。また、文章判断部１３は、文字認識部１２から入力される情報によって示される文字間の時間間隔にも基づいて文章の区切りを判断する。具体的には、文章判断部１３は、以下のように判断を行う。

文章判断部１３は、文字認識部１２から入力される情報によって示される文字毎に当該文字が入力された時刻が早い順に判断を行う。文章判断部１３は、最初の文字については、文章の最初の文字であると判断する。文章判断部１３は、それ以降の文字であるｎ番目の文字について、以下のように１つ前の文字であるｎ−１番目の文字との位置の比較を行う。なお、図２に示すようにｎ番目の文字の左下の点、左上の点、右下の点、右上の点についてのＸ座標及びＹ座標をそれぞれ（Ｘ０ｎ，Ｙ０ｎ）、（Ｘ０ｎ，Ｙ１ｎ）、（Ｘ１ｎ，Ｙ０ｎ）、（Ｘ１ｎ，Ｙ１ｎ）とする。また、ｎ−１番目の文字の左下の点、左上の点、右下の点、右上の点についてのＸ座標及びＹ座標をそれぞれ（Ｘ０ｎ−１，Ｙ０ｎ−１）、（Ｘ０ｎ−１，Ｙ１ｎ−１）、（Ｘ１ｎ−１，Ｙ０ｎ−１）、（Ｘ１ｎ−１，Ｙ１ｎ−１）とする。

文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも左に位置しているか否かを判断する（判断１）。具体的には、文章判断部１３は、Ｘ０ｎ＜Ｘ１ｎ−１であるか否かを判断する。Ｘ０ｎ＜Ｘ１ｎ−１であると判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも左に位置していると判断する。Ｘ０ｎ＜Ｘ１ｎ−１ではないと判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも左に位置していないと判断する。

文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも下に位置しているか否かを判断する（判断２）。具体的には、文章判断部１３は、Ｙ１ｎ＜Ｙ０ｎ−１であるか否かを判断する。Ｙ１ｎ＜Ｙ０ｎ−１であると判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも下に位置していると判断する。Ｙ１ｎ＜Ｙ０ｎ−１ではないと判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも下に位置していないと判断する。

文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも上に位置しているか否かを判断する（判断３）。具体的には、文章判断部１３は、Ｙ０ｎ＞Ｙ１ｎ−１であるか否かを判断する。Ｙ０ｎ＞Ｙ１ｎ−１であると判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも上に位置していると判断する。Ｙ０ｎ＞Ｙ１ｎ−１ではないと判断したら、文章判断部１３は、ｎ番目の文字がｎ−１番目の文字よりも上に位置していないと判断する。

文章判断部１３は、Ｘ方向（横方向）においてｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいているか否かを判断する（判断４）。具体的には、文章判断部１３は、２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１であるか否かを判断する。上記の判断にように間隔の判断基準に用いられるのは、ｎ−１番目の文字のＸ方向の長さ（底辺の長さ）である。２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１であると判断したら、文章判断部１３は、２文字以上間隔があいていると判断する。２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１ではないと判断したら、文章判断部１３は、２文字以上間隔があいていないと判断する。

文章判断部１３は、上記の判断の結果、以下の（ｉ）〜（ｉｖ）の場合、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）である、即ち、ｎ−１番目の文字とｎ番目の文字との間に文章の区切りがあると判断する。
（ｉ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していると判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していないと判断した場合（図３の表の（２）のパターンの「Ｆ」）
（ｉｉ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していないと判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していると判断した場合（図３の表の（３）パターンの「Ｆ」）
（ｉｉｉ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していないと判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していないと判断し、判断３において、ｎ番目の文字がｎ−１番目の文字よりも上に位置していると判断した場合（図３の表の（４）のパターンの「Ｆ」）
（ｉｖ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していないと判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していないと判断し、判断３において、ｎ番目の文字がｎ−１番目の文字よりも上に位置していないと判断し、判断４において、ｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいていると判断した場合（図３の表の（５）パターンの「Ｆ」の「Ｅ」との間隔が２文字以上の場合）

文章判断部１３は、上記の判断の結果、以下の（ｖ）〜（ｖｉ）の場合、更に文字が入力される時間間隔に基づいて、以下に示す判断を行う。
（ｖ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していると判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していると判断した場合（図３の表の（１）のパターンの「Ｆ」）
（ｖｉ）上記の判断１において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していないと判断し、判断２において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していないと判断し、判断３において、ｎ番目の文字がｎ−１番目の文字よりも上に位置していないと判断し、判断３において、ｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいていないと判断した場合（図３の表の（５）のパターンの「Ｆ」の「Ｅ」との間隔が２文字未満の場合）

この場合、文章判断部１３は、文字認識部１２から入力される情報によって示されるｎ−１番目の文字が書き終わった時刻と、ｎ番目の文字が書き始められた時刻との間隔、即ち、それらの文字が入力される時間間隔（ｎ−１番目の文字を書き終えてからｎ番目の文字を書き始めるまでの時間）を算出する。文章判断部１３は、当該時間間隔と予め設定される閾値である判定時間とを比較して、時間間隔が判定時間以上か否かを判断する。判定時間は、文字の位置関係を考慮せずに文章の区切りを判断する場合（例えば、上述したように２秒程度）よりも長い時間（例えば、３秒）としてもよい。

文章判断部１３は、時間間隔が判定時間以上であると判断したら、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）である、即ち、ｎ−１番目の文字とｎ番目の文字との間に文章の区切りがあると判断する。文章判断部１３は、時間間隔が判定時間以上でないと判断したら、ｎ−１番目の文字とｎ番目の文字とは同じ文章を構成する（文章が続いている）、即ち、ｎ−１番目の文字とｎ番目の文字との間に文章の区切りがないと判断する。

なお、図４に示すように、文章が２行に分けられて、かつ右肩下がりに書かれる場合がある。図４に示すように手書き文字が書かれた場合に、「Ｅ」と「Ｆ」との位置関係は、上記（ｉ）のように判断される。そのため、「Ｅ」と「Ｆ」とは、別の文章を構成する文字であると判断されてしまう。

それを避けるため、文章判断部１３は、上述した判断に加えて、文章の最初の文字と判断対象の文字との間の位置関係にも基づいて文章の区切りを判断することとしてもよい。具体的には、上記（ｉ）の判断を行った場合、文章判断部１３は、更に、ｎ番目の文字が、ｎ−１番目の文字が属する文章の最初の文字（図４の例では、「Ａ」）よりも下に位置しているか否かを判断する。具体的には、文章判断部１３は、Ｙ１ｎ＜Ｙ０１（文章の最初の文字の下端のＹ座標）であるか否かを判断する。

Ｙ１ｎ＜Ｙ０１であると判断したら、文章判断部１３は、ｎ番目の文字が最初の文字よりも下に位置していると判断する。この場合、文章判断部１３は、（ｖ）及び（ｖｉ）の場合と同様に、文字が入力される時間間隔に基づく判断を行って、当該判断に応じてｎ番目の文字が、ｎ−１番目の文字とは別の文章を構成するか否かを判断する。Ｙ１ｎ＜Ｙ０１ではないと判断したら、文章判断部１３は、ｎ番目の文字が最初の文字よりも下に位置していないと判断する。この場合、文章判断部１３は、（ｉ）〜（ｉｖ）の場合と同様に、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断する。

文章判断部１３は、文章の区切りを判断すると、１つの文章と判断された文字列を翻訳対象の文章として翻訳部１４に出力する。なお、文章判断部１３は、文字認識部１２から最後に情報を入力してから、上記の判定時間の時間を経過しても新たな情報が入力されなければ、そこまでの文字列を１つの文章と判断して翻訳部１４に出力してもよい。

翻訳部１４は、文章判断部１３によって判断された区切りに基づく文章、即ち、文章判断部１３によって１つの文章と判断された文字列を翻訳する翻訳手段である。翻訳部１４は、例えば、入力した言語を予め設定された翻訳前の言語から翻訳後の言語への翻訳を行う。翻訳部１４による翻訳は、従来の機械翻訳の技術によって行うことができる。

翻訳部１４は、翻訳後の文章を出力する。翻訳後の文章の出力は、例えば、端末１０が備えるタッチパネルにおいて、手書き文字が書かれた部分以外の部分、例えば、手書き文字が書かれた部分の下の部分に当該文章を表示することで行われる。あるいは、翻訳部１４は、翻訳後の文章を音声出力することとしてもよい。以上が、本実施形態に係る端末１０の機能構成である。

図５に本実施形態に係る端末１０のハードウェア構成を示す。図５に示すように端末１０は、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ（Read Only Memory）１０３、並びにタッチパネル１０４等のハードウェアを備える装置として構成される。これらの構成要素がプログラム等により動作することにより、上述した端末１０の機能が発揮される。なお、端末１０は、上記以外にも、通常、スマートフォン等が備えるハードウェアを備えていてもよい。以上が、本実施形態に係る端末１０の構成である。

引き続いて、図６及び図７のフローチャートを用いて、端末１０で実行される処理を説明する。ユーザによって端末１０に対して手書き文字の入力操作（例えば、タッチパネルに手書き文字を書く操作）が行われると、端末１０では、軌跡入力部１１によって、当該入力操作が受け付けられて、文字の軌跡が入力される（Ｓ０１）。軌跡の情報は、軌跡入力部１１から文字認識部１２に出力される。続いて、文字認識部１２による文字認識と、文章判断部１３による文章判断とが行われる（Ｓ０２）。本処理について、図７のフローチャートを用いて説明する。本処理は、軌跡の情報が軌跡入力部１１から文字認識部１２に出力される度に（ユーザによって端末１０に対して手書き文字の入力操作が行われる度に）行われる。

本処理では、文字認識部１２によって、軌跡入力部１１から入力された情報からｎ文字目の文字の文字認識が行われる（Ｓ２０１）。続いて、文字認識部１２によって、ｎ文字目の文字の領域の四隅の点の座標（（Ｘ０ｎ，Ｙ０ｎ）、（Ｘ０ｎ，Ｙ１ｎ）、（Ｘ１ｎ，Ｙ０ｎ）、（Ｘ１ｎ，Ｙ１ｎ））が算出される（Ｓ２０２）。上記の処理によって得られた情報は、文字認識部１２から文章判断部１３に出力される。

続いて、文章判断部１３によって、ｎ文字目の文字について以下のように文章の区切りが判断される。まず、ｎ文字目の文字の１つ前の文字であるｎ−１番目の文字の領域の四隅の点の座標（（Ｘ０ｎ−１，Ｙ０ｎ−１）、（Ｘ０ｎ−１，Ｙ１ｎ−１）、（Ｘ１ｎ−１，Ｙ０ｎ−１）、（Ｘ１ｎ−１，Ｙ１ｎ−１））が呼び出される（Ｓ２０３）。なお、最初の文字（ｎが１の場合）については、文章の最初の文字であると判断し（図示せず）、次の文字から本処理を行う。

続いて、ｎ番目の文字がｎ−１番目の文字よりも左に位置しているか否かが判断される。具体的には、Ｘ０ｎ＜Ｘ１ｎ−１であるか否かが判断される（Ｓ２０４）。ｎ番目の文字がｎ−１番目の文字よりも左に位置している（Ｘ０ｎ＜Ｘ１ｎ−１である）と判断された場合（Ｓ２０４のＹＥＳ）、続いて、ｎ番目の文字がｎ−１番目の文字よりも下に位置しているか否かが判断される。具体的には、Ｙ１ｎ＜Ｙ０ｎ−１であるか否かが判断される（Ｓ２０５）。

ｎ番目の文字がｎ−１番目の文字よりも下に位置している（Ｙ１ｎ＜Ｙ０ｎ−１である）と判断された場合（Ｓ２０５のＹＥＳ、図３の表の（１）のパターンの「Ｆ」）、続いて、ｎ−１番目の文字の入力と、ｎ−１番目の文字の入力との間の時間間隔が予め設定される判定時間である３秒以上か否かが判断される（Ｓ２０６）。時間間隔が判定時間以上であると判断されたら（Ｓ２０６のＹＥＳ）、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断される（Ｓ２０７）。１つの文章が判断されると、当該文章が文章判断部１３から翻訳部１４に出力される（以下についても同様）。

Ｓ２０６において、時間間隔が判定時間以上でないと判断されたら（Ｓ２０６のＮＯ）、ｎ−１番目の文字とｎ番目の文字とは同じ文章を構成する（文章が続いている）と判断される（Ｓ２０８）。Ｓ２０７及びＳ２０８の後、更に文字が続いていれば、Ｓ２０１からの処理が繰り返される（以下についても同様）。

Ｓ２０５において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していない（Ｙ１ｎ＜Ｙ０ｎ−１ではない）と判断された場合（Ｓ２０５のＮＯ、図３の表の（２）のパターンの「Ｆ」）、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断される（Ｓ２０７）。

Ｓ２０４において、ｎ番目の文字がｎ−１番目の文字よりも左に位置していない（Ｘ０ｎ＜Ｘ１ｎ−１ではない）と判断された場合（Ｓ２０４のＮＯ）、続いて、ｎ番目の文字がｎ−１番目の文字よりも下に位置しているか否かが判断される。具体的には、Ｙ１ｎ＜Ｙ０ｎ−１であるか否かが判断される（Ｓ２０９）。ｎ番目の文字がｎ−１番目の文字よりも下に位置している（Ｙ１ｎ＜Ｙ０ｎ−１である）と判断された場合（Ｓ２０９のＹＥＳ、図３の表の（３）のパターンの「Ｆ」）、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断される（Ｓ２０７）。

Ｓ２０９において、ｎ番目の文字がｎ−１番目の文字よりも下に位置していない（Ｙ１ｎ＜Ｙ０ｎ−１ではない）と判断された場合（Ｓ２０９のＮＯ）、続いて、ｎ番目の文字がｎ−１番目の文字よりも上に位置しているか否かが判断される。具体的には、Ｙ０ｎ＞Ｙ１ｎ−１であるか否かが判断される（Ｓ２１０）。ｎ番目の文字がｎ−１番目の文字よりも上に位置している（Ｙ０ｎ＞Ｙ１ｎ−１である）と判断された場合（Ｓ２１０のＹＥＳ、図３の表の（４）のパターンの「Ｆ」）、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断される（Ｓ２０７）。

Ｓ２１０において、ｎ番目の文字がｎ−１番目の文字よりも上に位置していない（Ｙ０ｎ＞Ｙ１ｎ−１ではない）と判断された場合（Ｓ２１０のＮＯ）、続いて、Ｘ方向（横）においてｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいているか否かが判断される。具体的には、２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１であるか否かが判断される（Ｓ２１１）。ｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいている（２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１である）と判断された場合（Ｓ２１１のＹＥＳ、図３の表の（５）パターンの「Ｆ」の「Ｅ」との間隔が２文字以上の場合）、ｎ−１番目の文字までで１つの文章であり、ｎ番目の文字は別の文章の最初の文字（別文章の開始）であると判断される（Ｓ２０７）。

Ｓ２１１において、ｎ番目の文字とｎ−１番目の文字との間に２文字以上間隔があいていない（２＊（Ｘ１ｎ−１ − Ｘ０ｎ−１）＜Ｘ０ｎ − Ｘ１ｎ−１ではない）と判断された場合（Ｓ２１１のＮＯ、図３の表の（５）のパターンの「Ｆ」の「Ｅ」との間隔が２文字未満の場合）、続いて、ｎ−１番目の文字の入力と、ｎ−１番目の文字の入力との間の時間間隔が予め設定される判定時間である３秒以上か否かが判断される（Ｓ２０６）。Ｓ２０６の判断後については、上記と同様である。

なお、上述したように文字認識部１２から文章判断部１３に最後に情報が入力されてから、判定時間である３秒を経過しても新たな情報が文章判断部１３に入力されなければ、そこまでの文字列が１つの文章と判断されて翻訳部１４に出力されてもよい。

図６に戻り、文章判断部１３から翻訳部１４に文章が出力されると、翻訳部１４によって当該文章が翻訳される（Ｓ０３）。続いて、翻訳部１４によって、翻訳された文章の出力が行われる（Ｓ０４）。以上が、端末１０で実行される処理である。

上述したように本実施形態では、連続する文字の位置関係に基づいて、当該文字によって構成される文章の区切りが判断される。従って、例えば、手書き文字が記載される位置に応じて、翻訳の単位となる文章を適切に判断することができる。即ち、本実施形態によれば、文字認識される文字からなる文章を適切に特定することができる。

また、上述した実施形態のように文章の最初の文字との位置関係を考慮することとしてもよい。この構成によれば、例えば、文章が右肩下がりに書かれるような特殊な場合であっても、文章を適切に特定することができる。但し、手書き文字の特殊な書かれ方を想定しない場合等には、必ずしも最初の文字との位置関係を考慮する必要はない。

また、本実施形態のように文字が入力される時間間隔を考慮して文章の区切りを判断することとしてもよい。この構成によれば、文字認識される文字が入力されるタイミングにも応じて、文章を適切に特定することができる。但し、文字が入力される時刻の情報を取得できない場合等には、必ずしも時間間隔を考慮する必要はない。

また、本実施形態のように区切りが判断された文章を翻訳する構成を備えていてもよい。この構成によれば、適切に特定した文章に基づいた翻訳まで行うことができる。但し、必ずしも本発明に係る文字処理システムは翻訳する構成を備えている必要はない。また、本発明に係る文字処理システムは、必ずしも翻訳を前提とする必要はなく、適切な文章の区切りが必要となる任意のものに適用することができる。

引き続いて、本実施形態の変形例について説明する。文章判断部１３による１つの文章の区切りの判断（１つの文章の手書き終了タイミングの検出）は、上記の方法に限られず、例えば、以下のように行われてもよい。

文章判断部１３は、入力領域における個々の文字の位置に応じた時間間隔の判断基準に基づいて文章の区切りを判断することとしてもよい。更に、文章判断部１３は、連続する文字間の位置関係に応じた時間間隔の判断基準に基づいて文章の区切りを判断することとしてもよい。例えば、Ｘ方向（横方向）における文字間の間隔（長さ）に基づいて、別文章と判断する（図７のＳ２０６での判断に用いられる）判定時間を設定する（可変とする）こととしてもよい。例えば、図８の「Ｅ」及び「Ｆ」を例に示すように、ｎ−１番目の文字とｎ番目の文字との間のＸ方向における間隔Ｌ、及びｎ−１番目の文字の領域のＸ方向の長さ（底辺）ｘから、以下の式により判定時間Ｔを決定する。なお、Ｌ＝０の場合のＴの値は、以下の式から算出できないため、予めＴの値を設定しておく。
ｐ＝Ｌ／ｘ
Ｔ＝（６＊ｐ）／２^ｐ＋１／ｐ

例えば、上記のように判定時間を設定することで、文字間の間隔が大きい（長い）ほど、判定時間Ｔを短くすることができる。これにより、書き途中に漢字を思い出している場合や、一瞬の思考中断が行われた場合を考慮して、前の文字からの文字間隔が短い場合には、多少時間がかかっていても継続した文章と判断することができる。これにより、上記の位置関係に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。なお、上記では、Ｘ方向の長さとしたが、言語か文章の書かれ方によってはＹ方向（縦方向）の長さとしてもよい。

また、文章判断部１３は、時間間隔に基づいて軌跡の入力速度を算出し、算出した入力速度にも基づいて文章の区切りを判断することとしてもよい。

例えば、文章判断部１３は、ｎ−１番目の文字が書き終わってからｎ番目の文字を書き始めるまでの時間間隔Ｔｎ（ｓｅｃ）を記憶しておき、軌跡の入力速度として以下のようにその平均時間Ｔａ（ｓｅｃ）を算出する。なお、平均時間Ｔａは、文章毎に算出されてもよいし、複数の文章で通算して算出されてもよい。
Ｔａ＝（Ｔ２＋…Ｔｎ−１＋Ｔｎ）／（ｎ−１）

文章判断部１３は、以下のように算出した平均時間Ｔａを１．５倍した値を判定時間Ｔ（ｓｅｃ）とする。
Ｔ＝Ｔａ＊１．５
この構成によれば、入力速度に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。

更に、上記の平均時間Ｔａを前提として、以下のように判定時間Ｔ（ｓｅｃ）を設定してもよい。入力領域における、判断対象のｎ番目の文字の一つ前のｎ−１番目の文字の位置に基づいて、判定時間Ｔ（ｓｅｃ）を設定する。図９の「Ｅ」を例に示すように、ｎ−１番目の文字のＸ方向の長さＬｘと、ｎ−１番目の文字から入力領域の右端までの長さ（残りスペース）Ｌｓから、以下の式（条件）により判定時間Ｔを決定する。
Ｌｘ＞Ｌｓの場合、Ｔ＝Ｔａ＊１．５
Ｌｘ≦Ｌｓの場合、Ｔ＝Ｔａ

この構成によれば、判定時間Ｔを入力速度に加えて、手書き文字の位置に応じた値とすることができる。このように判定時間を設定することで、右端に手書き文字が書かれた場合、次の文字について下の行に書かれることを考慮して時間間隔の判断基準を緩くすることができる。これにより、入力領域における文字の位置に応じて時間間隔の判断基準を適切なものとし、文章を適切に特定することができる。

なお、本実施形態では、端末１０が文字認識及び翻訳を行う構成を有していることとしたが、必ずしも１つの装置において文字認識及び翻訳が行われる必要はなく、手書き文字を入力する装置と文字認識又は翻訳を行う装置とが別構成となっていてもよい。この場合、当該複数の装置によって本発明に係る文字処理システムが構成される。

引き続いて、上述した一連の端末１０による処理をコンピュータに実行させるための文字処理プログラムを説明する。図１０に示すように、文字処理プログラム３０は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体２０に形成されたプログラム格納領域２１内に格納される。

文字処理プログラム３０は、軌跡入力モジュール３１と、文字認識モジュール３２と、文章判断モジュール３３と、翻訳モジュール３４とを備えて構成される。軌跡入力モジュール３１と、文字認識モジュール３２と、文章判断モジュール３３と、翻訳モジュール３４とを実行させることにより実現される機能は、上述した端末１０の軌跡入力部１１と、文字認識部１２と、文章判断部１３と、翻訳部１４との各機能とそれぞれ同様である。

なお、文字処理プログラム３０は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、文字処理プログラム３０の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の文字処理プログラム３０の処理が行われる。

１０…端末、１１…軌跡入力部、１２…文字認識部、１３…文章判断部、１４…翻訳部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…タッチパネル、２０…記録媒体、２１…プログラム格納領域、３０…文字処理プログラム、３１…軌跡入力モジュール、３２…文字認識モジュール、３３…文章判断モジュール、３４…翻訳モジュール。

Claims (8)

1. 入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力手段と、
   前記軌跡入力手段によって入力された情報から個々の文字を認識すると共に、前記入力領域における当該個々の文字の位置を特定する文字認識手段と、
   前記文字認識手段によって認識されると共に位置が特定された連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りを判断する文章判断手段と、
   を備える文字処理システム。
2. 前記文章判断手段は、文章の最初の文字とそれ以外の各文字間の位置関係にも基づいて文章の区切りを判断する請求項１に記載の文字処理システム。
3. 前記軌跡入力手段は、個々の文字の軌跡を入力した時間間隔を示す情報を取得し、
   前記文章判断手段は、前記軌跡入力手段によって取得された情報によって示される時間間隔にも基づいて文章の区切りを判断する、請求項１又は２に記載の文字処理システム。
4. 前記文章判断手段は、前記入力領域における当該個々の文字の位置に応じた前記時間間隔の判断基準に基づいて文章の区切りを判断する請求項３に記載の文字処理システム。
5. 前記文章判断手段は、前記位置関係に応じた前記時間間隔の判断基準に基づいて文章の区切りを判断する請求項４に記載の文字処理システム。
6. 前記文章判断手段は、前記時間間隔に基づいて前記軌跡の入力速度を算出し、算出した入力速度にも基づいて文章の区切りを判断する請求項３〜５の何れか一項に記載の文字処理システム。
7. 前記文章判断手段によって判断された区切りに基づく文章を翻訳する翻訳手段を更に備える請求項１〜６の何れか一項に記載の文字処理システム。
8. コンピュータを、
   入力領域における複数の文字の軌跡を当該文字の順番が特定可能なように入力する軌跡入力手段と、
   前記軌跡入力手段によって入力された情報から個々の文字を認識すると共に、前記入力領域における当該個々の文字の位置を特定する文字認識手段と、
   前記文字認識手段によって認識されると共に位置が特定された連続する文字間の位置関係に基づいて、当該文字によって構成される文章の区切りを判断する文章判断手段と、
   として機能させる文字処理プログラム。

Images