JP2021149480A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】複数の言語に対応した校正機能を有する表示装置を提供すること。【解決手段】手書きデータを異なる言語の文字に変換できる表示装置２であって、前記表示装置に設定されている言語に対応している校正記号を認識する校正記号認識部２４と、前記校正記号認識部が認識した前記校正記号で１つ以上の文字を校正する校正処理部２５と、を有することを特徴とする。【選択図】図１４

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する技術が知られている。また、ユーザーは予め定められた操作方法によりディスプレーに表示された文字を修正することができる。

記号を使って文字列を修正する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、置き換え用の記号と手書き文字認識を組み合わせて文字列を修正する方法が開示されている。

しかしながら、従来の技術は、複数の言語に対応した校正機能を有していないという問題があった。例えば、文字の差し替えの校正記号は日本語と中国語では異なっている。このため、様々なユーザーが表示装置を使用する場合、各ユーザーが文字を効率的に校正することができなかった。

本発明は、上記課題に鑑み、複数の言語に対応した校正機能を有する表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書きデータを異なる言語の文字に変換できる表示装置であって、前記表示装置に設定されている言語に対応している校正記号を認識する校正記号認識部と、前記校正記号認識部が認識した前記校正記号で１つ以上の文字を校正する校正処理部と、を有することを特徴とする。

複数の言語に対応した校正機能を有する表示装置を提供することができる。

修正対象文字列の一部を違う文字で差し替える校正の校正方法を説明する図である。 ペンの斜視図の一例である。 表示装置の全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 日本でよく使用される校正記号のリストを示す図である。 中国でよく使用される校正記号のリストを示す図である。 言語ごとに対応している校正記号が表示される校正記号リスト画面の一例を示す図である。 ユーザーの手書き入力が検出された場合に表示装置が行う動作の全体的な流れを示すフローチャート図の一例である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 文字列における各文字の位置の特定方法を説明する図の一例である。 文字の差し替え方法を模式的に説明する図の一例である。 文字の差し替え方法の手順を示すフローチャート図の一例である。 認識対象の文字の言語の設定方法を説明する図の一例である。 国設定画面の一例を示す図である。 辞書の切り替えの手順を示すフローチャート図の一例である。 文字の差し替え方法を模式的に説明する図である。 文字の差し替えを行わずに校正記号を残す動作を模式的に説明する図である。 ユーザーが「校正しない」ボタンを押下する場合の表示装置の動作を説明するフローチャート図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である（実施例２）。 設定されている言語では使用されていない校正記号をユーザーが手書きした場合に、校正記号が提案される動作を示す図である。 提案部が提案した校正記号が表示された操作ガイドの一例を示す図である。 ユーザーが操作ガイドで選択した校正記号の内容で校正処理部が校正する方法で表示装置が校正する手順を示すフローチャート図の一例である。 置き換えられた校正記号を再度、校正記号認識部が認識して、校正処理部が認識された校正記号で校正する方法で表示装置が校正する手順を示すフローチャート図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である（実施例３）。 手書きデータ言語判断部による言語の判断方法を説明する図の一例である。 文字の差し替え方法を模式的に説明する図の一例である。 手書きデータ言語判断部が言語を判断する手順を示すフローチャート図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である（実施例４）。 音声データ言語判断部による言語の判断方法を説明する図の一例である。 文字の差し替え方法を模式的に説明する図の一例である。 音声データ言語判断部が言語を判断する手順を示すフローチャート図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜文字列の修正の概略＞
まず、本実施形態を説明するにあたって、参考になる比較例と共に本実施形態を説明する。なお、比較例は従来技術や公知技術とは限らないことに注意されたい。

図１は、修正対象文字列３０２の一部を違う文字で差し替える校正の校正方法を説明する図である。図１（ａ）は校正記号を利用した校正方法を示し、図１（ｂ）は認識対象の文字の言語とは異なる言語で使用されている校正記号が手書きされた場合の不都合を説明する図である。

図１（ａ）を参照して校正記号を利用した校正方法を説明する。
(1) 修正対象文字列３０２の差し替えたい文字に、ユーザーは差し替え用の校正記号３２０（JIS Z 8208の、2字以上の修正の記号）を手書きする。
(2) ユーザーは差し替え用の校正記号３２０の上部に差し替え用文字３０５を手書きする。表示装置は、校正記号３２０で指定されている差し替え対象文字３０７を差し替え用文字３０５に変更する。

なお、修正対象文字列３０２は、手書きにより入力された文字列に限らず、ファイルなどから読み取られた文字列、又は、ネットワークからダウンロードされた文字列等でもよい。

このように、例えば表示装置が日本語を認識対象としている状態で、ユーザーが日本語で使用されている校正記号を手書きした場合、表示装置は校正記号を正しく認識できる。しかし、表示装置が中国語を認識対象としている状態で、ユーザーが日本語で使用されている校正記号を手書きした場合、表示装置は校正記号を正しく認識できるとは限らない。図１（ｂ）を参照して説明する。
(1) ユーザーが表示装置に「春芽小学杭州」（中国語）と手書き入力すると、表示装置が手書きデータを文字列に変換して表示する。
(2) 次に、ユーザーは、「小学」を「学校」に変更するため、日本語で使用されている文字の差し替えの校正記号３２０を手書きする。このような状況としては、日本に滞在中の中国人であるが校正には詳しくない中国人が、日本人が書く校正記号をまねて覚えた状況が挙げられる。あるいは、中国人が手書きした文字を日本人が校正する状況が挙げられる。
(3) しかし、表示装置は中国語を認識対象としているため、中国語の辞書にはない校正記号３２０を認識できない。このため、手書きデータとして表示されたままになるか、又は、精度の低い文字の変換候補が表示されるだけになる。

ユーザーが校正記号で修正するには、中国語で一般に使用される校正記号を覚えておくか又は調べて手書きする必要がある。このように、表示装置が言語に応じた校正記号を認識することができない場合、操作性が低下するおそれがあった。

そこで、本実施形態では、ユーザーが認識対象の校正記号の言語（どの言語の校正記号が認識対象か）を選択できるようにした。ユーザーが認識対象の校正記号の言語を選択できるので、ユーザーが種々の言語で手書きしても、該言語で使用されている校正記号で校正できる。また、ユーザーがある国の校正記号しか覚えていなくても、校正記号の言語を設定することで、ユーザーが覚えている校正記号で校正できる。

＜用語について＞
手書きデータとは、ディスプレー上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。

差し替えとは、１つ以上の文字を別の１つ以上の文字に変更することをいう。入れ替えとは、２つ以上の文字を有する文字列内の文字と文字を入れ替えることをいう。

ドラッグとはマウスのボタンを押したまま動かす操作であり、ドロップとは、目的の場所でマウスのボタンを放す操作である。ドラッグにより文字は移動される。ドロップにより文字の位置が決定される。

校正とは文字の不備や誤りを正すことをいう。校正記号とは、誤りの修正指示を簡便かつ正確に記述できる記号である。校正記号はJISZ 8208に規定されている。本実施形態では日本語の校正記号を説明するが、使用者の国に応じた校正記号が使用されるとよい。どの国の校正記号を使用するかをユーザーが選択できてよい。また、規格化された校正記号とは別の校正記号が使用されてもよい。校正内容は、文字をどのように校正するかを示す。校正内容が同じとは完全に一致するだけでなく類似する場合も含んでよい。例えば、「差し替え」という校正内容では、１つでも文字が差し替えられれば類似する。

表示装置に設定されている言語は、手書きデータをどの言語の文字に変換するかについての設定である。所定の画面から設定される場合、手書きデータ又は音声データから判断して設定される場合がある。

変換先の言語は、手書きデータがどの言語の文字コードに変換されるかを意味する。例えば中国語で使用されている校正記号とは、中国語で規格化されている校正記号であるほか、校正従事者ならその半分以上が知っているような校正記号である。本実施形態では、後述する校正記号認識辞書３２に登録されている校正記号とする。他の言語についても同様である。

＜ペンの外観の一例＞
図２は、ペン２５００の斜視図の一例を示す。図２は多機能なペン２５００の一例を示す。電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図２のペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリーを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置の全体構成＞
図３を用いて、本実施形態に係る表示装置２の全体構成を説明する。図３は、表示装置２の全体構成図を示した図である。図３（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図３（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図３（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図３（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜装置のハードウェア構成＞
続いて、図４を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図４は、表示装置２のハードウェア構成図の一例である。図４に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図３（ａ）、図３（ｂ）、又は、図３（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi−FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図４に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図５を用いて表示装置２の機能について説明する。図５は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、校正記号認識部２４、校正処理部２５、表示制御部２６、データ記録部２７、ネットワーク通信部２８、及び、操作受付部２９を有している。表示装置２が有する各機能は、図４に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。この座標点列を補間することで接続してストロークデータを生成する。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識の際は文字認識辞書３１に登録されてる言語の種類に対応した辞書を使用する。文字認識辞書３１は手書きデータの変換先の言語ごとに対応している。一つの実施例として、どの辞書を使用するかはユーザーが画面から設定する。図５では、日本語辞書３１ａ、中国語辞書３１ｂ、英語辞書３１ｃ、フランス語辞書３１ｄ、及び、韓国語辞書３１ｅが示されているが、一例に過ぎない。本実施例では、認識対象の文字の言語が選択されると、校正記号認識辞書３２も切り替わるとして説明するが、切り替えは別々に行われてもよい。

文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

校正記号認識部２４はユーザーの手書きデータから校正記号を検出する。校正記号認識部２４は表示装置２に設定されている言語によって異なる校正記号を検出できる。校正記号の認識の際は校正記号認識辞書３２に登録されてる言語の種類に対応した辞書を使用する。校正記号認識部２４は各言語の校正記号認識辞書３２を参照することで、変換先の文字の言語によって形状が異なるが校正内容が同じ校正記号を認識する。校正記号認識辞書３２は手書きデータの変換先の言語ごとに対応している。図５では、日本語辞書３２ａ、中国語辞書３２ｂ、英語辞書３２ｃ、フランス語辞書３２ｄ、及び、韓国語辞書３２ｅが示されているが、一例に過ぎない。コンピュータから見ると校正記号も文字等と同じストロークの形状なので、例えば、機械学習の教師データとして校正記号の座標などを開発者が与えれば、文字等と同様に校正記号も検出できる。

図５では辞書という形態で示しているが、各辞書は、例えば、ディープラーニングやＣＮＮ（Convolution Neural Network）などのニューラルネットワーク型の識別器でもよい。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

また、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本実施形態で説明する手法には限られない。

校正処理部２５は、検出された校正記号に基づいて、文字の差し替え、入れ替え又は挿入等の校正内容を判断し、校正記号で指定された文字列の位置に１つ以上の文字（手書きされたものでも、文字列内にあるものでもよい）を配置する。詳細は後述される。

表示制御部２６は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。データ記録部２７は、表示装置２に手書きされた手書きデータ、変換された文字列、校正履歴（後述する画像データ）、及び、ＰＣの画面、ファイル等を記憶部３０に記憶する。ネットワーク通信部２８はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

なお、記憶部３０は、図４に示されているＳＳＤ２０４やＲＡＭ２０３などに構築され、データ記録部２７が記録する上記の情報を記憶する。

表１は記憶部３０が記憶する文字列情報を模式的に示す。文字列情報は、識別情報、修正対象の文字列、校正記号、差し替え用文字、差し替え対象文字、修正された文字列、画像データ１、画像データ２、及び、画像データ３の各項目を有している。
識別情報…例えば、変換単位（１回の変換で変換された文字列）で各文字列を識別する識別情報である。
修正対象の文字列…修正される文字列である。修正対象の文字列の左上コーナーと右下コーナーの座標も保存されている。
校正記号…ユーザーが手書きした校正記号の校正内容や識別情報である。
差し替え用文字…差し替えに使用される文字である。少なくとも修正対象の文字列における位置が保存されている。
差し替え対象文字…差し替えられる文字である。少なくとも修正対象の文字列における位置が保存されている。
修正された文字列…差し替え用文字で差し替えられた文字列である。修正された文字列の左上コーナーと右下コーナーの座標も保存されている。
画像データ１、画像データ２、及び、画像データ３…校正履歴として保存される文字列の画像データである。画像データ１は、差し替え対象文字３０７に校正記号が手書きされた修正対象文字列３０２の画像データである。画像データ２は手書き状態の差し替え用文字３０５の画像データである。画像データ３は修正された文字列３３０の画像データである。

＜校正記号の一例＞
図６は日本で使用される校正記号のリストである。先頭に振った符号を使って各校正記号の校正内容を説明する。
１〜３…文字の差し替えの校正記号である。ユーザーは校正記号を手書きして、修正用文字を手書きする。
４…校正記号による修正を取り消すための校正記号である。ユーザーは差し替え用文字３０５に斜めの線を手書きし、差し替え対象文字３０７の近くに「イキ」と手書きする。
５…文字の削除の校正記号である。ユーザーは削除対象の文字に斜め線を手書きし、削除対象の文字の近くに「トル」と手書きする。
６、７…文字の挿入の校正記号である。ユーザーは挿入場所に「Ｖ」形状の校正記号を手書きして、「Ｖ」形状の校正記号の近くに挿入用文字を手書きする。

なお、上記のように１〜７のいずれの校正においてもユーザーは差し替え用文字３０５のドラッグ＆ドロップが不要である。
８，９…文字列内の文字と文字を入れ替えるための校正記号である。ユーザーは図示する校正記号を手書きする。

同様に、入れ替えの校正記号においてもユーザーは入れ替え対象文字のドラッグ＆ドロップが不要である。
１０…段落改行するための校正記号である。ユーザーは図示する校正記号を手書きする。
１１…改行をやめるための校正記号である。ユーザーは図示する校正記号を手書きする。
１２…次の行に移動するための校正記号である。ユーザーは図示する校正記号を手書きする。
１３…小文字に修正するための校正記号である。ユーザーは小文字にしたい文字を囲み、小文字にしたい文字の上側に横線を手書きして「小」という文字を手書きする。
１４…大文字に修正するための校正記号である。ユーザーは大文字にしたい文字を囲み、大文字にしたい文字の上側に横線を手書きして「大」という文字を手書きする。
１５…字下げするための校正記号である。ユーザーは図示する校正記号を手書きする。
１６…字上げするための校正記号である。ユーザーは図示する校正記号を手書きする。
１７〜２０…それぞれ、文字間隔を空ける、文字間隔を詰める、行間を広げる、行間を詰めるための校正記号である。ユーザーは図示する校正記号を手書きする。
２１…拗音を修正するための校正記号である（拗音を止める）。ユーザーは図示する校正記号を手書きする。
２２…撥音を修正するための校正記号である（撥音を止める）。ユーザーは図示する校正記号を手書きする。
２３…上付き下付きを修正するための校正記号である。ユーザーは図示する校正記号を手書きする。
２４…ルビを付けるための校正記号である。ユーザーはルビを付けたい文字に図示する校正記号を手書きしてルビを手書きする。
２５…書体を修正するための校正記号である。ユーザーは書体を変更したい文字に図示する校正記号を手書きして修正後の書体を手書きする。

なお、図示する校正記号は一例であり、他にも校正記号が存在しうる。また、構成の内容を指示する校正記号は別の形状でもよい。

図７は中国で使用される校正記号のリストである。吹き出しに振った符号を使って各校正記号の校正内容を説明する。
３１…削除するための校正記号である。
３２…差し替えするための校正記号である。ユーザーは差し替え対象の文字に図示する校正記号を手書きして差し替え用文字を手書きする。
３３…文字を挿入するための校正記号である。ユーザーは挿入したい文字と文字の間に図示する校正記号を手書きして挿入する文字を手書きする。
３４…文字列内の文字と文字を入れ替えるための校正記号である。ユーザーは図示する校正記号を手書きする。
３５…校正記号による修正を取り消すための校正記号である。ユーザーは削除の校正記号の下に図示する校正記号を手書きする。
３６、３７…文字を強調するための校正記号である。ユーザーは強調したい文字の下側に図示する校正記号を手書きする。
３８…分かれている段落を１つにまとめる校正記号である。ユーザーは合成先の段落の最後と合成元の段落の先頭を図示する校正記号で接続する。

図７は、中国語の校正記号の一例に過ぎず、他は省略されている。また、英語、フランス語、及び、韓国語等についても校正記号が定められている。

このように各言語で校正記号が異なるため、ユーザーが覚えにくい場合がある、そこで、表示装置２は各言語で使用される校正記号を表示する機能を有することが好適である。

図８は、言語ごとに対応している校正記号が表示される校正記号リスト画面４４０の一例である。校正記号リスト画面４４０には、言語ごとに対応している校正内容の校正記号のリスト４４１が表示される。ユーザーはスクロールバー４４５を操作して、表示されていない残りの校正記号を表示させることができる。また、図では日本語と中国語しか表示されていないが、英語、フランス語、及び、韓国語等についても校正内容と校正記号を表示可能である。ユーザーは任意の１つ以上の言語を選択して表示させることもできる。

例えば、ユーザーが校正記号リスト画面４４０で校正記号を選択すると、校正記号リスト画面４４０が消去され、選択した校正記号を表示装置２がディスプレーに表示する。ユーザーは校正記号を任意の文字上に移動させ、校正できる。

また、校正記号リスト画面４４０からユーザーは校正記号を検索できる。ユーザーは校正内容欄４４２に検索したい校正記号の校正内容を入力し、検索ボタン４４３を押下する。これにより、入力された校正内容に対応する各言語の校正記号が表示される。

このように、言語ごとに対応している校正記号が表示されることで、ユーザーは自分が手書きする言語の校正記号を確認できる。

＜表示装置の動作の流れ＞
図９を参照して、ユーザーの手書き入力に対する表示装置２の動作の流れを説明する。図９はユーザーの手書き入力が検出された場合に表示装置２が行う動作の全体的な流れを示すフローチャート図の一例である。このフローチャート図は、校正記号の種類に関係なく共通である。

まず、ユーザーがペン２５００で手書きデータを入力する。これにより、接触位置検出部２１が接触位置を検出し、描画データ生成部２２が手書きデータを生成する。表示制御部２６は手書きデータをディスプレー２２０に表示する（Ｓ１００１）。

次に、文字認識部２３又は校正記号認識部２４が手書きデータに対し文字認識又は校正記号の認識を行う（Ｓ１００２）。文字だけでなく、数字、記号、又は、アルファベットに変換される場合もある。

認識結果が校正記号の場合（Ｓ１００３）、校正処理部２５は文字列が必要かどうかを校正記号の種別に基づいて判断する（Ｓ１００４）。文字列が必要な校正記号かどうかは、図６のように校正記号によって決まっている。例えば、差し替え、挿入、及び、ルビ付けは文字列が必要である。それ以外は、不要である。

文字列が必要な場合、校正処理部２５は文字列の入力待ち状態となる（Ｓ１００５）。したがって、処理はステップＳ１００１に戻る。

文字列が不要な場合、校正処理部２５は校正処理を実行する（Ｓ１００６）。詳細は後述されるが、修正対象文字列３０２のうち校正記号で特定される文字列の１つ以上の文字に、校正記号で特定された処理を行う。処理には校正記号に応じて検出される修正対象文字列３０２内の文字が使用される。表示制御部２６は校正後の文字列を表示する。

認識結果が文字列の場合（Ｓ１００３）、校正処理部２５は文字列待ち状態か否かを判断する（Ｓ１００７）。すなわち、ステップＳ１００５を通過したか否かを判断する。

文字列待ち状態の場合、校正処理部２５は校正処理を実行する（Ｓ１００６）。詳細は後述されるが、修正対象文字列３０２のうち校正記号で特定される１つ以上の文字を、新たに手書きされた文字列に変更する。あるいは、校正記号で特定される文字列の場所に新たに手書きされた文字を挿入する。あるいは、校正記号で特定される文字列に手書きされた文字をルビとして追加する。表示制御部２６は校正後の文字列を表示する。

文字列待ち状態でない場合、表示制御部２６は手書きデータから変換された文字列を表示する（Ｓ１００８）。

＜選択可能候補の表示例＞
続いて、図１０を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図１０は操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きすることで、操作ガイド５００が表示される。操作ガイド５００は、操作ヘッダー５２０、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８、及び、手書きデータ矩形領域表示５０３を有している。選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。図１０の例ではユーザーが「予測」と表示されているボタン５０９を押下すると操作受付部２９がそれを受け付けて、表示制御部２６が「かな」というボタン５０９に表示を変更する。変更後は、文字列候補５３９が「カナ変換」の確率降順で並ぶ。

ボタン５０２は候補表示のページ操作をする。図１０の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータを含め、図１０に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図１０では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。図１０の例では点線枠で手書きデータ矩形領域表示５０３が表示されている。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図１０の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図１０では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０として表示されている。

ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

図１０に示すように、文字列候補と操作コマンドの候補が同時に（共に）表示されるため、ユーザーは自分が入力しようとした文字列候補と操作コマンドのどちらも任意に選択できる。

図１０には含まれていないが、校正記号が選択可能候補５３０に含まれる場合もある。校正記号の確率が一定以上ならば校正記号認識部２４は校正記号であると認識して操作ガイド５００は表示されない。確率に関係なく校正記号を含む操作ガイド５００が表示されてもよい。校正記号の確率が一定未満ならば操作ガイド５００に校正記号の候補が表示される。例えば、ディープラーニングやＣＮＮなどのニューラルネットワーク型の識別器では、出力層のノードがノードに対応する校正記号の確率を出力する。この確率が高いものほどユーザーが手書きした可能性が高い。

＜文字列内における各文字の位置の特定方法＞
図１１を用いて文字列における各文字の位置の特定方法を説明する。図１１は文字列における各文字の位置の特定方法を説明する図の一例である。図１１には「赤い小さい花」３１０という文字列が表示されている。記憶部３０には、文字列の左上コーナーの座標Ｐ１と右下コーナーの座標Ｐ２が保存されている。また、使用しているフォント及び文字サイズも既知である。また、フォントが分かれば各文字の文字サイズも既知となる。例えば、一般の漢字、ひらがな、数字、などに対応付けて縦横のサイズが登録されているテーブルを記憶部３０が記憶している。したがって、校正処理部２５はこれらの情報を使って、各文字の座標（例えば１文字文のマスの左上コーナーと右下コーナーの座標）を算出できる。

図１１では各文字のｘ座標をＡ〜Ｅで示している（ｙ座標はｙ１又はｙ２）。校正処理部２５は座標Ａ〜Ｅを容易に算出できる。したがって、校正処理部２５は座標Ａ〜Ｅと校正記号の座標を比較して、差し替え対象文字３０７等を決定できる。

＜修正の例＞
図１２を参照して、校正記号を使用した文字の差し替えの修正例を説明する。図１２は、文字の差し替え方法を模式的に説明する図である。図１３は文字の差し替え方法の手順を示すフローチャート図である。

S1：ユーザーがディスプレー２２０に「赤い小さい花」と手書き入力すると、表示制御部２６が上記の操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の文字列（修正対象文字列３０２）をディスプレーに表示する。

S2：ユーザーは、「小さい」を「大きい」に変更するため、文字の差し替えの校正記号３２０を（JIS Z 8208の、2字以上の修正の記号を描く）手書きする。校正記号認識部２４はこの校正記号を検出する。なお、校正記号が検出された場合（確率が一定以上の場合）、操作ガイド５００は表示されない。操作ガイド５００が表示された場合は校正記号が選択肢に表示されるのでユーザーが選択すればよい。確率に関係なく常に操作ガイド５００が表示されてもよい。校正記号の検出により表示装置２は修正モードになる。

S3：校正記号認識部２４はこの校正記号３２０を検出すると、校正記号３２０で特定される位置の差し替え対象文字３０７をスペース（スペースの文字コード）に変更する処理を校正処理部２５へ送信する。すなわち、校正記号３２０の左端と右端の座標を検出し、校正処理部２５へ送信する。校正処理部２５は２つの座標で指定される差し替え対象文字３０７をスペース（スペースの文字コード）に変更する。したがって図１２の例では「小さい」の各文字が空欄になる。このスペースを置き換え領域と呼ぶ。なお、校正処理部２５は修正対象文字列３０２、及び、差し替え対象文字３０７を識別情報に対応付けて保存しておく。

S4：次に、ユーザーは任意の位置に「大きい」という文字を手書きする。修正モードなのでユーザーは任意の場所に手書きしてよい。表示制御部２６が操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の差し替え用文字３０５である「大きい」をディスプレー２２０に表示する。校正処理部２５は差し替え用文字３０５を、修正対象文字列３０２、及び、差し替え対象文字３０７と同じ識別情報に対応付けて保存しておく。

S5：修正モードであるため、校正処理部２５は差し替え用文字３０５を置き換え領域に配置する。したがって、表示制御部２６は「赤い」と「花」の間に「大きい」を表示する。

このように、校正記号を用いた差し替え処理により、ドラッグ＆ドロップ操作がなくても「赤い小さい花」は「赤い大きい花」という修正された文字列３３０に修正される。修正により、修正モードが終了する。修正された文字列３３０は上記の識別情報に対応付けて記憶部３０に保存される。

なお、差し替え用文字３０５の文字数が差し替え対象文字３０７の文字数よりも小さい場合、校正処理部２５がスペースを削除して（詰めて）、差し替え用文字３０５の後にスペースが残らないようにする。差し替え用文字３０５の文字数が差し替え対象文字３０７の文字数よりも大きい場合は、校正処理部２５が差し替え用文字３０５の後に続く文字列を上書きされないようにシフトする。なお、このようにスペースの削除やシフトするのでなく、校正処理部２５はステップS4で「赤い」と「花」の全てを削除し、「赤い大きい花」の全体を表示してもよい。

＜認識対象の文字の言語（認識対象の校正記号の言語）の設定＞
図１４を参照して、認識される文字の言語の設定方法を説明する。なお、本実施形態では認識対象の文字の言語が設定されると認識対象の校正記号の言語も設定される。こうすることでユーザーの利便性を向上できる。しかし、認識対象の文字の言語と認識される校正記号の言語の設定が独立に行われてもよい。図１４（ａ）は表示装置２が表示する操作中画面４０１の一例である。

操作中画面４０１は、いくつかのアイコンを表示する。そのうちの１つが設定アイコン４１０である。ユーザーはペン２５００で設定アイコン４１０を押下する。操作受付部２９が押下を受け付けると、表示制御部２６は次述する言語設定画面を表示する。

図１４（ｂ）は言語設定画面４０２の一例である。言語設定画面４０２は現在の設定欄４０３とプルダウンボタン４０６を有している。現在は日本語が認識対象の文字の言語である。ユーザーがプルダウンボタン４０６を押下すると、表示装置２が対応している認識可能な文字の言語の一覧４０４を表示制御部２６が表示する。認識可能な文字の言語の一覧４０４は文字認識辞書３１に登録されている辞書の言語である。図１４（ｂ）では中国語、英語、フランス語、及び、韓国語が表示されている。例えばユーザーが日本語を選択して、右下の設定ボタン４０５を押下する。操作受付部２９が押下を受け付けると、表示制御部２６は現在の設定欄４０３に「日本語」と表示する。図１４（ｃ）は日本語が設定された場合の言語設定画面４０２を示す。

言語設定画面４０２で言語が設定されると、文字認識部２３は利用する辞書を日本語辞書３１ａに切り替え、校正記号認識部２４は利用する辞書を日本語圏で利用される校正記号が記載された日本語辞書３２ａに切り替える。

なお、図１５に示すように、同様の設定を国又は地域の選択で表示装置２が受け付けることができる。図１５は、国設定画面４２０の一例である。ユーザーがプルダウンボタン４２１を押下すると、表示装置２が対応している認識可能な言語を使用する国又は地域の一覧４２２を表示制御部２６が表示する。図１５では日本、中国、米国、フランス、及び、韓国が表示されている。このようにユーザーは言語でなく国や地域を選択して辞書を変更できる。該当の国で使用されてる言語が不明な場合に便利である。

図１６は辞書の切り替えの手順を示すフローチャート図の一例である。操作受付部２９が言語設定画面４０２で言語の設定を受け付ける（Ｓ１０１）。

次に、文字認識部２３は言語に対応した文字認識辞書３１に切り替え、校正記号認識部２４は言語に対応した校正記号認識辞書３２に切り替える（Ｓ１０２）。

＜中国語が選択された場合の校正例＞
ユーザーが、言語設定画面４０２で中国語を選択した場合に、中国語で使用されている校正記号を使用した文字の差し替えの修正例を説明する。図１７は、文字の差し替え方法を模式的に説明する図である。なお、フローチャート図は図１３と同様でよい。

S11：ユーザーがディスプレー２２０に「春芽小学杭州」と手書き入力すると、表示制御部２６が上記の操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の文字列（修正対象文字列３０２）をディスプレーに表示する。

S12：ユーザーは、「小学」を「学校」に変更するため、中国語で使用されている文字の差し替えの校正記号３４０を手書きする。校正記号認識部２４は中国語辞書３２ｂを使ってこの校正記号３４０を認識する。操作ガイド５００は表示されても表示されなくてもよい。校正記号３４０の検出により表示装置２は修正モードになる。

S13：校正記号認識部２４はこの校正記号３４０を検出すると、校正記号３４０で特定される位置の差し替え対象文字３０７をスペース（スペースの文字コード）に変更する処理を校正処理部２５へ送信する。すなわち、校正記号３２０の左端と右端の座標を検出し、校正処理部２５へ送信する。校正処理部２５は２つの座標で指定される差し替え対象文字３０７をスペース（スペースの文字コード）に変更する。したがって図１７の例では「小学」の各文字が空欄になる。このスペースを置き換え領域と呼ぶ。なお、校正処理部２５は修正対象文字列３０２、及び、差し替え対象文字３０７を識別情報に対応付けて保存しておく。

S14：次に、ユーザーは任意の位置に「学校」という文字を手書きする。修正モードなのでユーザーは任意の場所に手書きしてよい。表示制御部２６が操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の差し替え用文字３０５である「学校」をディスプレー２２０に表示する。校正処理部２５は差し替え用文字３０５を、修正対象文字列３０２、及び、差し替え対象文字３０７と同じ識別情報に対応付けて保存しておく。

S15：修正モードであるため、校正処理部２５は差し替え用文字３０５を置き換え領域に配置する。したがって、表示制御部２６は「春芽」と「杭州」の間に「学校」を表示する。

このように、中国語が認識される場合はユーザーが中国語の校正記号を手書きすることで、文字列を修正できる。修正により、修正モードが終了する。修正された文字列３３０は上記の識別情報に対応付けて記憶部３０に保存される。

図１（ｂ）について補足する。ユーザーが手書きした校正記号３２０が認識されなかった場合、例えば、ユーザーはいったん校正記号３２０を削除する（例えば、ＵＮＤＯを指示する）。そして、ユーザーは言語設定画面４０２で日本語を選択する。これにより、校正記号認識部２４は日本語で使用される校正記号を認識できるので、ユーザーが日本で使用される校正記号３２０を手書きすることで、表示装置２は日本語の校正記号３２０で中国語を校正できる。

なお、言語設定画面４０２では、文字認識辞書３１と校正記号認識部２４がセットで切り替えられているが、言語設定画面４０２が文字認識辞書３１と校正記号認識部２４を別々に受け付けてもよい。この場合、表示装置２はユーザーの手書きデータを中国語に変換しながら、日本語の校正記号を認識できる。ユーザーとしては文字入力と校正とで言語設定を切り替える必要がない。

＜手書きした校正記号の保存＞
また、図１（ｂ）では、手書きした校正記号が認識されない場合を説明したが、文字の差し替えをユーザーが行いたくない場合もあり得る。例えば、ユーザーが校正する場所だけ指定しておき、後で校正するような場合である。このよう場合に対応するため、修正モードでは校正を実行するか否かを表示装置２がユーザーに問い合わせる。

図１８は、文字の差し替えを行わずに校正記号を残す動作を模式的に説明する図である。

S31,S32：図１２のステップS1,S2と同様でよい。

S33：校正記号認識部２４はこの校正記号３２０を検出すると、表示制御部２６が「校正しない」ことを受け付ける「校正しない」ボタン３５０を表示する。「校正しない」ボタン３５０は一定時間表示され、自動的に消去される。

S34：ユーザーが「校正しない」ボタン３５０を押下すると、操作受付部２９が受け付ける。これによい、校正処理部２５は校正を行わず、データ記録部２７は文字列に校正記号が手書きされた状態を保存できる。

図１９は、ユーザーが「校正しない」ボタン３５０を押下する場合の表示装置２の動作を説明するフローチャート図の一例である。図１９の説明では、図１３との相違を説明する。

ステップS41、S42は図１３のステップS1,S2と同様でよい。次に、校正記号認識部２４はこの校正記号３２０を検出すると、表示制御部２６が「校正しない」ことを受け付ける「校正しない」ボタン３５０を表示する（S43）。

操作受付部２９は「校正しない」ボタン３５０の押下を受け付けたかどうかを判断する（S44）。

「校正しない」ボタン３５０が押下されない場合、ステップS45〜S47が実行されるが、この処理は図１３のステップS3〜S5と同様でよい。

「校正しない」ボタン３５０が押下された場合、操作受付部２９が受け付ける。これによい、校正処理部２５は校正を行わず、文字列に校正記号が手書きされた状態を保存できる（S48）。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、ユーザーが認識対象の校正記号の言語を選択できる。ユーザーが認識対象の校正記号の言語を選択できるので、ユーザーが種々の言語で手書きしても、該言語で使用されている校正記号で校正できる。また、ユーザーがある国の校正記号しか覚えていなくても、校正記号の言語を設定することで、ユーザーが覚えている校正記号で校正できる。

本実施例では、ユーザーが手書きした校正記号が表示装置２に現在、設定されている校正記号認識辞書３２に登録されていない場合、他の言語の校正記号認識辞書３２を使用して、ユーザーが意図する校正記号を提案する表示装置２について説明する。

＜機能について＞
図２０は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。なお、本実施例において、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の表示装置２は提案部３３を有している。提案部３３は、ユーザーが設定している言語の校正記号認識辞書３２だけでなく、全ての言語の校正記号認識辞書３２で校正記号を認識して、確率が一定以上の校正記号を探索する。こうすることで、ユーザーが中国語で手書きしているが、日本語の校正記号を手書きしてしまった場合でも提案部３３が中国語の校正記号を提案するので、ユーザーは言語設定を変更しなくても校正できる。中国語で使用されている校正記号を覚えていなくてもよい。

＜修正の例＞
図２１を参照して、校正記号の提案例を説明する。図２１は、設定されている言語では使用されていない校正記号をユーザーが手書きした場合に、校正記号が提案される動作を示す図である。なお、ユーザーは言語設定画面４０２で中国語を文字認識の対象の言語及び校正記号認識の対象の言語に設定している。

S41：図１７のステップS11と同様でよい。

S42：ユーザーは、「小学」を「学校」に変更するため、日本語で使用されている文字の差し替えの校正記号３２０を手書きする。校正記号認識部２４は中国語の校正記号認識辞書３２を使ってこの校正記号３２０を検出する。しかし、中国語の校正記号認識辞書３２には日本語で使用されている校正記号３２０が登録されていない（校正記号認識辞書３２から確率が一定以上の校正記号が見つからない）。

S43：この場合、表示装置２では校正記号認識の対象の言語として中国語が設定されているが、校正記号認識部２４は他の全ての言語に対応した校正記号認識辞書３２で校正記号３２０を認識する。そして、認識で得られる確率が一定以上の校正記号があれば、提案部３３がその校正記号認識辞書３２の言語と校正記号の内容を提案する。図２１では、日本語の校正記号認識辞書３２で校正記号（第一の校正記号の一例）が見つかったものとする。また、提案部３３は、認識で得られる確率が一定以上の校正記号の内容と同じ内容の校正記号（第二の校正記号の一例）を、現在、設定されている校正記号認識辞書３２（ここでは中国語の校正記号認識辞書３２）から取得する。操作ガイド５００による提案例を図２２に示す。

S44：表示制御部２６は操作ガイド５００で選択された校正記号を、ユーザーが手書きした校正記号と置き換えて表示する。つまり、表示制御部２６は校正記号３２０を削除し、例えば中国語の校正記号３４０を表示する。ステップS44は図１７のステップS12と同じ状態なので、以降は図１７と同様に処理される。なお、以降の処理には２つの方法があるので後述する。

図２２は提案部３３が提案した校正記号が表示された操作ガイド５００を示す。中国語の校正記号認識辞書３２では日本語で使用されている校正記号３２０が見つからない（確率が一定以下）可能性が高いので、操作ガイド５００が表示される。操作ガイド５００は、各言語の校正記号認識辞書３２を使って認識できた校正記号のリスト５４０に校正記号の内容を選択可能に表示する。また、日本語の校正記号が「Ｈ」という文字として認識されたため、「Ｈ」で始まる文字列候補５３９が選択可能に表示されている。ユーザーは現在、表示装置２に設定されている言語の校正記号５４０ｂを選択することができる。あるいは、ユーザーが設定されていない言語（例えば日本語）の校正記号５４０ａを選択しても、校正記号の内容が特定されるので、不都合はない。

＜＜校正記号の置き換え後に実行される２つの処理＞＞
図２１のステップＳ４４の後は、以下の方法がある。
１．ユーザーが操作ガイド５００で選択した校正記号の内容で校正処理部２５が校正する。
２．置き換えられた校正記号（図２１の校正記号３４０）を再度、校正記号認識部２４が認識して、校正処理部２５が認識された校正記号で校正する。

図２３は、ユーザーが操作ガイドで選択した校正記号の内容で校正処理部２５が校正する方法で表示装置２が校正する手順を示すフローチャート図である。

ステップＳ２０１、Ｓ２０２の処理は図１３のステップS1,S2と同様でよい。校正記号認識部２４は中国語の校正記号認識辞書３２で校正記号を認識する。認識により得られる確率が一定未満の場合（Ｓ２０３のＮｏ）、校正記号認識部２４は全ての校正記号認識辞書３２で校正記号を認識する（Ｓ２０４）。なお、確率に関係なくステップＳ２０４が実行されてもよい。

次に、確率が一定以上の校正記号があれば、提案部３３がその校正記号認識辞書３２の言語と校正記号の内容（差し替え、入れ替え等）を取得する（Ｓ２０５）。また、提案部３３は、認識で得られる確率が一定以上の校正記号の内容と同じ内容の校正記号を、現在、設定されている校正記号認識辞書３２（ここでは中国語の校正記号認識辞書３２）から取得する。一方、文字認識部２３は校正記号３２０が文字である可能性があるので文字認識を行う。

表示制御部２６は、確率が一定以上の校正記号及び文字列候補５３９を操作ガイド５００に表示する（Ｓ２０６）。

操作受付部２９は操作ガイド５００から校正記号の選択を受け付けたか否かを判断する（Ｓ２０７）。文字列候補５３９が選択された場合、表示制御部２６が選択された文字を表示して処理は終了する。あるいは、操作ガイド５００が放置された場合は手書きデータ（この場合は校正記号）が残る。

校正記号が選択された場合（Ｓ２０７のＹｅｓ）、表示制御部２６は、元の手書きされた校正記号３２０を削除し、選択された校正記号を手書きされた校正記号と同じ場所に表示する（Ｓ２０８）。ここまでの処理が図２１のステップS41〜S44に相当する。

校正処理部２５は、校正記号３４０を重ねて表示した１つ以上の文字（差し替え対象文字）をスペースに変更する（Ｓ２０９）。

ユーザーが差し替え用文字３０５を手書きするので、表示制御部２６が差し替え用文字３０５を表示する（Ｓ２１０）。

そして、校正処理部２５は、操作ガイド５００で選択された校正記号３４０の内容にしたがって、差し替え用文字３０５を置き換え領域に配置する（Ｓ２１１）。

図２４は、置き換えられた校正記号を再度、校正記号認識部２４が認識して、校正処理部２５が認識された校正記号で校正する方法で表示装置２が校正する手順を示すフローチャート図である。図２４の説明では図２３との相違を説明する。

図２４では、ステップＳ２０８−２が追加されている。ステップＳ２０８−２では、校正記号認識部２４が表示した校正記号を再度、認識する。表示装置２が表示する校正記号は理想的な形状なので一定以上の確率で校正記号と認識される。このように、通常の処理の流れと同様に校正記号を認識できる。

＜主な効果＞
本実施例の表示装置２によれば、ユーザーが手書きした校正記号が現在、設定されている校正記号認識辞書３２に登録されていない場合、他の言語の校正記号認識辞書３２を使用して、ユーザーが意図する校正記号を提案することができる。したがって、ユーザーは各言語の校正記号まで覚えていなくても、１つの言語の校正記号を覚えていれば他の言語の文字も知っている言語の校正記号で校正できる。

実施例１では、言語設定画面からユーザーが言語を設定したが、本実施例では手書きデータに基づいて言語を判断する表示装置２について説明する。

＜機能について＞
図２５は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。なお、本実施例において、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の表示装置２は手書きデータ言語判断部３４を有している。手書きデータ言語判断部３４は、手書きされた文字列に基づいてユーザーが手書きする文字の言語を判断し、表示装置に設定する。

図２６は手書きデータ言語判断部３４による言語の判断方法を説明する図である。手書きデータ言語判断部３４は、予め用意された単語や一定文字数で区切った言語ごとの文字辞書３６１〜３６３を参照し、判断対象の文字が搭載されている割合が最も多い文字辞書３６１〜３６３の言語で記載されていると判断する。単語や一定文字数は座標データで登録されており、手書きデータ言語判断部３４は手書きデータを単語や一定文字数で区切って辞書に登録されている座標データとパターンマッチングする。辞書に登録されている文字はテキストデータ（電子データ）になっていてもよい。

あるいは、手書きデータ言語判断部３４は文字認識部２３の認識結果を利用してもよい。文字認識部２３は文字の認識結果を確率と共に出力するので、文字認識部２３は全ての言語の文字認識辞書３１で文字認識し、手書きデータ言語判断部３４はその確率が最も大きい文字認識辞書３１の言語で手書きされたと判断する。

＜修正の例＞
図２７は、文字の差し替え方法を模式的に説明する図である。図２７の処理の前に手書きデータ言語判断部３４が言語を判断しているものとする。したがって、処理の流れは図１７と同様でよい。

図２８は手書きデータ言語判断部３４が言語を判断する手順を示すフローチャート図の一例である。まず、接触位置検出部２１が手書きデータの入力を受け付ける（Ｓ３０１）。ユーザーが自由に開始した手書きデータを利用してもよいし、所定の文章を手書きするように表示制御部２６がメニューなどを表示してもよい。例えばユーザーが使用する言語で「おはようございます」等に相当する文を入力させる。

手書きデータ言語判断部３４は手書きデータを一定文字数で区切った文字列を各言語の文字辞書３６１〜３６３と比較する（Ｓ３０２）。

手書きデータ言語判断部３４は文字列が登録されている数が最も多い文字辞書３６１〜３６３が対応する言語で手書きされたと判断する（Ｓ３０３）。

＜主な効果＞
本実施例によれば、ユーザーが言語を意識的に設定しなくても、手書きデータに基づいて言語を判断することができるので、利便性を向上できる。

実施例１では、言語設定画面からユーザーが言語を設定したが、本実施例では音声データに基づいて言語を判断する表示装置２について説明する。

＜機能について＞
図２９は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。なお、本実施例において、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の表示装置２は音声データ言語判断部３５を有している。音声データ言語判断部３５は、ユーザーが発話する音声に基づいてユーザーが手書きする文字の言語を判断し、表示装置２に設定する。

図３０は音声データ言語判断部３５による言語の判断方法を説明する図である。音声データ言語判断部３５は２つ以上の音声認識器３６から、スコアを含む音声認識結果を受け付ける。２つ以上の音声認識器３６は各言語に対応した音声の認識装置である。スコアとは「尤度」や「確信度」と言ってもよく、認識結果の妥当性に関する尺度であれば、その内容は問わない。音声データ言語判断部３５は、スコアが最も高い音声認識器３６に対応する言語であると判断する。

＜修正の例＞
図３１は、文字の差し替え方法を模式的に説明する図である。図３１の処理の前に手書きデータ言語判断部３４が言語を判断しているものとする。したがって、処理の流れは図１７と同様でよい。

図３２は音声データ言語判断部３５が言語を判断する手順を示すフローチャート図の一例である。まず、音声データ言語判断部３５がマイク２２１から音声データの入力を受け付ける（Ｓ４０１）。ユーザーが自由に発話した音声データを利用してもよいし、ユーザーが音声を発話するように音声データ言語判断部３５が「おはようございます。調子はどうですか？」等をスピーカー２１９から出力してもよい。いくつかの異なる言語で出力するとよい。

音声データ言語判断部３５は入力された音声データを各音声認識器３６で音声認識する（Ｓ４０２）。

音声データ言語判断部３５は音声認識器３６が返すスコアが最も大きい音声認識器３６が対応する言語が手書きに使用されると判断する（Ｓ４０３）。

＜主な効果＞
本実施例によれば、ユーザーが言語を意識的に設定しなくても、ユーザーの発話に基づいて言語を判断することができるので、利便性を向上できる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図３３は、表示装置２の他の構成例を示す図である。図３３では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００−１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図３４は、表示装置２の他の構成例を示す図である。図３４の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図３３と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図３５は、表示装置２の構成例を示す図である。図３５の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図３３と同様でよい）、端末装置６００へ送信する。なお、図３５の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図３６は、表示装置２の構成例を示す図である。図３６の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図５などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

２ 表示装置

特開2014−14961号公報

Claims (11)

1. 手書きデータを異なる言語の文字に変換できる表示装置であって、
   前記表示装置に設定されている言語に対応している校正記号を認識する校正記号認識部と、
   前記校正記号認識部が認識した前記校正記号で１つ以上の文字を校正する校正処理部と、
   を有することを特徴とする表示装置。
2. 前記校正記号認識部は、前記表示装置に設定されている言語によって異なる校正記号を認識することを特徴とする請求項１に記載の表示装置。
3. 手書きデータの変換先の文字の言語の設定を受け付けるための言語設定画面を表示する表示制御部と、
   前記言語設定画面における言語の設定を受け付ける操作受付部と、を有し、
   前記校正記号認識部は、前記操作受付部が設定を受け付けた言語に対応する校正記号を認識することを特徴とする請求項２に記載の表示装置。
4. ユーザーが手書きした手書きデータに基づいて変換先の文字の言語を判断し、前記表示装置に設定する手書きデータ言語判断部を有し、
   前記校正記号認識部は、前記手書きデータ言語判断部が設定した言語に対応する校正記号を認識することを特徴とする請求項２に記載の表示装置。
5. ユーザーが発話した音声データに基づいてユーザーが使用する言語を判断し、前記表示装置に設定する音声データ言語判断部を有し、
   前記校正記号認識部は、前記音声データ言語判断部が設定した言語に対応する校正記号を認識することを特徴とする請求項２に記載の表示装置。
6. 各言語にそれぞれ対応した複数の校正記号認識辞書を有し、
   前記校正記号認識部は、前記表示装置に設定されている言語に対応する前記校正記号認識辞書を用いてユーザーが手書きした校正記号を認識することを特徴とする請求項３〜５のいずれか１項に記載の表示装置。
7. 手書きデータを１つ以上の文字に変換する文字認識部を有し、
   前記文字認識部が認識した１つ以上の文字、及び、前記校正記号認識部が認識した１つ以上の校正記号を選択可能に表示することを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
8. 各言語にそれぞれ対応した複数の校正記号認識辞書を有し、
   前記校正記号認識部は、全ての前記校正記号認識辞書で手書きされた校正記号を認識し、
   前記表示装置に設定されている言語に対応している前記校正記号認識辞書とは異なる前記校正記号認識辞書で認識の確率が一定以上の第一の校正記号と、同じ内容の第二の校正記号を前記表示装置に設定されている言語に対応する前記校正記号認識辞書から取得する提案部を有し、
   前記提案部が取得した前記第一の校正記号及び前記第二の校正記号を選択可能に表示することを特徴とする請求項７に記載の表示装置。
9. 前記第二の校正記号の選択を受け付けた場合、前記校正処理部は手書きされた校正記号が指定する１つ以上の文字を前記第二の校正記号で校正することを特徴とする請求項８に記載の表示装置。
10. 手書きデータを異なる言語の文字に変換できる表示装置が行う表示方法であって、
    校正記号認識部が、前記表示装置に設定されている言語に対応している校正記号を認識するステップと、
    校正処理部が、前記校正記号認識部が認識した前記校正記号で１つ以上の文字を校正するステップと、
    を有することを特徴とする表示方法。
11. 手書きデータを異なる言語の文字に変換できる表示装置を
    前記表示装置に設定されている言語に対応している校正記号を認識する校正記号認識部と、
    前記校正記号認識部が認識した前記校正記号で１つ以上の文字を校正する校正処理部、
    として機能させるためのプログラム。

Images