JP2011134053A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】ユーザーの所望する記入操作の軌跡を電子的に生成することができるヘッドマウントディスプレイを提供する。
【解決手段】ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部５２と、ユーザーの身体に装着され、検出領域３１ａ上に対するユーザーの記入操作座標を検出する記入操作検出手段３１と、記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記生成した軌跡画像を画像生成部５２に出力する記入操作画像生成手段と、記入操作座標から検出領域３１ａ上に記入された文字の相対的な位置ズレを決定する文字位置ズレ決定手段と、位置ズレに基づいて、文字の位置ズレを補正する文字位置補正手段とを有することを特徴とする。
【選択図】図２

Description

本発明は、ユーザーの記入操作を表示することができるヘッドマウントディスプレイに関する。

従来から、特許文献１に示されるように、ユーザーの記入操作の軌跡を電子的に生成し、保存することができる電子ペンが提案されている。
一方で、特許文献２に示されるように、ヘッドマウントディスプレイが表示する虚像に対して、ユーザーがペンを用いて入力を行うことができるヘッドマウントディスプレイが提案されている。

特開２００６−９２４１０号公報 特開２００５−３３９２６７号公報

特許文献１に示される電子ペンは、２次元の入力面に記入するため、ハンズフリーとならず、モバイル性に優れないという問題がある。一方で、特許文献２に示されるヘッドマウントディスプレイでは、ユーザーが虚像に対してペンを用いて入力する構成であることから、ハンズフリーとなり、モバイル性に優れる。しかしながら、ユーザーが、虚像に対する距離感を把握し難いことから、ユーザーにとって虚像に対する入力が難しいという問題があった。
この問題の解決方法として、ユーザーの記入操作を検出する入力面をユーザーの腰等の身体に装着し、更に、ユーザーの記入操作をヘッドマウントディスプレイに表示するような構成にすることが考えられる。このような構成であれば、ユーザーは前記入力面を直接視認することができなくても、自己の記入操作をヘッドマウントディスプレイで確認することができ、なおかつ、電子ペンのモバイル性が損なわれることがない。
しかしながら、ユーザーが入力面に文字の記入を行う際に、ユーザーは体勢的に入力面を視認難しく、ユーザーの記入した文字が斜めにズレたり、前記文字が重なったりして、ユーザーの所望どおりに、文字の軌跡を電子的に生成することができないという問題が生じる。
本発明は、上記問題を解決し、ユーザーの所望する文字の軌跡を電子的に生成することができるヘッドマウントディスプレイを提供する。

上記課題を解決するためになされた請求項１に記載の発明は、
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
ユーザーの身体に装着され、２次元である検出領域上に対するユーザーの記入操作の座標である記入操作座標を検出する記入操作検出手段と、
前記記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記生成した軌跡画像を前記画像生成部に出力する記入操作画像生成手段と、
ユーザーの入力操作により、前記記入操作が文字入力であるか否かを選択する文字入力選択手段と、
前記文字入力選択手段により文字入力が選択された場合に、前記記入操作座標から前記検出領域上に記入された文字の、前記検出領域上の第１方向に対する位置ズレを決定する文字位置ズレ決定手段と、
前記文字位置ズレ決定手段により決定された前記位置ズレに基づいて、文字の前記位置ズレを補正する文字位置補正手段と、
を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、
記入操作画像生成手段は、前記文字位置補正手段により相対的な位置ズレが補正された複数の文字からなる文字列の文字列画像を、画像生成部に出力することを特徴とする。
これにより、ユーザーは、文字の位置ズレの補正状態を確認することが可能となる。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
文字位置補正手段で補正する文字の位置ズレの補正方向が、
検出領域上の第１方向に対するズレを補正する第１モードか、
検出領域上の前記第１方向と直交する方向である第２方向に対するズレを補正する第２補正モードかを、ユーザーの入力操作により選択する補正方向選択手段を更に有することを特徴とする。
これにより、文字の位置ズレを補正する方向を任意に選択することが可能となる。

請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
検出領域の傾きを検出する傾斜検出手段を更に有し、
文字位置補正手段は、前記傾斜検出手段により検出された検出領域の傾き情報に基づき、検出領域に記入された文字の傾きを補正することを特徴とする。
これにより、検出領域が傾き、検出領域上に記入された文字が傾いた場合であっても、前記文字の傾きを補正することが可能となる。
なお、文字の自動認識を行う場合には、各文字の傾きが補正されるので、文字の認識精度が向上する。

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
検出領域が受ける加速度を検出する加速度検出手段を更に有し、
文字位置補正手段は、前記加速度に基づいて、検出領域に記入された文字を移動させる補正を行うことを特徴とする。
これにより、検出領域の振動に起因して、検出領域上の文字の位置ズレが生じた場合であっても、前記位置ズレを補正することが可能となる。

請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
文字位置補正手段は、文字位置ズレ決定手段が検出した検出領域上に記入された文字の相対的な位置ズレが所定以下である場合には、文字の位置ズレの補正を行わないことを特徴とする。
これにより、ユーザーが視認することができないような文字の位置ズレが生じた場合であっても、無駄に文字の位置ズレの補正を行われることが無い。

請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
記入操作座標に基づき、隣接する文字が重なっているか否かを判断する文字重なり判断手段を更に有し、
前記文字重なり判断手段が、隣接する文字が重なっていると判断した場合には、
文字位置補正手段は、前記記入操作座標に基づき、隣接する文字が重ならない位置にまで文字を移動させることを特徴とする。
これにより、検出領域に記入された文字の重畳状態を解消することが可能となる。

本発明によれば、文字位置ズレ決定手段が、前記検出領域上に記入された文字の相対的な位置ズレを決定し、文字位置補正手段が前記決定された位置ズレに基づいて、文字の位置ズレを補正するので、ユーザーの所望する文字の軌跡を、電子的に生成することができるヘッドマウントディスプレイを提供することが可能となる。

本発明の実施の形態を示すヘッドマウントディスプレイの全体図である。 本発明の概要を示す説明図である。 ヘッドマウントディスプレイのブロック図である。 メイン処理のフロー図である。 モード選択の説明図である。 初期位置座標決定時の説明図である。 記入開始状態の説明図である。 座標変換処理の説明図である。 ユーザーの記入操作が検知領域外に近接した状態の説明図である。 警告報知状態の説明図である。 再び座標変換処理が行われている状態の説明図である。 第１の実施形態の補正処理のフロー図である。 文字重なり補正の説明図である。 文字傾き補正の説明図である。 加速度位置ズレ補正の説明図である。 第１の実施形態の文字列傾き補正処理の説明図である。 第２の実施形態の補正処理のフロー図である。 第２の実施形態の文字列傾き補正処理の説明図である。

（ヘッドマウントディスプレイの概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着されるヘッドマウントディスプレイ部５０とユーザーの腰等の身体に装着される制御部３０とから構成されている。ヘッドマウントディスプレイ部５０は、頭部装着部５１、画像生成部５２とから構成されている。頭部装着部５１は、図１に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザーの頭部に装着される構造のものであれはすべて含まれる。

画像生成部５２は、頭部装着部５１の側前部に取り付けられている。画像生成部５２は、画像を生成し、当該画像をユーザーに視認させるものである。本実施形態では、画像生成部５２は、レーザ光を直接ユーザーの眼球に走査することにより、ユーザーに画像を視認させる網膜走査型ディスプレイを用いて構成される。このように、網膜走査型ディスプレイを用いて画像生成部５２を構成すると、ユーザーは画像生成部５２が生成する画像を視認することができると同時に、外界もまた視認することができる。なお、画像生成部５２は、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなど、その他の装置を用いた構成であっても差し支えない。

制御部３０は、ユーザーの記入操作を検出するとともに、画像生成部５２で表示する記入操作の軌跡画像を生成する装置である。制御部３０は、画像生成部５２と接続している。制御部３０には、ヘッドマウントディスプレイ１００を操作するための操作部３５が設けられている。制御部３０には、図２に示されるように記入操作検出部３１が設けられている。記入操作検出部３１は、２次元である検出領域３１ａ上の、ユーザーの記入操作の座標を検出する装置である。本実施形態では、ユーザーが入力ペン６０で検出領域３１ａ上に記入操作を行うと、前記記入操作による検出領域３１ａ上の座標が「記入操作座標」として、記入操作検出部３１で検出されるようになっている。

検出領域３１ａの絶対座標（ｘ、ｙ）と、画像生成部５２の表示領域９０の絶対座標（Ｘ、Ｙ）は一致している。ユーザーが入力ペン６０で検出領域３１ａ上に記入操作を行うと（図２の（Ｂ）に示す）、記入操作検出部３１で前記入力ペン６０による記入操作が検知され、図２の（Ａ）に示されるように、画像生成部５２の表示領域９０に前記ユーザーによる記入操作の軌跡が表示される。制御部３０がユーザーの腰に装着されている場合には、図２の（Ｂ）に示されるように、ユーザーは検出領域３１ａの上部から下部方向（ｘ負方向からｘ正方向）に文字を記入する。ユーザーは、検出領域３１ａを視認することができないことから、図２の（Ｃ）に示されるように、検出領域３１ａ上に記入された文字が重なったり、ズレたりしてしまう。また、図１４に示されるように、制御部３０が、水平線或いは垂直線から傾いていると、検出領域３１ａ上に記入された文字が傾いてしまう。また、ユーザーが歩行中等に検出領域３１ａに記入操作を行うと、制御部３０が上下に揺れることから、図１５に示されるように、検出領域３１ａに記入された文字がズレてしまう。本発明では、前記したように検出領域３１ａに記入された重なった文字、ズレた文字、傾いた文字の位置を制御部３０で補正することにより、図２の（Ａ）に示されるように、前記検出領域３１ａ上に記入された文字が整列されて画像生成部５２で表示されるようになっている。以下、このような機能を実現するヘッドマウントディスプレイ１００について詳細に説明する。

（ヘッドマウントディスプレイのブロック図）
図３を用いて、ヘッドマウントディスプレイ１００のブロック図を説明する。制御部３０には、ヘッドマウントディスプレイ１００の各種制御を行う制御基板２０を有している。制御基板２０は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、補助記憶装置１３、画像生成コントローラ１６、ＶＲＡＭ１７、インターフェース１９を有している。これらの構成は、相互にバス９で接続されている。画像生成コントローラ１６とＶＲＡＭ１７は相互に接続している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１２と協動して、各種演算、処理を行うものである。

ＲＡＭ１１は、ＣＰＵ１０で処理されるプログラムや、ＣＰＵ１０が処理するデータを、そのアドレス空間に一時的に記憶するものである。ＲＡＭ１１は、記入操作座標記憶領域１１ａ、初期位置座標記憶領域１１ｂ、開始位置座標記憶領域１１ｃ、記入軌跡座標記憶領域１１ｄ、補正モード記憶領域１１ｅ、加速度データ記憶領域１１ｆ、傾斜角データ記憶領域１１ｇを有している。
記入操作座標記憶領域１１ａには、バス９に入力された「記入操作座標」が記憶される。
初期位置座標記憶領域１１ｂには、後述する初期位置座標決定プログラム１２ｃが決定した画像生成部５２の表示領域９０上の「初期位置座標」が記憶される。
開始位置座標記憶領域１１ｃには、ユーザーの入力ペン６０による検出領域３１ａへの記入操作の開始位置の座標である「開始位置座標」が記憶される。
記入軌跡座標記憶領域１１ｄには、座標変換プログラム１２ｅにより生成された「記入軌跡座標」が記憶される。
補正モード記憶領域１１ｅには、「垂直補正モード」、「水平補正モード」のいずれかのモードであることを示すフラグが記憶される。なお、「垂直補正モード」は、文字の位置ズレを補正する方向が垂直方向（第１方向）であるモードである。また、「水平補正モード」は、文字の位置ズレを補正する方向が水平方向（第２方向）であるモードである。なお、前記第１方向と第２方向とは直交している。
加速度データ記憶領域１１ｆには、制御部３０（検出領域３１ａ）の「加速度データ」と、この「加速度データ」の「検出時間」が記憶される。
傾斜角データ記憶領域１１ｇには、検出領域３１ａの「傾斜角データ」と、この「傾斜角データ」の「検出時間」が記憶される。

ＲＯＭ１２には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１０で処理されることにより、各種機能を実現している。ＲＯＭ１２には、モード選択画面表示プログラム１２ａ、モード選択プログラム１２ｂ、初期位置座標決定プログラム１２ｃ、開始位置座標検出プログラム１２ｄ、座標変換プログラム１２ｅ、記入軌跡画像生成プログラム１２ｆ、記入操作エラー検出プログラム１２ｇ、警告報知プログラム１２ｈ、１文字記入完了判断プログラム１２ｉ、文字重なり判断プログラム１２ｊ、文字位置ズレ決定プログラム１２ｋ、文字位置補正プログラム１２ｍが記憶されている。なお、補助記憶装置１３に、これらプログラムやデータを記憶することにしても差し支えない。

モード選択画面表示プログラム１２ａは、「文字入力モード」であるか「描画入力モード」であるかを選択させる「入力モード選択画面」（図５の（Ａ）に示す）や、「垂直補正モード」であるか「水平補正モード」であるか、或いは、「ズレ補正無し」のいずれかを選択させる「補正モード選択画面」（図５の（Ｂ）に示す）を、画像生成部５２の表示領域９０上に表示させる命令を、画像生成コントローラ１６に出力するプログラムである。
モード選択プログラム１２ｂは、ユーザーの選択操作により、「文字入力モード」又は「描画入力モード」のいずれかが選択されたかを判断するプログラムである。また、モード選択プログラム１２ｂは、ユーザーの選択操作により、「垂直補正モード」であるか「水平補正モード」であるか、或いは、「ズレ補正無し」のいずれかをのモードが選択されたかを判断するプログラムである。
初期位置座標決定プログラム１２ｃは、画像生成部５２の表示領域９０上の初期位置座標９９（図７〜図１１に示す）を決定するプログラムである。
開始位置座標検出プログラム１２ｄは、「記入操作座標」から、ユーザーによる書き始め位置である開始位置座標９１（図７〜図１１に示す）を検出するプログラムである。
座標変換プログラム１２ｅは、ユーザーによる記入操作の開始位置座標９１を、画像生成部５２の表示領域９０上の初期位置座標９９に変換し、初期位置座標９９と、「記入操作座標」と開始位置座標９１との位置関係を用いて、順次「記入軌跡座標」を算出するプログラムである。
記入軌跡画像生成プログラム１２ｆは、前記算出された「記入軌跡座標」に基づいて、画像生成部５２に出力する「記入軌跡画像」を生成するプログラムである。
記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作の検出領域３１ａ外への近接又は離脱を検出するプログラムである。
警告報知プログラム１２ｈは、ユーザーの記入操作の検出領域３１ａ外への近接又は離脱を検出した場合に、画像生成部５２に警告画像を表示させ、ユーザーに警告を報知するプログラムである。
１文字記入完了判断プログラム１２ｉは、ユーザーの検出領域３１ａに対する記入操作が、１文字書き終わったか否かを判断するプログラムである。
文字重なり判断プログラム１２ｊは、検出領域３１ａに記入された隣接する文字の重なりを検出するプログラムである。
文字位置ズレ決定プログラム１２ｋは、各文字の検出領域３１ａ上の座標位置から、検出領域３１ａ上に記入された文字の相対的な位置ズレを決定するプログラムである。
文字位置補正プログラム１２ｍは、文字の相対的な位置ズレに基づいて、隣接する文字の位置ズレを補正するプログラムである。
なお、モード選択画面表示プログラム１２ａ、モード選択プログラム１２ｂ、初期位置座標決定プログラム１２ｃ、開始位置座標検出プログラム１２ｄ、座標変換プログラム１２ｅ、記入軌跡画像生成プログラム１２ｆ、記入操作エラー検出プログラム１２ｇ、警告報知プログラム１２ｈ、１文字記入完了判断プログラム１２ｉ、文字重なり判断プログラム１２ｊ、文字位置ズレ決定プログラム１２ｋ、文字位置補正プログラム１２ｍを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。

補助記憶装置１３は、例えば、不揮発性メモリーやハードディスクである。補助記憶装置１３には、記入軌跡座標保存領域１３ａ、記入操作座標保存領域１３ｂを有している。記入軌跡座標保存領域１３ａには、「文字入力モード」の場合に、ユーザーの検出領域３１ａ上の記入操作により生成された「記入軌跡座標」が記憶される。記入操作座標保存領域１３ｂには、「描画入力モード」の場合に、ユーザーの検出領域３１ａ上の記入操作により生成された「記入操作座標」が記憶される。

画像生成コントローラ１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有している。画像生成コントローラ１６は、記入軌跡画像生成プログラム１２ｆからの描画命令により、「記入操作軌跡画像」を生成し、ＶＲＡＭ１７に記憶させる。ＶＲＡＭ１７に記憶された「記入操作軌跡画像」は、「画像信号」として画像生成部５２に出力される。

インターフェース１９は、信号の物理的、論理的な形式を変換するものである。インターフェース１９には、記入操作検出部３１、加速度センサー３２、傾斜センサー３３、操作部３５が接続している。

本実施形態では、入力ペン６０の先端は交番磁界を発し、記入操作検出部３１には前記交番磁界を検知する検知コイルがマトリックス状に配設されている。このような構成により、記入操作検出部３１で、２次元である検出領域３１ａ上の、ユーザーの記入操作の座標である「記入操作座標」が生成される。この「記入操作座標」は、所定時間（数ミリ秒）をおいて生成される。但し、ユーザーが入力ペン６０を、記入操作検出部３１の検出領域３１ａから離した場合には、「記入操作座標」は生成されない。生成された「記入操作座標」は、インターフェース１９を介してバス９に出力される。バス９に入力された「記入操作座標」は、「記入操作座標」が生成された「検出時間」とともに、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶される。

加速度センサー３２は、検出領域３１ａが受ける加速度を検出する装置である。本実施形態では、加速度センサー３２は、検出領域３１ａの絶対座標のｘ軸方向及びｙ軸方向の加速度を検出する。加速度センサー３２は、所定時間（数ミリ秒）をおいて、検出領域３１ａが受ける加速度を検出し、「加速度データ」を生成する。生成された「加速データ」は、インターフェース１９を介してバス９に出力され、前記「加速度データ」の「検出時間」とともに、ＲＡＭ１１の加速度データ記憶領域１１ｆに記憶される。

傾斜センサー３３は、検出領域３１ａの水平線或いは垂直線からの傾斜を検出する装置である。なお、本明細書において、垂直線とは物体に重力が作用する方向の線であり、水平線とは前記垂直線に対して直交する方向の線である。傾斜センサー３３で、所定時間（数ミリ秒）をおいて、検出領域３１ａの傾斜が検出され、「傾斜角データ」が生成される。生成された「傾斜角データ」は、インターフェース１９を介してバス９に出力され、前記「傾斜角データ」の「検出時間」とともに、ＲＡＭ１１の傾斜角データ記憶領域１１ｇに記憶される。

操作部３５は、ボタンやタッチパネルで構成されている。操作部３５は、ユーザーの操作により、ヘッドマウントディスプレイ１００をＯＮ状態（電源が投入された状態）やＯＦＦ状態（電源が遮断された状態）にし、ヘッドマウントディスプレイ１００の各種操作を行うためのものである。

（メイン処理の説明）
図４を用いて、メインフローについて説明する。ユーザーが操作部３５を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、メイン処理が開始し、Ｓ８の処理に進む。
Ｓ８「起動処理」において、ヘッドマウントディスプレイ１００の各種プログラムが起動する。Ｓ８の処理が終了すると、Ｓ９の処理に進む。

Ｓ９「入力モード選択画面を表示」の処理において、モード選択画面表示プログラム１２ａは、「文字入力モード」であるか「描画入力モード」であるかを選択させる「入力モード選択画面」を画像生成部５２に表示させる命令を、画像生成コントローラ１６に出力する。すると、図５の（Ａ）に示されるように、「文字入力モード」及び「描画入力モード」のボタンからなる「入力モード選択画面」が画像生成部５２に表示される。更に、モード選択プログラム１２ｂは、画像生成部５２の表示領域９０上に、ポインター９７を表示させる命令を、画像生成コントローラ１６に出力する。すると、図５の（Ａ）に示されるように、ポインター９７が画像生成部５２の表示領域９０上に表示される。なお、ポインター９７が、画像生成部５２の表示領域９０上に、表示されている状態で、ユーザーが入力ペン８０の先端を、記入操作検出部３１の検出領域３１ａに押し当てたまま所定の位置まで移動させる「ドラッグ操作」を行うと、ポインター９７が前記「ドラッグ操作」に伴って移動する。Ｓ９の処理が終了すると、Ｓ１０の判断処理に進む。

Ｓ１０「文字入力モードか？」の判断処理において、モード選択プログラム１２ｂは、ユーザーの入力ペン８０の操作により、「文字入力モード」が選択されたか否かを判断する。ユーザーが、入力ペン８０の操作することによりポインター９７を「文字入力モード」のボタン上まで移動した後に、「選択操作」を行った場合には、モード選択プログラム１２ｂは、「文字入力モード」が選択されたと判断し（Ｓ１０の判断処理がＹＥＳ）、Ｓ１１の判断処理に進む。
一方で、ユーザーが、入力ペン８０の操作することによりポインター９７を「描画入力モード」のボタン上まで移動した後に、「選択操作」を行った場合には、モード選択プログラム１２ｂは、「描画入力モード」が選択されたと判断し（Ｓ１０の判断処理がＮＯ）、Ｓ５１の処理に進む。
なお、「選択操作」としては、例えばユーザーが選択ペン８０の先端を検出領域３１ａ上で離しては着ける動作を２回繰り返すダブルクリック操作などが含まれる。

Ｓ１１「補正モード選択画面表示」の処理において、モード選択画面表示プログラム１２ａは、「垂直補正モード」であるか「水平補正モード」であるか、或いは、「ズレ補正無し」のいずれかを選択させる「補正モード選択画面」を画像生成部５２に表示させる命令を、画像生成コントローラ１６に出力する。すると、図５の（Ｂ）に示されるように、「垂直補正モード」、「水平補正モード」及び「ズレ補正無し」のボタンからなる「補正モード選択画面」が画像生成部５２に表示される。更に、モード選択プログラム１２ｂは、画像生成部５２の表示領域９０上に、ポインター９７を表示させる命令を、画像生成コントローラ１６に出力する。すると、図５の（Ｂ）に示されるように、ポインター９７が画像生成部５２の表示領域９０上に表示される。Ｓ１１の処理が終了すると、Ｓ１２の判断処理に進む。

Ｓ１２「選択完了？」の判断処理において、モード選択プログラム１２ｂは、ユーザーの入力ペン８０の操作により、「垂直補正モード」、「水平補正モード」及び「ズレ補正無し」のいずれかが選択されたか否かを判断する。ユーザーが、入力ペン８０の操作することによりポインター９７を「垂直補正モード」、「水平補正モード」及び「ズレ補正無し」のいずれかのボタン上まで移動した後に、「選択操作」を行った場合には、モード選択プログラム１２ｂは、当該選択されたモードを補正モード記憶領域１１ｅに記憶させて（Ｓ１２の判断処理がＹＥＳ）、Ｓ１３の判断処理に進む。
一方で、「垂直補正モード」、「水平補正モード」及び「ズレ補正無し」のいずれもが選択されていない場合には（Ｓ１２の判断処理がＮＯ）、Ｓ１３の選択処理に進まない。

Ｓ１３「センサー起動」の処理において、ＣＰＵ１０は、加速度センサー３２での検出領域３１ａの加速度の検出を開始させる。加速度センサー３２で検出され、生成された「加速度データ」は、「検出時間」とともに、ＲＡＭ１１の加速度データ記憶領域１１ｆに記憶される。
また、ＣＰＵ１０は、傾斜センサー３３での検出領域３１ａの傾斜の検出を開始させる。傾斜センサー３３で検出され、生成された「傾斜角データ」は、「検出時間」とともに、ＲＡＭ１１の傾斜角データ記憶領域１１ｇに記憶される。
Ｓ１３の処理が終了すると、Ｓ１４の判断処理に進む。

Ｓ１４「初期位置入力あり？」の判断処理において、初期位置座標決定プログラム１２ｃは、初期位置入力があったか否かを判断する。具体的には、ユーザーが入力ペン８０の先端を、記入操作検出部３１の検出領域３１ａに接触させると、初期位置座標決定プログラム１２ｃは、初期位置入力があったと判断し（Ｓ１４の判断処理がＹＥＳ）、Ｓ１５の処理に進む。一方で、初期位置座標決定プログラム１２ｃが、初期位置入力があったと判断しない場合には（Ｓ１４の判断処理がＮＯ）、Ｓ１５の処理に進まない。

Ｓ１５「絶対座標で初期位置マークを表示」の処理において、初期位置座標決定プログラム１２ｃは、Ｓ１４の処理で検出された検出領域３１ａ上の操作ペン８０先端の絶対座標に対応する、表示領域９０上の位置に初期位置マーク９８を表示する描画命令を、画像生成コントローラ１６に出力する。すると、図６に示されるように、画像生成部５２の表示領域９０上に初期位置マーク９８が表示される。Ｓ１５の処理が終了すると、Ｓ１６の処理に進む。

Ｓ１６「初期位置決定入力あり？」の判断処理において、初期位置座標決定プログラム１２ｃは、初期位置決定入力があったか否かを判断する。具体的には、ユーザーが操作部３５を操作することにより、初期位置座標決定プログラム１２ｃが、初期位置決定入力があったと判断した場合には（Ｓ１６の判断処理がＹＥＳ）、初期位置座標決定プログラム１２ｃは、画像生成部５２の表示領域９０の初期位置マーク９８が表示されている座標を「初期位置座標」として、ＲＡＭ１１の初期位置座標記憶領域１１ｂに記憶させて、Ｓ１７の判断処理に進む。一方で、初期位置座標決定プログラム１２ｃが、初期位置決定入力があったと判断しない場合には（Ｓ１６の判断処理がＮＯ）、Ｓ１７の判断処理に進まない。このように、本発明では、ユーザーが「初期位置座標」として画像生成部５２の表示領域９０上の任意の位置を選択することができる。

Ｓ１７「記入操作有り？」の判断処理において、ＣＰＵ１０は、ユーザーによる記入操作があったか否かを判断する。具体的には、ユーザーが入力ペン８０で、記入操作検出部３１の検出領域３１ａ上に記入操作を行うことにより、「記入操作座標」がインターフェース１９を介してバス９に入力されたと、ＣＰＵ１０が判断した場合には（Ｓ１７の判断処理がＹＥＳ）、Ｓ１８の処理に進む。この際に、開始位置座標検出プログラム１２ｄは、時系列的に最も古い「記入操作座標」を「開始位置座標」としてＲＡＭ１１の開始位置座標記憶領域１１ｃに記憶させる。一方で、ＣＰＵ１０が、「記入操作座標」がインターフェース１９を介してバス９に入力されたと判断しない場合には（Ｓ１７の判断処理がＮＯ）、Ｓ１８の処理に進まない。

Ｓ１８「記入操作座標の記憶開始」の処理において、ＣＰＵ１０は、バスに入力された「記入操作座標」を、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶させる処理を開始させる。Ｓ１８の処理が終了すると、Ｓ１９の処理に進む。

Ｓ１９「記入軌跡座標算出開始」の処理において、座標変換プログラム１２ｅは、画像生成部５２の表示領域９０に表示される、ユーザー記入操作の軌跡座標である「記入軌跡座標」の算出を開始させる。座標変換プログラム１２ｅが、「記入軌跡座標」を算出する処理について次に説明する。
座標変換プログラム１２ｅは、ＲＡＭ１２の初期位置座標記憶領域１１ｂと開始位置座標記憶領域１１ｃを参照することにより、「初期位置座標」及び「開始位置座標」を認識する。そして、図７に示されるように、座標変換プログラム１２ｅは、ユーザーによる記入操作の開始位置座標９１を、画像生成部５２の表示領域９０上の初期位置座標９９に変換する。
次に、座標変換プログラム１２ｅは、ＲＡＭ１１の記入操作座標記憶領域１１ａを参照することにより、「記入操作座標」を認識する。そして、座標変換プログラム１２ｅは、初期位置座標９９と、「記入操作座標」と開始位置座標９１との位置関係を用いて、順次「記入軌跡座標」を算出する。本実施形態では、座標変換プログラム１２ｅは、初期位置座標９９に、「記入操作座標」と開始位置座標９１との差分値（図８に示されるＸ’、Ｙ’）を加算することにより、順次「記入軌跡座標」を算出する。算出された「記入軌跡座標」は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶される。
Ｓ１９の処理が終了すると、Ｓ２０の処理に進む。

Ｓ２０「画像表示部への表示開始」の処理において、記入軌跡画像生成プログラム１２ｆは、記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」に基づいて、「表示領域軌跡画像」を生成する。具体的には、記入軌跡画像生成プログラム１２ｆは、時系列的に隣接する「記入軌跡座標」同士を結ぶ線を生成する描画命令を、画像生成コントローラ１６に出力する。但し、時系列的に隣接する「記入軌跡座標」が所定距離以上離れている場合には、ユーザーが入力ペン８０を、記入操作検出部３１の検出領域３１ａから離しているので、時系列的に隣接する「記入軌跡座標」は結ばない。
時系列的に隣接する「記入軌跡座標」同士を結ぶ線を生成する描画命令が、画像生成コントローラ１６に入力されると、図８に示されるように、画像生成部５２の表示領域９０上に文字列である「表示領域軌跡画像」が表示される。Ｓ２０の処理が終了すると、Ｓ２１の判断処理に進む。

Ｓ２１「１文字記入完了？」の判断処理において、１文字記入完了判断プログラム１２ｉは、ユーザーが１文字書き終わったか否かを判断する。具体的には、１文字記入完了判断プログラム１２ｉは、記入操作座標記憶領域１１ａを参照することにより、時系列的に隣接する「記入軌跡座標」の「検出時間」が、所定時間（例えば数１００ミリ秒）以上離れているか否かを判断し、前記「検出時間」が所定時間以上離れている場合には、ユーザーの検出領域３１ａに対する記入操作が、１文字書き終わったと判断する。１文字記入完了判断プログラム１２ｉが、ユーザーが１文字書き終わったと判断した場合には（Ｓ２１の判断処理がＹＥＳ）、Ｓ２２の処理に進む。一方で、１文字記入完了判断プログラム１２ｉが、ユーザーが１文字書き終わっていないと判断した場合には（Ｓ２１の判断処理がＮＯ）、Ｓ２５の判断処理に進む。

Ｓ２２「補正処理」において、記入領域３１ａ上に記入された文字の位置ズレや、傾きや、重なりを補正する「補正処理」が実行される。詳しくは、図１２又は図１７に示すフローを用いて後で説明する。Ｓ２２の処理が終了すると、Ｓ２５の判断処理に進む。

Ｓ２５「検出領域外に近接？」の判断処理において、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作（入力ペン８０の先端）の、検出領域３１ａ外へ近接又は離脱を検出したか否かを判断する。なお、図９に示されるように、記入操作検出部３１は、検出領域３１ａの外縁から当該外縁からやや内側位置まで近接警告領域３１ｂを有している。そして、ユーザーの記入操作が、近接警告領域３１ｂに侵入した場合には、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作が検出領域３１ａ外へ近接したと判断する。また、ユーザーの記入操作が、近接警告領域３１ｂに侵入した後に、検出領域３１ａからユーザーの記入操作が検出されなくなった場合には、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作が検出領域３１ａ外へ離脱したと判断する。
記入操作エラー検出プログラム１２ｇが、ユーザーの記入操作の検出領域３１ａ外へ近接又は離脱を検出した場合には（Ｓ２５の判断処理ＹＥＳ）、Ｓ３１の処理に進む。
一方で、記入操作エラー検出プログラム１２ｇが、ユーザーの記入操作の検出領域３１ａ外へ近接又は離脱を検出しない場合には（Ｓ２５の判断処理ＮＯ）、Ｓ４１の処理に進む

Ｓ３１「警告を報知」の処理において、警告報知プログラム１２ｈは、画像生成部５２で警告を表示する描画命令を画像生成コントローラ１６に出力する。すると、図１０に示されるように、画像生成部５２に警告が表示される。
或いは、ヘッドマウントディスプレイ１００にスピーカを設け、当該スピーカで警告音を再生して、ユーザーに警告を報知する実施形態であっても差し支えない。
Ｓ３１の処理が終了すると、Ｓ３２の判断処理に進む。

Ｓ３２「記入操作座標が所定以上変化？」の判断処理において、記入操作エラー検出プログラム１２ｇは、ＲＡＭ１１の記入操作座標記憶領域１１ａを参照することにより、「記入操作座標」が所定以上変化したか否かを判断する。つまり、ユーザーがＳ３１の処理で報知される警告を知覚することにより、入力ペン８０を検出領域３１ａの内側に移動させた場合には、「記入操作座標」が所定以上変化する。記入操作エラー検出プログラム１２ｇが、「記入操作座標」が所定以上変化したと判断した場合には（Ｓ３２の判断処理がＹＥＳ）、Ｓ３３の処理に進む。一方で、記入操作エラー検出プログラム１２ｇが、「記入操作座標」が所定以上変化したと判断しない場合には（Ｓ３２の判断処理がＮＯ）、Ｓ３３の処理に進まない。

Ｓ３３「記入軌跡座標再算出」の処理において、座標変換プログラム１２ｅは、Ｓ２５の判断処理において記入操作エラー検出プログラム１２ｇがユーザーの記入操作の検出領域外への近接又は離脱を検出した時点の記入軌跡座標９２（図１０や図１１に示す）と、記入操作検出部３１が再び検出した後の、開始位置座標９３と記入操作座標９４（図１１に示す）との位置関係を用いて記入軌跡座標９５（図１１に示す）を算出する。本実施形態では、座標変換プログラム１２ｅは、前記記入軌跡座標９２に、前記記入操作座標９４と開始位置座標９３との差分値（図１１に示されるＸ’’、Ｙ’’）を加算して、記入軌跡座標９５を算出している。算出された「記入軌跡座標」は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶される。更に、図１１に示されるように、再算出された「記入軌跡座標」に基づいて、画像生成部５２の表示領域９０に「表示領域軌跡画像」が表示される。
このように、ユーザーが検出領域３１ａの外側に離脱しそうになった入力ペン８０を、検出領域３１ａの内側に移動させた場合には、Ｓ３３の処理において、「記入軌跡座標」が再算出されるので、途切れなく「記入軌跡座標」が算出され、画像生成部５２の表示領域９０に「表示領域軌跡画像」が表示される。Ｓ３３の処理が終了すると、Ｓ４１の判断処理に進む。

Ｓ４１「文字入力モード解除？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「文字入力モード」を解除する信号がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「文字入力モード」を解除する信号がバス９に入力されたと判断した場合には（Ｓ４１の判断処理がＹＥＳ）、Ｓ４４の処理に進む。一方で、ＣＰＵ１０が、「文字入力モード」を解除する信号がバス９に入力されていないと判断した場合には（Ｓ４１の判断処理がＮＯ）、Ｓ４２の判断処理に進む。

Ｓ４２「所定時間記入操作無し？」の判断処理において、ＣＰＵ１０は、所定時間（例えば数分）以上、ユーザーによる記入操作検出部３１の検出領域３１ａへの記入操作が無かったか否かを判断する。具体的には、ＣＰＵ１０が、所定時間以上、バス９に「記入操作座標」が入力されなかったと判断した場合には（Ｓ４２の判断処理がＹＥＳ）、Ｓ４４の処理に進む。一方で、ＣＰＵ１０が、所定時間内に、バス９に「記入操作座標」が入力された判断した場合には（Ｓ４２の判断処理がＮＯ）、Ｓ４６の処理に進む。

Ｓ４４「記入軌跡座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」を、補助記憶装置１３の記入軌跡座標保存領域１３ａに保存させる。このように、記入軌跡座標保存領域１３ａに「記入軌跡座標」を保存させることにより、事後的に、ユーザーの記入内容を利用することができる。Ｓ４４の処理が終了すると、Ｓ９の処理に戻る。

Ｓ４６「終了？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「終了信号」がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「終了信号」がバス９に入力されたと判断した場合には（Ｓ４６の判断処理がＹＥＳ）、Ｓ４７の処理に進む。ＣＰＵ１０が、「終了信号」がバス９に入力されていないと判断した場合には（Ｓ４６の判断処理がＮＯ）、Ｓ２５の判断処理に戻る。

Ｓ４７「記入軌跡座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」を、補助記憶装置１３の記入軌跡座標保存領域１３ａに保存させる。Ｓ４７の処理が終了すると、ヘッドマウントディスプレイ１００がＯＦＦ状態となり、一連のフローが終了する。

Ｓ５１「記入操作座標の記憶開始」の処理において、ＣＰＵ１０は、バスに入力された「記入操作座標」を、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶させる処理を開始させる。Ｓ５１の処理が終了すると、Ｓ５２の処理に進む。

Ｓ５２「記入操作軌跡の表示開始」の処理において、記入軌跡画像生成プログラム１２ｆは、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」に基づいて、「表示領域軌跡画像」を生成する。具体的には、記入軌跡画像生成プログラム１２ｆは、時系列的に隣接する「記入操作座標」同士を結ぶ線を生成する描画命令を、画像生成コントローラ１６に出力する。但し、時系列的に隣接する「記入操作座標」が所定距離以上離れている場合には、ユーザーが入力ペン８０を、記入操作検出部３１の検出領域３１ａから離していると考えられるので、時系列的に隣接する「記入操作座標」は結ばない。時系列的に隣接する「記入操作座標」同士を結ぶ線を生成する描画命令が、画像生成コントローラ１６に入力されると、画像生成部５２の表示領域９０上に「表示領域軌跡画像」が表示される。つまり、入力モードが「描画入力モード」である場合には、ユーザーが入力ペン８０で検出領域３１ａに記入した内容がそのまま画像生成部５２の表示領域９０に表示される。Ｓ５２の処理が終了すると、Ｓ５３の判断処理に進む。

Ｓ５３「描画入力モード解除？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「描画入力モード」を解除する信号がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「描画入力モード」を解除する信号がバス９に入力されたと判断した場合には（Ｓ５３の判断処理がＹＥＳ）、Ｓ５５の処理に進む。一方で、ＣＰＵ１０が、「描画入力モード」を解除する信号がバス９に入力されていないと判断した場合には（Ｓ５３の判断処理がＮＯ）、Ｓ５４の判断処理に進む。

Ｓ５４「所定時間記入操作無し？」の判断処理において、ＣＰＵ１０は、所定時間（例えば数分）以上、ユーザーによる記入操作検出部３１の検出領域３１ａへの記入操作が無かったか否かを判断する。具体的には、ＣＰＵ１０が、所定時間以上、バス９に「記入操作座標」が入力されなかったと判断した場合には（Ｓ５４の判断処理がＹＥＳ）、Ｓ５５の処理に進む。一方で、ＣＰＵ１０が、所定時間内に、バス９に「記入操作座標」が入力された判断した場合には（Ｓ５４の判断処理がＮＯ）、Ｓ５６の判断処理に進む。

Ｓ５５「記入操作座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」を、補助記憶装置１３の記入操作座標保存領域１３ｂに保存させる。Ｓ５５の処理が終了すると、Ｓ９の処理に戻る。

Ｓ５６「終了？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「終了信号」がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「終了信号」がバス９に入力されたと判断した場合には（Ｓ５６の判断処理がＹＥＳ）、Ｓ４７の処理に進む。ＣＰＵ１０が、「終了信号」がバス９に入力されていないと判断した場合には（Ｓ５６の判断処理がＮＯ）、Ｓ５３の判断処理に戻る。

Ｓ５７「記入操作座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」を、補助記憶装置１３の記入操作座標保存領域１３ｂに保存させる。Ｓ５７の処理が終了すると、ヘッドマウントディスプレイ１００がＯＦＦ状態となり、一連のフローが終了する。
なお、以上説明した実施形態では、Ｓ２０の処理において、検出領域３１ａに記入している途中の記入操作の軌跡を画像生成部５２で表示させているが、Ｓ２０の処理を飛ばして、１文字の記入が完了し、Ｓ２２の処理が完了した時点で、記入操作の軌跡である文字を画像生成部５２に表示させる実施形態であっても差し支えない。

（第１の実施形態の補正処理）
図１２〜図１６を用いて、第１の実施形態の「補正処理」について説明する。「補正処理」が開始すると、Ｓ１１１の処理に進む。
Ｓ１１１「文字が重なっているか？」の判断処理において、文字重なり判断プログラム１２ｊは、図１３の（Ａ）や（Ｂ）に示されるように、新たに記入された文字７２と前回記載された文字７１とが重なっているか否かを判断する。具体的には、文字重なり判断プログラム１２ｊは、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄを参照することにより、前回記入された文字７１の「記入軌跡座標」を結んだ線（記入軌跡）と、今回記入された文字７２の「記入軌跡座標」を結んだ線（記入軌跡）とが重なっているか否かを判断することにより、新たに記入された文字７２と前回記載された文字７１とが重なっているか否かを判断する。文字重なり判断プログラム１２ｊが、新たに記入された文字７２と前回記載された文字７１とが重なっていると判断した場合には（図１３の（Ｂ）の状態）（Ｓ１１１の判断処理がＹＥＳ）、Ｓ１１２の処理に進む。一方で、文字重なり判断プログラム１２ｊが、新たに記入された文字７２と前回記載された文字７１とが重なっていないと判断した場合には（図１３の（Ａ）の状態）（Ｓ１１１の判断処理がＮＯ）、Ｓ１１３の判断処理に進む。

Ｓ１１２「文字毎に間隔をあけて補正」の処理において、文字位置補正プログラム１２ｍは、記入軌跡座標記憶領域１１ｄを参照することにより「記入軌跡座標」を認識する。そして、文字位置ズレ決定プログラム１２ｋは、認識した「記入軌跡座標」に基づき、隣接する前回記載された文字７１と新たに記入された文字７２が重ならない位置となる位置ズレ量を算出する。文字位置補正プログラム１２ｍは、前記算出された位置ズレ量に基づき、隣接する前回記載された文字７１と新たに記入された文字７２が重ならない位置まで、新たに記入された文字７２が移動するように（図１３の（Ｃ）に示す）、「記入軌跡座標」を変更して、記入軌跡座標記憶領域１１ｄに更新記憶させる。Ｓ１１２の処理が終了すると、Ｓ１１３の判断処理に進む。

Ｓ１１３「補正モードあり？」の判断処理において、ＣＰＵ１０は、ＲＡＭ１１の補正モード記憶領域１１ｅを参照することにより、「垂直補正モード」又は「水平補正モード」のいずれかの補正モードが選択されているか否かを判断する。ＣＰＵ１０が、「垂直補正モード」又は「水平補正モード」のいずれかが選択されていると判断した場合には（Ｓ１１３の判断処理がＹＥＳ）、Ｓ１１１の処理に進む。一方で、ＣＰＵ１０が、「ズレ補正無し」のモードが選択されていると判断した場合には（Ｓ１１３の判断処理がＮＯ）、Ｓ２２「補正処理」が終了し、Ｓ２５の判断処理に進む。

Ｓ１２１「傾斜角データ認識」の処理において、文字位置ズレ決定プログラム１２ｋは、ＲＡＭ１１の傾斜角データ記憶領域１１ｇを参照することにより、水平線或いは垂直線からの検出領域３１ａの傾き角θを認識する。図１４に示される実施形態では、文字位置ズレ決定プログラム１２ｋは、垂直線（Ｘ’軸）からの検出領域３１ａの傾き角θを認識する。Ｓ１２１の処理が終了すると、Ｓ１２２の処理に進む。

Ｓ１２２「文字傾き補正」の処理において、文字位置補正プログラム１２ｍは、「記入軌跡座標」の基準座標を、検出領域３１ａの絶対座標（ｘ、ｙ）から、前記絶対座標から前記傾き角θ分回転させた相対座標（ｘ’、ｙ’）に変換し、前記相対座標を基準座標とする「記入軌跡座標」を生成し、当該「記入軌跡座標」を記入座標記憶領域１１ｄに更新記憶させる。この「文字傾き補正処理」において、検出領域３１ａの絶対座標（ｘ、ｙ）上に記入された文字の傾きが補正される。Ｓ１２２の処理が終了すると、Ｓ１３１の処理に進む。

Ｓ１３１「加速度データ認識」の処理において、文字位置ズレ決定プログラム１２ｋは、ＲＡＭ１１の加速度データ記憶領域１１ｆを参照して、検出領域３１ａが受ける「加速度」及び、前記「加速度」の「検出時間」を認識する。Ｓ１３１の処理が終了すると、Ｓ１３２の処理に進む。

Ｓ１３２「加速度位置ズレ補正」の処理において、文字位置ズレ決定プログラム１２ｋは、「加速度」の「検出時間」と、「記入軌跡座標」の「検出時間」とを照合し、前記両方の「検出時間」が一致する「加速度」に基づいて、前記「検出時間」に対応する「記入軌跡座標」の位置ズレを算出する。前記位置ズレは、「加速度」の大きさに応じて算出される。文字位置補正プログラム１２ｍは、前記算出された「記入軌跡座標」の位置ズレに基づいて、「記入操作座標」を、これと対応する「加速度」の方向と反対側に移動させた「記入軌跡座標」を生成する。生成された「記入軌跡座標」は、記入軌跡座標記憶領域１１ｄに更新記憶される。
例えば、図１５に示されるように、ユーザーが歩行中にヘッドマウントディスプレイ１００を使用し、前後・上下に移動する検出領域３１ａに記入操作を行い、検出領域３１ａ上に記入された文字の位置ズレが発生したとしても、この「加速度位置ズレ補正」により、前記文字の位置ズレが補正される。
なお、図１５に示される実施形態では、文字位置補正プログラム１２ｍは「記入軌跡座標」のｙ軸方向の位置ズレのみを補正しているが、勿論、文字位置補正プログラム１２ｍは「記入軌跡座標」のｘ軸方向の位置ズレも補正する。
Ｓ１３２の処理が終了すると、Ｓ１４１の処理に進む。

Ｓ１４１「１文字目の始点座標を認識」の処理において、文字位置ズレ決定プログラム１２ｋは、記入軌跡座標記憶領域１１ｄを参照することにより、検出領域３１ａに記入された１文字目７３の始点座標７５を認識する。具体的には、文字位置ズレ決定プログラム１２ｋは、時系列的に、「検出時間」が最も古い「記入軌跡座標」を１文字目７３の始点座標７５として認識する。Ｓ１４１の処理が終了すると、Ｓ１４２の処理に進む。

Ｓ１４２「書き終わった文字の終点座標を認識」の処理において、文字位置ズレ決定プログラム１２ｋは、記入軌跡座標記憶領域１１ｄを参照することにより、検出領域３１ａに記入された書き終わった文字７４（今回記載された文字）の終点座標７６を認識する。具体的には、文字位置ズレ決定プログラム１２ｋは、時系列的に、「検出時間」が最も新しい「記入軌跡座標」を書き終わった文字７４の終点座標７６して認識する。Ｓ１４２の処理が終了すると、Ｓ１４３の処理に進む。

Ｓ１４３「始点・終点から傾きを算出」の処理において、文字位置ズレ決定プログラム１２ｋは、補正モード記憶領域１１ｅを参照して、補正モードが「垂直補正モード」であるか「水平補正モード」のいずれかであるかを確認する。そして、文字位置ズレ決定プログラム１２ｋは、Ｓ１４１及びＳ１４２の処理で認識した１文字目７３の始点座標７５及び書き終わった文字７６の終点座標７６を結ぶ直線７７の検出領域３１ａの絶対座標（ｘ、ｙ）の基準線に対する傾きを算出する。補正モードが「垂直補正モード」である場合には、図１６の（Ａ）に示されるように、検出領域３１ａの絶対座標のｘ軸が基準線７９となる。この場合には、文字位置ズレ決定プログラム１２ｋは、前記基準線７９であるｘ軸に対する直線７７の傾斜角θ７８を算出する。一方で、補正モードが「水平補正モード」である場合には、検出領域３１ａの絶対座標のｙ軸が基準線となる。この場合には、文字位置ズレ決定プログラム１２ｋは、前記基準線であるｙ軸に対する直線７７の傾斜角θを算出する。Ｓ１４３の処理が終了すると、Ｓ１４４の判断処理に進む。

Ｓ１４４「傾きは所定値以上か？」の判断処理において、ＣＰＵ１０は、Ｓ１４３の処理で算出された直線７７の検出領域３１ａの絶対座標（ｘ、ｙ）に対する傾き（傾斜角θ）が所定値以上であるか否かを判断する。ＣＰＵ１０が、基準線に対する傾きが所定値以上であると判断した場合には（Ｓ１４４の判断処理がＹＥＳ）、Ｓ１４５の処理に進む。一方で、ＣＰＵ１０が、直線７７の検出領域３１ａの絶対座標（ｘ、ｙ）に対する傾きが所定値よりも小さいと判断した場合には（Ｓ１４４の判断処理がＮＯ）、「補正処理」が終了し、Ｓ２５の判断処理に進む。

Ｓ１４５「文字列傾き補正」の処理において、文字位置補正プログラム１２ｍは、Ｓ１４３の処理で算出された直線７７の検出領域３１ａの絶対座標（ｘ、ｙ）に対する傾き（傾斜角θ７８）に基づいて、図１６の（Ｂ）に示されるように、１文字目７３と書き終わった文字７４との位置関係が、基準線７９（図１６の実施形態では、Ｘ軸が基準線）と平行となるように、「記入軌跡座標」を補正する。具体的には一文字目の始点座標７５を起点として基準線７９に平行な基準線７９’が算出され、基準線７９’と直線７７との比較から、７７を７９’に補正すべき各文字のX座標に応じたＹ軸方向の移動距離を算出する。そして、各文字は前記Ｙ軸方向の移動距離が加算され補正される。補正された「記入軌跡座標」は、記入軌跡座標記憶領域１１ｄに更新記憶される。Ｓ１４５の処理が終了すると、「補正処理」が終了し、Ｓ２５の判断処理に進む。

文字によって書き始め位置と書き終わり位置は異なることから、隣接する文字が検出領域３１ａの絶対座標に対して傾いていなくても、直線７７が検出領域３１ａの絶対座標の基準線に対して傾く場合がある。Ｓ１４４の判断処理において、直線７７の基準線に対する傾きが所定値よりも小さい場合には、Ｓ１４５「文字列傾き補正」が行われないので、無意味に「記入軌跡座標」が補正されることが無い。
（第２の実施形態の補正処理）
図１７及び図１８を用いて、第２の実施形態の「補正処理」について説明する。第２の実施形態の「補正処理」の、Ｓ２１１、Ｓ２１２、Ｓ２１３、Ｓ２２１、Ｓ２２２、Ｓ２３１、Ｓ２３２の各処理は、第１の実施形態の「補正処理」の、Ｓ１１１、Ｓ１１２、Ｓ１１３、Ｓ１２１、Ｓ１２２、Ｓ１３１、Ｓ１３２の各処理と同一であるため、説明を省略する。

Ｓ２３２の処理が終了すると、Ｓ２４１の処理に進む。
Ｓ２４１「１文字目の重心座標を算出」の処理において、文字位置ズレ決定プログラム１２ｋは、検出領域３１ａに記載された１文字目８１の検出領域３１ａの絶対座標（ｘ、ｙ）上の重心座標８４を算出する。具体的には、文字位置ズレ決定プログラム１２ｋは、前記１文字目８１を囲む四角形８３の重心座標を算出することにより、前記重心座標８４を算出する。Ｓ２４１の処理が終了すると、Ｓ２４２の処理に進む。

Ｓ２４２「書き終わった文字の重心座標を算出」の処理において、文字位置ズレ決定プログラム１２ｋは、検出領域３１ａに記載された書き終わった文字８２の検出領域３１ａの絶対座標（ｘ、ｙ）上の重心座標８６を算出する。具体的には、文字位置ズレ決定プログラム１２ｋは、前記書き終わった文字８２を囲む四角形８５の重心座標を算出することにより、前記重心座標８６を算出する。Ｓ２４２の処理が終了すると、Ｓ２４３の処理に進む。

Ｓ２４３「重心座標から傾きを算出」の処理において、文字位置ズレ決定プログラム１２ｋは、補正モード記憶領域１１ｅを参照して、補正モードが「垂直補正モード」であるか「水平補正モード」のいずれかであるかを確認する。そして、文字位置ズレ決定プログラム１２ｋは、Ｓ２４１及びＳ２４２の処理で認識した１文字目８１の重心座標８４及び書き終わった文字８２の重心座標８６を結ぶ直線８７の検出領域３１ａの絶対座標（ｘ、ｙ）の基準線に対する傾きを算出する。補正モードが「垂直補正モード」である場合には、図１８の（Ａ）に示されるように、検出領域３１ａの絶対座標のｘ軸が基準線８９となる。この場合には、文字位置ズレ決定プログラム１２ｋは、前記基準線で８９あるｘ軸に対する直線８７の傾斜角θ８８を算出する。一方で、補正モードが「水平補正モード」である場合には、検出領域３１ａの絶対座標のｙ軸が基準線となる。この場合には、文字位置ズレ決定プログラム１２ｋは、前記基準線であるｙ軸に対する直線８７の傾斜角θを算出する。Ｓ２４３の処理が終了すると、Ｓ２４４の処理に進む。

Ｓ２４４「文字列傾き補正」の処理において、文字位置補正プログラム１２ｍは、Ｓ２４３の処理で算出された直線８７の検出領域３１ａの絶対座標（ｘ、ｙ）に対する傾き（傾斜角θ７８）に基づいて、図１８の（Ｂ）に示されるように、１文字目８１と書き終わった文字８２との位置関係が、基準線８９（図１８の実施形態では、Ｘ軸が基準線８９）と平行となるように、「記入軌跡座標」を補正する。具体的には一文字目の重心座標８４を起点として基準線８９に平行な基準線８９’が算出され、基準線８９’と直線８７との比較から、８７を８９’に補正すべき各文字の重心のX座標に応じたＹ軸方向の移動距離が算出される。或いは、各文字の重心は計算されているので、各文字の重心の絶対位置からＹ軸方向の移動距離を算出しても差し支えない。或いは、各文字の重心を算出せずとも、８７を８９’に補正すべき各文字の重心のX座標に応じたＹ軸方向の移動距離を算出することで、各文字は前記Ｙ軸方向の移動距離を算出しても差し支えない。そして、各文字は前記Ｙ軸方向の移動距離が加算され補正される。補正された「記入軌跡座標」は、記入軌跡座標記憶領域１１ｄに更新記憶される。Ｓ２４４の処理が終了すると、「補正処理」が終了し、Ｓ２５の判断処理に進む。

入力ペン８０を、赤外線や超音波を発生する構成とし、入力検出部３１は前記赤外線や超音波を受信する構成とし、入力検出部３１でユーザーの記入操作を検出することにしても差し支えない。
或いは、検出領域３１ａを撮像して、ユーザーの記入操作を検出する構成にしても差し支えない。
また、入力検出部３１を感圧式や静電容量式のタッチパネルで構成しても差し支えない。
以上説明した実施形態では、ユーザーが入力ペン８０を用いて、入力検出部３１の検出領域３１ａに記入操作を行っているが、入力検出部３１をタッチパネルで構成するか、もしくは、入力検出部３１を撮像する構成とすることにより、ユーザーが指で検出領域３１ａに記入操作を行い、入力検出部３１が前記記入操作を検出する実施形態であっても差し支えない。

以上説明した実施形態では、図４に示される「メイン処理」のＳ１１の処理において、「垂直補正モード」であるか「水平補正モード」であるか、或いは、「ズレ補正無し」のいずれかをユーザーに選択させているが、図２に示されるように、入力ペン６０に操作ボタン６０ａを設け、ユーザーが操作ボタン６０ａを操作することにより、各種モードを選択する実施形態であっても差しつかえない。或いは、Ｓ１１の処理において、ユーザーが操作部３５を操作することにより、各種モードを選択する実施形態であっても差し支えない。

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。

９ バス
１０ ＣＰＵ
１１ ＲＡＭ
１１ａ 記入操作座標記憶領域
１１ｂ 初期位置座標記憶領域
１１ｃ 開始位置座標記憶領域
１１ｄ 記入軌跡座標記憶領域
１１ｅ 補正モード記憶領域
１１ｆ 加速度データ記憶領域
１１ｇ 傾斜角データ記憶領域
１２ ＲＯＭ
１２ａ モード選択画面表示プログラム
１２ｂ モード選択プログラム
１２ｃ 初期位置座標決定プログラム
１２ｄ 開始位置座標検出プログラム
１２ｅ 座標変換プログラム
１２ｆ 記入軌跡画像生成プログラム
１２ｇ 記入操作エラー検出プログラム
１２ｈ 警告報知プログラム
１２ｉ １文字記入完了判断プログラム
１２ｊ 文字重なり判断プログラム
１２ｋ 文字位置ズレ決定プログラム
１２ｍ 文字位置補正プログラム
１３ 補助記憶装置
１３ａ 記入軌跡座標保存領域
１３ｂ 記入操作座標保存領域
１６ 画像生成コントローラ
１７ ＶＲＡＭ
１９ インターフェース
３０ 制御部
３１ 記入操作検出部
３１ａ 検出領域
３１ｂ 近接警告領域
３２ 加速度センサー
３３ 傾斜センサー
３５ 操作部
５０ ヘッドマウントディスプレイ部
５１ 頭部装着部
５２ 画像生成部
６０ 入力ペン
６０ａ 操作部
７１ 前回記入された文字
７２ 新たに記入された文字
７３ １文字目
７４ 書き終わった文字
７５ １文字目の始点座標
７６ 書き終わった文字の終点座標
７７ 直線
７８ 傾斜角
７９ 基準線
８１ １文字目
８２ 書き終わった文字
８３ 四角形
８４ 重心座標
８５ 四角形
８６ 重心座標
８７ 直線
８８ 傾斜角
８９ 基準線
９０ 表示領域
９１ 開始位置座標
９２ 記入軌跡座標
９３ 開始位置座標
９４ 記入操作座標
９５ 記入軌跡座標
９６ 警告
９７ ポインター
９８ 初期位置マーク
９９ 初期位置座標
１００ ヘッドマウントディスプレイ

Claims (7)

1. ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
   ユーザーの身体に装着され、２次元である検出領域上に対するユーザーの記入操作の座標である記入操作座標を検出する記入操作検出手段と、
   前記記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記生成した軌跡画像を前記画像生成部に出力する記入操作画像生成手段と、
   ユーザーの入力操作により、前記記入操作が文字入力であるか否かを選択する文字入力選択手段と、
   前記文字入力選択手段により文字入力が選択された場合に、前記記入操作座標から前記検出領域上に記入された文字の、前記検出領域上の第１方向に対する位置ズレを決定する文字位置ズレ決定手段と、
   前記文字位置ズレ決定手段により決定された前記位置ズレに基づいて、文字の前記位置ズレを補正する文字位置補正手段と、
   を有することを特徴とするヘッドマウントディスプレイ。
2. 記入操作画像生成手段は、前記文字位置補正手段により相対的な位置ズレが補正された複数の文字からなる文字列の文字列画像を、画像生成部に出力することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 文字位置補正手段で補正する文字の位置ズレの補正方向が、
   前記第１方向に対するズレを補正する第１モードか、
   検出領域上の前記第１方向と直交する方向である第２方向に対するズレを補正する第２補正モードかを、ユーザーの入力操作により選択する補正方向選択手段を更に有することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
4. 検出領域の傾きを検出する傾斜検出手段を更に有し、
   文字位置補正手段は、前記傾斜検出手段により検出された検出領域の傾き情報に基づき、検出領域に記入された文字の傾きを補正することを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。
5. 検出領域が受ける加速度を検出する加速度検出手段を更に有し、
   文字位置補正手段は、前記加速度に基づいて、検出領域に記入された文字を移動させる補正を行うことを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。
6. 文字位置補正手段は、文字位置ズレ決定手段が検出した検出領域上に記入された文字の相対的な位置ズレが所定以下である場合には、文字の位置ズレの補正を行わないことを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
7. 記入操作座標に基づき、隣接する文字が重なっているか否かを判断する文字重なり判断手段を更に有し、
   前記文字重なり判断手段が、隣接する文字が重なっていると判断した場合には、
   文字位置補正手段は、前記記入操作座標に基づき、隣接する文字が重ならない位置にまで文字を移動させることを特徴とする請求項１〜請求項６のいずれかに記載のヘッドマウントディスプレイ。

Images