JP2005222103A - 音声視線複合入力システム - Google Patents

Abstract

【課題】音声入力における音声指示で編集作業を行うと入力速度が遅くなるという問題と、視線入力における文字入力がし辛いという問題を解決する音声視線複合入力システムを提供する。
【解決手段】利用者が発生した音声を文字に変換し、その文字を音声入力反映画面に表示する音声入力手段と、前記利用者の視線入力による操作によって前記音声入力反映画面から文字を選択して転送し結果画面に表示する文字転送手段と、前記利用者の視線入力による操作によって前記結果画面において文書編集を行う文書編集手段と、前記文書編集により編集された文書を他システムのアプリケーションに送信する送信手段を具備するようにした音声視線複合入力システム。
【選択図】 図１

Description

本発明はコンピュータシステム等における文字入力の技術分野に属する。特に、音声入力と視線入力とを組合わせ、音声入力による文章の素材としての文字入力と視線入力による操作を関連付けて文章を編集する音声視線複合入力システムに関する。

従来の音声入力システム（特許文献１参照）と視線入力システム（特許文献２参照）はそれぞれ独立した存在であった。そして、音声入力や視線入力は、特殊な用途においてはキーボード入力よりも適合するものである。しかし一般的な用途においてはキーボード入力と同等の性能を発揮するものではない。音声入力であれば、文字入力だけでなく編集作業まで音声指示で行うために、入力操作における速度はキーボードとマウスの組合わせに比べて遅いものである。また視線入力であれば、画面上の操作入力においては優れているが、文字入力に関してはキーボードやペン入力、音声入力と比較して入力し辛いものである。

音声入力と視線入力を組合わせたシステムの提案がないわけではない。たとえば、マウス等によるマウスカーソル等の移動、アイコンの選択や画面移動等の操作を、アイカメラやゴーグルなどの装備を装着すること無しに、オペレータの視線を利用して簡単に操作でき、マウス等のボタン操作を音声によって行うことにより、手を使わずにマウスと同等の機能を実現する（特許文献３参照）。しかし、このシステムにおいては文字入力を行うことができない。

特開平６−３３２６６５号公報 特開平７−１９１７９６号公報 特開平１０−３９９９５号公報

本発明は上述のような問題を解決するものであり、その目的は、音声入力における音声指示で編集作業を行うと入力速度が遅くなるという問題と、視線入力における文字入力がし辛いという問題を解決する音声視線複合入力システムを提供することにある。

本発明の請求項１に係る音声視線複合入力システムは、利用者が発生した音声を文字に変換し、その文字を音声入力反映画面に表示する音声入力手段と、前記利用者の視線入力による操作によって前記音声入力反映画面から文字を選択して転送し結果画面に表示する文字転送手段と、前記利用者の視線入力による操作によって前記結果画面において文書編集を行う文書編集手段とを具備するようにしたものである。
また請求項２に係る音声視線複合入力システムは、請求項１に係る音声視線複合入力システムにおいて、前記利用者の視線入力による操作によって、前記文書編集により編集された文書を他システムのアプリケーションに送信する送信手段を具備するようにしたものである。

本発明の請求項１に係る音声視線複合入力システムによれば、利用者が発生した音声は音声入力手段により文字に変換され、その文字は音声入力反映画面に表示され、利用者の視線入力によって操作される文字転送手段により音声入力反映画面から文字が選択されて転送され結果画面に表示され、利用者の視線入力によって操作される文書編集手段により結果画面において文書編集行われる。すなわち、文章の素材としての文字の入力は音声入力により行われ、その文字を文書編集する等の操作は視線入力によって行われる。したがって、音声入力における音声指示で編集作業を行うと入力速度が遅くなるという問題と、視線入力における文字入力がし辛いという問題を解決する音声視線複合入力システムが提供される。
また請求項２に係る音声視線複合入力システムによれば、利用者の視線入力によって操作される送信手段により、文書編集により編集された文書は他システムのアプリケーションに送信される。

本発明の音声視線複合入力システムについて図１を参照して説明する。図１（Ａ）は構成図、図１（Ｂ）は連携図である。構成図は構成要素だけをブロック図として示したものに対して、連携図は構成要素とともに構成要素間における主たる連携動作が書き込まれている。図１において、１は音声入力部、２は視線入力部、３はデータ処理部、４は音声入力反映画面、５は結果画面、６は他システム・アプリケーションである。

音声入力部１は利用者が発した音声をデータ処理部３に出力する部分である。音声入力部１は、一般的には、マイクロフォン、増幅器、Ａ／Ｄ変換器、データ送受信のためのソフトウェアとハードウェア、等から構成される。利用者が発した音声はマイクロフォンによって微弱な電気信号に変換され、その微弱な電気信号は増幅器によって増幅され、増幅された電気信号はＡ／Ｄ変換器によってデジタル信号に変換され、デジタル信号はデータ送受信のためのソフトウェアとハードウェアによってデータ処理部３に送信される。

データ処理部３はそのデジタル信号を音声データとしてメモリに記憶する。データ処理部３には音声認識プログラムが存在し、音声認識プログラムはメモリに記憶されている音声データを文字コードに変換する。データ処理部３はその文字コードを音声入力反映画面４に文字（画像）として表示する。
なお、音声入力部１に音声認識プログラムを存在させ、そこの音声認識プログラムによって変換された文字コードをデータ処理部３に出力するように構成しても実質的な機能においては相違がない。

視線入力部２は利用者の眼球の動きをビデオカメラ等の撮像手段によって撮像して得られた撮像画像に基づいて視線位置を検出する。視線入力部２は撮像手段、Ａ／Ｄ変換器、画像メモリ、視線入力プログラム、データ送受信のためのソフトウェアとハードウェア、等から構成される。撮像手段はデータ処理部３における表示装置の近くに設置され、表示装置を見ている利用者の眼球の動きを撮像し撮像信号を出力する。Ａ／Ｄ変換器は撮像信号からデジタル化された撮像画像を生成し、画像メモリはその撮像画像を記憶する。視線入力プログラムは撮像画像に基づいて視線位置を検出する。また、視線入力プログラムは撮像画像に基づいて決定入力を検出する。決定入力は、たとえば、利用者が片方の眼のまぶたを一定時間閉じる等の所定の行為によって行われる。視線位置と決定入力はデータ送受信のためのソフトウェアとハードウェアによってデータ処理部３に送信される。

データ処理部３は視線位置が表示装置の画面上に存在するときには、視線位置をカーソル等のマークとして表示装置の画面におけるその位置に表示する。この表示装置の画面には、音声入力反映画面４と結果画面５が含まれている。また、データ処理部３は決定入力が行われたときには、そのときの視線位置によって決まる所定の処理を行う。
なお、データ処理部３に視線位置検出プログラムと画像メモリを存在させ、そこの視線入力プログラムによって画像メモリの撮像画像に基づいて視線位置や決定入力を検出するように構成しても実質的な機能においては相違がない。

データ処理部３は上述の音声入力処理、画面操作処理とともに、音声入力反映画面４に表示された文字列の中から所定の文字列を選択して結果画面５に転送する文字転送処理、結果画面５における文字列を編集し所望の文章形態にする編集処理（かな漢字変換等の変換処理を含む）、生成した文章を他システムアプリケーション６に送信する文字情報送信処理、等を行う。このデータ処理部３はパーソナルコンピュータ等のデータ処理装置のハードウェアとソフトウェアによって構成することができる。

他システムアプリケーション６は、音声視線複合入力システムによって文字情報の入力が行われるアプリケーションプログラムである。たとえば、電子フォームを取扱うアプリケーションプログラム、ワードプロセッサ、メール作成プログラム、掲示板プログラム、メモ帳、等であって、文字情報の入力欄が存在すれば、それらは他システムアプリケーション６の対象となるプログラムである。

以上の構成において、次に、本発明の音声視線複合入力システムにおける動作について図２〜図４を参照して説明する。図２は音声入力反映画面４と結果画面５の機能を説明する図である。音声入力部１において音声入力が行われると、その音声は音声データに変換されデータ処理部３に出力される。データ処理部３はその音声データを入力して文字コードに変換するとともに、その文字コードをデータ処理部３の音声入力反映画面４おいて文字として表示する。

図２に示す一例では音声入力反映画面４には「あかあおきいろしろみどり」「改行」「あいうえおかきくけこさしすせそ」が表示されている。この表示は音声入力部１において利用者が「あかあおきいろしろみどり」、「あいうえおかきくけこさしすせそ」と発声し音声入力を行った結果である。「改行」は改行を行うときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、視線位置を示すカーソルを音声入力反映画面４における前に改行を挿入すべき文字に移動し、片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じる。これによりその文字は指定されたことを示す形態（たとえばネガポジ反転）に変化する。そこで視線位置を示すカーソルを結果画面５の下の欄に存在する操作ボタン「改行」に移動し、片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じる。これにより操作ボタン「改行」が押されたことになり、改行が行われその文字を含む以降の文字が改行された行の先頭から表示される。その後の音声入力により生成する文字列は、その文字列の後に続いて表示される。

上述のように、カーソルを特定の文字に移動し、片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じることによって文字を指定することを、ここでは「文字指定」と呼ぶことにする。
また上述のように、カーソルを特定の操作ボタンに移動し、片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じることによって操作ボタンを指定することを、ここでは「操作指定」と呼ぶことにする。

ここで音声入力反映画面４と結果画面５について簡単に補足説明しておく。音声入力反映画面４には利用者が発した音声に相当する文字がその画面の左上から右下へと順次表示される。画面が文字で満たされるとスクロールして一番上の行が消え、その下の行から最後の行までは１行づつ上がり、一番下の行に新たな空白行が追加される。
また、結果画面５の上の欄は編集する文章を表示する欄である。また結果画面５の下の欄には各種の操作ボタンと操作をアシストするためのメッセージ表示枠が配置されている。

次に、文字転送について図２を参照して説明する。利用者は音声入力反映画面４に表示された文字の中から結果画面５に文字転送しようとする対象文字を指定して転送することができる。「文字転送」は文字転送を行うときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、結果画面５の下の欄に存在する操作ボタン「文字転送」を操作指示する。これにより操作ボタン「文字転送」が押されたことになり、音声視線複合入力システムにおける動作モードは編集モードから文字転送モードとなりメッセージ表示枠には「文字転送モード」と「開始位置指定」という表示が現れる。

次に、音声入力反映画面４における転送すべき文字列の最先頭の文字を文字指定する。これにより文字列の最先頭の文字は指定されたことを示す形態（たとえばネガポジ反転）に変化する。またメッセージ表示枠には「開始位置指定」に替えて「終了位置指定」という表示が現れる。
次に、音声入力反映画面４における転送すべき文字列の最後尾の文字を文字指定する。これにより文字列の最先頭から最後尾までの文字は指定されたことを示す形態（たとえばネガポジ反転）に変化する。またメッセージ表示枠には「終了位置指定」に替えて「決定？、戻る？」という表示が現れる。

この「決定？、戻る？」という表示で指定した文字列の訂正等を行うときは、結果画面５の下の欄に存在する操作ボタン「戻る」を操作指定する。これにより操作ボタン「戻る」が押されたことになり、音声入力反映画面４における転送すべき文字列の最先頭の文字だけが指定されたことを示す形態に変化する。またメッセージ表示枠には「決定？、戻る？」に替えて「終了位置指定」という表示が現れる。すなわち、操作ボタン「戻る」は、それを押すごとに一つ前の操作状態となる。

この「決定？、戻る？」という表示で指定した文字列の文字転送を行うときは、結果画面５の下の欄に存在する操作ボタン「決定」を操作指定する。これにより操作ボタン「決定」が押されたことになり、音声入力反映画面４における指定されたことを示す形態の文字列は、結果画面５の上の欄にコピー＆ペーストされる。そしてメッセージ表示枠には「決定？、戻る？」に替えて「転送文字開始位置指定」という表示が現れる。すなわち文字転送モードの最初に戻り文字転送モードが繰り返されることになる。

文字転送モードから抜けるには、結果画面５の下の欄に存在する操作ボタン「戻る」を操作指定する。これにより操作ボタン「戻る」が押されたことになり、音声視線複合入力システムにおける動作モードは文字転送モードの前のモード、すなわち編集モードに戻る。
なお編集モードの間はメッセージ表示枠には「編集モード」という表示が他の表示とともに現れる。また文字転送モードの間は前述のようにメッセージ表示枠には「文字転送モード」という表示が他の表示とともに現れる。

次に、仮名漢字変換について図３を参照して説明する。利用者は結果画面５に表示された文字の中から仮名漢字変換しようとする対象文字を指定して仮名漢字変換することができる。「仮名漢字変換」は仮名漢字変換を行うときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、文字転送された文字列「あかあおきいろしろみどり」は、文字転送の後に、特に操作が加えられなければ、指定されたことを示す形態（たとえばネガポジ反転）に変化したままである。新たに文字列を指定するときには、前述した文字転送モードにおける文字列の指定方法と同様に行う。文字列が指定されているときには、メッセージ表示枠には「編集モード」とともに「変換？、戻る？、決定？」という表示が現れる。

そこで結果画面５の下の欄に存在する操作ボタン「変換」を操作指定する。これにより操作ボタン「変換」が押されたことになり、文字列「あかあおきいろしろみどり」は、文字列「赤青黄色白緑」に仮名漢字変換される。すなわち、データ処理部３はディスプレイの結果画面５の表示を図３の左側に示す結果画面５から図３の右側に示す結果画面５に変化させる。この段階においては文字列「赤青黄色白緑」は指定されたことを示す形態（たとえばネガポジ反転）に変化したままである。

変換された文字列が所望の文字列でないときは、操作ボタン「変換」を押す操作を繰り返すことにより候補となる別の文字列への変換が行われる。操作ボタン「戻る」は、すでに説明したように、それを押すごとに一つ前の操作状態となる。
変換された文字列が所望の文字列となったときは、結果画面５の下の欄に存在する操作ボタン「決定」を操作指定する。これにより操作ボタン「決定」が押されたことになり、結果画面５における文字列「赤青黄色白緑」は指定されたことを示す形態から指定されていない形態に変化する。また、メッセージ表示枠には「編集モード」とともに「編集？送信？」という表示が現れる。

次に、空白の挿入について図４を参照して説明する。利用者は結果画面５に表示された文字の中から空白を挿入しようとする対象文字を指定して空白を挿入することができる。「空白の挿入」は空白を挿入するときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、文字列「赤青黄色白緑」について、各色の文字の間に空白を挿入するときに、まず、結果画面５における後ろに空白を挿入すべき文字「赤」を文字指定する。これによりその文字「赤」は指定されたことを示す形態（たとえばネガポジ反転）に変化する。そこで結果画面５の下の欄に存在する操作ボタン「空白」を操作指定する。これにより操作ボタン「空白」が押されたことになり、文字列「赤青黄色白緑」は、文字列「赤 青黄色白緑」に変換される。

同様に「青」を指定し操作ボタン「空白」を押すと文字列「赤 青黄色白緑」は、文字列「赤 青 黄色白緑」に変換される。同様に「色」を指定し操作ボタン「空白」を押すと文字列「赤 青 黄色白緑」は、文字列「赤 青 黄色 白緑」に変換される。同様に「白」を指定し操作ボタン「空白」を押すと文字列「赤 青 黄色 白緑」は、文字列「赤 青 黄色 白 緑」に変換される。

次に、文字の削除について図４を参照して説明する。利用者は結果画面５に表示された文字の中から削除しようとする対象文字を指定して削除することができる。「削除」は削除するときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、文字列「赤 青 黄色 白 緑」について、文字列「白 緑」を削除するときに、まず、結果画面５における削除すべき文字「白」を文字指定する。これによりその文字「白」は指定されたことを示す形態（たとえばネガポジ反転）に変化する。そこで結果画面５の下の欄に存在する操作ボタン「削除」を操作指定する。これにより操作ボタン「削除」が押されたことになり、文字列「白 緑」は、文字列「 緑」に変換される。

このとき文字列「 緑」において空白は指定されたことを示す形態（たとえばネガポジ反転）に変化している。そこで「削除」を押すことにより、文字列「 緑」は、文字列「緑」に変換される。このとき文字列「緑」において指定されたことを示す形態（たとえばネガポジ反転）に変化している。そこで「削除」を押すことにより、文字列「緑」は、文字列「」に変換される。
この削除の過程を総合すると文字列「赤 青 黄色 白 緑」は、文字列「赤 青 黄色 」に変換されたことになる。図４に示す一例では、さらに文字列「みどり 紫」が追加され。文字列「赤 青 黄色 」は文字列「赤 青 黄色 みどり 紫」に変換される。すなわち、データ処理部３はディスプレイの結果画面５の表示を図４の左側に示す結果画面５から図４の右側に示す結果画面５に変化させる。

編集した文章は、データ処理部３における送信手段により他システムのアプリケーションに送信する。「送信」は削除するときの利用者の行為を決めておき、利用者がその行為を行うことで達成する。たとえば、結果画面５における操作ボタン「送信」を操作指定する。これにより結果画面５に表示された文章が他システムのアプリケーションに送信される。送信された文章は結果画面５から消える。

以上のように、視線入力により、文書の編集を行う。視線入力での編集中も音声入力による文字入力は可能であり、文字の追加等は並行して行える。
なお、上述の一例においては、文字を指定したり操作ボタンを押す行為、すなわち文字指定と操作指定は、カーソルを文字または操作ボタンに移動して片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じるという行為によって行ったが。この行為における「片方の眼のまぶたを一定時間（たとえば０．５秒以上）閉じる」という行為を、視線入力とは別の方法で実現してもよい。たとえば、歯を噛み合わせることによる入り切りするスイッチ、手入力で入り切りするスイッチ、等を使用するように音声視線複合入力システムを構成してもよい。

本発明の音声視線複合入力システムについての構成図と連携図である。 音声入力反映画面４と結果画面５の機能を説明する図である。 本発明の音声視線複合入力システムにおける仮名漢字変換の説明図である。 空白の挿入、文字の削除、等の編集についての説明図である。

符号の説明

１ 音声入力部
２ 視線入力部
３ データ処理部
４ 音声入力反映画面
５ 結果画面
６ 他システム・アプリケーション

Claims (2)

1. 利用者が発生した音声を文字に変換し、その文字を音声入力反映画面に表示する音声入力手段と、
   前記利用者の視線入力による操作によって前記音声入力反映画面から文字を選択して転送し結果画面に表示する文字転送手段と、
   前記利用者の視線入力による操作によって前記結果画面において文書編集を行う文書編集手段と、
   を具備することを特徴とする音声視線複合入力システム。
2. 請求項１記載の音声視線複合入力システムにおいて、前記利用者の視線入力による操作によって前記文書編集により編集された文書を他システムのアプリケーションに送信する送信手段を具備することを特徴とする音声視線複合入力システム。
   
   

Images