JPH07168691A - 表示図形領域選択方式 - Google Patents

Abstract

(57)【要約】 【目的】 視覚によらないで、表示画面上の所望図形領
域にカーソルを移動し、図形の選択を可能にする。 【構成】 図形やカーソルを表示するディスプレイ装置
１、図形データ属性ファイル３１および図形データファ
イル３２を格納する記憶装置３、表示画面上のカーソル
位置を操作する座標入力装置４、音および音声を出力す
る音声出力装置５、及び制御装置２からなる。制御装置
２の表示図形管理テーブル２１は、表示画面上の各表示
図形の表示位置、当該図形に関連する音および声音属性
を管理する。制御装置２は、カーソル位置の表示画面上
の図形領域への進入・離脱に応じ、管理テーブル２１を
参照して、当該図形に関連する音あるいは音声の出力を
音声出力装置５へ指示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディスプレイ画面に表
示される図形の領域を座標入力装置の操作によって選択
する表示図形領域選択方式に係り、特に、座標入力装置
の操作によって移動するカーソルの位置と図形領域との
重なり状態の変化、および、その図形の識別を、音およ
び音声で提示したり、あるいは、音声によって図形領域
にカーソルの位置を移動したりする表示図形領域選択方
式に関する。

【０００２】

【従来の技術】パーソナルコンピュータやワードプロセ
ッサなど、情報処理装置が一般に普及するにつれて、専
門的な知識を持たないユーザが情報処理装置を操作する
機会も増している。このような情報処理装置に対しては
誰でも簡単に扱うことのできる平易なユーザインタフェ
ースが望まれている。

【０００３】従来、そのようなユーザインタフェースと
しては、グラフィカルユーザインタフェース（ＧＵＩ）
が知られている。これは、処理装置のコマンドなどを、
そのコマンドの意味を暗喩する図形（例えば絵文字な
ど）としてディスプレイ画面に表示し、ユーザが座標入
力装置を使ってその図形を選択することにより、コマン
ドの実行などを指示するものである。ＧＵＩでは、利用
者はコマンドなどを覚えなくても、表示される図形（絵
文字）を眺め、その中から該当する処理を意味するもの
を選択することにより、所望の処理を実行することがで
きる。

【０００４】このＧＵＩの場合は、座標入力装置による
図形の選択操作が頻繁に発生する。このため、ＧＵＩを
快適なユーザインタフェースとするには図形領域の簡単
で確実な選択方式が必要である。このような観点から、
これまでにも多くの表示図形領域選択方式が提案されて
いる。例えば、特開昭５９−１１９４３７号公報には、
マウス装置の操作によってカーソルがメニュー領域の境
界を横切るときにマウス装置に一時的に制動をかけるよ
うにして、所望のメニュー領域の選択を容易にする技術
が提案されている。また、特開平４−２４３４２２号公
報には、メニュー領域にカーソルを移動すると、該メニ
ュー領域が拡大表示される技術が提案されている。

【０００５】

【発明が解決しようとする課題】ＧＵＩのようにディス
プレイ画面上の表示図形を用いるユーザインタフェース
は、利用するユーザの視覚、すなわち図形の位置・大き
さ・形を認識すること、および、図形（絵文字）の意味
する概念を理解することに大きく依存している。そのた
め、ユーザの視覚が不自由な場合、あるいは、ユーザが
絵文字などの図形の意味する概念を理解できない場合に
は、ユーザインタフェースとして利用することができな
い。従来技術では、このような点に配慮されていなかっ
た。

【０００６】本発明の目的の一つは、ディスプレイ画面
に表示される図形を座標入力装置の操作によって選択す
る場合、視覚に依らないで図形領域を選択することを可
能にする表示図形領域選択方式を提供することにある。

【０００７】本発明の他の目的は、視覚に依らず、さら
にマウス等の座標入力装置を用いずに、カーソルを所望
図形領域に移動することを可能にする表示図形領域選択
方式を提供することにある。

【０００８】

【課題を解決するための手段】本発明は、図形およびカ
ーソルを表示するディスプレイ手段、表示画面上のカー
ソル位置を操作する座標入力手段、音および音声を出力
する音声出力手段、及び制御手段を備え、前記制御手段
は、表示画面上に表示される図形の表示位置、当該図形
に関連する音および音声属性データを管理し、前記座標
入力手段の操作によってカーソル位置が任意の図形領域
に進入あるいは該図形領域から離脱する場合、当該図形
の属性データに基づいて音あるいは音声の出力を前記音
声出力手段に指示することを特徴とする。

【０００９】また、本発明は、ディスプレイ手段、座標
入力手段、音声出力手段、制御手段に加えてスイッチ手
段を備え、前記制御手段は前記音声出力手段に対し、カ
ーソル位置が任意の図形領域に進入あるいは該図形領域
から離脱する場合は、当該図形の音属性データに基づく
音の出力を指示し、スイッチ手段が操作された場合、カ
ーソルが図形領域に存在するか否かチェックし、存在す
れば、当該図形の音声属性データに基づく音声の出力を
指示することを特徴とする。

【００１０】さらに、本発明は、利用者の発声する音声
を認識する音声認識手段を備え、前記制御手段は、前記
音声認識手段の認識結果と図形の音声属性データとを比
較し、前記認識結果に対応する音声属性データを有する
図形の表示位置にカーソルを移動することを特徴とす
る。

【００１１】

【作用】本発明では、座標入力手段を操作してカーソル
の位置を移動させることにより、ディスプレイ画面上の
図形領域の内側への進入、および、外側への離脱が音に
よって提示されので、利用者は聴覚により図形領域の位
置を認識することが可能となる。また、各図形が異なる
音属性データを持つならば、図形ごとに異なる音が提示
され、利用者は聴覚により図形の種類を区別することが
可能となる。さらに、図形領域への進入での音声の発生
により、利用者はその図形に関連するガイダンス情報等
を得ることが可能となり、図形選択の決定の拠り所とす
ることができる。

【００１２】さらには、音声認識手段を利用し、利用者
が音声を発声することによりカーソルの位置を所望の図
形領域内に移動させることができるので、素早く図形選
択を行うことができる。

【００１３】

【実施例】以下、本発明の種々の実施例について図面を
用いて詳細に説明する。

【００１４】〈実施例１〉図１は、本発明の第一の実施
例のブロック図である。図１において、１は図形やカー
ソル等が表示されるCRTなどのディスプレイ装置であ
る。制御装置２は、ディスプレイ装置１に表示される図
形データの管理・処理を行うと共に各部の制御を行う。
該制御装置２は、ディスプレイ装置１に表示されている
図形データの管理テーブル（表示図形管理テーブル）２
１、現選択図形のIDを示すフラグ（現選択図形ＩＤフラ
グ）２２、及び、検索された図形のＩＤを示すフラグ
（検索図形フラグ）２３を持っている。記憶装置３は、
当該情報処理装置で用いられる各図形データの属性を保
持する図形データ属性ファイル３１、及び、図形データ
そのものを保持する図形データファイル３２を格納して
いる。座標入力装置４としては、マウス装置、タッチパ
ネル装置などが用いられ、座標入力データは制御装置２
に供給される。音声出力装置５は音発生機構５１及び音
声発生機構５２からなり、制御装置２から供給される制
御信号により種々の音及び音声を発生する。

【００１５】図２は、記憶装置３内の図形データ属性フ
ァイル３１の構成例である。該図形データ属性ファイル
３１の各エントリは、図形データファイル３２が保持す
る各図形データに対応し、図形ＩＤ、音属性データ
（１）、音属性データ（２）及び音声属性データより構
成される。図形ＩＤは図形識別子であり、図形データ属
性ファイル３２の各図形データに一つずつにユニークに
割り当てられる。音属性データ（１）は、当該図形に関
連付ける音の属性（周波数、長さ、繰り返し数など）を
示す値、同様に、音属性データ（２）は、当該図形に関
連付ける別の音の属性を示すデータである。ここでは、
音属性データ（１）は、カーソルが当該図形領域へ進入
したことを意味する音を発生せしめることを示し、音属
性データ（２）は、カーソルが当該図形領域から離脱し
たことを意味する音を発生せしめることを示すものとす
る。音声属性データは、当該図形に関連ずける音声の属
性（発声内容、音調など）を示すデータである。

【００１６】図３は、制御装置２がディスプレイ装置１
に表示されている図形について管理している表示図形管
理テーブル２１の構成例である。該表示図形管理テーブ
ル２１の各エントリは、ディスプレイ装置１に表示され
ている各図形に対応し、表示順番号Ｎo.、図形ＩＤ、位
置データ、音属性データ（１）、音属性データ（２）及
び音声属性データより構成される。このうち、図形Ｉ
Ｄ、音属性データ（１）、音属性データ（２）音声属性
データは、図２と同じであり、当該図形をディスプレイ
装置１に表示する際、制御装置２が記憶装置３の図形デ
ータ属性ファイル３１から読み出し、表示図形管理テー
ブル２１に展開する。表示順番Ｎo.と位置データが制御
装置２において追加される。表示順番Ｎo.は、ディスプ
レイ装置１に表示されている図形の表示の順番を示し、
表示順に増加する１以上の整数で表わす。実施例では、
複数の図形が重なって表示される場合、その表示順序す
なわち表示順番Ｎo.の昇順に利用者から見て手前に表示
し、表示順序が最も遅い図形（最も手前に表示されてい
る図形）の領域について本選択方式を適用するものとす
る。位置データは、ディスプレイ画面内での当該図形領
域の占める位置を示し、例えば矩形図形においては、左
上頂点座標（ｘ_i，ｙ_j）及び右下頂点座標（ｘ_i+l，ｙ
_j+m）の組として表現する。

【００１７】図４及び図５は本実施例１の場合の制御装
置２の処理フローチャートで、図４は初期化処理を示
し、図５は座標入力装置４の操作にともなう図形領域選
択処理を示す。以下、図４及び図５に従って図１の動作
を説明する。

【００１８】初め、制御装置２は、初期化処理として図
４に示す処理を実行する。この処理では、制御装置２
は、現選択図形ＩＤフラグ２２として、未選択状態を示
す値（ここでは０とする）を設定する（ステップ１０
１）。

【００１９】次に、座標入力装置４の操作により座標デ
ータが入力されると、制御装置２は、入力された座標位
置に対応するディスプレイ装置１の表示画面内位置にカ
ーソルを表示する。その後、図５に示す処理を実行す
る。

【００２０】制御装置２は、まず、座標入力装置４の入
力座標データに対応するカーソル座標を読み取る（ステ
ップ１１１）。次に、この読み取ったカーソル座標と表
示図形管理テーブル２１の各エントリの位置データとを
比較し、カーソル座標を囲む領域を持つ図形ＩＤを検索
する（ステップ１１２）。この時、複数の図形ＩＤが検
索された場合は、その中から表示順番Ｎo.の最も大きい
図形ＩＤすなわち表示順序が最も遅い図形（利用者から
見て手前に表示されている図形）の図形ＩＤを選択す
る。ステップ１１２において、条件を満たすＩＤが検索
された場合、当該図形ＩＤを検索図形ＩＤフラグ２３と
して設定する（ステップ１１３）。なお、条件を満たす
図形ＩＤが検索されなかった場合は、検索図形ＩＤフラ
グ２３を値０に設定する。

【００２１】次に、現選択図形ＩＤフラグ２２と検索図
形ＩＤフラグ２３を比較する（ステップ１１４）。比較
の結果、両者の値が異なる場合は、ディスプレイ画面内
のカーソルの現選択図形領域からの離脱、新たな図形領
域への進入が発生したことを意味し、制御装置２は、ス
テップ１１５以下の処理に移行する。両者の値が等しい
場合は、カーソルの新たな図形領域への進入・離脱は発
生していないので、処理を終了とする。

【００２２】ステップ１１５では、制御装置２は、カー
ソルの現選択図形領域からの離脱を利用者に提示するた
め、表示図形管理テーブル２１内の図形ＩＤが現選択図
形ＩＤフラグ２２と等しいエントリにある音属性データ
（２）を読み出し、その値に基づき音声出力装置５にお
ける音発生機構５１を制御して所望の音を発生せしめ
る。但し、現選択図形ＩＤフラグ２２が値０（未選択）
であれば、ステップ１１５の処理をスキップする。次
に、カーソルの新たな図形領域への進入を提示するた
め、表示図形管理テーブル２１内の図形ＩＤがステップ
１１３で設定した検索図形ＩＤフラグ２３と等しいエン
トリにある音属性データ（１）を読み出し、その値に基
づき音声出力装置５の同じく音発生機構５１を制御して
所望の音を発生せしめる（ステップ１１６）。但し、検
索図形ＩＤフラグ２３が値０（非検索）であれば、ステ
ップ１１６の処理をスキップする。次に当該エントリの
音声属性データを読み出し、そのデータに基づき音声出
力装置５における音声発生機構５２を制御し、カーソル
の位置する図形を意味する音声を発生せしめる（ステッ
プ１１７）。但し、この場合も検索図形ＩＤフラグ２３
が値０であれば本ステップ１１７をスキップする。この
後、現選択図形ＩＤフラグ２２として検索図形ＩＤフラ
グ２３の図形ＩＤを設定する（ステップ１１８）。

【００２３】以降、座標入力装置２の操作がある度に、
図５の処理が制御装置２において実行される。

【００２４】次に、処理の具体例を示す。図６はディス
プレイ画面の一例であり、カーソル６０１が「文書３」
の図形領域内にあることを示している。この時、制御装
置２内の現選択図形ＩＤフラグ２２は「文書３」の図形
ＩＤに設定されている。今、座標入力装置４を操作し、
それに追従してカーソル６０１が「文書３」の図形領域
を抜け、「編集」の図形領域に入ったとする。この場
合、図５のステップ１１１〜１１３により検索図形ＩＤ
フラグ２３に「編集」の図形ＩＤが設定される。そし
て、ステップ１１４〜１１７により、音声出力装置５か
ら、まず、カーソルが現在選択している「文書３」の図
形領域から離脱したことを示す音（例えば“ピー”）が
出力され、次に、カーソルが別の図形領域（ここでは
「編集」の図形領域）に進入したことを示す音（例えば
“ピィ・ピィ”）が出力され、引き続いて、該進入した
「編集」の図形領域と関連した音声（例えば“ヘンシュ
ウ”）が出力される。最後に、ステップ１１８により、
検索図形ＩＤフラグ２３の「編集」の図形ＩＤが現選択
図形ＩＤフラグ２２に設定される。

【００２５】この実施例１によれば、利用者が座標入力
装置２を用いてディスプレイ画面上でカーソルを移動さ
せることにより、図形領域への進入において音と音声が
発生し、離脱において音が発生するため、聴覚によって
図形領域を選択することができる。また、複数図形の位
置が重なっている場合には、表示順序が最も遅い図形
（利用者から見て最も手前に表示されている図形）の領
域について本選択方式が適用される。

【００２６】〈実施例２〉図７は、本発明の第２の実施
例のブロック図である。上記の実施例１では、音声はカ
ーソルの図形領域への進入を契機に発生しているが、本
実施例２ではスイッチ装置６を加え、カーソルが図形領
域内に存在する場合に、スイッチ装置６を操作すること
により図形に対応する音声を発生するように、カーソル
の図形領域への進入時および離脱時は音のみ発生するよ
うにしたものである。

【００２７】図７において、スイッチ装置６以外は、図
１と基本的に同様の構成である。ただし、座標入力装置
４の操作による図形領域選択を行う場合の制御装置２の
処理は、図５の処理フローにおいて、ステップ１１７の
検索図形ＩＤフラグ２３に基づき音声を発生する処理を
除いたものとなる。

【００２８】一方、スイッチ装置６の操作により、スイ
ッチ状態が変化した場合、制御装置２は、図８に示す処
理を行う。まず、現選択図形ＩＤをチェックし（ステッ
プ２１１）、値０でなければ、カーソルはいづれかの図
形領域内に存在するので、ステップ２２２に移行する。
値０であれば、カーソルはいづれの図形領域内にも位置
していないので処理を終了する。ステップ２２２では、
表示図形管理テーブル２１の図形ＩＤが現選択図形ＩＤ
フラグ２２と等しいエントリにある音声属性データを読
みだし、その値に基づき音声出力装置５の音声発生機構
５２を制御し、所望の音声を発生せしめる。

【００２９】この実施例２によれば、音声はスイッチ装
置６の操作を行った場合にのみ発生するので、座標入力
装置２を操作した場合に音声が頻繁に発生することがな
くなる。情報処理装置に本実施例２と前実施例１を切り
替える手段を持たせれば、情報処理装置の初心者へは前
実施例１の方式を適用して音声情報を随時提供し、熟練
した利用者へは本実施例２の方式を適用して、利用者の
スイッチ操作により必要に応じて音声情報を提供するこ
とができる。

【００３０】〈実施例３〉図３においては、表示図形管
理テーブル２１に音あるいは音声の属性データそのもの
を含ませたが、別なデータ形式として、音あるいは音声
の属性を管理する別な属性テーブルを設定し、そのテー
ブル内のオフセット値のみを表示図形管理テーブル２１
の属性データ欄に持たせることもできる。

【００３１】図９は、この場合の特に表示図形管理テー
ブルにおける音声属性欄とその属性テーブルの関連の一
例を示したものである。なお、図９では、表示図形管理
テーブルにおける表示順番Ｎo.は省略してある。また、
当然のことながら記憶装置３内の図形データ属性ファイ
ル３１のデータ形式も同様に変更される。ここで、音声
の属性へは、属性テーブルの先頭番地＋オフセット値
（属性データ１０）としてアクセスすることができる。

【００３２】本実施例３のデータ形式では、属性テーブ
ルの先頭番地を変更することにより、表示図形管理テー
ブルを変更することなく一括して複数種類の属性に容易
にアクセスすることができる。例えば、日本語環境用の
属性テーブルと英語環境用の属性テーブルが設定されて
いる場合は、言語環境の切り替え手段によって属性テー
ブルの先頭番地を切り替えることにより、音声の属性全
体を日本語あるいは英語に切り替え、それぞれの音声を
発生することができる。

【００３３】〈実施例４〉実施例１および２は、利用者
による座標入力装置操作またはスイッチ装置操作によっ
て音および音声を発生する方式であったが、本実施例４
は図形と音声の属性の対応付けを利用し、利用者の発声
する音声によって特定の図形領域を選択するものであ
る。

【００３４】図１０は、本実施例を示すブロック図で、
図１に音声認識装置７を加えたものである。音声認識装
置７は、制御装置２に接続され、利用者の発声する音声
を認識し、パラメータ化し、そのパラメータ・データを
制御装置２に供給する。

【００３５】図１１は、利用者の発声する音声により図
形領域選択を行う場合の制御装置２の処理フローチャー
トである。ここで、表示図形管理テーブル２１は図２の
構成をとるとする。

【００３６】まず、制御装置２は、利用者の発声に応じ
て音声認識装置７から音声パラメータ・データが供給さ
れると、そのパラメータに基づき、表示図形管理テーブ
ル２１の音声属性データに適合する音声の属性情報に変
換する（ステップ３１１）。次に、この音声の属性情報
と表示図形管理テーブル２１の各エントリの音声属性デ
ータとを比較し、等しいものを検索する（ステップ３１
２）。ステップ３１２の検索結果、等しいものが見つか
った場合、その図形ＩＤを現選択図形ＩＤフラグ２２と
して設定する（ステップ３１３、３１４）。次に、この
表示図形管理テーブル２１の図形ＩＤが現選択図形ＩＤ
フラグ２２と等しいエントリにある位置データを読み出
し、その図形領域の範囲にカーソル位置を移動し、ディ
スプレイ画面に表示する（ステップ３１５）。等しいも
のが見つからない場合は処理を終了する。

【００３７】この実施例４によれば、利用者は音声を発
声することにより、欲する図形領域を選択することがで
きる。情報処理装置に、前述の実施例１や２の音および
音声を発生する図形領域選択方式と本実施例４の図形領
域選択方式とを併用すれば、利用者は、情報処理装置に
不慣れなうちは、座標入力装置の操作により音声ガイダ
ンスを得ることができ、慣れてくれば逆に発声により、
その音声ガイダンスを図形領域選択の手段として用いる
ことができる。

【００３８】

【発明の効果】本発明の請求項１による表示図形領域選
択方式では、座標入力装置による図形選択において、座
標入力装置の操作によるカーソル位置の図形領域への進
入・離脱に伴い音が発生するため、視覚以外に聴覚にお
いても図形領域を認識することができ、かつ、図形に対
応するガイダンス情報等を音声により得ることができ
る。

【００３９】本発明の請求項２による表示図形領域選択
方式では、音声はスイッチ装置の操作を行った場合のみ
発生するので、座標入力装置による図形選択において音
声が頻繁に発生することがなくなり、特に熟練した利用
者に適している。

【００４０】本発明の請求項３による表示図形領域選択
方式では、利用者が音声を発生することにより、カーソ
ル位置を所望図形領域内に移動し、素早く図形選択を行
うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック図である。

【図２】図形データ属性ファイルの構成例を示す図であ
る。

【図３】表示図形管理テーブルの構成例を示す図であ
る。

【図４】第１の実施例の制御装置におけるフローチャー
トである。

【図５】第１の実施例の制御装置における図形領域選択
処理のフローチャートである。

【図６】ディスプレイ画面の図形の表示例を示す図であ
る。

【図７】本発明の第２の実施例のブロック図である。

【図８】第２の実施例の制御装置における図形領域処理
のフローチャートである。

【図９】本発明の第３の実施例である表示図形管理テー
ブルの別な構成例を示す図である。

【図１０】本発明の第４の実施例のブロック図である。

【図１１】第４の実施例の制御装置における図形領域選
択処理のフローチャートである。

【符号の説明】

１ ディスプレイ装置 ２ 制御装置 ２１ 表示図形管理テーブル ３ 記憶装置 ４ 座標入力装置 ５ 音声出力装置 ５１ 音発機構 ５２ 音声発生機構 ６ スイッチ装置 ７ 音声認識装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 図形およびカーソルを表示するディスプ
   レイ手段、表示画面上のカーソル位置を操作する座標入
   力手段、音および音声を出力する音声出力手段、及び制
   御手段を備え、 前記制御手段は、表示画面上に表示される図形の表示位
   置、当該図形に関連する音および音声属性データを管理
   し、前記座標入力手段の操作によってカーソル位置が任
   意の図形領域に進入あるいは該図形領域から離脱する場
   合、当該図形の属性データに基づいて音あるいは音声の
   出力を前記音声出力手段に指示することを特徴とする表
   示図形領域選択方式。
2. 【請求項２】 請求項１記載の表示図形領域選択方式に
   おいて、ディスプレイ手段、座標入力手段、音声出力手
   段、制御手段に加えてスイッチ手段を備え、 前記制御手段は前記音声出力手段に対し、カーソル位置
   が任意の図形領域に進入あるいは該図形領域から離脱す
   る場合は、当該図形の音属性データに基づく音の出力を
   指示し、スイッチ手段が操作された場合、カーソルが図
   形領域に存在するか否かチェックし、存在すれば、当該
   図形の音声属性データに基づく音声の出力を指示するこ
   とを特徴とする表示図形領域選択方式。
3. 【請求項３】 請求項１記載あるいは２記載の表示図形
   領域選択方式において、利用者の発声する音声を認識す
   る音声認識手段を備え、 前記制御手段は、前記音声認識手段の認識結果と図形の
   音声属性データとを比較し、前記認識結果に対応する音
   声属性データを有する図形の表示位置にカーソルを移動
   することを特徴とする表示図形領域選択方式。