JP2004226743A - Multiple output presentation device and its output presentation program - Google Patents
Multiple output presentation device and its output presentation program Download PDFInfo
- Publication number
- JP2004226743A JP2004226743A JP2003015181A JP2003015181A JP2004226743A JP 2004226743 A JP2004226743 A JP 2004226743A JP 2003015181 A JP2003015181 A JP 2003015181A JP 2003015181 A JP2003015181 A JP 2003015181A JP 2004226743 A JP2004226743 A JP 2004226743A
- Authority
- JP
- Japan
- Prior art keywords
- data
- presentation
- information
- attribute
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、全盲、弱視など視覚の障害により情報受容の方法が健常者と異なる視覚障害者が、その視覚障害者ごとに最適な呈示形態を共通なデータから選択することができる、マルチ形態出力呈示装置、およびその出力呈示プログラムに関するものである。
【０００２】
【従来の技術】
今日、コンピュータにおいて、インターネットのＷＥＢや各種アプリケーションで表示されるＧＵＩ（グラフィカル・ユーザ・インタフェース）画面上の情報、例えばアイコンや動作項目の選択などに対する情報のように、情報アクセスに必要とする選択できるオブジェクト（以下、これを「選択オブジェクト」という）を視覚障害者に伝えるための研究開発が行われている。
【０００３】
また、ディジタル放送などのマルチメディアの分野でも、データにアクセスする方式として、メニュー画面から希望する選択項目を選択できるＧＵＩ的な選択オブジェクト形式が考えられている。この選択オブジェクト形式では、通常、リモコンによって上下左右に選択カーソルを移動し、目的の項目へ選択カーソルが移動後、決定のキーを押下する等の方法で、項目選択を可能としているが、このようなカーソルによる選択を可能にするためのメニュー画面を視覚障害者に伝えるには色々と工夫を必要とし、今日、これらを含めて研究開発が行われている。
【０００４】
このようなカーソルによる選択を可能にするためのメニュー画面、すなわちＧＵＩ画面を視覚障害者に伝える方法は、従来から幾つか知られている。第１の方法として、ＧＵＩ画面上の情報を音声で読み上げ点字で表示させて、ＧＵＩ画面を視覚障害者に伝える方法がある。そのソフトとしては、「ＷｅｂＶｏｉｃｅ（登録商標）」や「ＪＡＷＳ（登録商標）」、「ホームページリーダー（登録商標）」などが実用化されている。
【０００５】
これらは、Ｗｉｎｄｏｗｓ（登録商標）の画面上の文字や属性、画面上の位置、ウィンドウ番号、オブジェクト番号、カーソル位置、論理構造の関係などを常に更新しながら維持し、マウスやキーボードなどの操作内容、例えば、マウスの移動、クリック、キーボードの押下等の情報を取得し、その取得した操作内容に基づいて、アイコンやメニューバーなどの情報を読み上げ、あるいは文字のテキストデータを音声合成エンジンにより逐次読み上げ、それを「かな点字」変換して点字に表示する方式である。この方式は、いずれもテキストデータを抽出し、音声と点字の両方に出力するデバイスドライバーを備えている。
【０００６】
具体的には、図５に示すような各出力呈示装置１００として構成されている。図５は各出力呈示装置の一例を示す全体構成ブロック図である。各マルチ形態出力呈示装置１００は、情報リソースあるいはアプリケーションである４つのリソース（１〜４）１０１ａ〜１０１ｄを扱う場合を一例としており、リソース１０１ａ〜１０１ｄごとに、画面データ抽出制御手段１０２ａ〜１０２ｄ、テキストデータ抽出制御手段１０３ａ〜１０３ｄ、表示画面データ手段１０４ａ〜１０４ｄ、弱視表示出力変換手段１０５ａ〜１０５ｄ、２次元触覚呈示出力変換手段１０６ａ〜１０６ｄを有しており、各リソース１０１ａ〜１０１ｄに対応して個別の呈示状態で出力されている。
【０００７】
ここで、画面データ抽出制御手段１０２ａ〜１０２ｄは、リソース１０１ａ〜１０１ｄから、画面データを抽出するものであり、テキストデータ抽出制御手段１０３ａ〜１０３ｄは、リソース１０１ａ〜１０１ｄから、テキストデータを抽出するものである。また、表示画面データ手段１０４ａ〜１０４ｄは、画面データを接続する機器の呈示手段の呈示方式に変換するものである。さらに、弱視表示出力変換手段１０５ａ〜１０５ｄは、表示画面データ手段１０４ａ〜１０４ｄ、表示画面データ手段１０４ａ〜１０４ｄで変換された画面データを弱視表示モニタ１０７へ出力するものであり、２次元触覚呈示出力変換手段１０６ａ〜１０６ｄは、表示画面データ手段１０４ａ〜１０４ｄで変換された画面データを２次元触覚呈示装置１０８へ出力するものである。
【０００８】
なお、表示画面データ手段１０４ａ〜１０４ｄには、接続される弱視表示モニタ１０７に対応して画面データを変換する弱視表示用ソフト１１４ａ〜１１４ｄと、２次元触覚呈示装置１０８に対応して画面データを変換する触覚呈示用ソフト１２４ａ〜１２４ｄとが組み込まれている。
【０００９】
また、出力呈示装置１００には、弱視表示出力変換手段１０５ａ〜１０５ｄからの出力信号を受け付ける弱視表示モニタ１０７および２次元触覚呈示出力変換手段１０６ａ〜１０６ｄからの出力信号を受け付ける２次元触覚呈示装置１０８と、テキストデータ抽出制御手段１０３ａ〜１０３ｄからの出力信号を受け付ける表示出力変換手段１０９および点字端末音声合成手段１１０などが必要に応じて接続されるものである。
【００１０】
また、ＧＵＩ画面を視覚障害者に伝える第２の方法としては、弱視者のための文字拡大や反転表示がある。これには、第１の方法と同様に、ＧＵＩ画面の全体や画面中の特定の領域を指定し、領域の画面データを抽出して拡大したり、画面中の文字のある領域に対して文字色と背景色を反転表示したり、文字のある部分を指定して文字と背景色を反転して表示させる方法である。そのソフトとしては、「ズームテキスト（登録商標）」などが実用化されている。
【００１１】
ＧＵＩ画面を視覚障害者に伝える第３の方法としては、インターネットのホームページ作成で使われるＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）など、文字をマークアップ言語で記述してＧＵＩ画面表示を行う方法が知られている。このマークアップ言語でＧＵＩ画面表示を行う方法は、それぞれの文字の内容を表示する、その文字の属性を指定し、表示ブラウザに従って作成者の意図に応じて画面表示をするものである（例えば、非特許文献１）。
【００１２】
この第３の方法では、その画面表示を、弱視者の個々の視覚特性に対応した見やすい表示にすることを目的に提案されている。この第３の方法では、ＨＴＭＬ文書の表示中に表示環境を調整する必要がある場合に環境設定部を呼び出し、文字サイズや文字間隔、行間隔、配色などの属性をキー操作で変更し、弱視者に対して見やすい面面に設定するものである。文字の反転表示には、白文字・黒背景と黒文字・白背景用の二つのＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）ファイルを持ち、文字色を参照していずれかを呼び出している。また、文字情報に対しては音声ブラウザに連動して、拡大と文字読上げを出力できるようにしている。同様にＨＴＭＬの音声出力ではＨＴＭＬの構成を解析し、タグを読上げることにより、テーブルやフレームなどの２次元情報をわかりやすく伝える方法の研究も行われている（例えば、非特許文献２）。
【００１３】
【非特許文献１】
「弱視者の使いやすいＨＴＭＬ文書表示ツールの試作」、氏間：第２５回感覚代行シンポジウム、１９９９年
【非特許文献２】
「非視覚的Ｗｅｂアクセスシステムに於けるユーザ・インタフェイス」、浅川、情報処理学会論文誌、Ｖｏｌ．４０．Ｎｏ．２、１９９９年
【００１４】
【発明が解決しようとする課題】
しかしながら、視覚障害者においては、全盲をはじめ、弱視者では視力の程度や見え方の特性が多岐にわたることや、障害の進み方などによる個人差などから、個々のユーザが最適な環境でＧＵＩ画面の情報を取得するには、個々に呈示形式が異なる複数の出力装置と多様な呈示の方法が必要である。これには、音声と点字、拡大文字と点字に加え、２次元触覚呈示との併用など、同時にマルチ形態的な感覚で情報を呈示することが情報の理解や取得に有利となることが考えられる。
【００１５】
一方で、多様化する情報社会では、ＧＵＩ画面をＨＴＭＬやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）など、標準化されたマークアップ言語で記述し、呈示形式の異なる複数の出力装置（呈示手段）で共通に情報を呈示することができるようにする必要性が高まっている。
【００１６】
このような背景の中で、前記した従来の技術のように、ＧＵＩを視覚障害者に伝えるために音声や点字、拡大表示など、それぞれの機能に対応した出力技術があるが、これらはアプリケーションに応じて、独自のプログラムなどが組み込まれている。また、全盲者に対しては音声や点字の他に、２次元オブジェクトの触覚呈示や振動呈示、弱視者に対しては拡大、反転表示などの複数の出力呈示を併用したり、あるいは、弱視者の見やすい画面表示や触覚でわかりやすい画面に呈示したり、個々のユーザに最適となるような、多様な呈示方法に対応する有効な手段はなかった。
【００１７】
また、図５に示す出力呈示装置では、それぞれのアプリケーションごとに個々の表示変換プログラムを開発することが必要となるため、開発の労力やコストが高くなるなどの問題があった。
【００１８】
本発明は前記の問題点に鑑み創案されたものであり、ＧＵＩ環境で表示される画面情報を、リソースおよび呈示形式がそれぞれ異なる複数の呈示手段に依存しないデータとして提供し、ユーザが自分に最適なＧＵＩ環境で情報を得ることが可能なマルチ形態出力呈示装置、および、その出力呈示プログラムを提供することにある。
【００１９】
【課題を解決するための手段】
本発明は前記の目的を達成するために、本発明にかかるマルチ形態出力呈示装置では、ＧＵＩ環境で表示される画面情報を、呈示形式がそれぞれ異なる複数の呈示手段で使用可能な共通の情報に変換して出力するマルチ形態出力呈示装置であって、前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを、データベースにあらかじめ前記属性データおよび前記属性内容データと対応づけて記憶され、前記呈示手段のそれぞれで共通に使用可能な形式に変換して共通画面情報として作成する共通画面情報作成手段と、前記共通画面情報作成手段により作成された前記共通画面情報のなかから、前記呈示手段の呈示に必要な情報を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段と、を備えた構成とした（請求項１）。
【００２０】
かかる構成によれば、マルチ形態出力呈示装置は、ＧＵＩ環境で表示される画面情報が有する属性データおよび属性内容データについて、共通画面情報作成手段が検出し、かつ、あらかじめデータベースに記憶されており、属性データおよび属性内容データに対応づけられている形式に変換して共通画面情報として作成される。この共通画面情報としては、例えば、属性データおよび属性内容データを、各呈示手段で共通となる表形式に置き換えており、データ抽出表示出力変換手段が、その共通画面情報から各呈示手段に対応する情報として、その表形式から抽出すると共に変換してそれぞれの呈示手段のいずれかに出力している。
【００２１】
また、本発明にかかるマルチ形態出力呈示装置では、ＧＵＩ環境で表示される画面情報を、呈示形式がそれぞれ異なる複数の呈示手段で使用可能な共通の情報に変換して出力するマルチ形態出力呈示装置であって、前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを再編成し、再編成した前記属性データを、その属性データと対応づけてあらかじめデータベースに記憶されているタグ情報に変換するデータ再編成／タグ情報変換手段と、前記データ再編成／タグ情報変換手段で変換した前記タグ情報に対する前記属性内容データを、異なる前記呈示手段で共通に使用可能で、前記データベースにあらかじめ前記属性内容データと対応づけて記憶されているマークアップ言語に変換する基本マークアップ言語作成手段と、前記基本マークアップ言語作成手段により変換されたマークアップ言語のなかから、前記呈示手段の呈示に必要な前記マークアップ言語を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段と、を備えた構成とした（請求項２）。
【００２２】
かかる構成によれば、各リソースなどの画面情報は、その画面情報が有する属性データを、データ再編成／タグ情報変換手段で、データベースを参照してタグ情報に変換される。このデータ再編成／タグ情報変換手段で変換されたタグ情報は、基本マークアップ言語作成手段により、呈示手段に依存しない共通のマークアップ言語で記述された共通のデータとしてデータベースを参照して変換され、さらにデータ抽出表示出力変換手段により呈示手段で呈示するのに必要な情報だけが抽出されて出力させることができる。なお、属性データを変換するとは、データベースにあらかじめ属性データまたは属性内容データと関連づけて記憶されているタグ情報あるいはマークアップ言語に、置換あるいは付加（作成）することをいう。
【００２３】
さらに、本発明にかかるマルチ形態出力呈示装置は、前記データ抽出表示出力変換手段は、前記呈示手段の呈示画面状態に対応して、その呈示状態固有のデータを作成する呈示画面データ作成部を有するように構成した（請求項３）。
【００２４】
かかる構成によれば、前記データ抽出表示出力変換手段は、例えばテキストデータ以外のデータにより各種の呈示手段を動作させる場合に、各種の呈示手段に共通のタグ情報およびマークアップ言語から呈示するためのデータを作成することができる。
【００２５】
また、本発明にかかるマルチ形態出力呈示装置は、前記基本マークアップ言語作成手段が、前記属性内容データを、マークアップ言語である基本ＸＭＬに変換するように構成した（請求項４）。
【００２６】
かかる構成によれば、タグ情報を規格化された基本ＸＭＬで記述し、それをデータベースに保有するので、データベース自体の規格化が可能になる。
【００２７】
さらに、本発明にかかるマルチ形態出力呈示装置は、前記データ抽出表示出力変換手段は、前記マークアップ言語から呈示画面に適したデータおよび触覚呈示する際に適した２次元データの少なくとも一方を抽出して出力する画像／２次元触覚データ表示出力変換手段と、前記マークアップ言語からテキストデータを抽出して出力するテキストデータ抽出／表示出力変換手段との少なくとも一方を有する構成とした（請求項５）。
【００２８】
かかる構成によれば、画像／２次元触覚データ表示出力変換手段を有した場合は、基本マークアップ言語作成手段により変換されたタグ情報を、画面表示や２次元的に表現して理解させるための少なくとも一方のデータに変換させて出力することができる。また、テキストデータ抽出／表示出力変換手段を有した場合は、基本マークアップ言語作成手段により変換されたタグ情報を、例えば点字的に表現して理解させるための出力信号に変換させて出力することができる。
【００２９】
請本発明にかかるマルチ形態出力呈示プログラムでは、呈示形式がそれぞれ異なる複数の呈示手段で使用可能な共通の共通情報に変換して出力するために、コンピュータを、以下の各手段により機能させるようにした。すなわち、各手段は、前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを再編成し、あらかじめデータベースに前記属性データと対応づけて記憶されているタグ情報に変換するデータ再編成／タグ情報変換手段、前記データ再編成／タグ情報変換手段で変換した前記タグ情報に対する前記属性内容データを、異なる前記呈示手段で共通に使用可能で、前記データベースにあらかじめ前記属性内容データと対応づけて記憶されているマークアップ言語に変換する基本マークアップ言語作成手段、前記基本マークアップ言語作成手段により変換されたマークアップ言語のなかから、前記呈示手段の呈示に必要な前記マークアップ言語を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段、である（請求項６）。
【００３０】
かかる構成によれば、マルチ形態出力呈示プログラムにしたがってコンピュータを動作させることにより、コンピュータには、データ再編成／タグ情報変換手段、基本マークアップ言語作成手段、データ抽出表示出力変換手段が備えられ、これらがマルチ形態出力呈示装置として機能する。
【００３１】
そして、このマルチ形態出力呈示装置では、各リソースなどの画面情報は、その画面情報が有する属性データを、データ再編成／タグ情報変換手段でタグ情報に変換あるいはタグ情報が付加される。このデータ再編成／タグ情報変換手段で変換あるいは付加されたタグ情報は、基本マークアップ言語作成手段により、呈示手段に依存しない共通のマークアップ言語で記述された共通のデータであるマークアップ言語に変換され、さらにデータ抽出表示出力変換手段により呈示手段で呈示するのに必要な情報だけが抽出されて出力させることができる。
【００３２】
【発明の実施の形態】
以下、図面を参照して、発明の実施の形態を説明する。
はじめに、マルチ形態出力呈示装置を備えるマルチ形態出力呈示システムについて説明し、次に、マルチ形態出力呈示装置の説明をする。図１は、マルチ形態出力呈示システムの概略を示すブロック構成図、図２は、マルチ形態出力呈示装置の詳細構成を示すブロック構成図である。
図１に示すように、このマルチ形態出力呈示システムは、マルチ形態出力呈示装置１と、リソース２と、各種の呈示手段３で構成されている。
【００３３】
リソース２は、情報リソースあるいはアプリケーションであり複数の異なる画面情報を提供するものである。リソース２は、情報リソースあるいはアプリケーションで、本実施の形態では情報リソースの場合を一例としている。そして、図２に示すように、リソース２は、その情報リソースとして、文字放送２ａ、データ放送２ｂ、インターネット２ｃ、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子プログラムガイド）２ｄなどがある。
【００３４】
なお、文字放送２ａで提供されるリソース２は、バイナリ（Ｂｉｎａｒｙ）形式のデータであり、データ放送２ｂで提供されるリソース２は、マルチメディア番組を作成および放送するための言語であるＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）と呼ばれる記述言語である。また、インターネット２ｃで提供されるリソース２は、ＨＴＭＬ形式のデータであり、ＥＰＧ２ｄで提供されるリソース２は、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）形式などのデータである。
【００３５】
各種の呈示手段３は、視覚障害者に最適な情報を呈示するためのもので、弱視表示／２次元触覚呈示手段４と、点字端末音声合成手段５と、振動呈示手段６などの少なくとも一つが、マルチ形態出力装置１に接続されている。弱視表示／２次元触覚呈示手段４は、弱視表示モニタ７および２次元触覚呈示手段８を備えたものである。
【００３６】
弱視表示モニタ７は、データ抽出表示出力変換手段１３からの信号に基づいて、表示画面上に拡大文字など、弱視者に適した表示を行うものである。また、２次元触覚呈示手段８は、データ抽出表示出力変換手段１３からの信号に基づいて、図形情報の構成を２次元的に理解させるものであり、例えばタッチパネル上に触覚ディスプレイ（図４参照）を有し、触覚ディスプレイの画面に触れることにより、その位置に表示された対話部品の情報から画像情報の触知が可能となる。触覚ディスプレイの例としては、８×８本のピンを２次元に配列した対話部品としての触覚セル（図示せず）を、ウィンドウの構造に対応させて複数配置してなる触覚受容器などが使用される。
【００３７】
点字端末音声合成手段５は、例えば２次元触覚呈示装置の触覚ディスプレイ（図示せず）に、例えばスピーカ（図示せず）などの音声出力手段を組み合わせたものであり、触覚ディスプレイの画面、すなわち触覚セル（図示せず）に触れることにより、その位置に表示された対話部品の情報が音声で出力されるように構成されている。なお、ここでの触覚ディスプレイは、点字専用のものであって、例えば文字放送の国際標準密度表示である１行１５文字を順に表示できるように構成される。そして、音声は、選択オブジェクトの指定の遷移などが生じたときに、サイン音などとして出力される。
【００３８】
また、振動呈示手段６は、振動を発生することができる装置であり、一般には、点字端末音声合成手段５との組み合わせで使用され、例えば選択オブジェクトの指定の遷移などが生じたときに、前記サイン音と共に振動で状態を呈示するものである。
【００３９】
次に、マルチ形態出力呈示装置１の構成について説明する。図２に示すように、マルチ形態出力呈示装置１は、データ再編成／タグ情報変換手段１１と、基本マークアップ言語作成手段１２と、データ抽出表示出力変換手段１３と、データベース１４とを備えている。なお、マークアップ言語を表示するには、例えば、規格化されたＨＴＭＬで用いられるＣＳＳや、ＸＭＬで用いられるＸＳＬなどが使用されるが、ここでは基本ＸＭＬを使用し、基本マークアップ言語作成手段１２のマークアップ言語は基本ＸＭＬとして説明する。また、共通画面情報作成手段として、データ再編成／タグ情報変換手段１１と、基本マークアップ言語作成手段１２とを有する構成として説明する。
【００４０】
図３は、リソースの選択オブジェクトの属性データをＸＭＬのタグ情報に変換する一例を示す説明図である。図３において、（ａ）は各情報リソースの記述例の構成を示す構成図、（ｂ）はタグ情報変換則の構成を示す構成図、（ｃ）は設定した基本的なタグ情報およびマークアップ言語で記載した構成を示す構成図である。この図３で示すように、一例として、上段から下段に向かって、文字放送、データ放送、インターネットの情報リソースについて順に示している。
【００４１】
図２および図３（ａ）（ｂ）に示すように、データ再編成／タグ情報変換手段１１（１１ａ〜１１ｄ）は、リソース２である文字放送（Ｂｉｎａｒｙ）２ａ、データ放送（ＢＭＬ）２ｂ、インターネット（ＨＴＭＬ）２ｃおよびＥＰＧ（ＣＳＶ）２ｄなどの情報リソースに対応して、情報アクセスに必要な、ＧＵＩを構成する画面情報の属性データＡ１，Ａ２，Ａ３…および属性内容データＢ１，Ｂ２，Ｂ３…を抽出して再編成する。そして、再編成と共に、データ再編成／タグ情報変換手段１１（１１ａ〜１１ｄ）は、データベース１４にあらかじめ各属性データＡ１…と対応づけて記憶されているマークアップ言語（ＸＭＬ）であるタグ情報ｔ（タグｔ１〜ｔ４等）に属性データＡ１…から変換、あるいは、属性データＡ１がないときに付加（作成）する機能を有するものである。
【００４２】
なお、各リソースの内容を示す記述例を説明する。図３（ａ）に示すように、ここでは、バイナリデータ、ＢＭＬデータおよびＨＴＭＬデータの主要部分を示している。例えば、バイナリデータ（上段位置）は、属性データＡ１の「項目」に対応する属性タグａ１１、「項目内容」に対応する属性タグａ１２、「表示位置」に対応する属性タグａ１３、および、「種別」に対応する属性タグａ１４（「テキスト」）がない。さらに、各属性タグａ１３〜ａ１４に伴う属性内容データＢ１もない。
【００４３】
また、ＢＭＬデータ（中段位置）では、属性データＡ２の「項目」に対応する属性タグａ２１である「＜ｉｄ＞」、「項目内容」に対応する属性タグａ２２である「！［ＣＤＡＴＡ［］］」、「表示位置」に対応する属性タグａ２３である「＜ｓｔｙｌｅ＞」、および、「種別」に対応する属性タグａ２４である「＜ｃｌａｓｓ＞」等のタグデータがそれぞれ記載されている。さらに、このＢＭＬデータでは、各属性タグａ２１〜ａ２４に伴う属性内容データＢ１については、それぞれ記載されている。
【００４４】
また、ＨＴＭＬ（下段位置）では、属性データＡ３の「項目」に対応する属性タグａ３１のデータが存在せず、「項目内容」には対応する属性タグａ３２である「＜ａｌｔ＞」、「表示位置」には対応する属性タグａ３３である「＜ＩＭＧ＞」を備え、「種別」に対応する属性タグａ３４（「テキスト」）のデータがない状態で、それぞれ記載されている。
【００４５】
データ再編成／タグ情報変換手段１１は、図２および図３（ｂ）に示すように、属性データＡ２，Ａ３が存在する場合には、あらかじめデータベース１４に、各属性データＡ２，Ａ３…と対応するマークアップ言語である基本ＸＭＬのタグ情報Ａａにより、その属性データＡ２，Ａ３…対応するタグ情報Ａａ…にそれぞれに変換するものである。また、データ再編成／タグ情報変換手段１１は、属性データＡ１のように、そのデータがない場合には、その属性データＡ１…とマークアップ言語である基本ＸＭＬのタグ情報Ａａと対応づけられてあらかじめ記憶されているデータベース１４を参照してそれぞれが付加（作成）される。
【００４６】
なお、データベース１４は、リソース２の各属性データＡ１，Ａ２，Ａ３…と、マークアップ言語である基本ＸＭＬで示されるタグ情報Ａａのそれぞれとが対応づけて記憶されていると共に、属性データＡ１，Ａ２，Ａ３…のそれぞれの内容を示す属性内容データＢ１，Ｂ２，Ｂ３…と対応するマークアップ言語である内容データとしての基本ＸＭＬＢｂのそれぞれとが関連づけて記憶されている。また、各種の呈示手段３が、どの呈示形式（呈示画面状態）の情報（データ）を必要とするかが記憶されている。
【００４７】
例えば、データ再編成／タグ情報変換手段１１は、図３（ａ）の上段に示す（バイナリからの変換）場合には、データ形式がバイナリデータであるため、属性データＡ１（表示位置など）となるタグおよび属性内容データＢ１（表示内容など）が記載されていない。このような場合には、あらかじめ、データベース１４に記載されているデータベースを参照して図３（ｂ）に示すように、タグ情報Ａａを付加（作成）するものである。なお、図３（ａ）に示すように、中段および下段に示したリソース２のデータ形式がＢＭＬおよびＨＴＭＬである場合には、マークアップ言語である基本ＸＭＬデータＢｂで示されるデータに変換している。
【００４８】
基本マークアップ言語作成手段１２は、データ再編成／タグ情報変換手段１１で付加あるいは変換されたタグ情報Ａａの内容である属性内容データＢ１，Ｂ２，Ｂ３…を、各種の呈示手段３に依存しない、すなわち各種の呈示手段３で共通に使用可能なマークアップ言語で記載された内容情報（基本ＸＭＬデータ）Ｂｂに変換する機能を有する。この基本マークアップ言語作成手段１２によるデータの変換は、データベース１４を参照して行われる。
【００４９】
なお、各属性データＡ１〜Ａ３…は、その内容を示す属性内容データＢ１〜Ｂ３…をそれぞれ属性ごと（「番号」「項目」「位置」「種類」「形状」「音声」「振動」「文字色」…（図３および図４参照））に備えている。また、属性データＡ１のように属性内容データＢ１がない場合でも、あらかじめデータベース１４に関連づけられて記憶されているデータから作成（付加）される。
【００５０】
データ抽出表示出力変換手段１３は、基本マークアップ言語作成手段１２のデータから属性内容データＢ１…で示されるオブジェクトの位置情報やサイズ、形状情報に応じて、弱視者に適した画面表示や触覚に適した複数の呈示形式に変換し、これを各種の呈示手段３に出力するものであり、呈示画面データ作成部１８、画像／２次元触覚データ表示出力変換手段１５、テキストデータ抽出／表示出力変換手段１６、および、振動データ抽出／出力変換手段１７と、を備えている。
【００５１】
なお、データ抽出表示出力変換手段１３は、各種の呈示手段３において、どの呈示形式（呈示画面状態）の情報（データ）が必要かを、データベース１４を参照して抽出している。そのため、ここでは、あらかじめ、データベース１４に各種の呈示手段３が、どの呈示形式（呈示画面状態）の情報（データ）を必要とするかが記憶されている。
【００５２】
呈示画面データ作成部１８は、基本マークアップ言語作成手段１２で変換された基本ＸＭＬデータから、選択するオブジェクトの位置情報やサイズ、形状情報に応じて、弱視者に適した画面表示や触覚に適した複数の呈示形式のデータを選択して、画像／２次元触覚データ表示出力変換手段１５に出力するものである。
【００５３】
また、図２に示すように、一例として呈示画面データ作成部１８には、ｎ個の弱視表示用ＸＭＬ１〜ＸＭＬｎと、触覚呈示用ＸＭＬ１、ＸＭＬ２がそれぞれ設けられている。弱視表示用ＸＭＬ１〜ＸＭＬｎ、および触覚呈示用ＸＭＬ１、ＸＭＬ２は、基本マークアップ言語作成手段１２で作成された基本ＸＭＬのデータから必要なデータを作成している。
【００５４】
ここでは、弱視表示用ＸＭＬ１から弱視表示用ＸＭＬｎになるに従って視覚障害の程度が重い人に適した呈示形式のデータを作成し、触覚呈示用ＸＭＬ１、ＸＭＬ２についても触覚呈示用ＸＭＬ１よりも触覚呈示用ＸＭＬ２の方が障害の程度の重い人に適した呈示形式となるようになっている。また、弱視表示用ＸＭＬ１〜ＸＭＬｎ、および触覚呈示用ＸＭＬ１、ＸＭＬ２のなかのどれを使用するかは、スイッチ２１，２２の操作で切り換えることができ、そのスイッチ２１，２２での切り換え選択は、障害者など、すなわちユーザ自身によってあらかじめ選択される。
【００５５】
図２に示すように、画像／２次元触覚データ表示出力変換手段１５は、ここでは、弱視表示モニタ７および２次元触覚呈示手段８で画面情報を呈示できるようにするためのものであり、画面データ抽出制御手段２３および弱視表示出力変換手段２４と、画面データ抽出制御手段２５および２次元触覚呈示出力変換手段２６とを備えている。
【００５６】
画面データ抽出制御手段２３は、スイッチ２１を介して呈示画面データ作成部１８に接続されており、画面データ抽出制御手段２３にはスイッチ２１の切り換えに応じた画面呈示のＸＭＬのデータが入力され、このデータから画面呈示に必要なデータを抽出し、弱視表示出力変換手段２４に出力する。
弱視表示変換出力手段２４は、画面データ抽出制御手段２３からのデータを弱視表示モニタ７の画像メモリ（ＶＲＡＭ）などに伝達するのに適した信号に変換し、これを弱視表示モニタ７に出力する。
【００５７】
画面データ抽出制御手段２５は、スイッチ２２を介して呈示画面データ作成部１８に接続されており、画面データ抽出制御手段２５にはスイッチ２２の切り換えに応じた画面呈示のＸＭＬのデータが入力され、このデータから画面呈示に必要なデータを抽出し、２次元触覚呈示出力変換手段２６に出力する。
２次元触覚呈示出力変換手段２６は、画面データ抽出制御手段２５からのデータを２次元触覚呈示手段８の触覚セルの凹凸などの信号に変換し、これを２次元触覚呈示手段８に出力する。
【００５８】
また、テキストデータ抽出／表示出力変換手段１６は、基本マークアップ言語作成手段１２のマークアップ言語（データ）から、テキスト形式のデータや触覚に適した複数の呈示形式に変換し、点字端末音声合成手段５に出力するもので、点字端末音声合成手段５用のテキストデータ抽出制御手段２７および表示出力変換手段２８を備えている。
【００５９】
テキストデータ抽出制御手段２７は、基本マークアップ言語作成手段１２で作成されたＸＭＬのデータのなかから、点字端末音声合成手段５での呈示に必要なテキストデータを抽出し、表示出力変換手段２８に出力する。
また、表示出力変換手段２８は、テキストデータ抽出制御手段２７からのデータを点字端末音声合成手段５に伝達するのに適した信号に変換し、点字端末音声合成手段５に出力する。
【００６０】
振動データ抽出／出力変換手段１７は、振動呈示手段６用の振動呈示抽出制御手段２９および振動出力変換手段３０を備えている。振動呈示抽出制御手段２９は、基本マークアップ言語作成手段１２で作成されたＸＭＬのデータのなかから、振動呈示手段６での呈示に必要な振動データ等（図４参照）を抽出し、振動出力変換手段３０に出力する。振動出力変換手段３０は、振動呈示抽出制御手段２９からのデータを振動呈示手段６に伝達するのに適した信号に変換し、振動呈示手段６に出力する。
【００６１】
なお、図４は、データ放送（デジタル放送：ＩＳＤＢ）２ｂから変換した基本ＸＭＬのツリー構成により各種の呈示手段３で画面情報を呈示する一例を示す模式図である。図４中には、基本マークアップ言語作成手段１２で変換され基本ＸＭＬを用いて表示したときのツリー構成（Ａ）および画面構成（ａ）と、弱視表示用ＸＭＬ１を用いて表示したときのツリー構成（Ｂ−１）および画面構成（ｂ−１）と、触覚呈示用ＸＭＬ１を用いて表示したときのツリー構成（Ｂ−２）および画面構成（ｂ−２）を示している。
【００６２】
図４に示すように、基本ＸＭＬとなる画面状態が、基本マークアップ言語作成手段１２でマークアップ言語に変換された状態を示し、送信されたＢＭＬによる表示とほぼ等しい。また、データ抽出表示出力変換手段１３により各種の呈示手段３へ呈示するためのデータを抽出して出力することになる。そして、ツリー構成例（Ａ）では、例えば図中、点線で囲まれる部分、すなわち、＜番号＞１、および、その＜番号＞１に対応する＜項目＞、＜位置＞、＜音声＞、＜振動＞等がそれぞれ１つの選択オブジェクトのグループとして設定されており、この点線で囲んだグループ内に含まれるデータに対しては、まとめて処理が実行される（（Ｂ−１）、（Ｂ−２）についても同様）。
【００６３】
さらに、各ツリーの第１階層の＜番号＞１、＜番号＞２、…、＜番号＞ｎは、表示画面の選択オブジェクト（例えば、図３（ｃ）の「＜番号＞１、＜番号＞２、…に相当）に対応し、第２階層の＜項目＞、＜位置＞、＜音声＞、＜振動＞等、画面の細部構成が定義されている。
【００６４】
そして、基本ＸＭＬの表示例として示す図４の（ａ）の画面は基本ＸＭＬの基本メニュー画面であり、これは健常者が通常、見ている画面例であり、画面中の選択オブジェクト▲１▼は、ツリー構成（Ａ）内における第１階層となる＜番号＞１のタグで定義され、第２階層となる＜項目＞がニュース、＜位置＞がｈｅｉｇｈｔ１０、＜音声＞がテキスト（データ）、＜振動＞が３０Ｈｚ１００ｍｓ等であると定義されている。また、この情報は＜番号＞２以降も同様にして＜番号＞ｎのタグまで定義されている。
【００６５】
弱視・触覚呈示変換ＸＭＬで弱視表示用ＸＭＬ１の表示例として示す図４の（ｂ−１）の画面は、呈示画面データ作成部１８の弱視表示用ＸＭＬ１が設定されているときに、基本ＸＭＬの画面が弱視表示モニタ７で表示される画面の一例を示している。画面（ｂ−１）中で、基本ＸＭＬの画面に表示されている選択オブジェクト▲１▼に対応する選択オブジェクト（１）は、ツリー構成（Ｂ−１）内における第１階層では＜番号＞１のタグで定義され、第２階層のデータは、＜形状＞が長方形、＜位置＞がｈｅｉｇｈｔ１０、＜文字色＞が白である等の情報を持ち、弱視表示モニタ７の画面上では、弱視者が見易いように黒い長方形の領域内に白抜きの「ニュース」という文字が拡大して表示される。また、この情報は＜番号＞２以降も同様にして＜番号＞ｎのタグまで定義されている。
【００６６】
弱視・触覚呈示変換ＸＭＬで触覚呈示用ＸＭＬ１の表示例として示す図４の（ｂ−２）の画面は、呈示画面データ作成部１８の触覚呈示用ＸＭＬ１を選択したときに、基本ＸＭＬの画面が２次元触覚呈示手段８の触覚ディスプレイで呈示される凹凸の一例を示している。画面（ｂ−２）中で、基本ＸＭＬの画面に表示されている選択オブジェクト▲１▼に対応する選択オブジェクト［１］は、ツリー構成（Ｂ−２）内における第１階層では＜番号＞１のタグで定義され、第２階層のデータは、＜形状＞が丸、＜位置＞がｈｅｉｇｈｔ３０である情報等を持ち、触覚ディスプレイの画面上における＜番号＞１の領域内には、全盲者などが手で触って直ぐに選択オブジェクトの区別が判るように丸の凸部が形成される。また、この情報は＜番号＞２以降も同様にして＜番号＞ｎのタグまで定義されている。
【００６７】
次に、このように構成されたマルチ形態出力呈示システムの動作を説明する。はじめに、図２に示すように、データ再編成／タグ情報変換手段１１には、リソース２から、情報リソースの種類（バイナリ、ＢＭＬ、ＨＴＭＬ、ＣＳＶ）によって各種形式のデータのいずれかが送られてくる。それぞれの選択オブジェクト（図４で示す▲１▼、▲２▼…参照）の有する画面呈示情報やテキスト情報、あるいはリンク情報などの属性情報を、データ再編成／タグ情報変換手段１１により検出し、あらかじめデータベース１４（図２参照）に記憶されているタグ情報変換則を参照して再編成すると共に、そのデータをタグ情報Ａａ（図３（ｃ）参照）に変換する。
【００６８】
このとき、図３（ａ）、（ｂ）に示すように、それぞれの選択オブジェクト▲１▼（図４参照）の有する画面呈示情報やテキスト情報、あるいはリンク情報などの属性データＡ１…をデータ再編成／タグ情報変換手段１１が検出し、その属性データＡ１，Ａ２，Ａ３…の各属性タグａ１１〜ａ１４（ａ２１〜ａ２４、ａ３１〜ａ３４…）を再編成すると共に、データベース１４を参照してタグ情報Ａａの各タグｔ１〜ｔ４に変更するか、あるいは、付加（作成）する。
【００６９】
なお、リソース２の画面情報のなかに、タグ情報Ａａとなり得る属性データＡ１…がない場合には、あらかじめ規定された手順に従ってタグ情報を呈示状態固有のデータとして、あらかじめデータベース１４に記憶されているアドレス情報等からタグ情報Ａａとして付加（作成）する。
【００７０】
次に、基本マークアップ言語作成手段１２では、図３（ｃ）に示すように、データ再編成／タグ情報変換手段１１で変換されたタグ情報Ａａにより整列する属性内容データＢ１〜Ｂ３…を、データベース１４を参照して基本ＸＭＬデータＢｂのそれぞれに変換する。このように、各種のＧＵＩを構成するリソース２（図２参照）について、選択オブジェクトのタグ情報Ａａが定められ、さらに基本マークアップ言語作成手段１２において基本ＸＭＬデータＢｂが作成される。
【００７１】
また、図２に示すように、基本マークアップ言語作成手段１２で作成された基本ＸＭＬデータＢｂ（図３（ｃ）参照）は、呈示画面データ作成部１８、画像／２次元触覚データ表示出力変換手段１５を介して、あるいは、テキストデータ抽出／表示出力変換手段１６を介して、または、振動データ抽出／出力変換手段１７を介して、各種の呈示手段３に出力される。なお、基本ＸＭＬデータＢｂが、画像／２次元触覚データ表示出力変換手段１５を介して各種の呈示手段３に出力される場合は、スイッチ２１、２２等によりそのデータが選択される。
【００７２】
そして、図２および図４に示すように、基本マークアップ言語作成手段１２で作成されたタグ情報Ａａ（図３（ｃ）参照）は、画像／２次元触覚データ表示出力変換手段１５にて、共通のデータベース１４を参照してオブジェクトの位置情報やサイズ、形状情報に応じて、画面表示あるいは触覚に適した複数の呈示形式に変換され、弱視表示／２次元触覚呈示手段４で表示される。なお、呈示画面データ作成部１８では、基本マークアップ言語作成手段１２で作成されたタグ情報Ａａおよび基本ＸＭＬデータＢｂの必要なデータを、データベース１４を参照して選択あるいは抽出している。
【００７３】
すなわち、基本ＸＭＬは、スイッチ２１で選択された弱視表示用ＸＭＬ１，・・・ＸＭＬｎ、またはスイッチ２２で選択された触覚呈示用ＸＭＬ１，ＸＭＬ２で、弱視表示用ＸＭＬ１，・・・ＸＭＬｎ、または触覚呈示用ＸＭＬ１，ＸＭＬ２に依存する表示または呈示形式にそれぞれ変換されて画面データ抽出制御手段２３または画面データ抽出制御手段２５に送られるとともに、テキストデータ抽出／表示出力変換手段１６及び振動データ抽出／表示出力変換手段１７にも送られる。これは、図２の各種の呈示手段３のなかの全ての手段（５〜８）を備えていると仮定した場合である。
【００７４】
画面データ抽出制御手段２３では、入力されたデータから画面表示に必要なデータを抽出し、弱視表示出力変換手段２４に出力し、弱視表示出力変換手段２４では、画面データ抽出制御手段２３からのデータを弱視表示モニタ７の画像メモリ（ＶＲＡＭ）などに伝達するのに適した信号に変換し、弱視表示モニタ７に出力する。そして、弱視表示モニタ７では、図４の（ｂ−１）に示す表示例のように、弱視者の見易い画面表示となるように簡素化した画面表示を行う。
【００７５】
また、画面データ抽出制御手段２５では、入力されたデータから画面呈示に必要なデータを抽出し、２次元触覚呈示出力変換手段２６に出力し、２次元触覚呈示出力変換手段２６では、画面データ抽出制御手段２５からのデータを２次元触覚呈示手段８の触覚セルの凹凸などの信号に変換し、２次元触覚呈示手段８に出力する。２次元触覚呈示手段８では、図４の（ｂ−２）に表示例を示したように、全盲者が触ってわかりやすい触覚ディスプレイ表示を行う。
【００７６】
さらに、テキストデータ抽出／表示出力変換手段１６では、選択オブジェクト（図４に示す［１］等）が指定されたときに、基本マークアップ言語作成手段１２で作成されたＸＭＬの該当する選択オブジェクト（図４に示す▲１▼等）の属性データのなかから、点字端末音声合成手段５での呈示に必要なテキストデータをテキストデータ抽出制御手段２７で抽出し、その抽出したデータを表示出力変換手段２８に出力する。表示出力変換手段２８では、テキストデータ抽出制御手段２７からのデータを点字端末音声合成手段５に伝達するのに適した信号に変換し、点字端末音声合成手段５に出力する。点字端末音声合成手段５では、触覚ディスプレイの画面上に点字を呈示すると共に、サイン音などの音声で出力される。
【００７７】
そして、振動データ抽出／出力変換手段１７では、基本マークアップ言語作成手段１２で作成されたＸＭＬのデータのなかから、振動呈示手段６での呈示に必要なデータを振動呈示抽出制御手段２９で抽出し、その抽出したデータを振動出力変換手段３０に出力する。振動出力変換手段３０では、振動呈示抽出制御手段２９からのデータを振動呈示手段６に伝達するのに適した信号に変換し、振動呈示手段６に出力する。振動呈示手段６では、選択オブジェクトの指定の遷移などが生じたときに、点字端末音声合成手段５のサイン音と共に振動で状態を呈示する。
【００７８】
従って、マルチ形態出力呈示装置１では、リソース２の画面情報における属性データＡ１…に対応するタグ情報Ａａは、基本マークアップ言語作成手段１２により、各種の呈示手段３に依存しない共通のマークアップ言語である基本ＸＭＬで記述された共通のデータに変換されるので、リソース２が異なっても、各種の呈示手段３に依存しないデータとして出力することができる。
【００７９】
これにより、ユーザは自分に最適な呈示手段（弱視表示／２次元触覚呈示手段４、あるいは点字端末音声合成手段５）を使用して、最適なＧＵＩ環境で情報を得ることができる。従って、ユーザは、弱視等、身体の状態に合せた状態で、健常者がパソコン画面から情報を得ると同様に、各種の呈示手段３から情報を得ることができる。また、後日、リソース２に変更を加える場合にも、タグ情報が基本マークアップ言語作成手段１２で共通のデータに変換できるようにしておけば、プログラムの全てに変更を加えなくても済むことになり、リソース２の変更も簡単になる。
【００８０】
これにより、ユーザは自分に最適な呈示手段（弱視表示／２次元触覚呈示手段４、点字端末音声合成手段５、あるいは振動呈示手段６）を使用して、最適なＧＵＩ環境で情報を得ることができる。
なお、各図では、マルチ形態出力呈示装置として説明したが、前記説明した各手段をコンピュータで機能させる手段として用いたプログラムとしても構わない。
【００８１】
また、図１に示すように、ここでは、データ再編成／タグ情報変換手段１１と基本マークアップ言語作成手段１２とを共通画面情報作成手段として説明したが、データベースに、あらかじめ、図３（ｃ）に示す状態の表形式となるテーブルをあらかじめ準備しておき、各リソース２の属性データおよび属性内容データを検出した後、あらかじめ決められた変換則により図３（ｃ）に示す表形式内に記述して共通画面情報（タグ情報、マークアップ言語等）となるようにしても構わない。
【００８２】
【発明の効果】
本発明は、以上説明したように構成されるため、以下に示すような優れた効果を奏するものである。
発明によれば、マルチ形態出力呈示装置は、共通画面情報作成手段により、画面情報の属性データおよび属性内容データを、各呈示手段に共通となる共通画面情報とし、データ抽出表示出力変換手段により、共通画面情報から呈示手段のそれぞれで必要な情報として抽出して変換し、その呈示手段に出力することができる。そのため、リソースが異なっても呈示手段に依存することなく、また、専用のソフトなどを用いることなく、それぞれの呈示手段で最適なＧＵＩ環境を得ることができ、健常者以外でもネットワーク上の情報を適宜参照することができる。なお、マルチ形態出力呈示装置は、この共通画面情報作成手段を用いることで、将来、あらたな呈示手段あるいはリソースが開発されても、共通画面情報として形式を整えて各呈示手段に対応することができるため、都合が良い。
【００８３】
発明によれば、マルチ形態出力呈示装置は、データ再編成／タグ情報変換手段で変換された、画面情報における属性データに対応するタグ情報は、基本マークアップ言語作成手段により、呈示手段に依存しない共通のマークアップ言語で記述された共通のデータに変換されるので、リソースが異なっても、呈示手段に依存しない共通のデータとして出力することができる。これにより、ユーザは自分に最適な呈示手段を使用して、最適なＧＵＩ環境で情報を得ることができる。
【００８４】
また、後日、リソースに変更を加える場合にも、タグ情報が基本マークアップ言語作成手段で共通のデータに変換できるようにしておけば、プログラムの全てに変更を加えなくても済むことになり、変更も簡単にできる。また、ＥＧＰのような表形式や文字放送のバイナリデータのようにタグ情報がない場合には、それらが有する固有のあらかじめ規定されたアドレス情報などを抽出し、それをタグ情報として作成し出力することができるので、タグ情報がない場合であっても、新たにタグ情報を作成して出力することができる。
【００８５】
本発明によれば、マルチ形態出力呈示装置は、例えばテキストデータ以外のデータにより各種の呈示手段を動作させる場合に、各種の呈示手段に共通のタグ情報およびマークアップ言語から呈示するためのデータを作成することができ、使用できる呈示手段の種類を広げることができる。
【００８６】
本発明によれば、マークアップ言語作成手段が、タグ情報を規格化された基本ＸＭＬで記述し、それをデータベースに保有するようにしているので、データベース自体の規格化が可能になる。
【００８７】
本発明によれば、画像／２次元触覚データ表示出力変換手段を有した場合は、基本マークアップ言語作成手段により変換されたタグ情報を、画面表示と２次元的に表現して理解させるためのデータの少なくとも一方に変換させて出力することができる。一方、テキストデータ抽出／表示出力変換手段を有した場合は、基本マークアップ言語作成手段により変換されたタグ情報を、例えば点字的に表現して理解させるための出力信号に変換させて出力することができる。
【００８８】
本発明によれば、このプログラムでコンピュータを動作させることにより、コンピュータには、データ再編成／タグ情報変換手段、基本マークアップ言語作成手段、データ抽出表示出力変換手段が備えられ、これらがマルチ形態出力呈示装置として機能する。そして、このマルチ形態出力呈示装置では、データ再編成／タグ情報変換手段で変換された、画面情報における属性データに対応するタグ情報が、基本マークアップ言語作成手段により、呈示手段に依存しない共通のマークアップ言語で記述された共通のデータに変換されるので、リソースが異なっても、データ再編成／タグ情報変換手段で変換されたタグ情報は、基本マークアップ言語作成手段により共通のデータに変換され、この共通のデータを呈示手段に依存しないデータとして出力することができる。これにより、ユーザは自分に最適な呈示手段を使用して、最適なＧＵＩ環境で情報を得ることができる。また、後日、リソースに変更を加える場合にも、タグ情報が基本マークアップ言語作成手段で共通のデータに変換できるようにしておけば、全てのプログラムなどに変更を加えなくても済むことになり、リソースの変更も簡単になる。
【図面の簡単な説明】
【図１】本発明にかかるマルチ形態出力呈示システムの概略を示すブロック構成図である。
【図２】本発明にかかるマルチ形態出力呈示装置の詳細構成を示すブロック構成図である。
【図３】本発明にかかるマルチ形態出力呈示装置において、リソースの選択オブジェクトの属性データをＸＭＬのタグ情報に変換する一例を示す説明図で、（ａ）は各情報リソースの記述例の構成を示す構成図、（ｂ）はタグ情報変換則の構成を示す構成図、（ｃ）では設定した基本的なタグ情報およびマークアップ言語で記載した構成を示す構成図である。
【図４】本発明にかかるマルチ形態出力呈示装置において、データ放送（デジタル放送：ＩＳＤＢ）から変換した基本ＸＭＬのツリー構成により各種の呈示手段で画面情報を呈示する一例を示す模式図である。
【図５】従来の出力呈示システムの一例を示す全体構成図である。
【符号の説明】
１ マルチ形態出力呈示装置
２ リソース
３ 各種の呈示手段
４ 弱視表示／２次元触覚呈示手段
７ 弱視表示モニタ
８ ２次元触覚呈示手段
１１（１１ａ〜１１ｄ） データ再編成／タグ情報変換手段
１２ 基本マークアップ言語作成手段（基本ＸＭＬ作成手段）
１３ データ抽出表示出力変換手段
１４ データベース
１５ 画像／２次元触覚データ表示出力変換手段
１６ テキストデータ抽出／表示出力変換手段
１７ 振動データ抽出／出力変換手段
１８ 呈示画面データ作成部
Ａ１、Ａ２、Ａ３ 属性データ
Ａａ タグ情報
ａ１１〜ａ１４ 属性タグ
ａ２１〜ａ２４ 属性タグ
ａ３１〜ａ３４ 属性タグ
Ｂ１、Ｂ２、Ｂ３ 属性内容データ
Ｂｂ 基本ＸＭＬデータ
ｔ１〜ｔ４ タグ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a multi-form output in which a visually impaired person whose information receiving method is different from a healthy person due to visual impairment such as blindness and amblyopia can select an optimal presentation form for each visually impaired person from common data. The present invention relates to a presentation device and an output presentation program thereof.
[0002]
[Prior art]
2. Description of the Related Art Today, in a computer, information required for information access, such as information on a GUI (Graphical User Interface) screen displayed on the Internet or various applications, such as information on selection of icons and operation items, can be selected. Research and development for transmitting objects (hereinafter referred to as “selected objects”) to visually impaired persons are being conducted.
[0003]
Also, in the field of multimedia such as digital broadcasting, a GUI-like selection object format in which a desired selection item can be selected from a menu screen has been considered as a method of accessing data. In this selection object format, usually, a selection cursor is moved up, down, left, and right by a remote controller, and after the selection cursor is moved to a target item, an item can be selected by pressing a decision key or the like. To convey to a visually impaired person a menu screen for enabling selection by a simple cursor, various measures are required, and research and development are being conducted including these.
[0004]
Several methods for transmitting a menu screen, that is, a GUI screen, to a visually impaired person to enable selection by such a cursor have been known. As a first method, there is a method in which information on the GUI screen is read aloud in voice and displayed in braille, and the GUI screen is transmitted to a visually impaired person. As the software, “Web Voice (registered trademark)”, “JAWS (registered trademark)”, “home page reader (registered trademark)”, and the like have been put to practical use.
[0005]
These are always updated while maintaining the characters and attributes on the screen of Windows (registered trademark), positions on the screen, window numbers, object numbers, cursor positions, logical structures, and the like. For example, information such as mouse movement, click, keyboard press, etc. is acquired, and based on the acquired operation contents, information such as icons and menu bars is read out, or text data of characters is read out sequentially by a speech synthesis engine. This is a method of converting it into “Kana Braille” and displaying it in Braille. All of these methods include a device driver that extracts text data and outputs both text and Braille.
[0006]
Specifically, it is configured as each
[0007]
Here, the screen data extraction control means 102a to 102d extract screen data from the
[0008]
The display screen data means 104a to 104d include weak-
[0009]
The output presenting
[0010]
As a second method of transmitting a GUI screen to a visually impaired person, there is character enlargement and reverse display for a low vision person. To do this, as in the first method, the entire GUI screen or a specific area in the screen is designated, screen data of the area is extracted and enlarged, This is a method of inverting the color and the background color, or inverting the character and the background color by designating a part with a character. As the software, “Zoom Text (registered trademark)” and the like have been put to practical use.
[0011]
As a third method of transmitting a GUI screen to a visually impaired person, a method of displaying a GUI screen by describing characters in a markup language such as HTML (Hypertext Markup Language) used for creating an Internet homepage is known. . The method of displaying the GUI screen in this markup language is to display the contents of each character, specify the attribute of the character, and display the screen according to the creator's intention according to the display browser (for example, Non-patent document 1).
[0012]
The third method is proposed for the purpose of changing the screen display to an easy-to-view display corresponding to the individual visual characteristics of a low-vision person. In the third method, when it is necessary to adjust the display environment during the display of the HTML document, the environment setting unit is called, and attributes such as a character size, a character interval, a line interval, and a color scheme are changed by a key operation, and the low vision is performed. The surface is set so that it is easy for the user to see. For the reverse display of characters, there are two CSS (Cascading Style Sheets) files for white characters / black background and black characters / white background, and one of them is called by referring to the character color. In addition, for character information, enlargement and character reading can be output in conjunction with a voice browser. Similarly, research has been conducted on a method of transmitting two-dimensional information such as a table and a frame in an easy-to-understand manner by analyzing an HTML configuration in an HTML voice output and reading out a tag (for example, Non-Patent Document 2).
[0013]
[Non-patent document 1]
"Prototype of HTML document display tool that is easy to use for low-vision people", Ms .: The 25th Symposium on behalf of senses, 1999
[Non-patent document 2]
"User Interface in Non-Visual Web Access System", Asakawa, IPSJ Transactions, Vol. 40. No. 2, 1999
[0014]
[Problems to be solved by the invention]
However, for visually impaired persons, the blindness is low, and for low-vision people, the degree of visual acuity and the characteristics of appearance vary widely. In order to acquire such information, a plurality of output devices having different presentation formats and various presentation methods are required. For this purpose, it is thought that presenting information with a multi-morphic sense at the same time, such as using voice and Braille, two-dimensional tactile presentation in addition to voice and Braille, and using it in combination with two-dimensional tactile presentation may be advantageous for understanding and acquiring information. .
[0015]
On the other hand, in a diversifying information society, GUI screens are described in a standardized markup language such as HTML or XML (Extensible Markup Language), and information is shared by a plurality of output devices (presentation means) having different presentation formats. The need to be able to present is growing.
[0016]
In such a background, there are output technologies corresponding to respective functions, such as voice, Braille, and enlarged display, for transmitting a GUI to a visually impaired person, as in the conventional technology described above. Accordingly, original programs and the like are incorporated. In addition to voice and Braille for a blind person, tactile sensation and vibration presentation of a two-dimensional object, and multiple output presentation such as enlargement and reverse display for amblyopia, or There is no effective means for supporting various presentation methods, such as an easy-to-view screen display or a screen that is easy to understand by touch, and which is optimal for individual users.
[0017]
Further, in the output presenting device shown in FIG. 5, it is necessary to develop an individual display conversion program for each application, and thus there is a problem that the development labor and cost are increased.
[0018]
The present invention has been made in view of the above problems, and provides screen information displayed in a GUI environment as data that does not depend on a plurality of presentation means, each of which has a different resource and a different presentation format. It is an object of the present invention to provide a multi-form output presenting apparatus capable of obtaining information in a simple GUI environment, and an output presenting program therefor.
[0019]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a multi form output presentation device according to the present invention, wherein screen information displayed in a GUI environment is converted into common information that can be used by a plurality of presentation means having different presentation formats. A multi-form output presentation device for converting and outputting, wherein attribute data and attribute content data included in the screen information are detected, and the attribute data and attribute content data are previously stored in a database in the form of the attribute data and the attribute content data. A common screen information creating unit that is stored in association with each other and converted into a format that can be commonly used by each of the presenting units to create common screen information; and the common screen information created by the common screen information creating unit. From the information, the information necessary for the presentation by the presentation means is extracted and converted into the information necessary for presentation by the presentation means. A data extraction display output converting means for outputting Te was configured to include a (claim 1).
[0020]
According to this configuration, the multi-form output presenting device detects the attribute data and the attribute content data included in the screen information displayed in the GUI environment by the common screen information creating unit, and stores the attribute data and the attribute data in advance in the database. It is converted into a format associated with the attribute data and the attribute content data, and is created as common screen information. As the common screen information, for example, the attribute data and the attribute content data are replaced with a tabular format common to each of the presenting means, and the data extraction display output converting means corresponds to each of the presenting means from the common screen information. The information is extracted from the table format, converted, and output to any of the presentation means.
[0021]
Further, in the multi-form output presentation device according to the present invention, the multi-form output presentation device converts screen information displayed in the GUI environment into common information usable by a plurality of presentation means having different presentation formats and outputs the same. Detecting attribute data and attribute content data of the screen information, reorganizing the attribute data and attribute content data, and associating the reorganized attribute data with the attribute data in a database in advance. The data reorganization / tag information conversion means for converting into the stored tag information and the attribute content data for the tag information converted by the data reorganization / tag information conversion means can be commonly used by different presentation means. And converts the data into a markup language stored in the database in advance in association with the attribute content data. To extract the markup language required for presentation by the presenting means from the markup language converted by the present markup language creating means and the basic markup language creating means, and to present the markup language by the presenting means And a data extraction display output conversion means for converting the information into information necessary for the output and outputting the converted information.
[0022]
According to this configuration, the screen information of each resource or the like is converted into the tag information by referring to the database by the data reorganization / tag information conversion means by the attribute data included in the screen information. The tag information converted by the data reorganization / tag information conversion means is converted by the basic markup language creation means with reference to a database as common data described in a common markup language independent of the presentation means. Further, only the information necessary for presentation by the presentation means can be extracted and output by the data extraction display output conversion means. Note that conversion of attribute data means replacement or addition (creation) to tag information or markup language stored in advance in the database in association with attribute data or attribute content data.
[0023]
Further, in the multi-form output presentation device according to the present invention, the data extraction / display output conversion means has a presentation screen data creation section for creating data unique to the presentation state in accordance with the presentation screen state of the presentation means. (Claim 3).
[0024]
According to such a configuration, the data extraction display output conversion means, for example, when operating various presentation means with data other than text data, for presenting from the tag information and markup language common to the various presentation means. Data can be created.
[0025]
Further, the multi form output presentation device according to the present invention is configured such that the basic markup language creating means converts the attribute content data into basic XML which is a markup language (claim 4).
[0026]
According to this configuration, the tag information is described in standardized basic XML and stored in the database, so that the database itself can be standardized.
[0027]
Further, in the multi form output presentation device according to the present invention, the data extraction display output conversion means extracts at least one of data suitable for a presentation screen and two-dimensional data suitable for tactile presentation from the markup language. Image / two-dimensional tactile data display output conversion means for outputting the text data from the markup language and text data extraction / display output conversion means for extracting and outputting the text data from the markup language. .
[0028]
According to such a configuration, when the image / two-dimensional tactile data display output conversion means is provided, the tag information converted by the basic markup language creating means is displayed on a screen or two-dimensionally expressed for understanding. It can be converted into at least one data and output. In the case where a text data extraction / display output conversion unit is provided, the tag information converted by the basic markup language generation unit is converted into an output signal to be expressed in, for example, Braille and understood and output. Can be.
[0029]
In the multi-form output presentation program according to the present invention, the computer is made to function by the following units in order to convert and output common common information that can be used by a plurality of presentation units each having a different presentation format. did. That is, each means detects attribute data and attribute content data of the screen information, reorganizes the attribute data and attribute content data, and stores tag information stored in advance in a database in association with the attribute data. The data reorganization / tag information conversion means for converting the attribute content data for the tag information converted by the data reorganization / tag information conversion means can be commonly used by different presentation means, and the data is previously stored in the database. A basic markup language creating means for converting the markup language stored in association with the attribute content data, from among the markup languages converted by the basic markup language creating means, necessary for presentation of the presentation means. Information necessary for extracting the markup language and presenting it by the presenting means Data extraction display output converting means for converting and outputting the a (claim 6).
[0030]
According to this configuration, by operating the computer in accordance with the multi-form output presentation program, the computer is provided with a data rearrangement / tag information conversion unit, a basic markup language creation unit, and a data extraction display output conversion unit, These function as a multi form output presentation device.
[0031]
In the multi-form output presentation device, the screen information such as each resource is obtained by converting attribute data included in the screen information into tag information or adding tag information by data reorganization / tag information conversion means. The tag information converted or added by the data reorganization / tag information conversion means is converted by the basic markup language creation means into a markup language which is common data described in a common markup language independent of the presentation means. Then, only the information necessary for presentation by the presentation means can be extracted and output by the data extraction / display output conversion means.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the invention will be described with reference to the drawings.
First, a multi-form output presentation system including a multi-form output presentation apparatus will be described, and then a multi-form output presentation apparatus will be described. FIG. 1 is a block diagram schematically showing a multi-form output presenting system, and FIG. 2 is a block diagram showing a detailed structure of a multi-form output presenting apparatus.
As shown in FIG. 1, the multi-form output presentation system includes a multi-form
[0033]
The
[0034]
The
[0035]
Various kinds of presentation means 3 are for presenting optimal information to a visually impaired person, and at least one of a weak-vision display / two-dimensional tactile presentation means 4, a Braille terminal speech synthesis means 5, and a vibration presentation means 6 is provided. , The
[0036]
The low-vision display monitor 7 performs display suitable for low-vision persons, such as enlarged characters, on a display screen based on a signal from the data extraction / display
[0037]
The Braille terminal voice synthesizing means 5 is a combination of a tactile display (not shown) of, for example, a two-dimensional tactile presentation device and voice output means such as a speaker (not shown). By touching a cell (not shown), information on the dialogue component displayed at that position is output as a voice. Note that the tactile display here is dedicated to Braille, and is configured to sequentially display, for example, 15 characters per line, which is the international standard density display of teletext. Then, the sound is output as a sign sound or the like when a transition of designation of the selected object occurs.
[0038]
The vibration presenting means 6 is a device capable of generating vibration, and is generally used in combination with the Braille terminal voice synthesizing means 5. For example, when a transition of designation of a selected object occurs, The state is presented by vibration together with the sign sound.
[0039]
Next, the configuration of the multi form
[0040]
FIG. 3 is an explanatory diagram illustrating an example of converting attribute data of a resource selection object into XML tag information. In FIG. 3, (a) is a configuration diagram showing a configuration of a description example of each information resource, (b) is a configuration diagram showing a configuration of a tag information conversion rule, and (c) is a set basic tag information and markup. FIG. 3 is a configuration diagram illustrating a configuration described in a language. As shown in FIG. 3, as an example, text broadcasting, data broadcasting, and information resources of the Internet are shown in order from the top to the bottom.
[0041]
As shown in FIGS. 2 and 3 (a) and 3 (b), the data reorganization / tag information conversion means 11 (11a to 11d) includes a resource broadcast 2 (Binary) 2a, a data broadcast (BML) 2b, Attribute data A1, A2, A3... And attribute content data B1, B2, B3 of screen information necessary for information access corresponding to information resources such as the Internet (HTML) 2c and EPG (CSV) 2d. ... are extracted and reorganized. Along with the reorganization, the data reorganization / tag information converting means 11 (11a to 11d) transmits the tag information t, which is a markup language (XML) stored in the
[0042]
A description example showing the content of each resource will be described. As shown in FIG. 3A, here, main parts of binary data, BML data, and HTML data are shown. For example, the binary data (upper position) is an attribute tag a corresponding to the “item” of the attribute data A1. 11 , Attribute tag a corresponding to “item content” 12 , Attribute tag a corresponding to “display position” Thirteen , And attribute tag a corresponding to “type” 14 ("Text"). Further, each attribute tag a Thirteen ~ A 14 There is no attribute content data B1 associated with.
[0043]
In the BML data (middle position), an attribute tag a corresponding to the “item” of the attribute data A2 is set. 21 Attribute tag a corresponding to “<id>” and “item content” 22 Attribute tag a corresponding to “! [CDATA []]” and “display position” 23 "<Style>" and attribute tag a corresponding to "type" 24 Tag data such as “<class>” is described. Further, in this BML data, each attribute tag a 21 ~ A 24 Are described respectively.
[0044]
In HTML (lower position), the attribute tag a corresponding to the “item” of the attribute data A3 31 Does not exist and the attribute tag a corresponding to "item content" 32 "<Alt>" and "display position" correspond to the attribute tag a 33 "<IMG>" and an attribute tag a corresponding to "type" 34 ("Text") without any data.
[0045]
As shown in FIGS. 2 and 3B, when the attribute data A2, A3 exists, the data reorganization / tag information conversion means 11 stores the attribute data A2, A3,. Are converted into attribute data A2, A3... Corresponding tag information Aa... Corresponding to basic XML tag information Aa, which is a markup language. When there is no such data as the attribute data A1, the data reorganization / tag information conversion means 11 associates the attribute data A1 with the tag information Aa of the basic XML which is a markup language. Each is added (created) with reference to the
[0046]
The
[0047]
For example, when the data reorganization / tag information conversion means 11 is shown in the upper part of FIG. 3A (conversion from binary), since the data format is binary data, the attribute data A1 (display position etc.) Tag and attribute content data B1 (display content etc.) are not described. In such a case, the tag information Aa is added (created) as shown in FIG. 3B with reference to the database described in the
[0048]
The basic markup language creation means 12 does not depend on the various presentation means 3 for the attribute content data B1, B2, B3,... Which are the contents of the tag information Aa added or converted by the data reorganization / tag information conversion means 11. That is, it has a function of converting into content information (basic XML data) Bb described in a markup language that can be commonly used by various presentation means 3. The conversion of data by the basic markup
[0049]
The attribute data A1 to A3... Indicate the content of the attribute data B1 to B3... For each attribute (“number”, “item”, “position”, “type”, “shape”, “voice”, “vibration”, “character” (See FIGS. 3 and 4)). Even when there is no attribute content data B1 like the attribute data A1, it is created (added) from the data stored in advance in association with the
[0050]
The data extraction display output conversion means 13 converts the data of the basic markup language creation means 12 into a screen display or tactile sensation suitable for a low-vision person according to the position information, size and shape information of the object indicated by the attribute content data B1. This is converted into a plurality of suitable presentation formats and output to various presentation means 3. The presentation screen data creation unit 18, the image / two-dimensional tactile data display output conversion means 15, the text data extraction / display output conversion Means 16 and vibration data extraction / output conversion means 17.
[0051]
The data extraction display output conversion means 13 extracts which presentation format (presentation screen state) information (data) is required in the various presentation means 3 by referring to the
[0052]
From the basic XML data converted by the basic markup
[0053]
As shown in FIG. 2, as an example, the presentation screen data creation unit 18 is provided with n pieces of low vision display XML1 to XMLn and tactile presentation XML1 and XML2, respectively. The weak-vision display XML1 to XMLn and the tactile presentation XML1 and XML2 create necessary data from the basic XML data created by the basic markup
[0054]
Here, the presentation format data suitable for a person with a high degree of visual impairment is created as the weak-vision display XML1 changes to the low-vision display XMLn, and the tactile presentation XML1 and XML2 are more tactile presentation XML than tactile presentation XML1. XML2 is a presentation format more suitable for a person with a severe degree of disability. Which of the weak-vision display XML1 to XMLn and the tactile presentation XML1 or XML2 to use can be switched by operating the
[0055]
As shown in FIG. 2, the image / two-dimensional tactile data display output conversion means 15 is for enabling the amblyopia display monitor 7 and the two-dimensional tactile presentation means 8 to present screen information. It comprises a data extraction control means 23 and a low vision display output conversion means 24, a screen data extraction control means 25 and a two-dimensional tactile sensation presentation output conversion means 26.
[0056]
The screen data
The low-vision display
[0057]
The screen data extraction control unit 25 is connected to the presentation screen data creation unit 18 via the
The two-dimensional tactile sense output conversion means 26 converts the data from the screen data extraction control means 25 into a signal such as unevenness of a tactile cell of the two-dimensional tactile sense presenting means 8, and outputs the signal to the two-dimensional tactile sense presenting means 8.
[0058]
Further, the text data extraction / display output conversion means 16 converts the markup language (data) of the basic markup language creation means 12 into text format data and a plurality of presentation formats suitable for tactile sense, and synthesizes the Braille terminal speech. The text data extraction control means 27 and the display output conversion means 28 for outputting to the
[0059]
The text data extraction control means 27 extracts text data necessary for presentation by the Braille terminal speech synthesis means 5 from the XML data created by the basic markup language creation means 12, and outputs the text data to the display output conversion means 28. Output.
The display output conversion means 28 converts the data from the text data extraction control means 27 into a signal suitable for transmission to the Braille terminal speech synthesis means 5 and outputs the signal to the Braille terminal speech synthesis means 5.
[0060]
The vibration data extraction / output conversion unit 17 includes a vibration presentation
[0061]
FIG. 4 is a schematic diagram showing an example in which the screen information is presented by various presentation means 3 in a tree structure of the basic XML converted from the data broadcast (digital broadcast: ISDB) 2b. FIG. 4 shows a tree configuration (A) and a screen configuration (a) when converted by the basic markup
[0062]
As shown in FIG. 4, the screen state that becomes the basic XML shows the state converted into the markup language by the basic markup
[0063]
Further, <number> 1, <number> 2,..., <Number> n in the first hierarchy of each tree are selected objects on the display screen (for example, “<number> 1, <number> in FIG. 3C). , Etc.), and the detailed configuration of the screen such as <item>, <position>, <voice>, <vibration>, etc. of the second hierarchy is defined.
[0064]
The screen shown in FIG. 4A as a display example of the basic XML is a basic menu screen of the basic XML, which is an example of a screen which a healthy person normally looks at, and a selected object (1) on the screen. Is defined by the tag of <number> 1 which is the first layer in the tree structure (A), <item> which is the second layer is news, <location> is height10, <voice> is text (data), <Vibration> is defined as 30 Hz, 100 ms or the like. This information is similarly defined for <number> 2 and subsequent tags up to the <number> n tag.
[0065]
The screen of (b-1) of FIG. 4 shown as a display example of the weak-vision display XML1 in the weak-vision / tactile presentation conversion XML is the basic XML when the weak-vision display XML1 of the presentation screen data creation unit 18 is set. The screen shows an example of a screen displayed on the low vision display monitor 7. In the screen (b-1), the selected object (1) corresponding to the selected object (1) displayed on the screen of the basic XML is <number> 1 in the first hierarchy in the tree structure (B-1). The data of the second hierarchy has information such as that the <shape> is a rectangle, the <position> is height10, and the <character color> is white. Is displayed in an enlarged manner in a black rectangular area so as to be easily viewed. This information is similarly defined for <number> 2 and subsequent tags up to the <number> n tag.
[0066]
The screen of (b-2) of FIG. 4 shown as a display example of the tactile presentation XML1 by the weak-sight / tactile presentation conversion XML is a basic XML screen when the tactile presentation XML1 of the presentation screen data creation unit 18 is selected. An example of unevenness presented on the tactile display of the two-dimensional tactile sense presenting means 8 is shown. In the screen (b-2), the selected object [1] corresponding to the selected object (1) displayed on the screen of the basic XML is <number> 1 in the first hierarchy in the tree structure (B-2). The data of the second layer has information such as <shape> is circle, <position> is height30, etc., and the area of <number> 1 on the screen of the tactile display includes a blind person etc. Is formed so that the user can easily distinguish the selected object by touching it. This information is similarly defined for <number> 2 and subsequent tags up to the <number> n tag.
[0067]
Next, the operation of the multi-form output presentation system thus configured will be described. First, as shown in FIG. 2, any of data in various formats is sent from the
[0068]
At this time, as shown in FIGS. 3A and 3B, attribute data A1... Such as screen presentation information, text information, or link information of each selected object (1) (refer to FIG. 4) is re-created. The composition / tag information conversion means 11 detects the attribute tags a of the attribute data A1, A2, A3,. 11 ~ A 14 (A 21 ~ A 24 , A 31 ~ A 34 ..) Are reorganized and each tag t of the tag information Aa is referred to with reference to the
[0069]
If there is no attribute data A1 that can be tag information Aa in the screen information of the
[0070]
Next, in the basic markup
[0071]
As shown in FIG. 2, the basic XML data Bb (see FIG. 3 (c)) created by the basic markup
[0072]
Then, as shown in FIGS. 2 and 4, the tag information Aa (see FIG. 3C) created by the basic markup
[0073]
That is, the basic XML is the weak-
[0074]
The screen data extraction control means 23 extracts data necessary for screen display from the input data and outputs the data to the low-vision display output conversion means 24. The low-vision display output conversion means 24 outputs the data from the screen data extraction control means 23. Is converted into a signal suitable for transmission to an image memory (VRAM) or the like of the low-vision display monitor 7 and output to the low-vision display monitor 7. Then, the amblyopia display monitor 7 performs a simplified screen display so as to be a screen display that is easily viewable by amblyopia, as in the display example shown in (b-1) of FIG.
[0075]
The screen data extraction control means 25 extracts data necessary for screen presentation from the input data and outputs the data to the two-dimensional tactile presentation output conversion means 26. The two-dimensional tactile presentation output conversion means 26 extracts screen data. The data from the control unit 25 is converted into a signal such as unevenness of a tactile cell of the two-dimensional
[0076]
Further, when the selected object (such as [1] shown in FIG. 4) is specified, the text data extraction / display output conversion means 16 selects the corresponding selected object (XML) created by the basic markup language creation means 12. Text data necessary for presentation by the Braille terminal speech synthesis means 5 is extracted by the text data extraction control means 27 from the attribute data (1) shown in FIG. 4), and the extracted data is output to the display output conversion means. 28. The display
[0077]
Then, in the vibration data extraction / output conversion means 17, data necessary for presentation by the vibration presentation means 6 is extracted by the vibration presentation extraction control means 29 from the XML data created by the basic markup language creation means 12. Then, the extracted data is output to the vibration output conversion means 30. The vibration output conversion means 30 converts the data from the vibration presentation extraction control means 29 into a signal suitable for transmission to the vibration presentation means 6 and outputs the signal to the vibration presentation means 6. The vibration presenting means 6 presents a state by vibration together with the signature sound of the Braille terminal voice synthesizing means 5 when a transition of designation of the selected object or the like occurs.
[0078]
Therefore, in the multi form
[0079]
Thus, the user can obtain information in an optimal GUI environment by using the presentation means (weak vision display / two-dimensional tactile presentation means 4 or the Braille terminal speech synthesis means 5) that is most suitable for the user. Therefore, the user can obtain information from various presentation means 3 in the same manner as a healthy person obtains information from the personal computer screen in a state according to the physical state such as low vision. Also, if the tag information can be converted into common data by the basic markup language creating means 12 even when the
[0080]
Thus, the user can obtain information in an optimal GUI environment by using the presenting means (weak display / two-dimensional tactile presenting means 4, Braille terminal voice synthesizing means 5, or vibration presenting means 6) which is most suitable for the user. it can.
In each of the drawings, the multi-form output presenting apparatus has been described. However, a program using the above-described means as a means for causing a computer to function may be used.
[0081]
Also, as shown in FIG. 1, here, the data reorganization / tag information conversion means 11 and the basic markup language creation means 12 have been described as common screen information creation means. 3) is prepared in advance, and after detecting the attribute data and attribute content data of each
[0082]
【The invention's effect】
Since the present invention is configured as described above, it has excellent effects as described below.
According to the invention, the multi-form output presentation device, by the common screen information creation means, the attribute data and the attribute content data of the screen information as common screen information common to each presentation means, by the data extraction display output conversion means, Each of the presenting means can extract and convert the necessary information from the common screen information, and output the information to the presenting means. Therefore, even if the resources are different, it is possible to obtain an optimal GUI environment with each of the presenting means without depending on the presenting means and without using dedicated software, etc. It can be referred to as appropriate. Note that the multi-form output presentation device can use this common screen information creation means so that even if new presentation means or resources are developed in the future, the format can be adjusted as common screen information to correspond to each presentation means. It is convenient because it is possible.
[0083]
According to the invention, in the multi form output presentation device, the tag information corresponding to the attribute data in the screen information converted by the data rearrangement / tag information conversion unit is not dependent on the presentation unit by the basic markup language creating unit. Since the data is converted into common data described in a common markup language, even if the resources are different, it can be output as common data independent of the presentation means. As a result, the user can obtain information in an optimal GUI environment by using the presentation means most suitable for the user.
[0084]
Also, if a change is made to the resource at a later date, if the tag information can be converted into common data by the basic markup language creating means, it will not be necessary to change all of the program, Changes can be made easily. If there is no tag information such as a tabular format such as EGP or binary data of teletext, unique and pre-defined address information of the tag information is extracted, created and output as tag information. Therefore, even if there is no tag information, new tag information can be created and output.
[0085]
According to the present invention, for example, when operating various kinds of presenting means with data other than text data, the multi-form output presenting apparatus can display tag information common to the various kinds of presenting means and data to be presented from a markup language. The type of presentation means that can be created and used can be expanded.
[0086]
According to the present invention, since the markup language creating means describes tag information in standardized basic XML and stores the tag information in the database, the database itself can be standardized.
[0087]
According to the present invention, when the image / two-dimensional tactile data display output conversion means is provided, the tag information converted by the basic markup language creating means is two-dimensionally expressed on a screen display for understanding. It can be converted into at least one of the data and output. On the other hand, when a text data extraction / display output conversion unit is provided, the tag information converted by the basic markup language generation unit is converted into an output signal for expressing and understanding in Braille, for example, and output. Can be.
[0088]
According to the present invention, when the computer is operated by this program, the computer is provided with a data rearrangement / tag information conversion unit, a basic markup language creation unit, a data extraction display output conversion unit, and these are multi-format. It functions as an output presentation device. In the multi-form output presentation device, the tag information corresponding to the attribute data in the screen information converted by the data rearrangement / tag information conversion unit is shared by the basic markup language creation unit by a common markup language independent of the presentation unit. Since the data is converted into common data described in the markup language, even if the resources are different, the tag information converted by the data reorganization / tag information conversion means is converted into common data by the basic markup language creation means. This common data can be output as data independent of the presentation means. As a result, the user can obtain information in an optimal GUI environment using the presentation means optimal for the user. Also, if the resources are changed at a later date, if the tag information can be converted to common data by the basic markup language creation means, it will not be necessary to change all the programs. Changing resources is also easier.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a multi-form output presentation system according to the present invention.
FIG. 2 is a block diagram showing a detailed configuration of a multi form output presenting apparatus according to the present invention.
FIG. 3 is an explanatory diagram showing an example of converting attribute data of a selected object of a resource into XML tag information in the multi-form output presenting apparatus according to the present invention, wherein (a) shows a configuration of a description example of each information resource; FIG. 2B is a configuration diagram illustrating a configuration of a tag information conversion rule, and FIG. 2C is a configuration diagram illustrating a configuration described in a set basic tag information and a markup language.
FIG. 4 is a schematic diagram showing an example in which screen information is presented by various presentation means using a basic XML tree structure converted from a data broadcast (digital broadcast: ISDB) in the multi form output presentation device according to the present invention.
FIG. 5 is an overall configuration diagram showing an example of a conventional output presentation system.
[Explanation of symbols]
1 Multi form output presentation device
2 Resources
3 Various presentation means
4 Low-vision display / two-dimensional tactile presentation means
7 Low vision display monitor
8 Two-dimensional tactile presentation means
11 (11a to 11d) Data reorganization / tag information conversion means
12 Basic markup language creation means (Basic XML creation means)
13 Data extraction display output conversion means
14 Database
15. Image / two-dimensional tactile data display output conversion means
16 Text data extraction / display output conversion means
17 Vibration data extraction / output conversion means
18 Presentation screen data creation unit
A1, A2, A3 attribute data
Aa tag information
a 11 ~ A 14 Attribute tag
a 21 ~ A 24 Attribute tag
a 31 ~ A 34 Attribute tag
B1, B2, B3 Attribute content data
Bb Basic XML data
t 1 ~ T 4 tag
Claims (6)
前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを、データベースにあらかじめ前記属性データおよび前記属性内容データと対応づけて記憶され、前記呈示手段のそれぞれで共通に使用可能な形式に変換して共通画面情報として作成する共通画面情報作成手段と、
前記共通画面情報作成手段により作成された前記共通画面情報のなかから、前記呈示手段の呈示に必要な情報を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段と、
を備えたことを特徴とするマルチ形態出力呈示装置。A multi-form output presentation device that converts screen information displayed in a GUI environment into common information that can be used by a plurality of presentation means having different presentation formats and outputs the same,
The attribute data and the attribute content data included in the screen information are detected, and the attribute data and the attribute content data are stored in a database in advance in association with the attribute data and the attribute content data, and are shared by the presentation means. Common screen information creating means for converting to a format usable for
Data to be extracted from the common screen information created by the common screen information creation unit, information necessary for presentation by the presentation unit, and converted into information necessary for presentation by the presentation unit and output. Extraction display output conversion means,
A multi-form output presentation device comprising:
前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを再編成し、再編成した前記属性データを、その属性データと対応づけてあらかじめデータベースに記憶されているタグ情報に変換するデータ再編成／タグ情報変換手段と、
前記データ再編成／タグ情報変換手段で変換した前記タグ情報に対する前記属性内容データを、異なる前記呈示手段で共通に使用可能で、前記データベースにあらかじめ前記属性内容データと対応づけて記憶されているマークアップ言語に変換する基本マークアップ言語作成手段と、
前記基本マークアップ言語作成手段により変換されたマークアップ言語のなかから、前記呈示手段の呈示に必要な前記マークアップ言語を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段と、
を備えたことを特徴とするマルチ形態出力呈示装置。A multi-form output presentation device that converts screen information displayed in a GUI environment into common information that can be used by a plurality of presentation means having different presentation formats and outputs the same,
Attribute data and attribute content data included in the screen information are detected, the attribute data and attribute content data are reorganized, and the reorganized attribute data is stored in a database in advance in association with the attribute data. Data reorganization / tag information conversion means for converting to tag information;
The attribute content data for the tag information converted by the data reorganization / tag information conversion means can be commonly used by different presentation means, and is stored in the database in advance in association with the attribute content data. Means for creating a basic markup language for converting to an up language,
From the markup language converted by the basic markup language creating means, the markup language required for presentation by the presentation means is extracted, and converted into information necessary for presentation by the presentation means. Data extraction display output conversion means to output,
A multi-form output presentation device comprising:
前記画面情報が有する属性データおよび属性内容データを検出して、前記属性データおよび属性内容データを再編成し、あらかじめデータベースに前記属性データと対応づけて記憶されているタグ情報に変換するデータ再編成／タグ情報変換手段、
前記データ再編成／タグ情報変換手段で変換した前記タグ情報に対する前記属性内容データを、異なる前記呈示手段で共通に使用可能で、前記データベースにあらかじめ前記属性内容データと対応づけて記憶されているマークアップ言語に変換する基本マークアップ言語作成手段、
前記基本マークアップ言語作成手段により変換されたマークアップ言語のなかから、前記呈示手段の呈示に必要な前記マークアップ言語を抽出し、かつ前記呈示手段で呈示するために必要な情報に変換して出力するデータ抽出表示出力変換手段、
として機能させることを特徴とするマルチ形態出力呈示プログラム。A computer for converting screen information displayed in the GUI environment into common common information usable by a plurality of presentation means having different presentation formats and outputting the same.
Data reorganization for detecting attribute data and attribute content data included in the screen information, reorganizing the attribute data and attribute content data, and converting the attribute data and attribute content data into tag information stored in advance in the database in association with the attribute data / Tag information conversion means,
The attribute content data for the tag information converted by the data reorganization / tag information conversion means can be commonly used by different presentation means, and is stored in the database in advance in association with the attribute content data. Basic markup language creation means for converting to up language,
From the markup language converted by the basic markup language creating means, the markup language required for presentation by the presentation means is extracted, and converted into information necessary for presentation by the presentation means. Output data extraction display output conversion means,
A multi form output presentation program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015181A JP2004226743A (en) | 2003-01-23 | 2003-01-23 | Multiple output presentation device and its output presentation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003015181A JP2004226743A (en) | 2003-01-23 | 2003-01-23 | Multiple output presentation device and its output presentation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004226743A true JP2004226743A (en) | 2004-08-12 |
Family
ID=32903006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003015181A Pending JP2004226743A (en) | 2003-01-23 | 2003-01-23 | Multiple output presentation device and its output presentation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004226743A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006164258A (en) | 2004-12-06 | 2006-06-22 | Internatl Business Mach Corp <Ibm> | Method, system and program for generating graphical user interface (gui) to be utilized by specific platform |
| JP2013178510A (en) * | 2012-02-07 | 2013-09-09 | Yamaha Corp | Electronic device and program |
| JP2015148931A (en) * | 2014-02-06 | 2015-08-20 | 日本放送協会 | Feedback control apparatus |
-
2003
- 2003-01-23 JP JP2003015181A patent/JP2004226743A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006164258A (en) | 2004-12-06 | 2006-06-22 | Internatl Business Mach Corp <Ibm> | Method, system and program for generating graphical user interface (gui) to be utilized by specific platform |
| JP2013178510A (en) * | 2012-02-07 | 2013-09-09 | Yamaha Corp | Electronic device and program |
| JP2015148931A (en) * | 2014-02-06 | 2015-08-20 | 日本放送協会 | Feedback control apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5999950A (en) | Japanese text input method using a keyboard with only base kana characters | |
| Mynatt et al. | Nonvisual presentation of graphical user interfaces: contrasting two approaches | |
| CN101322097B (en) | Flexible display translation | |
| US6098086A (en) | Japanese text input method using a limited roman character set | |
| JP6120954B2 (en) | Screen reader with customizable web page output | |
| US7054952B1 (en) | Electronic document delivery system employing distributed document object model (DOM) based transcoding and providing interactive javascript support | |
| US7228495B2 (en) | Method and system for providing an index to linked sites on a web page for individuals with visual disabilities | |
| WO2001037165A9 (en) | An apparatus and method for simple wide-area network navigation | |
| GB2364802A (en) | Electronic document delivery and transformation | |
| JP2002251233A (en) | Method for managing dynamic context and system for the same | |
| JP2000250515A (en) | Two-way network language support | |
| KR20140010756A (en) | Mobile device for visual-handicapped persons with text/image/video presentation | |
| JP4972010B2 (en) | Tactile presentation device and tactile presentation method | |
| US6996533B2 (en) | Information processing system | |
| JP2004226743A (en) | Multiple output presentation device and its output presentation program | |
| JP4750128B2 (en) | Browser with numbering function | |
| JP4014361B2 (en) | Speech synthesis apparatus, speech synthesis method, and computer-readable recording medium recording speech synthesis program | |
| Evans et al. | Architectures of assistive software applications for Windows-based computers | |
| JP2009258824A (en) | Alternative content presentation device and alternative content navigation program | |
| JP2008117375A (en) | Apparatus and method for editing and displaying web document | |
| JP2003009031A (en) | Display support device, its program, storage medium stored with the program, and program information display device | |
| Shethia et al. | Experiences of people with visual impairments in accessing online information and services: A systematic literature review | |
| JPH11288364A (en) | Information reading method, device therefor and storage medium | |
| WO2003000001A2 (en) | Graphic user interface with remote configuration to access computer network | |
| Jeanne et al. | Empirical Evaluation of Metaverse Accessibility for People Who Use Alternative Input/Output Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061213 |