JP2007249754A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2007249754A
JP2007249754A JP2006074221A JP2006074221A JP2007249754A JP 2007249754 A JP2007249754 A JP 2007249754A JP 2006074221 A JP2006074221 A JP 2006074221A JP 2006074221 A JP2006074221 A JP 2006074221A JP 2007249754 A JP2007249754 A JP 2007249754A
Authority
JP
Japan
Prior art keywords
document
common
unit
input
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006074221A
Other languages
English (en)
Inventor
Chieko Asakawa
智恵子 浅川
Takashi Ito
伊藤 隆
▲高▼木 啓伸
Hironobu Takagi
Tatsuya Ishihara
辰也 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2006074221A priority Critical patent/JP2007249754A/ja
Priority to KR1020070018480A priority patent/KR20070094466A/ko
Priority to US11/681,908 priority patent/US7913191B2/en
Priority to CNB2007100885804A priority patent/CN100449485C/zh
Publication of JP2007249754A publication Critical patent/JP2007249754A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】複数のアプリケーションプログラムを共通に操作することができるユーザインターフェイスを提供する。
【解決手段】複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理装置であって、複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメントを、共通データ構造で表された共通ドキュメントに変換するドキュメント変換部と、共通ドキュメントをユーザへ出力する出力部と、共通ドキュメントに対するユーザの操作を入力する入力部と、共通ドキュメントに含まれるオブジェクトを出力部におけるオブジェクトに変換するインターフェイスアダプタ部と、ユーザの操作内容に応じて、共通ドキュメントを変更する変更部と、共通ドキュメントに対する変更を、固有ドキュメントに対して反映する変更反映部とを備える情報処理装置を提供する。
【選択図】図1

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。特に本発明は、複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理装置、情報処理方法およびプログラムに関する。
従来より、コンピュータ画面に表示された文字を音声出力するスクリーンリーダが知られている。視覚障害者は、スクリーンリーダおよびキーボードを使用して、アプリケーションプログラムを利用する。
コンピュータによるアクセスのユーザビリティを向上する技術として、特許文献1〜3および非特許文献1〜2が知られている。特許文献1には、ユーザ情報を含むプロファイル情報に応じてユーザインターフェイスを生成する情報処理装置が記載されている。特許文献2には、選択された情報が複雑である場合、当該情報のサブセットへリンクする方法が記載されている。特許文献3には、画面の変化をトリガーとして画面中の注目箇所を決定し、当該注目箇所に基づき新たな変換画面を作成する装置が記載されている。
非特許文献1には、スクリーンリーダにより既存のアプリケーションを読み上げる場合において、アダプティブインターフェイスを用いることの優位性が記載されている。また、非特許文献2には、ツリー構造に変換するインターフェイスにより、ウェブページをアクセスすることを提案している。
特開2005−92504号公報 特開2002−229843号公報 特開平10−83269号公報 Paul Blenkhorn , Careth Evans, "Augmenting the user interface of microsoft outlook and internet explorer for screenreaders", International Technology and Persons with Disabilities Conference 2002 Esmond Walshe, Barry McMullin, "Accessing Web Based Documents Through a Tree Structural Interface", International Conference on Computers Helping People with Special Needs 2004
ところで、従来のアプリケーションプログラムは、文字を中心とした情報を画面に表示していた。従って、従来のスクリーンリーダは、アプリケーションプログラムが新たに画面に出力する文字を順次に音声出力するという仕組みで、画面に表示された内容を視覚障害者に理解させることができた。しかし、近年のアプリケーションプログラムは、高度なグラフィック機能を用いて複雑な表示をする。従って、近年においては、従来の手法を用いたスクリーンリーダでは、画面に表示された内容を視覚障害者に理解させることが困難となってきた。
また、アプリケーションプログラムは、それぞれが独自のユーザインターフェイスを使用しており、キーボードの操作に違いがあった。従って、多数のアプリケーションプログラムを利用する場合、これらの操作に熟練することは、ユーザにとって負担であった。また、従来、読み上げ精度および操作性を確保することを目的として、アプリケーションプログラム毎にスクリーンリーダが作成されていた。しかしながら、アプリケーションプログラムの機能向上に伴い、アプリケーションプログラムに変更が生じた場合におけるスクリーンリーダの修正の負担が大きくなってきた。
また、非特許文献1は、異なるアプリケーションに対して同一のアダプティブインターフェイスを提供するということは記載されていない。非特許文献1は、アダプティブインターフェイスとアプリケーションとが同期して編集を行うということも記載されていない。また、非特許文献2は、ウェブページのみを対象としているので、異なるアプリケーションに同一のインターフェイスを提供することは記載されていない。また、非特許文献2は、文書の編集についても記載されていない。
そこで本発明は、上記の課題を解決することのできる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
本発明の第1の形態によると、複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理装置であって、複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメントを、共通データ構造で表された共通ドキュメントに変換するドキュメント変換部と、共通ドキュメントをユーザへ出力する出力部と、共通ドキュメントに対するユーザの操作を入力する入力部と、共通ドキュメントに含まれるオブジェクトを出力部におけるオブジェクトに変換するインターフェイスアダプタ部と、ユーザの操作内容に応じて、共通ドキュメントを変更する変更部と、共通ドキュメントに対する変更を、固有ドキュメントに対して反映する変更反映部とを備える情報処理装置、当該情報処理装置に関する情報処理方法およびプログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、複数のアプリケーションプログラムを共通に操作することができるユーザインターフェイスを提供し、視覚障害者によるアクセシビリティを向上することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る情報処理装置10の機能ブロック図を示す。情報処理装置10は、一つ以上のアプリケーションプログラム実行部12と、補助プログラム実行部14と、入出力インターフェイス部20とを備える。アプリケーションプログラム実行部12は、アプリケーションプログラムを実行して、当該情報処理装置10にアプリケーションプログラムが有する機能を実現させる。アプリケーションプログラム実行部12のそれぞれは、一例として、ワードプロセッサプログラム、表計算プログラムおよびプレゼンテーションプログラム等を実行して、当該情報処理装置10をワードプロセッサ、表計算装置およびプレゼンテーション装置等として機能させる。
アプリケーションプログラム実行部12のそれぞれは、実行しているアプリケーションプログラムが作成したオブジェクトを含む固有のデータ構造の固有ドキュメント100を有する。また、アプリケーションプログラム実行部12のそれぞれは、API(Application Program Interface)16を有する。API16は、他のプログラムを実行する機能ブロックからの固有ドキュメント100に対するアクセスを仲介する。他のプログラムを実行する機能ブロックは、API16を介することにより、当該アプリケーションプログラムが作成した固有ドキュメント100に含まれるオブジェクトの読出しおよび変更をすることができる。アプリケーションプログラムは、一例として、標準化団体W3Cにおいて標準化されたDOM(Document Object Model)のAPIにより、他のアプリケーションプログラムにより作成されたXML(Extensible Markup Language)ドキュメントにアクセスすることができる。
補助プログラム実行部14は、アプリケーションプログラムに対するユーザのアクセスを補助する補助プログラムを実行して、アプリケーションプログラムに対する入出力装置としての機能を当該情報処理装置10に実現させる。情報処理装置10がスピーカーまたはヘッドフォン等の音声出力インターフェイスを提供する場合において、補助プログラム実行部14は、テキストリーダプログラムを実行して、アプリケーションプログラムにより作成されたテキストを読み上げる機能を備えるテキストリーダとして当該情報処理装置10を機能させてよい。また、補助プログラム実行部14は、一例として、編集用アプリケーションプログラムを実行して、アプリケーションプログラムの外部から固有ドキュメント100を編集する編集装置として当該情報処理装置10を機能させてもよい。
入出力インターフェイス部20は、複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する。より具体的には、入出力インターフェイス部20は、複数のアプリケーションプログラムに対してユーザがアクセスするための共通のユーザインターフェイスとして機能する。入出力インターフェイス部20は、例えばワードプロセッサプログラム、表計算プログラムおよびプレゼンテーションプログラムといった複数のアプリケーションプログラムに対する共通の操作環境を提供する。さらに、入出力インターフェイス部20は、複数のアプリケーションプログラムとこれらに共通に用いられる補助プログラムとの間の入出力インターフェイスとして機能する。例えば、入出力インターフェイス部20は、例えばワードプロセッサプログラム、表計算プログラムおよびプレゼンテーションプログラムといった複数のアプリケーションプログラムに対して、共通に用いられる補助装置(例えば、テキストリーダ)を接続する。
入出力インターフェイス部20は、ドキュメント変換部22と、ドキュメント変換ルール記憶部24と、構造変換部26と、入出力部28と、インターフェイスアダプタ部30と、変更反映部32と、インターフェイス変換ルール記憶部34とを有する。ドキュメント変換部22は、複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメント100を、共通データ構造で表された共通ドキュメント200に変換する。すなわち、ドキュメント変換部22は、アプリケーションプログラム毎にデータ構造が異なる固有ドキュメント100のそれぞれを読み出し、読み出した固有ドキュメント100を予め定められた共通データ構造に変換する。ドキュメント変換部22は、固有ドキュメント100に含まれる各オブジェクトを、一例として、木構造のノードとして表したデータ構造の共通ドキュメント200に変換する。
また、ドキュメント変換部22は、アプリケーションプログラムにより作成された固有ドキュメント100に含まれるオブジェクトを取得および変更する場合、API16を介してアクセスしてよい。固有ドキュメント100に含まれるオブジェクトがアプリケーションプログラムにより変更された場合、ドキュメント変換部22は、対応する共通ドキュメント200に含まれるオブジェクトに対して、当該変更を反映してもよい。
ドキュメント変換ルール記憶部24は、固有ドキュメント100に含まれる各オブジェクトから、共通データ構造における各オブジェクトへ変換するための変換ルールを記憶する。この場合において、ドキュメント変換部22は、固有ドキュメント100に含まれるオブジェクトに対応する変換ルールがドキュメント変換ルール記憶部24に記憶されていることを条件として、当該変換ルールに基づいて固有ドキュメント100に含まれるオブジェクトを共通データ構造におけるオブジェクトに変換してよい。
構造変換部26は、テキストリーダにより音声出力した場合に視覚障害者が内容を認識しやすいように、当該共通ドキュメント200のデータ構造を変換する。より具体的には、構造変換部26は、共通ドキュメント200に含まれる複数のオブジェクトのそれぞれについて、対応するアプリケーションプログラムにより表示されるべき位置、大きさ、色、および、フォントの種類の少なくとも1つを含む属性が予め定められたテーブル構造およびリスト構造の少なくとも1つを含む既定データ構造に対応して定められた条件を満たすかを検出する。そして、構造変換部26は、当該条件を満たすことに応じて、当該条件を満たす既定データ構造の各ノードに当該複数のオブジェクトのそれぞれを割り付けることにより、共通ドキュメント200のデータ構造を変換する。
入出力部28は、本発明に係る出力部および入力部の機能を併せもち、共通ドキュメント200に含まれるオブジェクトをユーザへ出力し、共通ドキュメント200に含まれるオブジェクトに対するユーザの操作を入力する。例えば、入出力部28は、表示装置上に共通ドキュメント200を表示し、入力装置を介してされたユーザの操作を入力する。すなわち、入出力部28は、共通ドキュメント200のユーザインターフェイスを生成する。また、入出力部28は、共通ドキュメント200に含まれる各オブジェクトを、木構造の階層構造により表示装置上に表示する。
さらに、入出力部28は、共通ドキュメント200に含まれるオブジェクトを補助プログラム実行部14へ出力し、共通ドキュメント200に含まれるオブジェクトに対する変更操作を補助プログラム実行部14から入力してよい。すなわち、入出力部28は、補助プログラム実行部14に対する共通ドキュメント200の入出力インターフェイスを生成する。一例として、情報処理装置10が複数のアプリケーションプログラムに対して共通の音声出力インターフェイスを提供するものである場合には、入出力部28は、テキストを読み上げる機能を備えるテキストリーダに対して共通ドキュメントに含まれるテキストを出力することにより共通ドキュメントを読み上げさせてよい。
インターフェイスアダプタ部30は、共通ドキュメント200に含まれるオブジェクトを入出力部28におけるオブジェクトに変換する。さらに、インターフェイスアダプタ部30は、本発明に係る変更部の一例としても機能し、入出力部28が入力したユーザの操作内容に応じて、共通ドキュメント200を変更する。インターフェイスアダプタ部30は、補助プログラム実行部14を介して入出力部28が入力したユーザの操作に応じて、共通ドキュメント200を変更してもよい。また、インターフェイスアダプタ部30は、表示装置上に表示すべきオブジェクトを共通ドキュメント200から取り出して、入出力部28により表示させる。インターフェイスアダプタ部30は、補助プログラム実行部14に出力すべきオブジェクトを共通ドキュメント200から取り出して、入出力部28により出力させる。
インターフェイス変換ルール記憶部34は、共通ドキュメント200に含まれる共通データ構造における各オブジェクトから、入出力部28で用いられるデータ構造の各オブジェクトへ変換するための変換ルールを記憶する。この場合において、インターフェイスアダプタ部30は、入出力部28で用いられる各オブジェクトに対応する変換ルールがインターフェイス変換ルール記憶部34に記憶されていることを条件として、当該変換ルールに基づいて共通ドキュメント200に含まれる共通データ構造における各オブジェクトを入出力部28におけるオブジェクトに変換してよい。
変更反映部32は、共通ドキュメント200に含まれるオブジェクトに対する変更を、固有ドキュメント100に対して反映する。すなわち、変更反映部32は、共通ドキュメント200に含まれるオブジェクトが入出力部28を介して変更された場合、API16を介して、アプリケーションプログラムにより作成された固有ドキュメント100にアクセスして、対応するオブジェクトを変更してよい。
このような入出力インターフェイス部20によれば、アプリケーションプログラムにより作成された固有ドキュメント100の形式を共通データ構造の共通ドキュメント200に変換するので、複数のアプリケーションプログラムに対して共通のユーザインターフェイスを提供することができる。これにより、入出力インターフェイス部20は、複数の異なるアプリケーションプログラムに対する共通の操作環境を提供できるので、視覚障害者の操作負担を軽減させることができる。
また、入出力インターフェイス部20によれば、ユーザの操作によりオブジェクトが変更された場合、当該変更を共通ドキュメント200に反映すると共に、当該変更を固有ドキュメント100にも反映する。これにより、入出力インターフェイス部20は、アプリケーションプログラムによる表示と、入出力インターフェイス部20による表示との同期を取ることができる。従って、入出力インターフェイス部20は、例えば視覚障害者が晴眼者のアシストを受けながら、アプリケーションプログラムを操作する環境を提供することもできる。また、入出力インターフェイス部20は、晴眼者に表示している内容と、視覚障害者に表示している内容とを、シームレスに切り換えることができる。
図2(A)は、プレゼンテーションプログラムにより作成された固有ドキュメント100の一例を示し、図2(B)は、図2(A)の固有ドキュメント100を共通データ構造に変換した共通ドキュメント200の一例を示す。プレゼンテーションプログラムは、オブジェクトの相互の階層関係を視覚的に表した固有ドキュメント100を作成する。プレゼンテーションプログラムは、一例として、図2(A)に示すような、各ページオブジェクト102上に、図形オブジェクト104およびテキストオブジェクト106,108を配置した固有ドキュメント100を作成する。また、プレゼンテーションプログラムは、表示位置の違い、フォントの違い、大きさの違いにより、テキストオブジェクト106,108を階層化した固有ドキュメント100を作成する。
ドキュメント変換部22は、このような固有ドキュメント100に含まれる各オブジェクト102〜108を、図2(B)に示すような、木構造のノードとして表した共通ドキュメント200に変換する。ドキュメント変換部22は、一例として、ページオブジェクト102を上位階層に配置し、各ページオブジェクト102上に表示される各テキストオブジェクト106,108を下位階層のノードに配置した共通ドキュメント200に変換する。
これにより、入出力インターフェイス部20によれば、視覚的に表されたドキュメントを、テキストにより表されたドキュメントに変換することができる。従って、入出力インターフェイス部20によれば、テキストリーダにより音声出力した場合にも、視覚障害者が内容を容易に理解できるドキュメントを作成することができる。さらに、入出力インターフェイス部20によれば、木構造によりオブジェクトを配置するので、テキストリーダによりオブジェクトを音声出力した場合、視覚障害者に対して容易にオブジェクト相互の階層関係を理解させることができる。
図3(A)は、固有ドキュメント100に含まれるテキストオブジェクトの記述例を示し、図3(B)は、共通ドキュメント200に含まれるテキストオブジェクトの記述例を示し、図3(C)は、本実施形態に係るドキュメント変換ルール記憶部24が記憶するテキストオブジェクトのフォント色の変換スキーマの一例を示す。
ドキュメント変換ルール記憶部24は、取得したオブジェクトをAPI16により定められた記述形式から共通データ構造の記述形式に変換するための変換ルールを示す変換スキーマを、アプリケーションプログラム毎に記憶してよい。そして、ドキュメント変換部22は、固有ドキュメント100から固有の記述形式のオブジェクトを取得する場合、ドキュメント変換ルール記憶部24に記憶された変換スキーマを参照して、取得したオブジェクトを共通データ構造の記述形式に変換してよい。
変換スキーマは、一例として、オブジェクト毎に一意に定まるIDと、固有ドキュメント100における当該オブジェクトの記述定義と、共通ドキュメント200における当該オブジェクトの記述定義とを対応づけて記述した構造を有する。例えば、図3(C)に示した変換スキーマは、フォント色を特定するオブジェクトを示すIDが記述されている。また、当該変換スキーマは、固有ドキュメント100(図3(A))におけるフォント色が、<text>エレメント下の<style>エレメント内に記述された"fontColor"属性から取得できることが記述されている。さらに、当該変換スキーマは、共通ドキュメント200(図3(B))におけるフォント色が<text>エレメント下の"fontColor"属性から取得できることが記述されている。
このような入出力インターフェイス部20によれば、新たなアプリケーションプログラムについての入出力インターフェイスを提供する場合であっても、当該新たなアプリケーションプログラムに対応した変換スキーマを作成すればよく、アプリケーションプログラム自体に修正は行わなくてよい。従って、入出力インターフェイス部20によれば、テキストリーダへの対応のための開発負担を軽減することができる。
図4は、構造変換部26による共通ドキュメント200のデータ構造を変換する処理フローの一例を示す。構造変換部26は、共通ドキュメント200からページ(プレゼンテーションプログラムにおけるスライドの単位、ワードプロセッサにおける用紙の単位等)に含まれるオブジェクトを抽出して、1ページずつステップS21〜ステップS30を処理する(S20,S31)。構造変換部26は、テーブルオブジェクト検出処理(ステップS21)、再グループ化処理(ステップS22)、テキストアウトライン化処理(ステップS23)、非テキスト図形除外処理(ステップS24)、非テキストオブジェクトの代替テキストの表示処理(ステップS25)、レベル抽出処理(ステップS26)、ヘディング処理(ステップS27)、リスト構造抽出処理(ステップS28)、表計算エリア検出処理(ステップS29)、オブジェクト並べ替え処理(ステップS30)を、ページ毎に繰り返す。そして、最終ページまで処理が完了すると、構造変換処理を終了する(ステップS31)。
以下、図5〜図14を参照して、これらの各処理について説明をする。なお、図5〜図14において、(A)は、構造変換前のアプリケーション上の表示イメージから、構造変換後の木構造の表示イメージへの変化を示し、(B)は、構造変換前の木構造から、構造変換後の木構造への変化を示す。
図5は、テーブルオブジェクト検出処理(図4のステップS21)の一例を示す。複数のテキストオブジェクトが矩形のテーブル状に配列されている場合、構造変換部26は、各テキストオブジェクトのページ内における位置等を検出することにより、各テキストオブジェクトの矩形配列中における行および列を検出する。次に、構造変換部26は、検出したテーブルを示す仮想テーブルオブジェクト、および、検出したテーブル内の各行(又は列)を示す仮想行(又は列)オブジェクトを、共通ドキュメント200に追加する。そして、構造変換部26は、各テキストオブジェクトを、対応する仮想行(又は列)オブジェクトの下位階層に配置する。これにより、構造変換部26は、テーブル状に配列されたテキストオブジェクトを視覚障害者に理解させることができる。
図6は、再グループ化処理(図4のステップS22)の一例を示す。複数の図形オブジェクトが重なって配置されている場合、構造変換部26は、重なって配置されている複数の図形オブジェクトにより形成されるグループを検出するとともに、各グループにおける図形オブジェクト間の上下関係を検出する。そして、構造変換部26は、検出したグループ毎に木構造を形成するとともに、検出した上下関係に応じてグループ内における木構造の階層を形成する。構造変換部26は、グループ内における上下関係を、例えば図形オブジェクト同士の重なり面積比率に応じて決定してよい。これにより、構造変換部26は、視覚障害者に対して、図形オブジェクトが形成するグループおよびグループ内における上下関係を理解させることができる。
図7は、テキストアウトライン化処理(図4のステップS23)の一例を示す。インデントが設定されているテキストオブジェクトを含む複数のテキストオブジェクトが配置されている場合、構造変換部26は、インデントにより字下げがされていないテキストオブジェクトを木構造における上位階層に配置し、字下げがされているテキストオブジェクトを下位階層に配置する。これにより、構造変換部26は、視覚障害者に対してテキストオブジェクト間のインデント位置を理解させることができる。
図8は、非テキスト図形除外処理(図4のステップS24)の一例を示す。テキスト情報が含まれた図形オブジェクトの中に、テキスト情報を含まない図形オブジェクトが含まれている場合、構造変換部26は、テキスト情報を含まない図形オブジェクトを木構造から除く。これにより、構造変換部26は、要らない情報を排除して、視覚障害者に対してテキストオブジェクトにアクセスしやすくすることができる。
図9は、非テキストオブジェクトの代替テキストの表示処理(図4のステップS25)の一例を示す。代替テキストが付加されたオブジェクトが配置されている場合、構造変換部26は、当該オブジェクトに代えてまたは当該オブジェクトと共に代替テキストを配置する。また、代替テキストが付加されていない場合には、構造変換部26は、例えば、文字認識処理を行うことにより生成したテキストオブジェクトを配置してもよい。これにより、構造変換部26は、オブジェクトの形状、配置等を認識しにくい視覚障害者に対しても、代替テキストによって当該オブジェクトの内容を理解させることができる。
図10は、レベル抽出処理(図4のステップS26)の一例を示す。他のテキストオブジェクトよりも強調されたテキストオブジェクト(例えば、他より大きなフォントまたは太字のフォントのオブジェクト等)が含まれている場合、構造変換部26は、強調されているテキストオブジェクトをレベルと判断し、他のテキストオブジェクトよりも木構造において上位階層に配置する。これにより、構造変換部26は、構造変換部26は、文章中に含まれるレベル情報を反映した木構造を形成することができ、視覚障害者に対して文章にアクセスしやすくすることができる。
図11は、ヘディング処理(図4のステップS27)の一例を示す。並列的に配置されたテキストオブジェクトにおいて、他と異なるフォントのテキストオブジェクトが含まれている場合、構造変換部26は、当該異なるフォントのテキストオブジェクトを文章中に配置されたヘッダーと判断し、他のテキストオブジェクトよりも木構造において上位階層に配置する。これにより、構造変換部26は、文章構造を正確に表した木構造を形成することができ、視覚障害者に対して文章にアクセスしやすくすることができる。
図12は、リスト構造抽出処理(図4のステップS28)の一例を示す。テキストデータが特殊記号またはインデントにより区切られている場合、構造変換部26は、特殊記号またはインデントによる区切り毎に、異なるテキストオブジェクトに分離する。そして、構造変換部26は、特殊記号またはインデントの位置に応じて、分離したテキストオブジェクトに階層を形成する。これにより、構造変換部26は、文章構造を正確に表した木構造を形成することができ、視覚障害者に対して、文章にアクセスしやすくすることができる。
図13は、表計算エリア検出処理(図4のステップS29)の一例を示す。スプレットシートオブジェクト(表計算用アプリケーション等により作成されるオブジェクト)に空白が含まれている場合、構造変換部26は、1枚のシート内におけるデータが入力されている全セルをカバーする最も小さい矩形領域を切り出し、切り出した矩形領域に含まれる表を木構造に変換する。これにより、構造変換部26は、要らない情報を排除して、視覚障害者に対してスプレッドシートオブジェクトにアクセスしやすくすることができる。
図14は、オブジェクト並べ替え処理(図4のステップS30)の一例を示す。二次元に矩形配列された図形オブジェクトに対してX座標またはY座標順とは異なるタブオーダが設定されている場合、構造変換部26は、予め設定されているタブオーダの順序を、矩形配置のX座標方向またはY座標方向に並べた場合の順序に入れ替える。構造変換部26は、タブオーダの順序でオブジェクトを音声出力した場合に、視覚障害者に対して複数の図形オブジェクトの相互の関係を正確に認識させることができる。
図15は、本実施形態に係る入出力部28およびインターフェイスアダプタ部30の構成の一例を、変更反映部32とともに示す。インターフェイスアダプタ部30は、入出力部28がユーザに対して提供するユーザインターフェイスに適したオブジェクトを共通ドキュメント200から取り出して、入出力部28に供給する。すなわち、インターフェイスアダプタ部30は、共通ドキュメント200をユーザインターフェイスに適した形式に変化して、入出力部28に供給する。さらに、インターフェイスアダプタ部30は、オブジェクトに対するユーザの操作を入出力部28が入力したことに応じて、当該操作に応じたアクションを発行し、また、当該操作に応じて共通ドキュメント200に含まれる対応するオブジェクトを変更する。
インターフェイスアダプタ部30は、入出力部28がユーザに対して提供する複数のユーザインターフェイスのそれぞれに対応したアダプタを有してよい。インターフェイスアダプタ部30は、例えば、入出力部28がツリー表示部282、テキストエディタ部284、テーブル表示部286を有する場合、それぞれに対応するツリー表示用インターフェイスアダプタ302、テキストエディタ用インターフェイスアダプタ304、テーブル表示用インターフェイスアダプタ306を有してよい。この場合において、ツリー表示用インターフェイスアダプタ302は、オブジェクトをツリー表示するツリー表示部282に対して、ツリー表示に用いるオブジェクトを共通ドキュメント200から抽出して供給する。テキストエディタ用インターフェイスアダプタ304は、テキストエディタを表示するテキストエディタ部284に対して、テキストの編集に用いるオブジェクトを共通ドキュメント200から抽出して供給する。テーブル表示用インターフェイスアダプタ306は、テーブル表示するテーブル表示部286に対して、テーブル表示に用いるオブジェクトを共通ドキュメント200から抽出して供給する。
これにより入出力部28は、ユーザインターフェイスを構築するために用いるオブジェクトだけがインターフェイスアダプタ部30から供給されるので、アプリケーションプログラムによる固有の処理に関わらず、いずれのアプリケーションプログラムにより作成されたオブジェクトもユーザに表示することができ、また、変更することができる。
なお、入出力部28に含まれるそれぞれの処理部(例えば、ツリー表示部282、テキストエディタ部284、テーブル表示部286)がAPIを有していれば、インターフェイスアダプタ部30は、当該APIを介して各処理部にアクセスをしてよい。この場合において、インターフェイスアダプタ部30に含まれる各アダプタは、インターフェイス変換ルール記憶部34に記憶された変換スキーマを呼び出してよい。当該変換スキーマは、それぞれのAPIにより定められた形式で記述されたオブジェクトと、共通データ構造で記述されたオブジェクトとの変換ルールを示す。変換スキーマは、一例として、図3に示した例と同様に、オブジェクト毎に一意に定まるIDと、共通ドキュメント200における当該オブジェクトの記述定義と、入出力部28の各処理部における当該オブジェクトの記述定義とを対応づけて記述した構造を有してよい。これにより、インターフェイスアダプタ部30は、共通データ構造の共通ドキュメント200に含まれるオブジェクトを、対応する表示形式に適合したデータ構造に変換することができる。
インターフェイスアダプタ部30は、共通ドキュメント200を、当該共通ドキュメント200を編集するために予め指定された編集用アプリケーションプログラムに固有のデータ構造で表された編集用ドキュメントに変換してもよい。この場合において、入出力部28は、変換した編集用ドキュメントを編集用アプリケーションプログラムに出力して、ユーザにより編集用アプリケーションプログラムを用いて変更された編集用ドキュメントを変更後の共通ドキュメント200として入力する。これにより、インターフェイスアダプタ部30は、外部のアプリケーションプログラムを利用して、共通ドキュメント200を編集させることができる。従って、インターフェイスアダプタ部30は、ユーザが普段使用しているエディタ等を用いて、複数のアプリケーションプログラムのそれぞれで作成された固有ドキュメント100を編集できる。
図16は、入出力部28およびインターフェイスアダプタ部30による処理フローの一例を示す。インターフェイスアダプタ部30を介して共通ドキュメント200をユーザに供給する場合、まず、インターフェイスアダプタ部30は、初期処理として、ドキュメントのリストを作成して、入出力部28によりドキュメントメニューを表示する(S111)。次に、インターフェイスアダプタ部30は、ユーザからの操作入力を検出し(S112)、当該操作入力の内容を判断して(S121〜S125)、操作入力に応じた処理を行う(S131〜S134)。
例えば、ドキュメントメニューから1つのドキュメントが選択された場合(S121のYes)、インターフェイスアダプタ部30は、選択されたドキュメントに含まれるオブジェクトを共通ドキュメント200から取り出し、取り出したオブジェクトを入出力部28に供給する。そして、入出力部28は、供給されたオブジェクトをツリー表示する(S131)。入出力部28は、アプリケーションプログラム毎に異なったツリー表示をしてよい。入出力部28は、一例として、プレゼンテーションプログラムのドキュメントを表示する場合、ページオブジェクトを木構造における上位のノードに配置し、各ページオブジェクト内に含まれる図形オブジェクトをページオブジェクトの下に階層化したツリーを、表示してよい。また、入出力部28は、テキスト文書のドキュメントを表示する場合、見出しを木構造における上位のノードに配置し、見出し以外のテキストオブジェクトを当該見出しの下に階層化したツリーを表示してよい。また、入出力部28は、適応業務アプリケーションプログラムを表示する場合、使用できる機能メニューに対応するオブジェクトを階層化したツリーを、表示してよい。
ツリー表示の中から1つのオブジェクトが選択された場合(S122のYes)、インターフェイスアダプタ部30は、選択されたオブジェクトを入出力部28に供給する。そして、入出力部28は、当該オブジェクトに適した表示画面を選択して表示する(S132)。この場合において、入出力部28は、ユーザに対して問い合わせをして、選択されたオブジェクトに適した表示画面を表示してもよい。入出力部28は、例えば、編集可能なテキストを含むオブジェクトが選択された場合、テキスト編集するためのコントロール画面を表示してよい。また、入出力部28は、図形オブジェクトのような編集不可能なオブジェクトが選択された場合、読み取り専用のコントロール画面を表示してよい。さらに、入出力部28は、編集すべきオブジェクトを表示するため初期値をユーザに問い合わせ、画面を完成させてもよい。例えば、入出力部28は、テキストの場合、編集対象文字列を表示するためのフォント等をユーザに問い合わせてよく、また、図形オブジェクトの場合、オブジェクトの説明情報をユーザに問い合わせてよい。
オブジェクトが編集された場合(S123のYes)、インターフェイスアダプタ部30は、入出力部28が入力したユーザからの変更に応じて、共通ドキュメント200に含まれる対応するオブジェクトを変更する(S133)。表示中のオブジェクトについて変更がされた場合には、入出力部28は、表示内容を変更する。
ボタン押下等のアクション操作がされた場合(S124のYes)、インターフェイスアダプタ部30は、入出力部28が入力したアクション操作に応じて、対応するアクションを実行する(S134)。インターフェイスアダプタ部30は、例えば、プレゼンテーションにおけるスライドショーの実行、ドキュメントに対する検索処理の実行等をする。また、この場合において、変更反映部32は、インターフェイスアダプタ部30が実行するアクションをアプリケーションプログラム実行部12に通知し、アプリケーションプログラムに同じアクションを実行させてよい。これにより、変更反映部32は、入出力インターフェイス部20によるアクション操作をアプリケーションプログラムに反映でき、アクションの同期を図ることができる。
次に、入力に応じた処理(S131〜S134)を完了すると、変更反映部32は、共通ドキュメント200に含まれるオブジェクトの内容をインターフェイスアダプタ部30が変更したか否か判断する(S135)。インターフェイスアダプタ部30がオブジェクトの内容を変更した場合(S135のYes)、変更反映部32は、対応するアプリケーションプログラム実行部12に対してアクセスして、固有ドキュメント100の対応するオブジェクトを変更する(S136)。これにより、変更反映部32は、共通ドキュメント200に含まれるオブジェクトが変更された場合であっても、当該変更をアプリケーションプログラムにより作成された固有ドキュメント100に反映できる。この結果、変更反映部32は、固有ドキュメント100と共通ドキュメント200との同期を図ることができる。
オブジェクトの内容を変更しない場合(S135のNo)およびステップS136の変更を完了した場合、変更反映部32は、処理をステップS112に戻して再度の入力を待機する。そして、終了操作がされた場合(S125のYes)、入出力部28およびインターフェイスアダプタ部30は、処理を終了する。
以上のように、入出力インターフェイス部20によれば、入出力部28が入力した操作内容を、アプリケーションプログラムに反映できる。これにより、入出力インターフェイス部20によれば、入出力部28によりユーザに提供されている内容とアプリケーションプログラム実行部12によりユーザに提供されている内容とを同期させることができる。
また、変更反映部32は、アプリケーションプログラムに対してされたユーザによる操作を入出力部28による表示に反映してよい。一例として、変更反映部32は、アプリケーションプログラムによりアクションの実行がされた場合、アクション実行の通知をアプリケーションプログラム実行部12から受けるようにしてよい。そして、変更反映部32がアクション実行の通知を受けた場合には、インターフェイスアダプタ部30は、同じアクションを実行する。
さらに、変更反映部32は、アプリケーションプログラムに対してされた操作入力に応じた固有ドキュメント100に含まれるオブジェクトの変更を、共通ドキュメント200に反映してもよい。一例として、変更反映部32は、固有ドキュメント100に含まれるオブジェクトの変更がされた場合、変更の通知をアプリケーションプログラム実行部12から受けるようにしてよい。そして、変更反映部32が変更の通知を受けた場合には、ドキュメント変換部22は、当該変更を共通ドキュメント200に反映するべく、固有ドキュメント100に含まれる変更がされたオブジェクトを取得する。
これにより、変更反映部32は、例えばフォーカス移動をするというようなアクションがアプリケーションプログラム上で実行された場合であっても、入出力部28は、当該アクションをリアルタイムに反映することができる。また、変更反映部32は、アプリケーションプログラム側からドキュメントを変更した場合であっても、共通ドキュメント200に内容を反映することができる。これにより、変更反映部32は、固有ドキュメント100と共通ドキュメント200との双方向の同期を図ることができる。なお、変更反映部32は、アプリケーションプログラムから通知を受けない場合であっても、ユーザによる操作に応じてまたは一定期間毎に固有ドキュメント100を取り出して、共通ドキュメント200の内容を固有ドキュメント100の内容と一致させてもよい。
図17は、プレゼンテーションプログラムにより作成された固有ドキュメント100の表示の一例を示す。図18は、図17で表示された固有ドキュメント100に対応した共通ドキュメント200の入出力インターフェイス部20による表示の一例を示す。アプリケーションプログラムは、図17に示すように、固有ドキュメント100が表示された固有ウィンドウ402を、表示装置上に表示する。入出力インターフェイス部20の入出力部28は、図18に示すように、共通ドキュメント200が表示された共通ウィンドウ404を、表示装置上に表示する。
共通ウィンドウ404は、固有ウィンドウ402とともに表示される別個のウィンドウである。入出力インターフェイス部20は、共通ドキュメント200に対する変更操作が共通ウィンドウ404上で入力されたことに応じて、当該変更を固有ドキュメント100に反映する。これにより、入出力インターフェイス部20は、固有ウィンドウ402上の表示を変更できる。また、複数のアプリケーションプログラムによりそれぞれ固有ドキュメント100が表示された固有ウィンドウ402上で固有ドキュメント100に対する変更操作が入力されたことに応じて、ドキュメント変換部22は、固有ドキュメント100の変更を、共通ドキュメント200に反映する。この場合において、ドキュメント変換部22は、一例として、変更操作通知をアプリケーションプログラムから受けることにより、固有ドキュメント100の変更を共通ドキュメント200に反映してよいし、また、定期的に固有ドキュメント100を取り出すことにより、固有ドキュメント100の変更を共通ドキュメント200に反映してもよい。このような入出力インターフェイス部20によれば、アプリケーションプログラムにより作成された固有ドキュメント100と、共通ドキュメント200とのの同期を取ることができる。
図19は、複数のアプリケーションプログラムにより作成された複数の固有ドキュメント100を、1つの入出力インターフェイス部20により並行して作業する例を示す。複数のアプリケーションプログラムは、それぞれが、固有ドキュメント100を表示する固有ウィンドウ402を表示装置上に表示してよい。この場合において、入出力インターフェイス部20の入出力部28は、複数の固有ウィンドウ402とは異なる共通ウィンドウ404上に共通ドキュメント200を表示してよい。そして、入出力インターフェイス部20は、複数のアプリケーションプログラムがそれぞれ表示している固有ドキュメント100を、1つの木構造に含めて表示してよい。これにより、入出力インターフェイス部20によれば、同一のユーザインターフェイスにより、複数のアプリケーションプログラムを編集させることができる。例えば、入出力インターフェイス部20によれば、プレゼンテーションプログラムと表計算プログラムといった異なるアプリケーションを、同一のユーザインターフェイスを用いて編集させることができる。さらに、入出力インターフェイス部20によれば、同一のユーザインターフェイスを用いて、複数のアプリケーションプログラムに対して並行して作業させることもできる。
図20は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラムや、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を入出力インターフェイス部20として機能させるプログラムは、ドキュメント変換部モジュールと、変換ルール記憶部モジュールと、構造変換部モジュールと、入出力部モジュールと、ユーザインターフェイス部モジュールと、変更反映部モジュールと、インターフェイス変換ルール記憶部とを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、ドキュメント変換部22、ドキュメント変換ルール記憶部24、構造変換部26、入出力部28、インターフェイスアダプタ部30、変更反映部32、インターフェイス変換ルール記憶部34としてそれぞれ機能させる。
以上に示したプログラム又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVDやCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本発明の実施形態に係る情報処理装置10の機能ブロック図を示す。 (A)は、プレゼンテーションプログラムにより作成された固有ドキュメント100の一例を示し、図2(B)は、図2(A)の固有ドキュメント100を共通データ構造に変換した共通ドキュメント200の一例を示す。 (A)は、固有ドキュメント100に含まれるテキストオブジェクトの記述例を示し、図3(B)は、共通ドキュメント200に含まれるテキストオブジェクトの記述例を示し、図3(C)は、本発明の実施形態に係るドキュメント変換ルール記憶部24が記憶するオブジェクト変換スキーマの一例を示す。 共通ドキュメント200のデータ構造を変換する処理フローを示す。 テーブルオブジェクト検出処理(図4のステップS21)の一例を示す。 再グループ化処理(図4のステップS22)の一例を示す。 テキストアウトライン化処理(図4のステップS23)の一例を示す。 非テキスト図形除外処理(図4のステップS24)の一例を示す。 非テキストオブジェクトの代替テキストの表示処理(図4のステップS25)の一例を示す。 レベル抽出処理(図4のステップS26)の一例を示す。 ヘディング処理(図4のステップS27)の一例を示す。 リスト構造抽出処理(図4のステップS28)の一例を示す。 表計算エリア検出処理(図4のステップS29)の一例を示す。 オブジェクト並べ替え処理(図4のステップS30)の一例を示す。 本発明の実施形態に係る入出力部28およびインターフェイスアダプタ部30の構成の一例を、変更反映部32とともに示す。 入出力部28およびインターフェイスアダプタ部30による処理フローの一例を示す。 アプリケーションプログラムにより作成された固有ドキュメント100の表示の一例を示す。 図17で表示された固有ドキュメント100に対応した共通ドキュメント200の、入出力インターフェイス部20による表示の一例を示す。 複数のアプリケーションプログラムにより作成された固有ドキュメント100を、1つの入出力インターフェイス部20により同時に編集する例を示す。 本発明の実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。
符号の説明
10 情報処理装置
12 アプリケーションプログラム実行部
14 補助プログラム実行部
16 API
20 入出力インターフェイス部
22 ドキュメント変換部
24 ドキュメント変換ルール記憶部
26 構造変換部
28 入出力部
30 インターフェイスアダプタ部
32 変更反映部
34 インターフェイス変換ルール記憶部
100 固有ドキュメント
102 ページオブジェクト
104 図形オブジェクト
106,108 テキストオブジェクト
200 共通ドキュメント
282 ツリー表示部
284 テキストエディタ部
286 テーブル表示部
302 ツリー表示用インターフェイスアダプタ
304 テキストエディタ用インターフェイスアダプタ
306 テーブル表示用インターフェイスアダプタ
402 固有ウィンドウ
404 共通ウィンドウ
1900 コンピュータ
2000 CPU
2010 ROM
2020 RAM
2030 通信インターフェイス
2040 ハードディスクドライブ
2050 フレキシブルディスク・ドライブ
2060 CD−ROMドライブ
2070 入出力チップ
2075 グラフィック・コントローラ
2080 表示装置
2082 ホスト・コントローラ
2084 入出力コントローラ
2090 フレキシブルディスク
2095 CD−ROM

Claims (11)

  1. 複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理装置であって、
    前記複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメントを、共通データ構造で表された共通ドキュメントに変換するドキュメント変換部と、
    前記共通ドキュメントをユーザへ出力する出力部と、
    前記共通ドキュメントに対する前記ユーザの操作を入力する入力部と、
    前記共通ドキュメントに含まれるオブジェクトを前記出力部におけるオブジェクトに変換するインターフェイスアダプタ部と、
    前記ユーザの操作内容に応じて、前記共通ドキュメントを変更する変更部と、
    前記共通ドキュメントに対する変更を、前記固有ドキュメントに対して反映する変更反映部と
    を備える情報処理装置。
  2. 当該情報処理装置は、前記複数のアプリケーションプログラムに対して共通の音声出力インターフェイスを提供するものであり、
    前記出力部は、テキストを読み上げる機能を備えるテキストリーダに対して前記共通ドキュメントに含まれるテキストを出力する
    請求項1に記載の情報処理装置。
  3. 前記ドキュメント変換部は、前記固有ドキュメントに含まれる各オブジェクトを、木構造のノードとして表した前記共通ドキュメントに変換し、
    前記出力部は、前記共通ドキュメントに含まれる各オブジェクトを木構造の階層構造により表示する
    請求項1に記載の情報処理装置。
  4. 前記固有ドキュメントに含まれる各オブジェクトから、前記共通データ構造における各オブジェクトへ変換するための変換ルールが記述されたドキュメント変換ルール記憶部を更に備え、
    前記ドキュメント変換部は、前記固有ドキュメントに含まれるオブジェクトに対応する変換ルールが前記ドキュメント変換ルール記憶部に記憶されていることを条件として、当該変換ルールに基づいて前記固有ドキュメントに含まれるオブジェクトを前記共通データ構造におけるオブジェクトに変換する請求項1に記載の情報処理装置。
  5. 前記共通ドキュメントに含まれる前記共通データ構造における各オブジェクトから、前記出力部で用いられるデータ構造の各オブジェクトへ変換するための変換ルールが記述されたインターフェイス変換ルール記憶部を更に備え、
    前記インターフェイスアダプタ部は、前記出力部で用いられる各オブジェクトに対応する変換ルールが前記インターフェイス変換ルール記憶部に記憶されていることを条件として、当該変換ルールに基づいて前記共通ドキュメントに含まれる前記共通データ構造における各オブジェクトを前記出力部におけるオブジェクトに変換する請求項1に記載の情報処理装置。
  6. 前記出力部は、表示装置上に前記複数のアプリケーションプログラムがそれぞれ前記固有ドキュメントを表示する固有ウィンドウとは異なる共通ウィンドウ上に前記共通ドキュメントを表示し、
    前記入力部は、前記共通ウィンドウに対するユーザの操作を入力する請求項1に記載の情報処理装置。
  7. 前記共通ドキュメントに含まれる複数のオブジェクトのそれぞれについての、対応するアプリケーションプログラムにより表示されるべき位置、大きさ、色、および、フォントの種類の少なくとも1つを含む属性が予め定められたテーブル構造およびリスト構造の少なくとも1つを含む既定データ構造に対応して定められた条件を満たすことに応じて、当該条件を満たす前記既定データ構造の各ノードに当該複数のオブジェクトのそれぞれを割り付けることにより、前記共通ドキュメントのデータ構造を変換する構造変換部を更に備える請求項1に記載の情報処理装置。
  8. 前記出力部は、
    前記共通ドキュメントを、当該共通ドキュメントを編集するために予め指定された編集用アプリケーションプログラムに固有のデータ構造で表された編集用ドキュメントに変換し、
    変換した前記編集用ドキュメントを前記編集用アプリケーションプログラムに出力し、
    前記入力部は、
    前記ユーザにより前記編集用アプリケーションプログラムを用いて変更された前記編集用ドキュメントを変更後の前記共通ドキュメントとして入力する
    請求項1に記載の情報処理装置。
  9. 前記出力部は、表示装置上に前記複数のアプリケーションプログラムがそれぞれ前記固有ドキュメントを表示する固有ウィンドウとは異なる共通ウィンドウ上に前記共通ドキュメントを表示し、
    アプリケーションプログラムにより前記固有ドキュメントが表示されたウィンドウ上で前記固有ドキュメントに対する変更操作が入力されたことに応じて、前記ドキュメント変換部は、前記固有ドキュメントの変更を、前記共通ドキュメントに反映し、
    前記入力部により前記共通ウィンドウ上で前記共通ドキュメントに対する変更操作が入力されたことに応じて、前記変更部は、前記共通ドキュメントを変更する
    請求項1に記載の情報処理装置。
  10. 情報処理装置により、複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理方法であって、
    前記複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメントを、共通データ構造で表された共通ドキュメントに変換するドキュメント変換段階と、
    前記共通ドキュメントをユーザへ出力する出力段階と、
    前記共通ドキュメントに対する前記ユーザの操作を入力する入力段階と、
    前記共通ドキュメントに含まれるオブジェクトを前記出力段階におけるオブジェクトに変換するインターフェイスアダプタ段階と、
    前記ユーザの操作内容に応じて、前記共通ドキュメントを変更する変更段階と、
    前記共通ドキュメントに対する変更を、前記固有ドキュメントに対して反映する変更反映段階と
    を備える情報処理方法。
  11. 複数のアプリケーションプログラムに対して共通の入出力インターフェイスを提供する情報処理装置用のプログラムであって、
    当該プログラムは、前記情報処理装置を、
    前記複数のアプリケーションプログラムのそれぞれにより作成され、各アプリケーションプログラムに固有のデータ構造で表された固有ドキュメントを、共通データ構造で表された共通ドキュメントに変換するドキュメント変換部と、
    前記共通ドキュメントをユーザへ出力する出力部と、
    前記共通ドキュメントに対する前記ユーザの操作を入力する入力部と、
    前記共通ドキュメントに含まれるオブジェクトを前記出力部におけるオブジェクトに変換するインターフェイスアダプタ部と、
    前記ユーザの操作内容に応じて、前記共通ドキュメントを変更する変更部と、
    前記共通ドキュメントに対する変更を、前記固有ドキュメントに対して反映する変更反映部と
    して機能させるプログラム。
JP2006074221A 2006-03-17 2006-03-17 情報処理装置、情報処理方法およびプログラム Pending JP2007249754A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006074221A JP2007249754A (ja) 2006-03-17 2006-03-17 情報処理装置、情報処理方法およびプログラム
KR1020070018480A KR20070094466A (ko) 2006-03-17 2007-02-23 정보 처리 장치 및 정보 처리 방법
US11/681,908 US7913191B2 (en) 2006-03-17 2007-03-05 Common input/output interface for application programs
CNB2007100885804A CN100449485C (zh) 2006-03-17 2007-03-16 信息处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006074221A JP2007249754A (ja) 2006-03-17 2006-03-17 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2007249754A true JP2007249754A (ja) 2007-09-27

Family

ID=38593956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006074221A Pending JP2007249754A (ja) 2006-03-17 2006-03-17 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US7913191B2 (ja)
JP (1) JP2007249754A (ja)
KR (1) KR20070094466A (ja)
CN (1) CN100449485C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093521A (ja) * 2007-10-11 2009-04-30 Internatl Business Mach Corp <Ibm> アクセシビリティ情報を得る方法、コンピュータ・プログラム及びアクセシビリティ情報装置
JP2009258824A (ja) * 2008-04-14 2009-11-05 Nippon Hoso Kyokai <Nhk> 代替コンテンツ提示装置および代替コンテンツナビゲーションプログラム
JP2012104118A (ja) * 2010-11-11 2012-05-31 Heiderberger Druckmaschinen Ag ブラウザによる印刷機の操作方法
JP2015028736A (ja) * 2013-07-31 2015-02-12 株式会社日立製作所 表形式多次元データ変換方法及び装置
WO2015141110A1 (ja) * 2014-03-18 2015-09-24 パナソニックIpマネジメント株式会社 入力装置、サーバ、入力プログラム及び入力方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249754A (ja) * 2006-03-17 2007-09-27 Internatl Business Mach Corp <Ibm> 情報処理装置、情報処理方法およびプログラム
JP4476318B2 (ja) * 2007-10-31 2010-06-09 富士通株式会社 論理構造認識プログラム、論理構造認識装置、および論理構造認識方法
JP4625868B2 (ja) * 2009-02-06 2011-02-02 株式会社東芝 仕様管理装置及び仕様管理プログラム
US9965453B2 (en) * 2009-10-15 2018-05-08 Microsoft Technology Licensing, Llc Document transformation
JP5465015B2 (ja) * 2010-01-06 2014-04-09 キヤノン株式会社 文書を電子化する装置及び方法
US20130254132A1 (en) * 2012-03-26 2013-09-26 Ebay Inc. Unified Service for Providing Shipping Services
CN103092823B (zh) * 2013-01-25 2015-08-19 华为终端有限公司 一种操作文本的方法及装置
US11003635B2 (en) * 2016-08-24 2021-05-11 Sap Se Database scheme for storing generic data
US10558950B2 (en) 2017-05-15 2020-02-11 Google Llc Automatic context passing between applications
US10339212B2 (en) 2017-08-14 2019-07-02 Adobe Inc. Detecting the bounds of borderless tables in fixed-format structured documents using machine learning
US10521278B2 (en) 2017-09-26 2019-12-31 Google Llc Format-specific data object passing between applications
US10896035B1 (en) * 2017-12-05 2021-01-19 Melih Abdulhayoglu Methods of converting APIs into objects and uses thereof
CN108920606B (zh) * 2018-06-28 2020-10-23 腾讯大地通途(北京)科技有限公司 地图数据处理方法、装置、终端设备及存储介质
CN111200612B (zh) * 2020-01-06 2022-04-19 山东电工电气集团新能科技有限公司 一种配电网下行设备管理装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745902A (en) * 1992-07-06 1998-04-28 Microsoft Corporation Method and system for accessing a file using file names having different file name formats
JPH1083269A (ja) 1996-09-09 1998-03-31 Nec Corp ユーザインタフェース変換装置
US5911776A (en) * 1996-12-18 1999-06-15 Unisys Corporation Automatic format conversion system and publishing methodology for multi-user network
US6336124B1 (en) * 1998-10-01 2002-01-01 Bcl Computers, Inc. Conversion data representing a document to other formats for manipulation and display
EP1146441A1 (en) * 2000-04-11 2001-10-17 BRITISH TELECOMMUNICATIONS public limited company Changing hypermedia content of a web site
US6938083B1 (en) * 2000-07-21 2005-08-30 Unisys Corporation Method of providing duplicate original file copies of a searched topic from multiple file types derived from the web
JP2002229843A (ja) 2000-11-06 2002-08-16 Mitsubishi Space Software Kk 音声または表示が限定されたユーザ・インタフェース用の情報をトランスコードするシステム及び方法
US20040015890A1 (en) * 2001-05-11 2004-01-22 Windriver Systems, Inc. System and method for adapting files for backward compatibility
US6918083B2 (en) * 2001-05-24 2005-07-12 The United States Of America As Represented By The Secretary Of The Navy Tool for marking up electronic documents
EP1435046A2 (en) * 2001-08-03 2004-07-07 Koninklijke Philips Electronics N.V. Method of and system for updating a document
CN1199498C (zh) * 2001-08-31 2005-04-27 英业达集团(上海)电子技术有限公司 可识别转换铃声的移动通讯装置及其方法
US7996481B2 (en) * 2002-03-20 2011-08-09 At&T Intellectual Property I, L.P. Outbound notification using customer profile information
JP3951116B2 (ja) 2002-04-12 2007-08-01 村田機械株式会社 文書サーバ及び文書処理プログラム
JP2004005082A (ja) * 2002-05-31 2004-01-08 Hitachi Ltd 文書情報管理方法及び装置
US7089492B2 (en) * 2003-04-03 2006-08-08 International Business Machines Corporation Automated conversion of CALS-compatible tables to accessible HTML tables
JP2005063243A (ja) 2003-08-15 2005-03-10 Ricoh Co Ltd 情報処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP3938121B2 (ja) 2003-09-17 2007-06-27 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
EP1667447B1 (en) * 2003-09-19 2011-11-23 GVBB Holdings S.A.R.L Data conversion system
JP4177218B2 (ja) * 2003-09-24 2008-11-05 株式会社エヌ・ティ・ティ・ドコモ 文書変換装置
CN2670180Y (zh) * 2003-11-04 2005-01-12 安徽中科大讯飞信息科技有限公司 车载可插拔语音播报装置
US7165216B2 (en) * 2004-01-14 2007-01-16 Xerox Corporation Systems and methods for converting legacy and proprietary documents into extended mark-up language format
US20050273721A1 (en) * 2004-06-07 2005-12-08 Yantis David B Data transformation system
US7512037B2 (en) * 2005-09-26 2009-03-31 Raytheon Company Method and apparatus for acoustic system having a transceiver module
JP2007249754A (ja) * 2006-03-17 2007-09-27 Internatl Business Mach Corp <Ibm> 情報処理装置、情報処理方法およびプログラム
EP2137636B1 (en) * 2007-04-13 2019-02-20 Open Text Sa Ulc Application isolation system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093521A (ja) * 2007-10-11 2009-04-30 Internatl Business Mach Corp <Ibm> アクセシビリティ情報を得る方法、コンピュータ・プログラム及びアクセシビリティ情報装置
JP2009258824A (ja) * 2008-04-14 2009-11-05 Nippon Hoso Kyokai <Nhk> 代替コンテンツ提示装置および代替コンテンツナビゲーションプログラム
JP2012104118A (ja) * 2010-11-11 2012-05-31 Heiderberger Druckmaschinen Ag ブラウザによる印刷機の操作方法
US10152191B2 (en) 2010-11-11 2018-12-11 Heidelberger Druckmaschinen Ag Method for operating machinery using a browser
JP2015028736A (ja) * 2013-07-31 2015-02-12 株式会社日立製作所 表形式多次元データ変換方法及び装置
WO2015141110A1 (ja) * 2014-03-18 2015-09-24 パナソニックIpマネジメント株式会社 入力装置、サーバ、入力プログラム及び入力方法
JPWO2015141110A1 (ja) * 2014-03-18 2017-04-06 パナソニックIpマネジメント株式会社 入力装置、サーバ、入力プログラム及び入力方法

Also Published As

Publication number Publication date
US20080040513A1 (en) 2008-02-14
US7913191B2 (en) 2011-03-22
CN100449485C (zh) 2009-01-07
KR20070094466A (ko) 2007-09-20
CN101038550A (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
JP2007249754A (ja) 情報処理装置、情報処理方法およびプログラム
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
TWI269195B (en) Method for manipulating ink, and graphical user interface configured to interface a user with a control
KR102121487B1 (ko) 실시간 필기 인식 관리
US7490313B2 (en) System and method for making user interface elements known to an application and user
JP6109625B2 (ja) 電子機器およびデータ処理方法
JP2009205579A (ja) 音声翻訳装置およびプログラム
JP2006277677A (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
CN112839261B (zh) 一种提升语音指令匹配度的方法及显示设备
CN100390794C (zh) 一种以导航树方式来组织通信设备命令集的方法
US20140297276A1 (en) Editing apparatus, editing method, and computer program product
JP2007249755A (ja) ドキュメントを理解する難易度を評価するシステムおよびその方法
JP7049173B2 (ja) 手話cg翻訳編集装置及びプログラム
KR20170029866A (ko) 서버, 사용자 단말 및 이들의 제어 방법.
CA3215190A1 (en) User interface for data analytics systems
JP4720695B2 (ja) コンテンツ提供方法
JP2006276912A (ja) 文書編集装置、文書編集方法およびプログラム
JP2003345486A (ja) ユーザ補助装置、ユーザ補助方法、ユーザ補助プログラムおよびユーザ補助プログラムを記録した記録媒体
TW201537372A (zh) 動作設計裝置及動作設計程式產品
JP2008269122A (ja) 処理単位分割装置、処理単位分割方法、及びプログラム
JP2006031129A (ja) 文書処理手法及び文書処理装置
JP6419902B1 (ja) プログラム比較方法、プログラム比較装置およびプログラム比較プログラム
JP5232748B2 (ja) ワークフロー表示支援装置及びワークフロー表示プログラム
Narain et al. Ansuni Baat-A Bridge to Sign Language Communication Check for updates
Bier et al. Expanding the Capabilities of Voice User Interface for Math Formula Editor Through Interactive Commands

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080520

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20080530