JP2005092504A - 情報処理装置及びその制御方法、プログラム - Google Patents

情報処理装置及びその制御方法、プログラム Download PDF

Info

Publication number
JP2005092504A
JP2005092504A JP2003324693A JP2003324693A JP2005092504A JP 2005092504 A JP2005092504 A JP 2005092504A JP 2003324693 A JP2003324693 A JP 2003324693A JP 2003324693 A JP2003324693 A JP 2003324693A JP 2005092504 A JP2005092504 A JP 2005092504A
Authority
JP
Japan
Prior art keywords
component
source document
user interface
profile information
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003324693A
Other languages
English (en)
Other versions
JP3938121B2 (ja
Inventor
Masato Ito
正人 伊藤
Makoto Hirota
誠 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003324693A priority Critical patent/JP3938121B2/ja
Priority to US10/937,500 priority patent/US20050060046A1/en
Priority to EP04255594A priority patent/EP1517248A3/en
Priority to CNA2004100780067A priority patent/CN1598768A/zh
Publication of JP2005092504A publication Critical patent/JP2005092504A/ja
Application granted granted Critical
Publication of JP3938121B2 publication Critical patent/JP3938121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】 操作対象機器に対する操作のユーザビリティを向上することができる情報処理装置及びその制御方法、プログラムを提供する。
【解決手段】 プロファイル情報解析部102は、操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信し、そのプロファイル情報を解析する。ソースドキュメント選択部105は、解析したプロファイル情報に応じて、ソースドキュメント保持部106からソースドキュメントを選択する。スタイルシート生成部103は、解析したプロファイル情報に応じて、スタイルシート保持部104から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する。変換部107は、生成した変換記述で選択したソースドキュメントを変換して、操作機器による操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する。そして、そのユーザインタフェースのコンテンツを操作機器へ送信する。
【選択図】 図1

Description

本発明は、操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置及びその制御方法、プログラムに関するものである。
これまで、ユーザインタフェースの適応技術に関しては、従来からさまざまな研究がなされている。例えば、ユーザの過去の操作履歴から学習して、マクロ作成を支援したり、選択候補の並べ替えや次の操作の予測をしたりするものがある。
一方、Webの世界でも、Webにアクセスする機器の特性に応じてコンテンツを適応する技術がある。例えば、W3C(World Wide Web Consortium、http://www.w3c.org/)のDevice Independence Activity(http://www.w3.org/2001/di/Activity)では、CC/PP(Composite Capabilities / Preferences Profile)という機器の能力やユーザの特性を記述するプロファイル情報のフォーマットや、それによって機器間でネゴシエーションを行うプロトコルの仕様を策定中である。
また、ユーザインタフェースのコンテンツを提示する際に、ユーザやデバイスの特性に応じて、ソースファイルをスタイルシートで変換してコンテンツを生成する技術もある。例えば、特許文献1では、ユーザインタフェースのコンテンツを、プレゼンテーションと対話に分離してスタイルシートに記述し、XSLTを用いてユーザインタフェースのコンテンツを生成する技術を提案している。また、特許文献2では、論理文書の構成要素を、プレゼンテーション方法を指定するスタイルの構成要素と対応付ける規則に基づいて変換する技術を提案している。
特開2001-154852号公報 特開2001-344230号公報
従来の発明による、ユーザインタフェースの適応技術、特に、Webコンテンツの適応技術では、ブラウザの種類や画面サイズなど、操作機器の特性に対して、主に「表示」をカスタマイズすることが主目的であり、操作機器の特性やユーザの特性・嗜好を考慮して、ユーザインタフェースとしてのロジックや使用モダリティをカスタマイズすることができないという問題があった。
例えば、操作に不慣れなユーザにはシステム主導のフローにし、操作に慣れたユーザにはユーザ主導にするといった適応には対応できない。また、GUI(グラフィックユーザインタフェース)や音声等の複数のモダリティを組み合わせたマルチモーダルユーザインタフェースにおける適応を考えた場合、例えば、視覚障害者には音声中心のユーザインタフェースを提供するなど、使用モダリティを機器やユーザに応じて動的に変更することが重要な要素となるが、こうした適応は従来はできなかった。
本発明は上記の課題を鑑みてなされたものであり、操作対象機器に対する操作のユーザビリティを向上することができる情報処理装置及びその制御方法、プログラムを提供することを目的とする。
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置であって、
前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信手段と、
前記プロファイル情報を解析する解析手段と、
前記操作対象機器の操作のフローを記述したソースドキュメントを保持するソースドキュメント保持手段と、
前記解析手段で解析したプロファイル情報に応じて、前記ソースドキュメント保持手段からソースドキュメントを選択する選択手段と、
前記ソースドキュメントを変換する変換記述部品を保持する変換記述部品保持手段と、
前記解析手段で解析したプロファイル情報に応じて、前記変換記述部品保持手段から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成手段と、
前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換手段と、
前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信手段とを備え、
前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
ことを特徴とする。
また、好ましくは、前記ソースドキュメント、前記変換記述部品及び前記ユーザインタフェースのコンテンツは、XML言語で記述されている。
また、好ましくは、前記変換記述部品及び前記変換記述は、スタイルシートとして記述されている。
また、好ましくは、前記操作対象機器は、当該情報処理装置である。
また、好ましくは、前記操作機器と前記操作対象機器とは別の機器であり、
前記操作機器は、
前記プロファイル情報を前記情報処理装置へ送信する送信手段と、
前記情報処理装置から前記ユーザインタフェースのコンテンツを受信する受信手段と、
前記ユーザインタフェースのコンテンツを実行する実行手段とを備える。
また、好ましくは、前記送信手段は、前記操作機器に入力された前記プロファイル情報を前記情報処理装置へ送信する。
また、好ましくは、前記送信手段は、前記操作機器に対するユーザの操作履歴に基づいて作成された前記プロファイル情報を前記情報処理装置へ送信する。
また、好ましくは、前記操作機器は、当該操作機器のユーザに対応する前記プロファイル情報を取得する取得手段を備え、
前記送信手段は、前記取得手段で取得したプロファイル情報を前記情報処理装置へ送信する。
上記の目的を達成するための本発明による情報処理装置の制御方法は以下の構成を備える。即ち、
操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置の制御方法であって、
前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信工程と、
前記プロファイル情報を解析する解析工程と、
前記解析工程で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記操作対象機器の操作のフローを記述したソースドキュメント群からソースドキュメントを選択する選択工程と、
前記解析工程で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記ソースドキュメントを変換する変換記述部品群から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成工程と、
前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換工程と、
前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信工程とを備え、
前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
ことを特徴とする。
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置の制御を実現するプログラムであって、
前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信工程のプログラムコードと、
前記プロファイル情報を解析する解析工程のプログラムコードと、
前記解析手段で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記操作対象機器の操作のフローを記述したソースドキュメント群からソースドキュメントを選択する選択工程のプログラムコードと、
前記解析手段で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記ソースドキュメントを変換する変換記述部品群から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成工程変換記述と、
前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換工程変換記述と、
前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信工程変換記述とを備え、
前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
ことを特徴とする。
以上説明したように、本発明によれば、操作対象機器に対する操作のユーザビリティを向上することができる情報処理装置及びその制御方法、プログラムを提供できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。
図1は本発明の実施形態に係る情報処理システムの構成を示すブロック図である。
本実施形態では、情報処理システムの構成要素である操作機器にPDA、その操作機器の操作対象機器にコピー機を想定した場合を例に挙げて説明する。
尚、本実施形態では、操作機器と操作対象機器を別の機器として説明するが、操作機器と操作対象機器が一体となって構成された機器についても本発明を適用することができる。
図1の操作機器100において、101はプロファイル情報作成部であり、操作機器の特性やユーザの特性・嗜好情報から操作機器の操作に関する情報となるプロファイル情報を作成し、作成したプロファイル情報を操作対象機器200へ送信する。
108はユーザインタフェース(UI)のコンテンツ実行部であり、操作機器100から送信されたマルチモーダル・マークアップ言語(以下、MMML)で記述されたユーザインタフェースのコンテンツを、音声やGUIでの入出力が可能なマルチモーダルブラウザで実行する。
109は音声入出力部であり、コンテンツ実行部108で実行されたユーザインタフェースのコンテンツに対して音声の入出力を行う。110は表示部であり、コンテンツ実行部108で実行されたユーザインタフェースのコンテンツを表示する。
111はGUI入力部であり、コンテンツ実行部108で実行されたユーザインタフェースのコンテンツに基づくGUI入力を行う。
一方、図1の操作対象機器200において、102はプロファイル情報解析部であり、操作機器100から受信したプロファイル情報を解析する。103はスタイルシート生成部であり、プロファイル情報解析部102で解析されたプロファイル情報を用いて、スタイルシート保持部104からスタイルシートを検索し、結合する。104はスタイルシート保持部であり、部品化した操作機器のモダリティを記述したスタイルシートを保持する。
105はソースドキュメント選択部であり、プロファイル情報解析部102で解析したプロファイル情報を用いて、ソースドキュメント保持部106からソースドキュメントを選択する。106はソースドキュメント保持部であり、システム主導、ユーザ主導等の操作のフローを記述したソースドキュメントを保持する。
107は変換部であり、スタイルシート生成部103で生成されたスタイルシートで、ソースドキュメント選択部105で選択されたソースドキュメントを、音声やGUI等のモダリティでの入出力が可能なマルチモーダルユーザインタフェースのロジックをXML記述言語であるMMMLに変換し、その変換結果を操作機器100のコンテンツ実行部108に送信する。
尚、ソースドキュメントは、操作機器100のユーザインタフェースを実現する具体的な操作(UI)部品(モダリティ(GUI部品や音声入出力部品))とは独立な抽象的な操作(UI)部品の記述を含んでいる。また、スタイルシートは、ソースドキュメント中の抽象的な操作部品を、操作機器100の具体的な操作部品に変換する記述を含んでいる。
次に、操作機器100のハードウェア構成について、図2を用いて説明する。
図2は本発明の実施形態に係る操作機器のハードウェア構成を示す構成図である。
同図において、201はCPUであり、後述するフローチャートを実現するプログラムに従って動作する。202はRAMであり、上記プログラムの動作に必要な記憶領域や作業領域、データ一時退避領域を提供する。203はROMであり、後述するフローチャートを実現するプログラムや各種データを保持する。
204は液晶表示装置(LCD)であり、テキストや画像等を表示する。尚、このLCD204の代りに、CRT等の他の表示装置が用いられても良い。205はタッチパネルであり、各種データの入力や、ユーザインタフェースの操作を実現する。このタッチパネルに対する操作は、ユーザの指や専用ペンを用いて実行される。また、このタッチパネル205に加えて、キーボードやポインティングデバイスを備えることも可能である。
206はスピーカであり、合成音を出力する。207は書換可能な外部記憶装置であり、本実施形態では、ハードディスクドライブ(HDD)を用いている。このHDD207には、例えば、ユーザインタフェースを実行するブラウザ等が記憶されている。
208はマイクであり、音声認識に対する音声入力を行なう。209はバスであり、操作機器100の上記各構成要素を相互に接続する。
次に、操作対象機器200のハードウェア構成について、図3を用いて説明する。
図3は本発明の実施形態に係る操作対象機器のハードウェア構成を示す構成図である。
同図において、301はCPUであり、後述するフローチャートを実現するプログラムに従って動作する。302はRAMであり、上記プログラムの動作に必要な記憶領域や作業領域、データ一時退避領域を提供する。303はROMであり、後述するフローチャートを実現するプログラムやデータを保持する。
304は液晶表示装置(LCD)であり、テキストや画像等を表示する。尚、このLCD304の代りに、CRT等の他の表示装置が用いられても良い。305は入力装置であり、例えば、テンキーやボタンから構成される。これ以外にも、ポインティングデバイスやキーボードが用いられても良い。
306は印刷装置であり、例えば、レーザビーム方式の印刷装置からなる。これ以外にも、インクジェット方式や熱転写方式が用いられても良い。307は書換可能な外部記憶装置であり、本実施形態では、ハードディスクドライブ(HDD)を用いている。このHDD307には、例えば、スタイルシートやソースドキュメントが記憶されている。
308はバスであり、操作対象機器200の上記各構成要素を相互に接続する。
次に、本実施形態の情報処理システムが実行する処理について、図4を用いて説明する。
図4は本発明の実施形態に係る情報処理システムが実行する処理を示すフローチャートである。
図4では、操作対象機器200に操作機器100の特性を示す特性情報やユーザの特性・嗜好に関するユーザ情報を含む操作機器情報を送信し、それに応じたユーザインタフェースのコンテンツを受信する方法について説明する。
まず、操作機器100は、操作機器自身の特性を示す特性情報や、ユーザの特性・嗜好に関するユーザ情報からなる操作機器・ユーザ情報を取得する(ステップS401)。本実施形態では、LCD204上でGUIで実現される入力画面からユーザ自身がこの操作機器情報を入力する方法を用いる。そして、この操作機器・ユーザ情報を用いて、図5のような、使用言語、使用操作機器の画面サイズ、熟練度、障害者情報等の情報をXMLで記述したプロファイル情報を、プロファイル情報作成部101で作成する(ステップS402)。
次に、操作対象機器200に、このプロファイル情報を、HTTPメッセージのPOSTリクエストとして送信する(ステップS403)。
尚、図5のプロフィル情報では、使用言語が日本語(<system−language>japanese</system−language>)、操作機器の画面サイズが400×340(<screen−height>400</screen−height>,<screen−width>340</screen−width>)、ブラウザは音声やGUIでの入出力が可能なマルチモーダルブラウザ(<browser>MMML−Browser</browser>)、利用可能なモダリティはGUIと音声(<gui>yes</gui>,<tts>yes</tts>)、音声認識の種類は単語音声認識(<asr>yes<type>isolated−word</type></asr>)であり、さらに、熟練度は標準的(<familiality>average</familiality>)、障害者情報は健常(<disability>normal</disability>)であることを記述した例である。
一方、操作対象機器200は、操作機器100からプロファイル情報を受信する(ステップS404)。次に、プロファイル情報解析部102において、XMLパーサを用いてプロファイル情報の解析を行う(ステップS405)。
次に、ソースドキュメント選択部105において、ソースドキュメント保持部106に保持された図6のようなフローを記述したソースドキュメントの中から、プロファイル情報に応じて適当なソースドキュメントを選択する(ステップS406)。
ここで、ソースドキュメントは、XHTMLをコンテナとするXML文書である。これは、データモデルと抽象ユーザインタフェース部品(以下、抽象UI部品)を、W3Cの仕様であるXForms(http://www.w3.org/TR/xforms/)で、イベントドリブンなフローを、W3Cの仕様であるXML Events(http://www.w3.org/TR/xml-events/)で記述する。フローの内容としては、ユーザ主導、システム主導、それらの混合主導といったものが典型的な対話パターンとして知られており、それらをフローとして採用している。
一方、スタイルシート保持部104には、ソースドキュメント(インタラクションフロー記述)に含まれる抽象UI部品を具体的なUI部品(以下、具体UI部品)に変換するスタイルシートの部品(以下、スタイルシート部品)が保持されている。つまり、このスタイルシート部品は、ソースドキュメント中の抽象UI部品の記述を具体UI部品の記述に変換するための変換記述部品として機能する。
例えば、ソースドキュメントでは、コピー機の用紙サイズ選択のように、複数の選択肢から一つの選択肢を選択する抽象UI部品を、XFormsのselect1という要素で記述する。これをGUIのプルダウンメニューや音声入力といった具体UI部品の記述に変換するスタイルシートが、スタイルシート保持部104に保持されるスタイルシートの部品となる(図7)。
即ち、スタイルシート保持部104には、こうしたスタイルシート部品の集合が保持される。そして、スタイルシート生成部103で、図8のように、それらのスタイルシート部品の集合の中から、プロファイル情報に応じて適当なスタイルシート部品を選択する(ステップS407)。
例えば、プロファイル情報に基づいて、操作機器が音声入出力機能を有していたり、そのユーザが視覚障害者であることが解析された場合には、音声合成・認識部品という具体UI部品に変換するスタイルシート部品を選択する。そして、選択したスタイルシート部品(変換記述部品)を一つに統合して最終的なスタイルシート(変換記述)を動的に生成する(ステップS408)。
尚、プロファイル情報に応じて、どのスタイルシート部品を選択するかというルールは、そのユーザインタフェースの開発者が記述する。その記述方法は、プログラミング言語で直接的に記述しても良いし、所定の記述方式で宣言的に記述するようにしてもよく、その方式自体は本発明の範囲外であるので、詳細は省略する。
そして、生成したスタイルシートを用いて、ステップS406で選択したソースドキュメントを、XSLTプロセッサを用いて変換部107で変換する(ステップS409)。これにより、最終的なユーザインタフェースのコンテンツを動的に生成する(ステップS410)。そして、生成したユーザインタフェースのコンテンツを、操作機器100へ送信する(ステップS411)。
これに対し、操作機器100は、操作対象機器200からコンテンツを受信する(ステップS412)。そして、操作機器100は、コンテンツ実行部108で、受信したユーザインタフェースのコンテンツを実行する(ステップS413)。これにより、操作機器100の特性やユーザの特性・嗜好に応じた、操作対象機器200を操作するためのユーザインタフェースを操作機器上で実現することができる。
次に、操作対象機器200のソースドキュメントの一例について、図9A〜図9Cを用いて説明する。
図9A〜図9Cは本発明の実施形態に係る操作対象機器のソースドキュメントの一例を示す図である。
特に、図9A〜図9Cでは、ユーザ主導の場合の操作対象機器200のソースドキュメントの一例である。
図9Aにおいて、(i)はデータモデルの記述であり、操作対象機器のモデル(機能)として、部数(<copier:CopyNum>)、用紙サイズ(<copier:PaperSize>)、倍率(<copier:Ratio>)、両面設定(<copier:DobuleSided>)、濃度(<copier:CopyDepth>)が記述されている。
(ii)は部数の入力に関する記述であり、XFormsのinputという要素で、直接、値を入力する抽象UI部品を記述している。
(iii)は用紙選択に関する記述であり、XFormsのselect1という要素で、複数の選択肢から一つの選択肢を選択する抽象UI部品を記述している。
以下、(iv)は倍率に関する記述、(v)は両面設定に関する記述、(vi)は濃度設定に関する記述である。
また、(iii)〜(vi)の各記述の先頭にある<String−XXXX/>(例えば、(iii)では、<String−PaperSize/>)は、文字列の出力を記述したものであり、使用言語に応じて適当な言語の文字列に変換されることを想定したものである。
次に、スタイルシート保持部104に保持されるスタイルシート部品に関して詳細に説明する。
図10A及び図10Bは本発明の実施形態に係るスタイルシート部品の一例を示す図である。
特に、図10A及び図10Bでは、ソースドキュメント中の抽象UI部品を、具体UI部品へと変換するスタイルシート部品の一例を示している。
例えば、図9Aの(ii)のinputには、図10Aの(i)のテンプレートが作用し、MMMLでGUIのテキストボックスを意味するinputという要素に変換される。
また、図9Aの(iii)のselect1は、図10A及び図10Bの(ii)のテンプレートが作用し、MMMLでプルダウンメニューを意味するselectという要素に変換される。
図11A及び図11Bは本発明の実施形態に係るスタイルシート部品の一例を示す図である。
特に、図11A及び図11Bでは、ソースドキュメントの抽象UI部品を、MMMLの音声入力の記述に変換するスタイルシート部品の一例を示している。
例えば、図9(ii)のinputは、図11Aの(i)のテンプレートによって、MMMLの音声入力の具体UI部品の記述として定義したlisten要素に変換される。
また、図9Aの(iii)のselect1は、図11A及び図11Bの(ii)のテンプレートによって、同様に、listen要素に変換される。尚、実際に入力された音声を認識するための音声認識グラマの内容は、ユーザインタフェースの開発者が直接記述して事前に用意しておく必要がある。
図12は本発明の実施形態に係るスタイルシート部品の一例を示す図である。
特に、図12では、同じデータ要素にバインドされたGUI部品と音声入力部品をイベントで同期させるMMMLの記述を生成するスタイルシート部品の一例を示している。
例えば、部数の設定にGUIのテキストボックスと音声入力をバインドする場合、テキストボックスがクリックされてフォーカスを受けたら対応する音声入力も活性化する(入力可能状態にする)といった動作が、マルチモーダルユーザインタフェースでは典型的である。
こうした同期の記述を生成できるようにするのがこのスタイルシート部品の役割である。そして、本実施形態のMMMLでは、イベントをXML Eventsで記述するように定義しているので、このスタイルシート部品は、ソースドキュメントの各抽象UI部品にマッチしてXML Eventsの記述を出力するテンプレートの集合になる。
ここで、図12の(i)は、図9Aの(ii)のinput要素にマッチし、図10Aの(i)が出力するMMMLのGUI部品に「onmousedown」イベントが発生した場合に、図11の(i)が出力する音声入力部品をアクティベートするという同期の記述を生成するテンプレートである。また、図12の(ii)についても図12の(i)とほぼ同様である。
そして、スタイルシート生成部103は、例えば、図10A〜図12のスタイルシート部品の集合から、図5のようなプロファイル情報に応じて適当なスタイルシート部品を選択し、動的にスタイルシートを生成する。
ここで、動的に生成したスタイルシートについて、図13を用いて説明する。
図13は本発明の実施形態に係るスタイルシートの一例を示す図である。
図13の(i)は、プロファイル情報に基づいて設定されるパラメータを示す記述であり、スタイルシート部品内での条件分岐やパラメータとして用いる。例えば、ユーザの使用言語を設定する図5の<system−language>〜</system−language>は、図13の(i)では、languageというパラメータとして設定する。
これより、使用言語に応じて画面に表示する文章や認識語彙、合成音が変更される。操作機器100の画面サイズを設定する図5の<screen−height>〜</screen−height>、<screen−width>〜</screen−width>は、図13ではそれぞれdisplayheight、displaywidthというパラメータとして設定する。
この値に応じてブラウザの画面サイズ、キャプション、GUIのフォームの大きさなどが変更される。また、操作機器100で、GUIや音声認識・合成機能を使用可能か、使用したいかを設定する図5の<gui>〜</gui>、<asr>〜</asr>、<tts>〜</tts>の値に応じて、図13の(i)のgui、listen、speech等のパラメータを決める。
図5は、音声認識・合成ともに可能であることを示しているので、図13の(i)のgui、listen、speechパラメータもそれに応じた値(「on」)に設定される。これらは、GUI表示や音声認識・合成のON/OFFを切り替えるフラグ等として使用される。
図13の(ii)は、プロファイル情報に応じて、どのスタイルシート部品をインクルードするかを示す記述である。例えば、図5の<gui>〜</gui>がonであれば、図13のスタイルシート部品(本例では、ファイル名=GUIFormTemplate.xsl)をインクルードする。
同様に、図5の<asr>〜</asr>や<tts>〜</tts>がonであれば、図13のスタイルシート部品(本例では、ファイル名=SpeechFormTemplate.xsl)をインクルードする。
このようにして、作成された最終的なスタイルシートに基づいて、図9のソースドキュメントを変換部107で変換することで、プロファイル情報に応じたユーザインタフェースのコンテンツを生成することができる。
以上のようにして、生成される最終的なユーザインタフェースのコンテンツの記述について、図14A〜図14Dを用いて説明する。
図14A〜図14Dは本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。
図14Aの(i)は、操作対象機器200のデータモデルを記述したものであり、コピー部数(<copier:CopyNum/>)等のパラメータが記述されている。
図14Aの(ii)は、テキストボックスやプルダウンメニュー等のGUIのフォームをマウスでクリックした時に、後述の音声入力部品をアクティベートするというイベントの記述である。
図14Bの(iii)は、「部数」や「用紙」、「倍率」等のキャプションの表示の記述である。
図14Bの(iv)は、テキストボックスやプルダウンメニューやボタン等のGUI構成要素の記述である。
図14C及び図14Dの(v)は、音声入力部品の記述であり、音声認識グラマを読み込んで音声認識を開始し、音声認識結果をデータモデルで定義したパラメータへバインドすることを示している。
即ち、GUIのフォームをクリックすると、音声入力部品がアクティベートされて音声認識が開始し、音声認識結果がパラメータにバインドされ、クリックしたGUIのフォームを認識結果で埋めることができる。また、これは、直接入力やプルダウンメニューの選択でもフォームを埋めることが可能である。このようにして、音声とGUIの入力が可能なマルチモーダルなユーザインタフェースを実現することができる。
そして、この図14A〜図14Dによるコンテンツを音声やGUIでの入出力が可能なマルチモーダルブラウザで実行した時の表示画面の一例は、図15のようになる。
以上説明したように、本実施形態によれば、操作機器100の特性やユーザの特性・嗜好を考慮して、操作機器のユーザインタフェースとしてのロジックや使用モダリティを動的に操作対象機器で生成して、これを操作機器で実現できるようにすることで、操作に不慣れなユーザや視覚障害者等のユーザに応じて適切にカスタマイズされたユーザインタフェースを提供して、ユーザビリティを向上することができる。
[他の実施形態]
上記実施形態において、プロファイル情報として、図5に示す情報を用いたが、プロファイル情報が図16のような場合は、これに応じたUIの適応がなされる。ここで、図5との相違は、使用言語が英語(<system−language>english</system−language>)、利用可能なモダリティがGUI(<gui>yes</gui>、<asr>no</asr>、<tts>no</tts>)のみという点である。
このプロファイル情報に応じて適当なスタイルシートを選択し、動的にスタイルシートを生成すると図17のようになる。上記実施形態で用いた図13のスタイルシートと比較すると、図17の(i)のパラメータでは、languageがenglishに、speechがoffになっている点や、図17の(ii)のインクルードするスタイルシート部品に、音声の部品に変換する部品(本例では、ファイル名=SpeechFormTemplate.xsl)が記述されていない点などが異なる。
そして、このスタイルシートを用いて、図9のソースドキュメントを変換部107で変換すると、図18A〜図18Cのようなユーザインタフェースのコンテンツとなる。図19はこのコンテンツを音声やGUIでの入出力が可能なマルチモーダルブラウザで実行した時の表示画面の一例である。
上記実施形態で用いた図14のユーザインタフェースのコンテンツと比較すると、図14Bの(iii)に対する図18Aの(i)で記述しているキャプションと、図14B及び図14Cの(iv)に対する図18A〜図18Cの(ii)で記述しているプルダウンメニューのメニュー項目の表記がそれぞれ英語になっている点と、図14Aの(ii)や図14C及び図14Dの(v)のような音声部品に関する記述がない点が異なる。
つまり、このユーザインタフェースのコンテンツをマルチモーダルなブラウザで実行すると、表記が英語で、モダリティとしてGUIのみが有効なものが実現する。このようにして、プロファイル情報に応じてモダリティや表示を変更することが可能である。
[他の実施形態]
上記実施形態では、健常者で操作対象機器200(コピー機)の熟練度が平均的であるユーザを想定し、音声とGUIによる入力が可能な、ユーザがテキストボックスやプルダウンメニューを能動的に埋めていくユーザ主導UIを操作機器100(PDA)上で提示する例を示したが、これに限定されない。
例えば、視覚障害者や熟練度の低いユーザには、システムが入力項目を尋ね、ユーザの応答によって項目を埋めていくシステム主導UIを、特に、視覚障害者には音声中心のシステム主導UIを提示することができる。例えば、以下に示すような応答となる。
コピー機: 「何枚コピーしますか?」
ユーザ : 「3枚」
コピー機: 「3枚でよろしいですか?」
ユーザ : 「はい」
コピー機: 「用紙サイズはどのようにしますか?」
ユーザ : 「A4」



コピー機: 「コピーしますか?」
ユーザ : 「はい」
[コピー開始]
この場合、上記の応答を実現するコンテンツが記述されることになる。
[他の実施形態]
上記実施形態において、ユーザインタフェースのコンテンツを実行する操作機器で行う音声認識のタイプとして、「5枚」や「A4」のような単発の単語を受け付ける単語音声認識を想定していたが、複数の単語を組み合わせた連続的な発声を受け付ける連続音声認識にすることもできる。これより、例えば、「5枚でA4からA3で一番濃く」と発声すると、複数の対応するフィールドを同時に埋めることができる。
[他の実施形態]
上記実施形態において、抽象UI部品から具体UI部品に変換する典型的なスタイルシートと、テキストやフォームのスタイル、キャプション等のアプリケーション依存のスタイルシートとを分離し、典型的なスタイルシートをアプリケーションに依存しない記述にして、上記実施形態で示した操作対象機器200(コピー機)以外の他の機器でも再利用可能な形で記述することで、オーサリングコストを一層削減することができる。
例えば、図10Aでは、inputやselect1の属性中でstyle属性(GUI部品の位置や大きさを指定する記述)は、それぞれ図10Aの(iii)と(iv)に示すように、操作対象機器200(コピー機)のUIというアプリケーションに依存した記述になっている。
そこで、図10のスタイルシートにおいて、図10の(iii)を図20の(i)に、図10の(iv)を図20の(ii)と書き換えた図20のスタイルシートでstyle属性以外の部分を先に変換するようにし、その変換結果をstyle属性のみを変換するスタイルシートで変換するようにする。
そのスタイルシートの例を、図21に示す。図21のスタイルシートでは、図21の(i)でstyle属性を変換し、図21の(ii)でstyle属性以外の残りの部分をコピーするようにしている。それによって、図20のスタイルシートは、「抽象UI部品のinputはGUIのテキストボックスに、select1はGUIのプルダウンメニューに変換する」等の記述だけが残り、操作対象機器200(コピー機)のUIという特定のアプリケーションに依存した記述がなくなる。即ち、図20のスタイルシートは、他のアプリケーションでも利用可能になる。
[他の実施形態]
上記実施形態において、プロファイル情報は、ユーザが操作機器100で実現されるGUIを介して、ユーザによって設定する構成としているが、ユーザの操作機器100における操作履歴からプロファイル情報を動的に生成できるようにしてもよい。
[他の実施形態]
上記実施形態において、プロファイル情報は、ユーザが操作機器100で実現されるGUIで手動で設定するようにしたが、ユーザを特定するためのユーザIDを入力し、そのユーザIDから、ユーザID毎のプロファイル情報を管理するユーザ情報データベースにアクセスして、そのユーザIDに対応するプロファイル情報を取得するようにしても良い。
尚、このユーザ情報データベースは、例えば、操作機器100で管理しても良いし、操作機器100が有線/無線ネットワーク経由でアクセス可能な専用サーバで管理しても良い。
[他の実施形態]
上記実施形態においては、本実施形態を実現する各種プログラムを、操作機器100のROM203や操作対象機器200のROM303に保持する場合について説明したが、これに限定されるものではなく、操作機器100や操作対象機器200に接続可能な外部記憶装置(CD−ROM/R/RWドライブ、DVD−ROM/RAM/R/RWドライブ、ZIPドライブ、MOドライブ、メモリカード(例えば、SDカード、MM(マルチメディア)カード、スマートメディア、コンパクトフラッシュ(登録商標))スロット)に保持するようにしても。あるいは、各種プログラムを実現する専用のハードウェアを構成するようにしても良い。
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
本発明の実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の実施形態に係る操作機器のハードウェア構成を示す構成図である。 本発明の実施形態に係る操作対象機器のハードウェア構成を示す構成図である。 本発明の実施形態に係る情報処理システムが実行する処理を示すフローチャートである。 本発明の実施形態に係るプロファイル情報の一例を示す図である。 本発明の実施形態に係るソースドキュメントの一例を示す図である。 本発明の実施形態に係る抽象UI部品を含むソースドキュメントを具体UI部品へと変換する一例を示す図である。 本発明の実施形態に係る、スタイルシート部品の集合からプロファイル情報に応じて適当なものを選択し、それらを結合して最終的なスタイルシートを作成した一例を示す図である。 本発明の実施形態に係る操作対象機器のソースドキュメントの一例を示す図である。 本発明の実施形態に係る操作対象機器のソースドキュメントの一例を示す図である。 本発明の実施形態に係る操作対象機器のソースドキュメントの一例を示す図である。 本発明の実施形態に係るスタイルシート部品の一例を示す図である。 本発明の実施形態に係るスタイルシート部品の一例を示す図である。 本発明の実施形態に係るスタイルシート部品の一例を示す図である。 本発明の実施形態に係るスタイルシート部品の一例を示す図である。 本発明の実施形態に係るスタイルシート部品の一例を示す図である。 本発明の実施形態に係るスタイルシートの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツをマルチモーダルブラウザで実行した時の表示画面の一例を示す図である。 本発明の他の実施形態に係るプロファイル情報の一例を示す図である。 本発明の他の実施形態に係るスタイルシートの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の実施形態に係るユーザインタフェースのコンテンツの一例を示す図である。 本発明の他の実施形態に係るユーザインタフェースのコンテンツをマルチモーダルブラウザで実行した時の表示画面の一例を示す図である。 本発明の他の実施形態に係る、ソースドキュメントの中の抽象UI部品を具体UI部品へと変換するスタイルシートにおいて、style属性の記述部分を分離し、アプリケーション非依存の形で記述した一例を示す図である。 本発明の他の実施形態に係るスタイルシートの一例を示す図である。
符号の説明
100 操作機器
101 プロファイル情報作成部
102 プロファイル情報解析部
103 スタイルシート生成部
104 スタイルシート保持部
105 ソースドキュメント選択部
106 ソースドキュメント保持部
107 変換部
108 コンテンツ実行部
109 音声入力部
110 表示部
111 GUI入力部
200 操作対象機器

Claims (10)

  1. 操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置であって、
    前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信手段と、
    前記プロファイル情報を解析する解析手段と、
    前記操作対象機器の操作のフローを記述したソースドキュメントを保持するソースドキュメント保持手段と、
    前記解析手段で解析したプロファイル情報に応じて、前記ソースドキュメント保持手段からソースドキュメントを選択する選択手段と、
    前記ソースドキュメントを変換する変換記述部品を保持する変換記述部品保持手段と、
    前記解析手段で解析したプロファイル情報に応じて、前記変換記述部品保持手段から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成手段と、
    前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換手段と、
    前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信手段とを備え、
    前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
    ことを特徴とする情報処理装置。
  2. 前記ソースドキュメント、前記変換記述部品及び前記ユーザインタフェースのコンテンツは、XML言語で記述されている
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記変換記述部品及び前記変換記述は、スタイルシートとして記述されている
    ことを特徴とする請求項1または請求項2に記載の情報処理装置。
  4. 前記操作対象機器は、当該情報処理装置である
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記操作機器と前記操作対象機器とは別の機器であり、
    前記操作機器は、
    前記プロファイル情報を前記情報処理装置へ送信する送信手段と、
    前記情報処理装置から前記ユーザインタフェースのコンテンツを受信する受信手段と、
    前記ユーザインタフェースのコンテンツを実行する実行手段とを備える
    ことを特徴とする請求項1に記載の情報処理装置。
  6. 前記送信手段は、前記操作機器に入力された前記プロファイル情報を前記情報処理装置へ送信する
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記送信手段は、前記操作機器に対するユーザの操作履歴に基づいて作成された前記プロファイル情報を前記情報処理装置へ送信する
    ことを特徴とする請求項5に記載の情報処理装置。
  8. 前記操作機器は、当該操作機器のユーザに対応する前記プロファイル情報を取得する取得手段を備え、
    前記送信手段は、前記取得手段で取得したプロファイル情報を前記情報処理装置へ送信する
    ことを特徴とする請求項5に記載の情報処理装置。
  9. 操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置の制御方法であって、
    前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信工程と、
    前記プロファイル情報を解析する解析工程と、
    前記解析工程で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記操作対象機器の操作のフローを記述したソースドキュメント群からソースドキュメントを選択する選択工程と、
    前記解析工程で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記ソースドキュメントを変換する変換記述部品群から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成工程と、
    前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換工程と、
    前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信工程とを備え、
    前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
    ことを特徴とする情報処理装置の制御方法。
  10. 操作機器が操作対象機器を操作するためのユーザインタフェースを生成する情報処理装置の制御を実現するプログラムであって、
    前記操作機器の特性を示す特性情報及び前記操作機器を操作するユーザに関するユーザ情報を含むプロファイル情報を受信する受信工程のプログラムコードと、
    前記プロファイル情報を解析する解析工程のプログラムコードと、
    前記解析手段で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記操作対象機器の操作のフローを記述したソースドキュメント群からソースドキュメントを選択する選択工程のプログラムコードと、
    前記解析手段で解析した前記プロファイル情報に応じて、記憶媒体に記憶された前記ソースドキュメントを変換する変換記述部品群から変換記述部品を選択して、選択した変換記述部品を統合して変換記述を生成する生成工程変換記述と、
    前記変換記述で前記ソースドキュメントを変換して、前記操作機器による前記操作対象機器の操作を実現するユーザインタフェースのコンテンツを生成する変換工程変換記述と、
    前記ユーザインタフェースのコンテンツを前記操作機器へ送信する送信工程変換記述とを備え、
    前記ソースドキュメントは、前記操作機器のユーザインタフェースを実現する具体的な操作部品とは独立な抽象的な操作部品の記述を含み、前記変換記述部品は、前記ソースドキュメント中の抽象的な操作部品を、前記操作機器の具体的な操作部品に変換する記述を含む
    ことを特徴とするプログラム。
JP2003324693A 2003-09-17 2003-09-17 情報処理装置及びその制御方法、プログラム Expired - Fee Related JP3938121B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003324693A JP3938121B2 (ja) 2003-09-17 2003-09-17 情報処理装置及びその制御方法、プログラム
US10/937,500 US20050060046A1 (en) 2003-09-17 2004-09-10 Information processing apparatus, its control method, and program
EP04255594A EP1517248A3 (en) 2003-09-17 2004-09-15 Information processing apparatus, its control method, and program
CNA2004100780067A CN1598768A (zh) 2003-09-17 2004-09-16 信息处理装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003324693A JP3938121B2 (ja) 2003-09-17 2003-09-17 情報処理装置及びその制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2005092504A true JP2005092504A (ja) 2005-04-07
JP3938121B2 JP3938121B2 (ja) 2007-06-27

Family

ID=34191313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003324693A Expired - Fee Related JP3938121B2 (ja) 2003-09-17 2003-09-17 情報処理装置及びその制御方法、プログラム

Country Status (4)

Country Link
US (1) US20050060046A1 (ja)
EP (1) EP1517248A3 (ja)
JP (1) JP3938121B2 (ja)
CN (1) CN1598768A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129356A (ja) * 2004-11-01 2006-05-18 Fuji Xerox Co Ltd 文書処理システム、文書処理装置、デバイス、文書処理システムのui表示処理方法および表示処理プログラム
JP2006135644A (ja) * 2004-11-05 2006-05-25 Fuji Xerox Co Ltd 文書処理システムおよびその文書処理方法、文書処理装置、画像入力装置
JP2007087398A (ja) * 2005-09-22 2007-04-05 Sharp Corp 表示データの作成方法、画像処理装置の表示を標準化する方法、画像処理装置、画像処理装置の制御システム、画像処理装置の制御方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP2009110116A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 画像検査システム
JP2009134370A (ja) * 2007-11-28 2009-06-18 Brother Ind Ltd インストールプログラムおよび情報処理装置
US7849413B2 (en) 2006-07-27 2010-12-07 Canon Kabushiki Kaisha Information processing apparatus and user interface control method
US7913191B2 (en) 2006-03-17 2011-03-22 International Business Machines Corporation Common input/output interface for application programs
CN103488615A (zh) * 2012-06-12 2014-01-01 北汽福田汽车股份有限公司 一种软硬件接口定义的源文件自动生成方法和装置
US8707183B2 (en) 2007-12-11 2014-04-22 Brother Kogyo Kabushiki Kaisha Detection of a user's visual impairment based on user inputs or device settings, and presentation of a website-related data for sighted or visually-impaired users based on those inputs or settings
JP2015201056A (ja) * 2014-04-08 2015-11-12 株式会社リコー 電子機器、複写機及び情報提示システム

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890639B1 (en) 2002-01-30 2011-02-15 Novell, Inc. Method and apparatus for controlling access to portal content from outside the portal
US7987421B1 (en) * 2002-01-30 2011-07-26 Boyd H Timothy Method and apparatus to dynamically provide web content resources in a portal
US8237946B2 (en) * 2004-10-08 2012-08-07 Sharp Laboratories Of America, Inc. Methods and systems for imaging device accounting server redundancy
US8060930B2 (en) 2004-10-08 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential receipt and authentication
US8120799B2 (en) 2004-10-08 2012-02-21 Sharp Laboratories Of America, Inc. Methods and systems for accessing remote, descriptor-related data at an imaging device
US8035831B2 (en) * 2004-10-08 2011-10-11 Sharp Laboratories Of America, Inc. Methods and systems for imaging device remote form management
US8120797B2 (en) 2004-10-08 2012-02-21 Sharp Laboratories Of America, Inc. Methods and systems for transmitting content to an imaging device
US8115944B2 (en) * 2004-10-08 2012-02-14 Sharp Laboratories Of America, Inc. Methods and systems for local configuration-based imaging device accounting
US7873718B2 (en) 2004-10-08 2011-01-18 Sharp Laboratories Of America, Inc. Methods and systems for imaging device accounting server recovery
US8213034B2 (en) * 2004-10-08 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for providing remote file structure access on an imaging device
US7969596B2 (en) * 2004-10-08 2011-06-28 Sharp Laboratories Of America, Inc. Methods and systems for imaging device document translation
US8015234B2 (en) * 2004-10-08 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for administering imaging device notification access control
US8051140B2 (en) 2004-10-08 2011-11-01 Sharp Laboratories Of America, Inc. Methods and systems for imaging device control
US8384925B2 (en) * 2004-10-08 2013-02-26 Sharp Laboratories Of America, Inc. Methods and systems for imaging device accounting data management
US20060095536A1 (en) * 2004-10-08 2006-05-04 Rono Mathieson Methods and systems for imaging device remote location functions
US8171404B2 (en) * 2004-10-08 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for disassembly and reassembly of examination documents
US8006292B2 (en) 2004-10-08 2011-08-23 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential submission and consolidation
US8049677B2 (en) 2004-10-08 2011-11-01 Sharp Laboratories Of America, Inc. Methods and systems for imaging device display element localization
US8060921B2 (en) * 2004-10-08 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential authentication and communication
US7870185B2 (en) 2004-10-08 2011-01-11 Sharp Laboratories Of America, Inc. Methods and systems for imaging device event notification administration
US8018610B2 (en) * 2004-10-08 2011-09-13 Sharp Laboratories Of America, Inc. Methods and systems for imaging device remote application interaction
US20060077119A1 (en) * 2004-10-08 2006-04-13 Sharp Laboratories Of America, Inc. Methods and systems for receiving content at an imaging device
US8001586B2 (en) * 2004-10-08 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential management and authentication
US7826081B2 (en) 2004-10-08 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for receiving localized display elements at an imaging device
US8024792B2 (en) 2004-10-08 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential submission
US7934217B2 (en) * 2004-10-08 2011-04-26 Sharp Laboratories Of America, Inc. Methods and systems for providing remote file structure access to an imaging device
US8156424B2 (en) * 2004-10-08 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for imaging device dynamic document creation and organization
US8230328B2 (en) 2004-10-08 2012-07-24 Sharp Laboratories Of America, Inc. Methods and systems for distributing localized display elements to an imaging device
US8023130B2 (en) * 2004-10-08 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for imaging device accounting data maintenance
US8032608B2 (en) 2004-10-08 2011-10-04 Sharp Laboratories Of America, Inc. Methods and systems for imaging device notification access control
US8125666B2 (en) 2004-10-08 2012-02-28 Sharp Laboratories Of America, Inc. Methods and systems for imaging device document management
US7920101B2 (en) * 2004-10-08 2011-04-05 Sharp Laboratories Of America, Inc. Methods and systems for imaging device display standardization
US8006176B2 (en) 2004-10-08 2011-08-23 Sharp Laboratories Of America, Inc. Methods and systems for imaging-device-based form field management
US7873553B2 (en) * 2004-10-08 2011-01-18 Sharp Laboratories Of America, Inc. Methods and systems for authorizing imaging device concurrent account use
US7970813B2 (en) * 2004-10-08 2011-06-28 Sharp Laboratories Of America, Inc. Methods and systems for imaging device event notification administration and subscription
US7966396B2 (en) 2004-10-08 2011-06-21 Sharp Laboratories Of America, Inc. Methods and systems for administrating imaging device event notification
US8065384B2 (en) 2004-10-08 2011-11-22 Sharp Laboratories Of America, Inc. Methods and systems for imaging device event notification subscription
US8051125B2 (en) 2004-10-08 2011-11-01 Sharp Laboratories Of America, Inc. Methods and systems for obtaining imaging device event notification subscription
US8006293B2 (en) * 2004-10-08 2011-08-23 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential acceptance
US8001183B2 (en) * 2004-10-08 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for imaging device related event notification
US8001587B2 (en) 2004-10-08 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for imaging device credential management
US8115947B2 (en) * 2004-10-08 2012-02-14 Sharp Laboratories Of America, Inc. Methods and systems for providing remote, descriptor-related data to an imaging device
US7978618B2 (en) * 2004-10-08 2011-07-12 Sharp Laboratories Of America, Inc. Methods and systems for user interface customization
US8115945B2 (en) * 2004-10-08 2012-02-14 Sharp Laboratories Of America, Inc. Methods and systems for imaging device job configuration management
US8115946B2 (en) 2004-10-08 2012-02-14 Sharp Laboratories Of America, Inc. Methods and sytems for imaging device job definition
US20060077443A1 (en) * 2004-10-08 2006-04-13 Sharp Laboratories Of America, Inc. Methods and systems for imaging device display coordination
US20060085430A1 (en) * 2004-10-08 2006-04-20 Sharp Laboratories Of America, Inc. Methods and systems for accessing a remote file structure from an imaging device
US8032579B2 (en) 2004-10-08 2011-10-04 Sharp Laboratories Of America, Inc. Methods and systems for obtaining imaging device notification access control
US8120793B2 (en) 2004-10-08 2012-02-21 Sharp Laboratories Of America, Inc. Methods and systems for displaying content on an imaging device
US8120798B2 (en) * 2004-10-08 2012-02-21 Sharp Laboratories Of America, Inc. Methods and systems for providing access to remote, descriptor-related data at an imaging device
US8428484B2 (en) * 2005-03-04 2013-04-23 Sharp Laboratories Of America, Inc. Methods and systems for peripheral accounting
JP4814039B2 (ja) * 2005-10-27 2011-11-09 株式会社リコー 画像処理装置、画像処理プログラムおよび記録媒体
US20070135945A1 (en) * 2005-12-14 2007-06-14 Microsoft Corporation Identifying property relationships
US8345272B2 (en) * 2006-09-28 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for third-party control of remote imaging jobs
EP1970783B1 (de) * 2007-03-14 2014-11-05 Phoenix Contact GmbH & Co. KG Verfahren, Steuergerät und Steuerungssystem zur Steuerung eines Automatisierungssystem
US20090164285A1 (en) * 2007-12-20 2009-06-25 International Business Machines Corporation Auto-cascading clear to build engine for multiple enterprise order level parts management
US9015226B2 (en) 2011-01-06 2015-04-21 Oracle International Corporation Techniques for detecting new browser windows
US8892635B2 (en) 2011-01-06 2014-11-18 Oracle International Corporation Techniques for detecting inactive browser windows
US9424236B2 (en) * 2011-04-26 2016-08-23 Oracle International Corporation Filtered Stylesheets
JP7042623B2 (ja) 2018-01-05 2022-03-28 キヤノン株式会社 情報処理装置と情報処理システム及び記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2331743C (en) * 1998-05-07 2007-01-23 Samsung Electronics Co., Ltd. Method and apparatus for universally accessible command and control information in a network
EP1308856A3 (en) * 2001-11-01 2006-01-18 Matsushita Electric Industrial Co., Ltd. Information providing system and information providing server apparatus for use therein, information terminal unit, and information providing method using to user profile
US20030158898A1 (en) * 2002-01-28 2003-08-21 Canon Kabushiki Kaisha Information processing apparatus, its control method, and program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129356A (ja) * 2004-11-01 2006-05-18 Fuji Xerox Co Ltd 文書処理システム、文書処理装置、デバイス、文書処理システムのui表示処理方法および表示処理プログラム
JP4539293B2 (ja) * 2004-11-01 2010-09-08 富士ゼロックス株式会社 文書処理システム、文書処理装置、デバイス、文書処理システムのui表示処理方法および表示処理プログラム
JP2006135644A (ja) * 2004-11-05 2006-05-25 Fuji Xerox Co Ltd 文書処理システムおよびその文書処理方法、文書処理装置、画像入力装置
JP4615498B2 (ja) * 2005-09-22 2011-01-19 シャープ株式会社 画像処理装置、画像処理装置の制御システム、画像処理装置の制御方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP2007087398A (ja) * 2005-09-22 2007-04-05 Sharp Corp 表示データの作成方法、画像処理装置の表示を標準化する方法、画像処理装置、画像処理装置の制御システム、画像処理装置の制御方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US7913191B2 (en) 2006-03-17 2011-03-22 International Business Machines Corporation Common input/output interface for application programs
US7849413B2 (en) 2006-07-27 2010-12-07 Canon Kabushiki Kaisha Information processing apparatus and user interface control method
JP2009110116A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 画像検査システム
JP2009134370A (ja) * 2007-11-28 2009-06-18 Brother Ind Ltd インストールプログラムおよび情報処理装置
US8707183B2 (en) 2007-12-11 2014-04-22 Brother Kogyo Kabushiki Kaisha Detection of a user's visual impairment based on user inputs or device settings, and presentation of a website-related data for sighted or visually-impaired users based on those inputs or settings
CN103488615A (zh) * 2012-06-12 2014-01-01 北汽福田汽车股份有限公司 一种软硬件接口定义的源文件自动生成方法和装置
CN103488615B (zh) * 2012-06-12 2016-08-24 北汽福田汽车股份有限公司 一种软硬件接口定义的源文件自动生成方法和装置
JP2015201056A (ja) * 2014-04-08 2015-11-12 株式会社リコー 電子機器、複写機及び情報提示システム

Also Published As

Publication number Publication date
US20050060046A1 (en) 2005-03-17
CN1598768A (zh) 2005-03-23
EP1517248A2 (en) 2005-03-23
EP1517248A3 (en) 2007-05-02
JP3938121B2 (ja) 2007-06-27

Similar Documents

Publication Publication Date Title
JP3938121B2 (ja) 情報処理装置及びその制御方法、プログラム
JP4800343B2 (ja) ブラウザ対応ヒューマンインターフェイスデスクリプションを生成し且つ処理するための方法およびシステム
JP2004005676A (ja) 双方主導マルチ・モーダル対話及び関連ブラウジング機構を作成するための方法及びシステム
JP2005174026A (ja) 情報処理装置及びその制御方法、プログラム
JP2002244849A (ja) データ処理装置
US20050228635A1 (en) Method for describing existing data by a natural language and program for that
JPH09222974A (ja) 言語解釈表示方法とその方法を用いた装置およびシステム
JP7200533B2 (ja) 情報処理装置およびプログラム
JP2008145769A (ja) 対話シナリオ生成システム,その方法およびプログラム
US11182542B2 (en) Exposing annotations in a document
JP2007010754A (ja) ユーザインターフェース装置及び方法
JP2002207727A (ja) クライアント装置、そのプログラムを記録した記録媒体、及びそのプログラム
US20050165712A1 (en) Method for operating software object using natural language and program for the same
JP2007164732A (ja) コンピュータ実行可能なプログラム、および情報処理装置
JP2000076226A (ja) 文書データの編集システム
JP2003099424A (ja) 文書のデータ構造、記憶媒体及び情報処理装置
JPH09237274A (ja) Www用htmlファイル作成方法及び装置
JPH09325787A (ja) 音声合成方法、音声合成装置、文章への音声コマンド組み込み方法、及び装置
DeMeglio et al. Accessible interface design: Adaptive multimedia information system (amis)
TW201537372A (zh) 動作設計裝置及動作設計程式產品
JP2003099447A (ja) 文書のデータ構造、記憶媒体及び情報処理装置
JP2003099302A (ja) 文書変換サービス方法、文書のデータ構造、記憶媒体及び情報処理装置
US20050119888A1 (en) Information processing apparatus and method, and program
JP2006155035A (ja) ユーザインタフェースの構築方法
KR102548088B1 (ko) 오디오 콘텐츠 제작을 위한 사용자 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070319

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees