JP2005031995A - ユーザインタフェース制御装置及びその方法 - Google Patents

ユーザインタフェース制御装置及びその方法 Download PDF

Info

Publication number
JP2005031995A
JP2005031995A JP2003196555A JP2003196555A JP2005031995A JP 2005031995 A JP2005031995 A JP 2005031995A JP 2003196555 A JP2003196555 A JP 2003196555A JP 2003196555 A JP2003196555 A JP 2003196555A JP 2005031995 A JP2005031995 A JP 2005031995A
Authority
JP
Japan
Prior art keywords
user interface
data model
application software
describing
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003196555A
Other languages
English (en)
Other versions
JP4428952B2 (ja
Inventor
Makoto Hirota
誠 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003196555A priority Critical patent/JP4428952B2/ja
Priority to US10/889,072 priority patent/US7890506B2/en
Publication of JP2005031995A publication Critical patent/JP2005031995A/ja
Application granted granted Critical
Publication of JP4428952B2 publication Critical patent/JP4428952B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】アプリケーション開発者がデザインしたユーザインタフェースの表現を個々のユーザにとって使いやすいUI部品に置き換えて、より使いやすいユーザインタフェースにカスタマイズし、操作性を高めることができるユーザインタフェース制御装置及びその方法を提供する。
【解決手段】クライアントコンピュータ101は、ユーザインタフェースの表現を記述する要素と、ユーザインタフェースで表現されるデータモデルを記述する要素とを含むアプリケーション・ソフトをアプリケーションサーバ102からネットワーク103を介して通信部205が取得し、UI部品検索部207が、データモデルの要素と置換可能なユーザの好みの表現を持ったUI部品を個人UI部品ライブラリ206から検索する。そして、アプリケーション・ソフト内の第2の要素を検索されたUI部品にUI部品置き換え部208が置き換える。
【選択図】 図2

Description

【0001】
【発明の属する技術分野】
本発明は、データモデルとそれを表現する表現の要素とから成るアプリケーション・ソフトを実行してユーザインタフェースを表現するユーザインタフェース制御技術に関する。
【0002】
【従来の技術】
一般に、ソフトウェアアプリケーションは、そのアプリケーションの開発者がデザインしたユーザインタフェースを持つ。その多くはGUI(Graphical User Interface)であり、ユーザは、マウスやキーボードを用いて、コンピュータ画面上に表示されるGUIによるボタンをクリックしたり、プルダウンメニューから選択したりしながらアプリケーションを操作する。また、近年では、音声認識・合成の技術が進展し、音声ユーザインタフェースによるアプリケーションの操作も可能になってきている。
【0003】
さらに、ユーザインタフェースをマークアップ言語で記述し、ブラウザでマークアップ言語を実行することによってユーザインタフェースを実現する技術も知られている。現在広く普及しているHTMLとウエブブラウザは、このような技術の一例であると言える。HTMLとウエブブラウザは、もともとはドキュメントの閲覧のための技術であったが、HTMLのフォームやウエブサーバ側のCGI(Common Gateway Interface)の機構により、インタラクションも可能になっている。例えば、ウエブコンテンツの検索を行うサーチエンジンのページでは、検索語を入力するテキストボックスがあり、「検索」ボタンをクリックすることで検索ができる。それ以外にも、ウエブブラウザ上でさまざまなデータを入力しサーバに送信するスタイルが広く普及している。これらの例では、HTMLが一種のGUI記述言語の役割を果たしている。
【0004】
一方、W3C(World Wide Web Consortium)が策定しているVoiceXMLというマークアップ言語は、音声によるインタラクションを記述する言語である。
【0005】
ユーザインタフェースは、論理的には、「データモデル」の要素と「表現」の要素とに分離して考えることができる。「データモデル」とは、アプリケーションがそのユーザインタフェースを通じてユーザからどのようなデータを得ようとしているのかを表すものである。前述のサーチエンジンの場合は、ユーザから得ようとするものは「検索語」となる文字列であり、これがサーチエンジンのデータモデルである。これは本質的に、ユーザインタフェースの表現とは独立である。一方、「表現」とは、ユーザインタフェースがどのようなモダリティ(modality)で構成されるか(例えば、GUIや音声等)、そして、GUIの場合は見た目がどのようになるのかということを表すものである。
【0006】
サーチエンジンの場合、GUIをベースとし、検索語を入力するためにテキストボックスというGUI部品を割り当てている。例えば、検索語がいくつかの文字列の1つに限られている場合であれば、テキストボックスではなく、プルダウンメニューを用いる方法もある。また、近年普及しつつあるボイスポータルの場合は、ユーザから得ようとするものは「検索語」となる文字列であるが、これに対応する表現はテキストボックスではなく、音声入力というモダリティである。
【0007】
上述のように、「検索」というアプリケーションのユーザインタフェースは、「検索語」というデータモデルを持ち、これに対して、さまざまな表現を割り当てることができる。上記W3Cでは、XFormsと呼ばれるマークアップ言語の仕様を策定している。これは、ユーザインタフェースの表現とデータモデルを分離して記述できるようなXMLベースのマークアップ言語である。
【0008】
そして、ほとんどのユーザが、通常、上述したようなアプリケーションの開発者がデザインしたユーザインタフェースの表現に従ってアプリケーションの操作を行っている。
【0009】
尚、上記従来技術は、現在のWEBに相当する技術であり、出願人は、当該技術に関する適切な先行技術文献情報について現時点では把握していない。
【0010】
【発明が解決しようとする課題】
しかしながら、各ユーザが使用するユーザインタフェースの表現は、上記のようにアプリケーションの開発者がデザインしているので、必ずしもそれぞれのユーザにとって使いやすいものになっているとは限らない。例えば、ユーザ名、住所及び郵便番号等を入力させるユーザインタフェースでは、それぞれの項目ごとにテキストフィールドを割り当て、ユーザにキーボード等で入力される場合がしばしば見受けられる。
【0011】
例えば、このようなユーザインタフェースで名前のフィールドを埋める場合、多くは自分の名前か、せいぜい自分のまわりの限られた人名である場合が多い。従って、各ユーザからすると、テキストフィールドにユーザ名等をキーボード等を用いて入力するよりは、そのいくつかの名前の候補を持つプルダウンメニューからマウス等で選択するほうが操作が容易である。また、そのいくつかの名前の候補を認識語彙とする音声認識によって入力できるようなユーザインタフェースを好むユーザも多い。
【0012】
一方、郵便番号を入力するような場合、通常、ユーザがすべての郵便番号を記憶していることはほとんどないと考えられ、多くは何らかの手段を用いて郵便番号を探して、これをテキストフィールドにキーボード等で打ち込む必要がある。これよりは、例えばインターネット上で閲覧可能なURL:http://www1.sphere.ne.jp/yjk/postal/で示されるような表現を持つユーザインタフェースで、地図やリンクのクリックだけで郵便番号を探し出して入力できれば便利であると考えるユーザも多いであろう。
【0013】
上述したように、同じデータモデルであっても、どのようなユーザインタフェースの表現が好ましいかは、それぞれのユーザによって異なる。しかし、従来は、アプリケーションの開発者がデザインしたユーザインタフェースの表現に従って各ユーザはユーザインタフェースを操作するしかなく、各ユーザごとに適切な表現を割り当てることはできなかった。
【0014】
本発明は、このような事情を考慮してなされたものであり、アプリケーション開発者がデザインしたユーザインタフェースの表現を個々のユーザにとって使いやすいUI部品に置き換えて、より使いやすいユーザインタフェースにカスタマイズし、操作性を高めることができるユーザインタフェース制御装置を提供することを目的とする。
【0015】
【課題を解決するための手段】
上記課題を解決するために、本発明に係るユーザインタフェース制御装置は、ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得手段と、
所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素をペアで保持する保持手段と、
前記アプリケーション・ソフト内の前記第2の要素と置換可能な第3の要素を前記保持手段から検索する検索手段と、
前記アプリケーション・ソフト内の前記第1の要素を、前記第2の要素と置換可能な前記第3の要素とペアの前記第4の要素に置換する置換手段と
を備えることを特徴とする。
【0016】
また、本発明に係るユーザインタフェース制御方法は、ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得工程と、
所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素をペアで保持する保持工程と、
前記アプリケーション・ソフト内の前記第2の要素と置換可能な所定のデータモデルを記述する第3の要素を検索する検索工程と、
前記アプリケーション・ソフト内の前記第1の要素を、前記第2の要素と置換可能な前記第3の要素とペアの前記第4の要素に置換する置換工程と
を有することを特徴とする。
【0017】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【0018】
<第1の実施形態>
図1は、本発明の第1の実施形態に係るユーザインタフェース制御システムの構成図である。第1の実施形態では、図1に示すように、ユーザがクライアントコンピュータを用いて、アプリケーションサーバから提供されるアプリケーション・ソフトをネットワークを介してダウンロードし操作するケースを想定する。図1において、101は、ユーザが使用するクライアントコンピュータ、102は、アプリケーションサーバ、103は、インターネット等のネットワークである。
【0019】
図2は、第1の実施形態に係るクライアントコンピュータ101の細部構成を示すブロック図である。図2において、201は、出力部であり、GUIを表示したり、音声出力をしたりするモジュールである。202は、入力部であり、キーボードやマウスによるGUIへの入力や音声入力を受け付けるモジュールである。203は、ML(Markup Language)解釈部であり、アプリケーションサーバ102からダウンロードされるアプリケーション・ソフトのユーザインタフェース記述言語を解釈するモジュールである。
【0020】
また、204は、UI(User Interface)実行部であり、ユーザインタフェース記述言語の内容を実行するモジュールである。205は、通信部であり、インターネット等のネットワーク103を介してアプリケーションサーバ102と通信し、ユーザインタフェース記述言語をダウンロードしたり、ユーザから入力されたデータをアプリケーションサーバ102へ送信したりする。206は、個人UI部品ライブラリであり、さまざまなデータモデルに対するユーザの好みのユーザインタフェース表現を集めたものである。尚、各データモデルはユーザインタフェース記述言語で記述されている。
【0021】
207は、UI部品検索部であり、アプリケーションサーバ102からダウンロードしたアプリケーション・ソフトのユーザインタフェース記述言語のデータモデルをキーとして個人UI部品ライブラリ206の中から所定の部品(データモデル)を検索する。208は、UI部品置き換え部であり、UI検索部207で検索されたユーザインタフェースの部品に置き換えるモジュールである。
【0022】
図3は、第1の実施形態に係るクライアントコンピュータ101のハードウェア構成図である。図3において、301はCPUであり、後述する手順を実現するプログラムに従って動作する。302はRAMであり、CPU301による後述するプログラムの動作に必要な記憶領域を提供する。303はROMであり、後述する手順を実現するプログラムを保持する。304は液晶表示装置(LCD)であり、GUIの表示等を行う。305は入力装置として機能するキーボードである。306は入力装置として機能するマウスである。307はスピーカであり、音声出力を行う。308はマイクであり、ユーザからの音声入力を受け付ける。309は通信デバイスであり、インターネット等のネットワーク103に接続して、アプリケーションサーバ102との通信を行う。310はクライアントコンピュータ101の内部バスである。
【0023】
ここで、本実施形態におけるクライアントコンピュータ101の動作手順を説明する前に、ユーザインタフェース記述言語について説明する。図5は、第1の実施形態において使用されるユーザインタフェース記述言語とその図式表現の一例を説明するための図である。図5において、5Aに示すように、第1の実施形態におけるユーザインタフェース記述言語はXML(Extensible Markup Language)で記述されているものとする。このユーザインタフェース記述言語は、W3Cが標準化を進めている言語仕様であるXHTML、XFormsを利用した例になっている。
【0024】
図5において、5Aの<xf:model>〜</xf:model>要素の中身がデータモデルを表現している。この例では、”PersonName”、”Email”、”Company”、”ZipCode”、”Address”という5つのデータを入力することを目的としたユーザインタフェースであることを示している。尚、これらはXFormsの仕様である。
【0025】
一方、5Aにおいて、<body>〜</body>要素の中身が、ユーザインタフェースの表現を記述したものである。ここで、<input type=”text”・・・・>はGUIのテキストボックスを意味しており、XHTMLの仕様である。また、<input/>要素の”ref”属性は、対応するデータモデルを示すものであり、XFormsの仕様である。すなわち、5Aで示される記述言語は、”PersonName”、”Email”、”Company”,”ZipCode”、”Address”という5つのデータを入力するためにテキストボックスが利用されることを表している。
【0026】
5Aで示すような記述言語をML解釈部203で解釈してUI実行部204で実行すると、5Bに示すようなGUI表現になる。また、5Cはデータモデルを図式的に表したものであり、実際には表示されない。以降、データモデルを図式的に表現する場合は、5Cに示すように表現する。
【0027】
次に、個人UI部品ライブラリ206について説明する。個人UI部品ライブラリ206は、前述のように、ユーザの好みの表現を持ったUIの部品を集めたものである。図6は、第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品の図式表現を示す図である。本実施形態では、図6に示すように、個人UI部品ライブラリ206には、”UserName”、”Email”というデータモデルに対応付けられた3つのUI部品が登録されているケースを考える。
【0028】
図7は、第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品601を説明するための図である。図7において、7Aは図6におけるUI部品601の記述言語である。また、7BはそのGUI表現、7Cはデータモデルを図式的に表現したものである。図7では、7Aに示すように、1つのUI部品は<part>〜</part>要素の中に記述される。一方、UI部品の表現に関する部分は、7Aにおいて<presentation>〜</presentation>要素の中に記述される。図7では、UI部品601が、”UserName”というデータモデルに値を埋めるために、「鈴木太郎」、「野田英雄」、「佐々木次郎」という3つの値を持つプルダウンメニューを割り当てたものであることを表現している。
【0029】
図5に示すように、本実施形態では、所定の記述言語でインタフェースの表現を記述した第1の要素と、所定の記述言語でデータモデルを記述した第2の要素とが、互いに分離したアプリケーション・ソフトを通信部205が取得することを特徴とする。
【0030】
図8は、第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品602を説明するための図である。図8では、図7と同じ”PersonName”というデータモデルに対し、音声入力を割り当てたものであることを表現している。図8において、8Aで示されるように音声入力部品は<listen>〜</listen>要素で記述される。また、<grammar>〜</grammar>要素は、当該音声入力部品(UI部品602)の音声認識文法を記述するものである。すなわち、8Aは、「スズキタロー」、「ノダヒデオ」、「ササキジロー」の3つの認識語彙を持つことを表現している。
【0031】
同様に、図9は、第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品603を説明するための図である。図9では、”Email”というデータモデルに対し、GUI部品のプルダウンメニューを割り当てたものあることを表現している。
【0032】
上記構成を備えることにより、本実施形態に係るユーザインタフェース制御システムにおけるクライアントコンピュータ101は、ユーザインタフェースの表現を記述する第1の要素(例えば、上述した5Aにおける<body>〜</body>要素)と、当該ユーザインタフェースで表現されるデータモデルを記述する第2の要素(例えば、上述した5Aの<xf:model>〜</xf:model>要素)とを含むアプリケーション・ソフトをアプリケーションサーバ102からネットワーク103を介して通信部205が取得する。また、個人UI部品ライブラリ206には、例えば、ユーザの好みの表現を持ったUIの部品のような所定のデータモデルを記述する第3の要素が保持されている。ここで、取得したアプリケーション・ソフト内の第2の要素と置換可能な第3の要素を個人UI部品ライブラリ206からUI部品検索部207が検索する。そして、当該アプリケーション・ソフト内の第1の要素を,第2の要素と置換可能なデータモデルとしてUI部品検索部207によって検索された第3の要素とペアになっている第4の要素にUI部品置き換え部208が置換する。
【0033】
次に、第1の実施形態におけるクライアントコンピュータ101の動作手順について説明する。図4は、本発明の第1の実施形態に係るクライアントコンピュータ101の動作手順を説明するためのフローチャートである。
【0034】
まず、通信部205が、インターネット等のネットワーク103を経由してアプリケーションサーバ102から図5の5Aに示されるようなユーザインタフェース記述言語をダウンロードする(ステップS401)。次いで、ML解釈部203がこの内容を解釈する(ステップS402)。そして、UI実行部204がダウンロードされたユーザインタフェース記述言語に沿った実行を開始する前に、UI部品検索部207が、個人UI部品ライブラリ206の中からアプリケーション・ソフトのユーザインタフェース記述言語に対して置き換え可能なUI部品がないかどうかを検索する(ステップS403)。
【0035】
例えば、図5において5Aで示されるユーザインタフェース記述言語には、”PersonName”、”Email”、”Company”、”ZipCode”、”Address”という5つのデータ要素を含むデータモデルが記述されている。そこで、ステップS403では、”PersonName”、”Email”、”Company”、”ZipCode”、”Address”といったデータモデルに結び付けられたUI部品を個人UI部品ライブラリ206の中から探す。尚、前述のように、個人UI部品ライブラリ206には、ユーザ個々が操作しやすいUI部品等が登録されている。
【0036】
本実施形態では、個人UI部品ライブラリ206には、図6に示すように”PersonName”に結び付けられたUI部品が2つと、”Email”に結び付けられたUI部品が1つ存在するので、置き換え部品があると判断される(ステップS404でYes)。その結果、UI部品置き換え部208が、当該UI部品の置き換えを行う(ステップS405)。すなわち、元のユーザインタフェース記述言語においてデータモデル”PersonName”に結びつけられているテキストボックスの代わりに、検索された”PersonName”に結び付けられたプルダウンメニューを持つUI部品601を割り当てる。
【0037】
また、UI部品602も”PersonName”に結び付けられているので、これも割り当てる。ここで、UI部品601はGUI部品であり、UI部品602は音声部品であるので、これらは競合せず共存可能であり、両方割り当てることが可能である。さらに、ステップS405では、元のユーザインタフェース記述言語においてデータモデル”Email”に結びつけられているテキストボックスの代わりに、UI部品603を割り当てる。
【0038】
すなわち、本実施形態に係るクライアントコンピュータ101では、UI部品検索部207が、第2の要素として記述されたデータモデルのデータモデル名(例えば、上述したPersonName)と第3の要素として記述されたユーザの好みのデータモデルのデータモデル名とが同種(例えば、上述したPersonName)の場合、当該第3の要素が置換可能であると判定して、個人UI部品ライブラリ206からその第3の要素を検索することを特徴とする。また、本実施形態では、上記第2の要素及び第3の要素が共に文字列で記述されたデータモデルであって、UI部品検索部207が、アプリケーション・ソフト内の第2の要素に関するデータモデルの文字列と同一の文字列を有するデータモデルに関する第3の要素を個人UI部品ライブラリ206から検索することを特徴とする。
【0039】
図10は、本発明の第1の実施形態に係るアプリケーション・ソフトのユーザインタフェースの部品の一部を個人UI部品ライブラリ206で置き換えた場合のGUI表現を示す図である。図10に示すように、上述した処理の結果、最終的に得られるユーザインタフェースの表現では、「氏名」、「電子メール」の欄をテキストボックスに対するキーボード入力ではなく、プルダウンメニューからの選択で入力することが可能になる。また、「氏名」欄に対しては、さらに、音声入力も可能である。
【0040】
ステップS405の置き換え処理の後、置き換えられたアプリケーション・ソフトによるユーザインタフェースを用いて所定の入力等を実行する(ステップS406)。尚、ステップS404で個人UI部品ライブラリ206に置き換え可能なデータモデルが見つからなかった場合(No)、元のユーザインタフェース記述言語をそのまま実行するだけである(ステップS406)。例えば、この場合は、図5の5Bで示されるようなGUI表現で実行される。
【0041】
その後、所定の終了条件が満たされたか否かが判定され(ステップS407)、満たされた場合(Yes)は当該処理を終了し、まだの場合(No)はステップS406に戻る。
【0042】
<第2の実施形態>
上述した第1の実施形態では、置き換えるためのUI部品ライブラリがユーザのクライアントコンピュータ101上に保持された「個人UI部品ライブラリ206」である場合について説明した。これに対し、UI部品ライブラリは、ユーザとは別の第三者によってネットワークを通じて提供され、さまざまなユーザから利用可能にする形態も考えられる。そこで、第2の実施形態では、図11に示すように、図1のシステムにおけるクライアントコンピュータ101とアプリケーションサーバ102に加え、ユーザとは別の第三者がUI部品を提供するためのUI部品検索サーバがインターネット等のネットワーク上に存在するケースを想定する。
【0043】
図11は、本発明の第2の実施形態に係るユーザインタフェース制御システムの構成図である。図11において、1101は、クライアントコンピュータである。1102は、アプリケーションサーバである。1103は、インターネット等のネットワークである。1104は、第三者がUI部品を提供するためのUI部品検索サーバである。
【0044】
図12は、第2の実施形態に係るクライアントコンピュータ1101の細部構成を示すブロック図である。図12に示すクライアントコンピュータ1101は、図1に示すクライアントコンピュータ101とほぼ同じ構成であるが、個人UI部品ライブラリ206の代わりに、UI検索サーバURLリスト1206を有する点で異なる。このUI検索サーバURLリスト1206は、UI部品検索サーバ1104のURLを含むインターネット等のネットワーク1103上のUI部品検索サーバのURLを記録したものである。
【0045】
すなわち、本実施形態におけるユーザインタフェース制御システムは、ユーザインタフェースの表現を記述する第1の要素と、当該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得するクライアントコンピュータ1101と、所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素のペアを保持する保持手段と、アプリケーション・ソフト内の第2の要素と置換可能な第3の要素を上記保持手段から検索する検索手段とを有するUI部品検索サーバ1104とを備え、クライアントコンピュータ1101が、アプリケーション・ソフト内の第1の要素を,第2の要素と置換可能な第3の要素のペアである第4の要素に置換するUI部品置き換え部1208をさらに有することを特徴とする。
【0046】
図13は、本発明の第2の実施形態に係るクライアントコンピュータ1101の動作手順を説明するためのフローチャートである。
【0047】
まず、通信部1205が、インターネット等のネットワーク1103を経由してアプリケーションサーバ1102から図5の5Aに示されるようなユーザインタフェース記述言語をダウンロードする(ステップS1301)。次に、ML解釈部1203がこのインタフェース記述言語の内容を解釈する(ステップS1302)。そして、ユーザインタフェース記述言語の記述内容に従って、GUIを表示する(ステップS1303)。この時点で前述した図5の5Bに示すようなGUIが表示される。
【0048】
ここで、本実施形態では、ユーザは当該GUIをそのまま利用してデータを入力することもできるが、UI検索部品サーバ1104から別のUI部品を探すこともできる。図14は、第2の実施形態においてユーザがアプリケーション・ソフトのユーザインタフェースの一つの部品を置き換えるためにテキストボックスを右クリックした場合の例を説明するための図である。すなわち、ユーザが、例えば郵便番号を入力するために他の簡単なUIがないかと考えた場合、図14に示すように、郵便番号のフィールドを右クリックすると、UI部品検索サーバ1104のURLがリスト表示され、適当なURLをクリックすることで、当該URLのUI部品検索サーバから代替UI部品を探すことができる。
【0049】
図16は、第2の実施形態におけるUI部品検索サーバが返した検索結果をクライアントコンピュータ1101上で表示した場合の表示例を示す図である。すなわち、図16に示すように、検索結果として郵便番号を入力するためのUI部品の候補が、その表現のサムネイル表示が簡単な説明とともにリストアップされる。ここで、ユーザが任意のUI部品を選択して「確定」ボタン161をクリックすることで、図17に示すようなサブウインドウ上で選択したUI部品を利用することができる。図17は、第2の実施形態におけるアプリケーション・ソフトのユーザインタフェースの一つの部品をUI部品検索サーバからの検索結果に含まれるUI部品の一つで置き換えた場合の例を説明するための図である。
【0050】
すなわち、本実施形態では、UI部品検索部1207によってUI部品検索サーバURLリスト1206から複数の第3の要素と第4の要素のペア(UI部品)が検索された場合、当該ペアに関する情報を出力部1201が表示する。そして、複数のペアの中からユーザが入力部1202によって選択した一の要素を第3の要素および第4の要素のペアとすることを特徴とする。尚、上述した第1の実施形態及び後述する第3の実施形態においても複数の第3の要素と第4の要素のペアが検索された場合、同様に処理をするようにしてもよい。
【0051】
上記置き換え動作は、図13のステップS1304〜ステップS1307の処理で実現される。ユーザからのUI部品検索要求があった場合(例えば、前述の右クリック)(ステップS1304)、UI部品検索部1207はUI部品検索サーバURLリスト1206にアクセスして、UI部品検索サーバ1104のURLリストを取り出し、これをユーザに提示する。そして、ユーザが当該リストから1つを選択すると、UI部品検索部1207は当該URLに対して検索要求を出す(ステップS1305)。
【0052】
この検索要求には、対象となる郵便番号フィールドに結び付けられたデータモデル”ZipCode”の情報を含める。第2の実施形態では、図18に示すようなSOAP(Simple Object Access Protocol)メッセージをHTTPでUI部品検索サーバ1104に送信する。すなわち、図18は、第2の実施形態に係るクライアントコンピュータ1101からUI部品検索サーバ1104に送信される検索要求メッセージの一例を示す図である。
【0053】
ここで、前述した検索要求メッセージを受けたUI部品検索サーバ1104は、データモデル”ZipCode”に結び付けられたユーザインタフェース表現として、図15に示すような部品を保持しているとする。すなわち、図15は、第2の実施形態に係るUI部品検索サーバ1104が保持するUI部品ライブラリに登録されたUI部品の一例を図式表現した図である。尚、図15に示すような部品は、前述した7A、8A、9Aで示されるような記述言語で記述されている。そして、UI部品検索サーバ1104は、図15に示すようなUI部品を図19に示すようなSOAPの返信メッセージとしてクライアントコンピュータ1101に返信する。図19は、第2の実施形態におけるUI部品検索サーバ1104からクライアントコンピュータ1101へ返信される検索結果メッセージの一例を示す図である。
【0054】
そして、クライアントコンピュータ1101では上記返信メッセージに埋め込まれた検索結果であるUI部品のリストが表示され、ユーザがこの中から1つを選択する(ステップS1306)。次いで、クライアントコンピュータ1101のUI実行部1204は、出力部1201を通してこれをサブウインドウで表示する。
【0055】
<第3の実施形態>
上記実施形態では、データモデルどうしのマッチングをデータモデルを表す文字列のマッチングによって行っていた。例えば、アプリケーションユーザインタフェースの「氏名」フィールドを置き換えるために、そのデータモデル”PersonName”と同じ文字列のデータモデルを持つ部品をライブラリから検索するようにしていた。これは、データモデルの意味を表す語彙が標準化されており、ライブラリ側及びアプリケーション側の両方とも氏名を表現するデータモデルは”PersonName”という語彙を用いるという前提があることを想定したものである。しかし、同じ文字列のマッチングによってあらゆる種類のデータモデルの語彙を標準化することは困難である。そこで、第3の実施形態では、データモデルの語彙が事前に標準化されていない場合の動作例について説明する。
【0056】
第3の実施形態におけるシステム構成は図11に示す第2の実施形態におけるシステム構成と同じであるが、クライアントコンピュータのブロック図が図20に示すようになる点で異なる。すなわち、図20は、第3の実施形態に係るクライアントコンピュータ2101の細部構成を示すブロック図である。
【0057】
第3の実施形態では、まず、データモデルの記述を拡張し、データの型を定義できるようにする。これは、XFormsという公知技術で実現可能である。図21は、第3の実施形態におけるデータ型の指定を含んだデータモデル記述言語の例を説明するための図である。すなわち、図21では、データモデルを記述する<xf:model>〜</xf:model>要素内に、<xf:bind/>という要素を記述して、データ要素のデータ型を記述する例を示している。例えば、図21において21Aは”ZipCode”が”number”、すなわち「番号」という型であることを示している。また、21Bは”PersonName”がストリング(文字列)であることを示している。
【0058】
次に、アプリケーション・ソフトが図22に示すようなユーザインタフェース記述言語を備えていた場合を考える。図22は、第3の実施形態に係るアプリケーション・ソフトのユーザインタフェース記述言語とその図式表現を示す図である。例えば、ユーザが「郵便番号」の入力に対して、代替UI部品の検索要求を出した場合、UI部品検索サーバ1102は、「郵便番号」のデータモデル”ZipCode”をキーとして検索する。その結果、名前が”ZipCode”そのものであるデータモデルを持ったUI部品がない場合は、そのデータ型である”number”にマッチするデータ型のデータモデルに結びついたUI部品を検索する。
【0059】
すなわち、本実施形態では、UI部品検索部2007が、第2の要素として記述されたデータモデルのデータモデルと第3の要素として記述された所定のデータモデルのデータモデルとが同種の場合、当該第3の要素が置換可能であると判定して、UI部品検索サーバURLリストから当該第3の要素に関する情報を検索することを特徴とする。また、本実施形態においては、第2の要素及び第3の要素が、整数又は文字列を含むデータ型が記述されたデータモデルであって、UI部品検索部2007が、アプリケーション・ソフト内の第2の要素に関するデータモデルのデータ型と同一又は類似のデータ型を有するデータモデルに関する第3の要素に関する情報をUI部品検索サーバURLリストから検索することを特徴とする。
【0060】
図23は、第3の実施形態係るUI部品検索サーバ1104が保持するUI部品ライブラリに登録されたUI部品の一部を図式表現した図である。第3の実施形態では、上記検索の結果、図23に示すような3つのUI部品がマッチしたとする。例えば、本実施形態では、”ZipCode”という名前のデータモデルはないが、”number”というデータ型にマッチする”PhoneNumber”、”PostalCode”に結び付けられたUI部品がこの検索でヒットする。この検索結果をクライアントコンピュータ2101に返信し、クライアントコンピュータ2101で当該候補をユーザに提示すると図24に示すようになる。
【0061】
図24は、第3の実施形態に係るUI部品検索サーバ1104が返した検索結果のクライアントコンピュータ2101における表示例を示す図である。本実施形態では、データ型によるマッチングであるため、24Aに示すように、「電話番号入力」用のUI部品のように、郵便番号入力には適さないUI部品もヒットする。しかしその一方で、24B、Cに示すように、データモデルが”PostalCode”という”ZipCode”とは異なる語彙で記述されている場合でも、郵便番号入力用UI部品がヒットする。そして、ユーザは、図24に示すように表示された候補の中から郵便番号入力に適当な部品を前述したような方法で選択することができる。
【0062】
例えば、ユーザが24CのUI部品を選択した場合、選択されたUI部品のデータモデル”PostalCode”が、アプリケーション・ソフトのデータモデル”ZipCode”と同じ意味であると推測できる。そこで、UI部品検索部2007は、データモデルペアリスト2009に、データモデルのペア、(”ZipCode”,”PostalCode”)を登録する。図25は、第3の実施形態に係るデータモデルペアリスト2009のデータ記述例を示す図である。
【0063】
そして、UI部品検索部2007は、データモデルペアリスト2009にデータモデルペアが1つ以上登録されている場合、UI部品検索を行う前にデータモデルペアリスト2009にアクセスし、検索したいデータモデルと同じ意味を持つ別の語彙を探す。また、”ZipCode”で検索したい場合は、図25に示すデータ記述例から”PostalCode”も同じ意味であることがわかるので、これを検索要求のメッセージに加える。図26は、第3の実施形態におけるクライアントコンピュータ2101からUI部品検索サーバ1104に送信する検索要求メッセージの一例を示す図である。
【0064】
例えば、
<DataModelName>
ZipCode
</DataModelName>
に加えて、
<DataModelName>
PostalCode
</DataModelName>
が追加された形になる。このようにすることで、語彙レベルでのマッチングの確率を高めることができる。
【0065】
すなわち、本実施形態に係るクライアントコンピュータ2101は、前述した第2の要素に関する情報(例えば、ZipCode)と当該第2の要素に類似する要素に係る情報(例えば、PostalCode)とを組み合わせて登録するデータモデルペアリスト2009をさらに備え、UI部品検索部2007が、データモデルペアリスト2009で登録された組み合わせに基づいて、アプリケーション・ソフト内の第2の要素に類似する第3の要素に関する情報をUI部品検索サーバURLリスト2006から検索することを特徴とする。
【0066】
<その他の実施形態>
上述した実施形態では、プログラムをROMに保持する場合について説明したが、これに限定されるものではなく、任意の記憶媒体を用いて実現してもよい。また、同様の動作をする回路で実現してもよい。
【0067】
尚、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0068】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CDーROM、CDーR、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0069】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0070】
【発明の効果】
以上説明したように、本発明によれば、アプリケーション開発者がデザインしたユーザインタフェースの表現を個々のユーザにとって使いやすいUI部品に置き換えて、より使いやすいユーザインタフェースにカスタマイズし、操作性を高めることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るユーザインタフェース制御システムの構成図である。
【図2】第1の実施形態に係るクライアントコンピュータ101の細部構成を示すブロック図である。
【図3】第1の実施形態に係るクライアントコンピュータ101のハードウェア構成図である。
【図4】本発明の第1の実施形態に係るクライアントコンピュータ101の動作手順を説明するためのフローチャートである。
【図5】第1の実施形態において使用されるユーザインタフェース記述言語とその図式表現の一例を説明するための図である。
【図6】第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品の図式表現を示す図である。
【図7】第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品601を説明するための図である。
【図8】第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品602を説明するための図である。
【図9】第1の実施形態に係る個人UI部品ライブラリ206に登録されたUI部品603を説明するための図である。
【図10】本発明の第1の実施形態に係るアプリケーション・ソフトのユーザインタフェースの部品の一部を個人UI部品ライブラリ206で置き換えた場合のGUI表現を示す図である。
【図11】本発明の第2の実施形態に係るユーザインタフェース制御システムの構成図である。
【図12】第2の実施形態に係るクライアントコンピュータ1101の細部構成を示すブロック図である。
【図13】本発明の第2の実施形態に係るクライアントコンピュータ1101の動作手順を説明するためのフローチャートである。
【図14】第2の実施形態においてユーザがアプリケーション・ソフトのユーザインタフェースの一つの部品を置き換えるためにテキストボックスを右クリックした場合の例を説明するための図である。
【図15】第2の実施形態に係るUI部品検索サーバ1104が保持するUI部品ライブラリに登録されたUI部品の一例を図式表現した図である。
【図16】第2の実施形態におけるUI部品検索サーバが返した検索結果をクライアントコンピュータ1101上で表示した場合の表示例を示す図である。
【図17】第2の実施形態におけるアプリケーション・ソフトのユーザインタフェースの一つの部品をUI部品検索サーバからの検索結果に含まれるUI部品の一つで置き換えた場合の例を説明するための図である。
【図18】第2の実施形態に係るクライアントコンピュータ1101からUI部品検索サーバ1104に送信される検索要求メッセージの一例を示す図である。
【図19】第2の実施形態におけるUI部品検索サーバ1104からクライアントコンピュータ1101へ返信される検索結果メッセージの一例を示す図である。
【図20】第3の実施形態に係るクライアントコンピュータ2101の細部構成を示すブロック図である。
【図21】第3の実施形態におけるデータ型の指定を含んだデータモデル記述言語の例を説明するための図である。
【図22】第3の実施形態に係るアプリケーション・ソフトのユーザインタフェース記述言語とその図式表現を示す図である。
【図23】第3の実施形態係るUI部品検索サーバ1104が保持するUI部品ライブラリに登録されたUI部品の一部を図式表現した図である。
【図24】第3の実施形態に係るUI部品検索サーバ1104が返した検索結果のクライアントコンピュータ2101における表示例を示す図である。
【図25】第3の実施形態に係るデータモデルペアリスト2009のデータ記述例を示す図である。
【図26】第3の実施形態におけるクライアントコンピュータ2101からUI部品検索サーバ1104に送信する検索要求メッセージの一例を示す図である。
【符号の説明】
101、1101、2101 クライアントコンピュータ
102、1102 アプリケーションサーバ
103、1103 ネットワーク
201、1201、2001 出力部
202、1202、2002 入力部
203、1203、2003 ML解釈部
204、1204、2004 UI実行部
205、1205、2005 通信部
206 個人UI部品ライブラリ
207、1207、2007 UI部品検索部
208、1208、2008 UI部品置き換え部
1104 UI部品検索サーバ
1206、2006 UI部品検索サーバURLリスト
2009 データモデルペアリスト

Claims (17)

  1. ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得手段と、
    所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素をペアで保持する保持手段と、
    前記アプリケーション・ソフト内の前記第2の要素と置換可能な第3の要素を前記保持手段から検索する検索手段と、
    前記アプリケーション・ソフト内の前記第1の要素を、前記第2の要素と置換可能な前記第3の要素とペアの前記第4の要素に置換する置換手段と
    を備えることを特徴とするユーザインタフェース制御装置。
  2. 前記検索手段が、前記第2の要素として記述された前記データモデルと前記第3の要素として記述された前記所定のデータモデルとが同種の場合、該第3の要素が置換可能であると判定して、前記保持手段から該第3の要素を検索することを特徴とする請求項1に記載のユーザインタフェース制御装置。
  3. 前記検索手段が、前記第2の要素として記述された前記データモデルのデータタイプと前記第3の要素として記述された前記所定のデータモデルのデータタイプとが類似の場合、該第3の要素を置換可能であると判定して、前記保持手段から該第3の要素を検索することを特徴とする請求項1に記載のユーザインタフェース制御装置。
  4. 前記取得手段が、互いに分離し、所定の記述言語で記述された前記第1の要素と前記第2の要素とを含む前記アプリケーション・ソフトを取得することを特徴とする請求項1から3までのいずれか1項に記載のユーザインタフェース制御装置。
  5. 前記第2の要素及び前記第3の要素が共に文字列で記述されたデータモデルであって、
    前記検索手段が、前記アプリケーション・ソフト内の前記第2の要素に関するデータモデルの文字列と同一の文字列を有するデータモデルに関する第3の要素を前記保持手段から検索する
    ことを特徴とする請求項2に記載のユーザインタフェース制御装置。
  6. 前記第2の要素及び前記第3の要素が、整数又は文字列を含むデータ型が記述されたデータモデルであって、
    前記検索手段が、前記アプリケーション・ソフト内の前記第2の要素に関するデータモデルのデータ型と同一又は類似のデータ型を有するデータモデルに関する第3の要素を前記保持手段から検索する
    ことを特徴とする請求項3に記載のユーザインタフェース制御装置。
  7. 前記検索手段によって前記保持手段から複数の第3の要素が検索された場合、該複数の第3の要素に関する情報を表示する表示手段と、
    前記複数の第3の要素の中から選択された一の要素を前記第3の要素とする選択手段と
    をさらに備えることを特徴とする請求項1から6までのいずれか1項に記載のユーザインタフェース制御装置。
  8. 前記第2の要素に関する情報と該第2の要素に類似する要素に係る情報とを組み合わせて登録するペア登録手段をさらに備え、
    前記検索手段が、前記ペア登録手段で登録された前記組み合わせに基づいて、前記アプリケーション・ソフト内の前記第2の要素に類似する第3の要素を前記保持手段から検索する
    ことを特徴とする請求項3又は6に記載のユーザインタフェース制御装置。
  9. 前記保持手段が、所定のユーザによって管理され、該ユーザの好みの表現で記述されたデータモデルに関する第3の要素を保持することを特徴とする請求項1から8までのいずれか1項に記載のユーザインタフェース制御装置。
  10. ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得手段を有する第1の機器と、
    所定のデータモデルを記述する第3の要素を保持する保持手段と、前記アプリケーション・ソフト内の前記第2の要素と置換可能な第3の要素を前記保持手段から検索する検索手段とを有する第2の機器とを備えるユーザインタフェース制御システムであって、
    前記第1の機器が、前記アプリケーション・ソフト内の前記第2の要素を前記検索手段によって検索された前記第1の要素に置換する置換手段をさらに有することを特徴とするユーザインタフェース制御システム。
  11. 前記第1の機器と前記第2の機器とがネットワークを介して接続されていることを特徴とする請求項10に記載のユーザインタフェース制御システム。
  12. 前記ユーザインタフェースの表現が、ボタン、テキストボックス、プルダウメニューの少なくとも1つ以上のGUIを含むことを特徴とする請求項1から9までのいずれか1項に記載のユーザインタフェース制御装置。
  13. 前記ユーザインタフェースの表現が、音声による入出力を含むことを特徴とする請求項1から9までのいずれか1項に記載のユーザインタフェース制御装置。
  14. 前記第1、第2及び第3の要素が、XMLで記述されていることを特徴とする請求項1から9までのいずれか1項に記載のユーザインタフェース制御装置。
  15. ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得工程と、
    所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素をペアで保持する保持工程と、
    前記アプリケーション・ソフト内の前記第2の要素と置換可能な所定のデータモデルを記述する第3の要素を検索する検索工程と、
    前記アプリケーション・ソフト内の前記第1の要素を、前記第2の要素と置換可能な前記第3の要素とペアの前記第4の要素に置換する置換工程と
    を有することを特徴とするユーザインタフェース制御方法。
  16. コンピュータに、
    ユーザインタフェースの表現を記述する第1の要素と、該ユーザインタフェースで表現されるデータモデルを記述する第2の要素とを含むアプリケーション・ソフトを取得する取得手順と、
    所定のデータモデルを記述する第3の要素とその表現を記述する第4の要素をペアで保持する保持手順と、
    前記アプリケーション・ソフト内の前記第2の要素と置換可能な所定のデータモデルを記述する第3の要素を検索する検索手順と、
    前記アプリケーション・ソフト内の前記第1の要素を、前記第2の要素と置換可能な前記第3の要素とペアの前記第4の要素に置換する置換手順と
    を実行させる制御プログラム。
  17. 請求項16に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2003196555A 2003-07-14 2003-07-14 ユーザインタフェース制御装置及びその方法 Expired - Fee Related JP4428952B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003196555A JP4428952B2 (ja) 2003-07-14 2003-07-14 ユーザインタフェース制御装置及びその方法
US10/889,072 US7890506B2 (en) 2003-07-14 2004-07-13 User interface control apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003196555A JP4428952B2 (ja) 2003-07-14 2003-07-14 ユーザインタフェース制御装置及びその方法

Publications (2)

Publication Number Publication Date
JP2005031995A true JP2005031995A (ja) 2005-02-03
JP4428952B2 JP4428952B2 (ja) 2010-03-10

Family

ID=34055814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003196555A Expired - Fee Related JP4428952B2 (ja) 2003-07-14 2003-07-14 ユーザインタフェース制御装置及びその方法

Country Status (2)

Country Link
US (1) US7890506B2 (ja)
JP (1) JP4428952B2 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207226A (ja) * 2006-01-30 2007-08-16 Internatl Business Mach Corp <Ibm> コンポーネント化されたアプリケーション環境のための拡張可能なユーザ・インターフェース拡張方法、コンポーネント化されたアプリケーション環境データ処理システム、およびコンピュータ・プログラム
JP2009506461A (ja) * 2005-08-30 2009-02-12 マイクロソフト コーポレーション ユーザ・インターフェース向けマークアップ・ベースの拡張性
JP2009054146A (ja) * 2007-07-27 2009-03-12 Canon Inc 情報処理方法、情報処理装置及びプログラム
JP2009146352A (ja) * 2007-12-18 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> プログラムコンポーネント呼び出しシステム、プログラムコンポーネント呼び出し方法、および、ユーザ端末
US8839139B2 (en) 2004-09-30 2014-09-16 Microsoft Corporation User interface for providing task management and calendar information
US9015624B2 (en) 2004-08-16 2015-04-21 Microsoft Corporation Floating command object
US9015621B2 (en) 2004-08-16 2015-04-21 Microsoft Technology Licensing, Llc Command user interface for displaying multiple sections of software functionality controls
US9046983B2 (en) 2009-05-12 2015-06-02 Microsoft Technology Licensing, Llc Hierarchically-organized control galleries
WO2015088036A1 (en) 2013-12-11 2015-06-18 Ricoh Company, Ltd. Information processing apparatus, information processing method and storage medium
US9098837B2 (en) 2003-06-26 2015-08-04 Microsoft Technology Licensing, Llc Side-by-side shared calendars
US9098473B2 (en) 2007-06-29 2015-08-04 Microsoft Technology Licensing, Llc Accessing an out-space user interface for a document editor program
US9223477B2 (en) 2004-08-16 2015-12-29 Microsoft Technology Licensing, Llc Command user interface for displaying selectable software functionality controls
US9338114B2 (en) 2008-06-24 2016-05-10 Microsoft Technology Licensing, Llc Automatic conversation techniques
US9513781B2 (en) 2005-09-12 2016-12-06 Microsoft Technology Licensing, Llc Expanded search and find user interface
US9542667B2 (en) 2005-09-09 2017-01-10 Microsoft Technology Licensing, Llc Navigating messages within a thread
JP2017049778A (ja) * 2015-09-01 2017-03-09 富士ゼロックス株式会社 表示方法変更プログラム及び情報処理装置
US9619116B2 (en) 2007-06-29 2017-04-11 Microsoft Technology Licensing, Llc Communication between a document editor in-space user interface and a document editor out-space user interface
US9645698B2 (en) 2004-08-16 2017-05-09 Microsoft Technology Licensing, Llc User interface for displaying a gallery of formatting options applicable to a selected object
US9665850B2 (en) 2008-06-20 2017-05-30 Microsoft Technology Licensing, Llc Synchronized conversation-centric message list and message reading pane
US9690450B2 (en) 2004-08-16 2017-06-27 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US9727989B2 (en) 2006-06-01 2017-08-08 Microsoft Technology Licensing, Llc Modifying and formatting a chart using pictorially provided chart elements
JP2018005344A (ja) * 2016-06-28 2018-01-11 日本電信電話株式会社 機能拡張システム、機能拡張方法および機能拡張プログラム
JP2018045544A (ja) * 2016-09-16 2018-03-22 オムロン株式会社 プログラム処理装置およびプログラム
JP2018537783A (ja) * 2015-12-02 2018-12-20 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 事前に生成されたコンポーネントを使用してアプリケーションを稼働させること
US10445114B2 (en) 2008-03-31 2019-10-15 Microsoft Technology Licensing, Llc Associating command surfaces with multiple active components
US10482429B2 (en) 2003-07-01 2019-11-19 Microsoft Technology Licensing, Llc Automatic grouping of electronic mail
US10521073B2 (en) 2007-06-29 2019-12-31 Microsoft Technology Licensing, Llc Exposing non-authoring features through document status information in an out-space user interface
JPWO2021070293A1 (ja) * 2019-10-09 2021-04-15

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7677271B2 (en) * 2005-09-08 2010-03-16 Cleveland Tubing Inc. Portable flexible and extendable drain pipe
US7523223B2 (en) 2006-11-16 2009-04-21 Sap Ag Web control simulators for mobile devices
KR101539461B1 (ko) * 2008-07-16 2015-07-30 삼성전자주식회사 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치
CN103036917B (zh) * 2011-09-29 2016-04-20 北京神州泰岳软件股份有限公司 客户端平台的实现方法及客户端平台
CN106325457A (zh) * 2016-08-25 2017-01-11 广州御银科技股份有限公司 一种关机监控系统
CN111045672B (zh) * 2018-10-15 2021-08-24 珠海格力电器股份有限公司 界面组件设置方法、计算机设备和存储介质
CN110750711B (zh) * 2019-09-06 2023-07-28 中国平安财产保险股份有限公司 数据推送方法、装置、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6457030B1 (en) 1999-01-29 2002-09-24 International Business Machines Corporation Systems, methods and computer program products for modifying web content for display via pervasive computing devices
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
US20030046316A1 (en) * 2001-04-18 2003-03-06 Jaroslav Gergic Systems and methods for providing conversational computing via javaserver pages and javabeans
US20030033260A1 (en) * 2001-04-20 2003-02-13 Tatsuo Yashiro Method and apparatus for facilitating the repair of malfunctioning or inoperable products
JP2002331938A (ja) 2001-05-14 2002-11-19 Toshiba Corp 経路検索における駅名入力選択表示方法及びそのシステム
US7287227B2 (en) * 2001-06-29 2007-10-23 Ve Enterprises Llc System and method for editing web pages in a client/server architecture
US7380202B1 (en) * 2003-06-16 2008-05-27 Microsoft Corporation Method and system for customizing and personalizing page control content

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715678B2 (en) 2003-06-26 2017-07-25 Microsoft Technology Licensing, Llc Side-by-side shared calendars
US9098837B2 (en) 2003-06-26 2015-08-04 Microsoft Technology Licensing, Llc Side-by-side shared calendars
US10482429B2 (en) 2003-07-01 2019-11-19 Microsoft Technology Licensing, Llc Automatic grouping of electronic mail
US10437431B2 (en) 2004-08-16 2019-10-08 Microsoft Technology Licensing, Llc Command user interface for displaying selectable software functionality controls
US9015624B2 (en) 2004-08-16 2015-04-21 Microsoft Corporation Floating command object
US9015621B2 (en) 2004-08-16 2015-04-21 Microsoft Technology Licensing, Llc Command user interface for displaying multiple sections of software functionality controls
US10521081B2 (en) 2004-08-16 2019-12-31 Microsoft Technology Licensing, Llc User interface for displaying a gallery of formatting options
US9690448B2 (en) 2004-08-16 2017-06-27 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US10635266B2 (en) 2004-08-16 2020-04-28 Microsoft Technology Licensing, Llc User interface for displaying selectable software functionality controls that are relevant to a selected object
US9690450B2 (en) 2004-08-16 2017-06-27 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US9223477B2 (en) 2004-08-16 2015-12-29 Microsoft Technology Licensing, Llc Command user interface for displaying selectable software functionality controls
US9864489B2 (en) 2004-08-16 2018-01-09 Microsoft Corporation Command user interface for displaying multiple sections of software functionality controls
US9645698B2 (en) 2004-08-16 2017-05-09 Microsoft Technology Licensing, Llc User interface for displaying a gallery of formatting options applicable to a selected object
US8839139B2 (en) 2004-09-30 2014-09-16 Microsoft Corporation User interface for providing task management and calendar information
JP2009506461A (ja) * 2005-08-30 2009-02-12 マイクロソフト コーポレーション ユーザ・インターフェース向けマークアップ・ベースの拡張性
US9542667B2 (en) 2005-09-09 2017-01-10 Microsoft Technology Licensing, Llc Navigating messages within a thread
US10248687B2 (en) 2005-09-12 2019-04-02 Microsoft Technology Licensing, Llc Expanded search and find user interface
US9513781B2 (en) 2005-09-12 2016-12-06 Microsoft Technology Licensing, Llc Expanded search and find user interface
JP2007207226A (ja) * 2006-01-30 2007-08-16 Internatl Business Mach Corp <Ibm> コンポーネント化されたアプリケーション環境のための拡張可能なユーザ・インターフェース拡張方法、コンポーネント化されたアプリケーション環境データ処理システム、およびコンピュータ・プログラム
US9727989B2 (en) 2006-06-01 2017-08-08 Microsoft Technology Licensing, Llc Modifying and formatting a chart using pictorially provided chart elements
US10482637B2 (en) 2006-06-01 2019-11-19 Microsoft Technology Licensing, Llc Modifying and formatting a chart using pictorially provided chart elements
US9098473B2 (en) 2007-06-29 2015-08-04 Microsoft Technology Licensing, Llc Accessing an out-space user interface for a document editor program
US9619116B2 (en) 2007-06-29 2017-04-11 Microsoft Technology Licensing, Llc Communication between a document editor in-space user interface and a document editor out-space user interface
US10642927B2 (en) 2007-06-29 2020-05-05 Microsoft Technology Licensing, Llc Transitions between user interfaces in a content editing application
US10592073B2 (en) 2007-06-29 2020-03-17 Microsoft Technology Licensing, Llc Exposing non-authoring features through document status information in an out-space user interface
US10521073B2 (en) 2007-06-29 2019-12-31 Microsoft Technology Licensing, Llc Exposing non-authoring features through document status information in an out-space user interface
JP2009054146A (ja) * 2007-07-27 2009-03-12 Canon Inc 情報処理方法、情報処理装置及びプログラム
JP2009146352A (ja) * 2007-12-18 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> プログラムコンポーネント呼び出しシステム、プログラムコンポーネント呼び出し方法、および、ユーザ端末
US10445114B2 (en) 2008-03-31 2019-10-15 Microsoft Technology Licensing, Llc Associating command surfaces with multiple active components
US9665850B2 (en) 2008-06-20 2017-05-30 Microsoft Technology Licensing, Llc Synchronized conversation-centric message list and message reading pane
US10997562B2 (en) 2008-06-20 2021-05-04 Microsoft Technology Licensing, Llc Synchronized conversation-centric message list and message reading pane
US9338114B2 (en) 2008-06-24 2016-05-10 Microsoft Technology Licensing, Llc Automatic conversation techniques
US9046983B2 (en) 2009-05-12 2015-06-02 Microsoft Technology Licensing, Llc Hierarchically-organized control galleries
US9875009B2 (en) 2009-05-12 2018-01-23 Microsoft Technology Licensing, Llc Hierarchically-organized control galleries
WO2015088036A1 (en) 2013-12-11 2015-06-18 Ricoh Company, Ltd. Information processing apparatus, information processing method and storage medium
US10585565B2 (en) 2013-12-11 2020-03-10 Ricoh Company, Ltd. Information processing apparatus, information processing method and storage medium for authenticating user login and screen customization
JP2017049778A (ja) * 2015-09-01 2017-03-09 富士ゼロックス株式会社 表示方法変更プログラム及び情報処理装置
JP2018537783A (ja) * 2015-12-02 2018-12-20 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 事前に生成されたコンポーネントを使用してアプリケーションを稼働させること
JP2018005344A (ja) * 2016-06-28 2018-01-11 日本電信電話株式会社 機能拡張システム、機能拡張方法および機能拡張プログラム
JP2018045544A (ja) * 2016-09-16 2018-03-22 オムロン株式会社 プログラム処理装置およびプログラム
JPWO2021070293A1 (ja) * 2019-10-09 2021-04-15
WO2021070293A1 (ja) * 2019-10-09 2021-04-15 日本電信電話株式会社 情報連携システムおよび情報連携方法
JP7201098B2 (ja) 2019-10-09 2023-01-10 日本電信電話株式会社 情報連携システムおよび情報連携方法

Also Published As

Publication number Publication date
JP4428952B2 (ja) 2010-03-10
US7890506B2 (en) 2011-02-15
US20050015395A1 (en) 2005-01-20

Similar Documents

Publication Publication Date Title
JP4428952B2 (ja) ユーザインタフェース制御装置及びその方法
US7406659B2 (en) Smart links
JP3703082B2 (ja) 会話型バーチャル・マシンによる会話型コンピューティング
US8074202B2 (en) WIKI application development tool that uses specialized blogs to publish WIKI development content in an organized/searchable fashion
US6697838B1 (en) Method and system for annotating information resources in connection with browsing, in both connected and disconnected states
US8898573B2 (en) Method and apparatus for providing toolbar service
US7721214B2 (en) Web browser with multilevel functions
US8365203B2 (en) Method for creating a native application for mobile communications device in real-time
US8271107B2 (en) Controlling audio operation for data management and data rendering
US7406664B1 (en) System for integrating HTML Web site views into application file dialogs
US20070192675A1 (en) Invoking an audio hyperlink embedded in a markup document
US20230334102A1 (en) Displaying Stylized Text Snippets with Search Engine Results
US20070192676A1 (en) Synthesizing aggregated data of disparate data types into data of a uniform data type with embedded audio hyperlinks
US20070100872A1 (en) Dynamic creation of user interfaces for data management and data rendering
JP2008077227A (ja) リンク生成装置、ブラウザプログラム、リンク生成システム
JP2005004772A (ja) 外部プログラムに基づくテーマを使用するWebページレンダリング機構
JP2000305835A (ja) ウェブサイト閲覧システム
JP2005242829A (ja) データ処理装置、データ処理方法、データ処理プログラム、およびデータ処理プログラムを記録した記録媒体
JP2007164732A (ja) コンピュータ実行可能なプログラム、および情報処理装置
JP2005128955A (ja) 情報処理方法および記憶媒体、プログラム
JP2022184102A (ja) 情報提供方法、データベースの生成方法、およびプログラム
JP2022017985A (ja) ウェブページ処理装置、ウェブページ処理方法、およびプログラム
JP2009157797A (ja) データ入力支援システム、データ入力支援方法及びプログラム
JP2002334013A (ja) 情報表示装置及び情報表示プログラムを記録した記録媒体
JP2001350794A (ja) データベース検索用キーワードに基づくコミュニケーション装置及び方法並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091211

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees