CN1598768A

CN1598768A - 信息处理装置及其控制方法

Info

Publication number: CN1598768A
Application number: CNA2004100780067A
Authority: CN
Inventors: 伊藤正人; 广田诚
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-17
Filing date: 2004-09-16
Publication date: 2005-03-23
Also published as: EP1517248A2; US20050060046A1; JP2005092504A; JP3938121B2; EP1517248A3

Abstract

本发明提供一种信息处理装置及其控制方法。简要表信息分析单元接收简要表信息，该简要表信息包括表示操作设备特性的特性信息和关于操作上述操作设备的用户的用户信息。源文件选择单元根据接收到的简要表信息，从源文件保持单元中选择源文件。格式页生成单元根据接收到的简要表信息，从格式页保持单元中选择转换记述部件，并合并所选择的转换记述部件，生成转换记述。转换单元用所生成的转换记述转换所选择的源文件，生成实现操作设备进行的操作对象设备的操作的用户界面的内容。然后，将该用户界面的内容发送给操作设备。

Description

信息处理装置及其控制方法

技术领域

本发明涉及生成用于操作设备对操作对象设备进行操作的用户界面的信息处理装置及其控制方法。

背景技术

以往，关于用户界面的适用技术进行了各种各样研究。例如，往往从用户的过去的操作履历学习，而后或者支援宏生成，或者进行选择候补的重新排列和下次操作的预测。

另一方面，在Web世界中，也有根据访问Web的设备的特性而适应内容的技术。例如，在W3C(World Wide Web Consortium、http：//www.w3c.org/)的Device Independence Activity(http：//www.w3c.org/2001/di/Activity)，正在策划制定记述了CC/PP(CompositeCapabilities/Preferences Profile)这种设备的能力和用户特性的简要表(profile)信息的格式，以及通过它在设备之间进行协商(negotiation)的协议的标准。

另外，还有这样的技术：在提示用户界面的内容时，根据用户和设备的特性用格式页转换源文件并生成内容。例如，在日本特开2001-154852号公报中提出了这样的技术：将用户界面的内容分离为演示(presentation)和对话，记述在格式页中，使用XSLT生成用户界面的内容。另外，在特开2001-344230号公报中提出了这样的技术：基于与指定演示方法的格式的结构要素相对应的规则，转换逻辑文件的结构要素。

根据现有的发明，在用户界面的适用技术中，特别是在Web内容的适用技术中，存在着这样的问题，即，在该技术中，主要目的是对于浏览器的种类和画面尺寸等操作设备的特性，对“显示”进行用户化(customize)，考虑操作设备的特性和用户的特性、嗜好，不能对作为用户界面的逻辑和使用模式(modality)进行用户化。

例如，不能适应于以下情况，即，对于不习惯操作的用户采取系统主导的流程，对于习惯操作的用户采取用户主导。另外，在考虑组合了GUI(图形用户界面)和声音等多个模式的多模式用户界面中的适应时，例如，根据设备和用户，动态地变更给视觉障碍者提供声音中心的用户界面等使用模式，这一点成为重要的要素，但这样的适应在此以前还没有形成。

发明内容

本发明就是鉴于上述的课题而做出的，其目的在于，提供一种能够提高对操作对象设备的操作的可用性的信息处理装置及其控制方法。

为达到上述目的的本发明的信息处理装置具备以下的结构。即，

一种信息处理装置，生成用于操作设备对操作对象设备进行操作的用户界面，包括：

接收装置，接收简要表信息，该简要表信息包括表示上述操作设备特性的特性信息和关于操作上述操作设备的用户的用户信息；

选择装置，根据由上述接收装置接收到的简要表信息，从记述了上述操作对象设备的操作流程的源文件保持装置中选择源文件；

生成装置，根据由上述接收装置接收到的简要表信息，从保持转换上述源文件的转换记述部件的转换记述部件保持装置，选择转换记述部件，并合并所选择的转换记述部件，生成转换记述；

变换装置，用上述转换记述转换上述源文件，生成实现上述操作设备进行的上述操作对象设备的操作的用户界面的内容；以及

发送装置，向上述操作设备发送上述用户界面的内容；

上述源文件包含与实现上述操作设备的用户界面的具体的操作部件相独立的、抽象的操作部件的记述；上述转换记述部件包含将上述源文件中的抽象的操作部件，转换成上述操作设备的具体的操作部件的记述。

另外，优选的是，上述源文件、上述转换记述部件和上述用户界面的内容是用XML语言记述的。

另外，优选的是，上述转换记述部件和上述转换记述，作为格式页来记述。

另外，优选的是，上述操作对象设备是该信息处理装置。

另外，优选的是，上述操作设备和上述操作对象设备是不同的设备，

上述操作设备具有

将上述简要表信息发送给上述信息处理装置的发送装置；

从上述信息处理装置接收上述用户界面的内容的接收装置；以及

运行上述用户界面的内容的运行装置。

另外，优选的是，上述发送装置，将输入到上述操作设备中的上述简要表信息发送给上述信息处理装置。

另外，优选的是，上述发送装置，将基于用户对上述操作设备的操作履历而生成的上述简要表信息，发送给上述信息处理装置。

另外，优选的是，上述操作设备具有取得装置，取得与该操作设备的用户对应的上述简要表信息，

上述发送装置，将由上述取得装置取得的简要表信息发送给上述信息处理装置。

为达到上述的目的的本发明的信息处理装置的控制方法具备以下的结构。

即，一种生成用于操作设备对操作对象设备进行操作的用户界面的信息处理装置的控制方法，该控制方法包括：

接收步骤，接收简要表信息，该简要表信息包括表示上述操作设备特性的特性信息和关于操作上述操作设备的用户的用户信息；

选择步骤，根据在上述接收步骤中接收到的上述简要表信息，从存储于存储介质中的记述了上述操作对象设备的操作流程的源文件组中，选择源文件；

生成步骤，根据在上述接收步骤中接收到的上述简要表信息，从存储于存储介质中的转换上述源文件的转换记述部件组中，选择转换记述部件，并合并所选择的转换记述部件，生成转换记述；

变换步骤，用上述转换记述转换上述源文件，生成实现上述操作设备进行的上述操作对象设备的操作的用户界面的内容；以及

发送步骤，向上述操作设备发送上述用户界面的内容；

本发明的其它特征和优点从以下的参照附图进行的说明中将得到明确，在该附图中，相同的参考符号在其全部图形中表示同样的或类似的部分。

附图说明

该附图构成发明书的一部分，与说明书一起用于解释本发明的原理。

图1是表示与本发明的实施方式相关的信息处理系统的结构的方框图。

图2是表示与本发明的实施方式相关的操作设备的硬件结构的结构图。

图3是表示与本发明的实施方式相关的操作对象设备的硬件结构的结构图。

图4是表示运行与本发明的实施方式相关的信息处理系统的处理的流程图。

图5是表示与本发明的实施方式相关的简要表信息的一例的图。

图6是表示与本发明的实施方式相关的源文件的一例的图。

图7是表示将包含与本发明的实施方式相关的抽象UI部件的源文件，向具体UI部件转换的一例的图。

图8是表示与本发明的实施方式相关的根据简要表信息从格式页部件的集合中选择适当的格式页，将它们结合起来并生成最终格式页的一例的图。

图9A是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

图9B是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

图9C是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

图9D是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

图9E是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

图10A是表示与本发明的实施方式相关的格式页部件的一例的图。

图10B是表示与本发明的实施方式相关的格式页部件的一例的图。

图11A是表示与本发明的实施方式相关的格式页部件的一例的图。

图11B是表示与本发明的实施方式相关的格式页部件的一例的图。

图11C是表示与本发明的实施方式相关的格式页部件的一例的图。

图12是表示与本发明的实施方式相关的格式页部件的一例的图。

图13是表示与本发明的实施方式相关的格式页部件的一例的图。

图14A是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14B是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14C是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14D是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14E是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14F是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图15是表示用多模式浏览器运行了与本发明的实施方式相关的用户界面的内容时的显示画面的一例的图。

图16是表示与本发明的其它实施方式相关的在将源文件中的抽象UI部件转换成具体UI部件的格式页中，将样式属性的记述部分进行分离，并用不依赖于应用程序(application-independent)的形式记述的一例的图。

图17是表示与本发明的其它实施方式相关的格式页的一例的图。

具体实施方式

以下，使用附图详细地说明关于本发明的实施方式。

在本实施方式中，举例说明将PDA假定为作为信息处理系统的结构要素的操作设备，将复印机假定为其操作设备的操作对象设备的情况。

此外，在本实施方式中，将操作设备和操作对象设备作为不同的设备进行说明，但对于使操作设备和操作对象设备成为一体的设备，也能够应用本发明。

在图1的操作设备100中，101是简要表信息生成单元，从操作设备的特性和用户的特性、嗜好信息，生成成为关于操作设备的操作的信息的简要表信息，并将已生成的简要表信息向操作对象设备发送。

108是用户界面(UI)的内容运行单元，以能用声音和GUI进行输入输出的多模式浏览器，运行用从操作对象设备200发送的用多模式/标记语言(以下，叫做MMML)记述的用户界面的内容。

109是声音输入输出单元，对在内容运行单元108中运行的用户界面的内容，进行声音的输入输出。110是显示单元，显示在内容运行单元108中运行的用户界面的内容。

111是GUI输入单元，基于在内容运行单元108中运行的用户界面的内容进行GUI输入。

另一方面，在图1的操作对象设备200中，102是简要表信息分析单元，分析从操作设备100接收的简要表信息。103是格式页生成单元，使用在简要表信息分析单元102中被分析的简要表信息，从格式页保持单元104检索、结合格式页。104是格式页保持单元，保持记述了已部件化了的操作设备的模式的格式页。

105是源文件选择单元，使用在简要表信息分析单元102中已分析的简要表信息，从源文件保持单元106选择源文件。106是源文件保持单元，保持记述了系统主导、用户主导等操作流程的源文件。

107是转换单元(XSLT：XSL Transformation)，是用在格式页生成单元103生成的格式页，将由源文件选择单元105选择出的源文件，转换成作为多模式用户界面的XML记述语言的MMML，并将该转换结果发送到操作设备100的内容运行单元108。所谓多模式用户界面，就是能用声音和GUI等的多个模式进行输入输出的用户界面。

此外，源文件包含与实现操作设备100的用户界面的具体操作(UI)部件(模式(GUI部件和声音输入输出部件))相独立的抽象操作(UI)部件的记述。另外，格式页包含了将源文件中的抽象的操作部件，转换成操作设备100的具体的操作部件的记述。

接下来，使用图2说明操作设备100的硬件结构。

在该图中，201是CPU，按照实现后述流程图的程序进行工作。202是RAM，提供上述程序的动作必要的存储区域和作业区域以及数据暂时保存区域。203是ROM，保持实现后述流程图的程序和各种数据。

204是液晶显示装置(LCD)，显示文本和图像等。此外，还可以使用CRT等其它的显示装置替代该LCD204。205是触摸面板，实现各种数据的输入和用户界面的操作。用用户的手指或专用笔，对该触摸面板进行操作。另外，除了该触摸面板205外，还可以装备键盘和指点设备。

206是扬声器，输出合成声音。207是可改写的外部存储装置，在本实施方式中，使用硬盘驱动器(HDD)。在该HDD207中，例如，存储着包含运行用户界面的浏览器等程序的各种程序。

208是话筒，进行对声音识别的声音输入。209是总线，相互地连接操作设备100的上述各结构要素。

接着，使用图3说明操作对象设备200的硬件结构。

在该图中，301是CPU，按照实现后述流程图的程序进行工作。302是RAM，提供上述程序的动作所必要的存储区域和作业区域以及数据暂时保存区域。303是ROM，保持实现后述流程图的程序和数据。

304是液晶显示装置(LCD)，显示文本和图像等。此外，也可以使用CRT等其它显示装置替代该LCD304。305是输入装置，例如，由0～9数字键和按钮构成。除此以外，还可以使用指点设备和键盘。

306是打印装置，例如，由激光束方式的打印装置构成。除此以外，还可以使用喷墨方式和热转印方式。307是可改写的外部存储装置，在本实施方式中，使用了硬盘驱动器(HDD)。在该HDD307中，存储着例如格式页和源文件等各种数据。

308是总线，使操作对象设备200的上述各结构要素相互地连接。

接下来，使用图4说明与本发明的实施方式相关的信息处理系统运行的处理。

图4是表示与本发明的实施方式相关的信息处理系统运行的处理的流程图。

在图4中，说明将包含表示操作设备100特性的特性信息和关于用户的特性、嗜好的用户信息的简要表信息发送到操作对象设备200，并接收与之相应的用户界面的内容的方法。

首先，操作设备100取得由表示操作设备本身特性的特性信息和关于用户的特性、嗜好的用户信息组成的操作设备/用户信息(步骤S401)。在本实施方式中，使用用户自身从在LCD204上用GUI实现的输入画面输入该操作设备信息的方法。然后，使用该操作设备/用户信息，在简要表信息生成单元101中，生成简要表信息(步骤S402)，该简要表信息用XML记述了图5所示的使用语言、使用操作设备的画面尺寸、熟练程度、残疾者信息等信息。

接下来，将该简要表信息作为HTTP信息的POST请求，发送到操作对象设备200(步骤S403)。

此外，在图5的简要表信息中的例子，记述了以下内容：使用语言是英语(<system-language>english</system-language>)、操作设备的画面尺寸是400×340(<screen-height>400</screen-height>，<screen-width>340</screen-width>)、浏览器是能用声音和GUI进行输入输出的多模式浏览器(<browser>MMML-Browser</browser>)、可利用的模式是GUI和声音(<gui>yes</gui>，<tts>yes</tts>，<asr>yes…</asr>、声音识别的种类是单词声音识别(<asr>yes<type>isolated-word</type></asr>)，而且，熟练程度是标准的(<familiality>average</familiality>)、残疾者信息为健康(<disability>no</disability>)。

另一方面，操作对象设备200从操作设备100接收简要表信息(步骤S404)。接下来，在简要表信息分析单元102中，使用XML分析程序(parser)进行简要表信息的分析(步骤S405)。

接着，在源文件选择单元105中，从保持在源文件保持单元106上的记述了图6那样的流程的源文件中，根据简要表信息选择适当的源文件(步骤S406)。

在此，源文件是将XHTML作为容器的XML文件。它用作为W3C的标准的Xforms(http：//www.w3.org/TR/xforms/)记述数据模型和抽象用户界面部件(以下，称为抽象UI部件)，用作为W3C的标准的XML Events(http：//www.w3.org/TR/xml-events/)记述事件驱动(event-driven)的流程。作为流程的内容，已知用户主导、系统主导、它们的混合主导这些情况为典型的对话模式，将其作为流程而采用。

另一方面，在格式页保持单元104中，保持了将包含在源文件(中断流程记述)中的抽象UI部件转换成具体的UI部件(以下，称作具体UI部件)的格式页的部件(以下，称作格式页部件)。就是说，该格式页部件作为用于将源文件中的抽象UI部件的记述转换成具体UI部件的记述的转换记述部件而起作用。

例如，在源文件中，像复印机的用纸尺寸选择那样，用Xforms的select1这样的要素，记述从多个选择分支选择1个选择分支的抽象UI部件。将其转换成GUI的下拉菜单和声音输入这样的具体UI部件的记述的格式页，变成被保持在格式页保持单元104中的格式页的部件。(图7)。

即，在格式页保持单元104中保持着这样的格式页部件的集合。而且，在格式页生成单元103上，如图8所示，从这些格式页部件的集合中，根据简要表信息选择适当的格式页部件(步骤S407)。

例如，在基于简要表信息，分析为操作设备具有声音输入输出功能，或其用户是视觉障碍者的情况下，选择转换成声音合成/识别部件之类的具体UI部件的格式页部件。然后，将选择出的格式页部件(转换记述部件)合并成一个，并动态地生成最终的格式页(转换记述)(步骤S408)。

此外，根据简要表信息，选择哪个格式页部件这样的规则，由其用户界面的开发者记述。该记述方法既可以用编程语言直接记述，也可以用预定的记述方式声明式地进行记述，该方式本身在本发明的范围之外，因此省略说明。

另外，在转换单元107中，使用XSLT处理机，转换在步骤S406中，使用已生成的格式页选择出的源文件(步骤S409)。由此，动态地生成最终的用户界面的内容(步骤S410)。然后，将已生成的用户界面的内容发送到操作设备100(步骤S411)。

与此相对，操作设备100从操作对象设备200接收内容(步骤S412)。然后，操作设备100在内容运行单元108上，运行已接收的用户界面的内容(步骤S413)。由此，能够在操作设备上，实现与操作设备100的特性和用户的特性、嗜好相对应的、用于对操作对象设备200进行操作的用户界面。

接着，用图9A～图9E，说明操作对象设备200的源文件的一例。

图9A～图9E是表示与本发明的实施方式相关的操作对象设备的源文件的一例的图。

特别地，在图9A～图9E中，是用户主导的情况下的操作对象设备200的源文件的一例。

在图9A中，(i)是数据模型的记述，作为操作对象设备的模型(功能)记述了份数(<copier:CopyNum>)、用纸尺寸(<copier:PaperSize>)、倍率(<copier:Ratio>)、双面设定(<copier:DoubleSided>)、浓度(<copier:CopyDepth>)。

(ii)是关于份数的输入的记述，记述了用所谓的XForms的input的要素，直接将值输入的抽象UI部件。

(iii)是关于用纸选择的记述，记述了用所谓的XForms的select1的要素，从多个选择分支选择一个选择分支的抽象UI部件。

以下，(iv)是关于倍率的记述，

(v)是关于双面设定的记述，

(vi)是关于浓度设定的记述。

另外，假定(iii)～(vi)的各记述的位于开始处的<String-XXXX/>(例如，在(iii)中，为<String-PaperSize/>)记述了字符串的输出，根据使用语言，转换成适当的语言的字符串。

接下来，详细地说明被保持在格式页保持单元104上的格式页部件。

图10A和图10B是表示与本发明的实施方式相关的格式页部件的一例的图。

特别地，在图10A和图10B中，示出了将源文件中的抽象UI部件，向具体UI部件转换的格式页部件的一例。

例如，对于图9A的(ii)的input，图10A的(i)的模板起作用，用MMML转换成表示GUI的文本框的input这一要素。

另外，对于图9B的(iii)的select1，图10A和图10B的(ii)的模板起作用，用MMML转换成表示下拉菜单的select这一要素。

图11A～图11C是表示与本发明的实施例相关的格式页部件的一例的图。

特别地，在图11A～图11C中，示出了将源文件的抽象UI部件转换成MMML的声音输入的记述的格式页部件的一例。

例如，通过图11A的(i)的模板，图9A的(ii)的input，被转换成作为MMML的声音输入的具体UI部件的记述而定义的Listen要素。

另外，通过图11B的(ii)的模板，图9B的(iii)的select1，同样地被转换成listen要素。此外，用于识别实际上被输入的声音的声音识别语法(grammar)的内容，用户界面的开发者必须在直接记述之前预先准备好。

特别地，在图12中，示出了生成按事件使捆绑(bind)在相同数据要素中的GUI部件和声音输入部件相同步的MMML的记述的格式页部件的一例。

例如，当在份数的设定中结合GUI的文本框和声音输入时，若点击文本框接受聚焦(focus)则相应的声音输入也激活(变成可输入状态)这样的动作，在多模式用户界面中是典型的。

该格式页部件的作用是能生成这样的同步的记述。而且，在本实施方式的MMML中，进行定义，使得用XML Events记述事件，因此该格式页部件成为与源文件的各抽象UI部件相匹配，并输出XML Events的记述的模板的集合。

此处，图12的(i)是，在与图9A的(ii)的input要素相匹配，在图10A的(i)输出的MMML的GUI部件中发生了“onmousedown”事件时，生成激活图11A的(i)所输出的声音输入部件这个同步记述的模板。另外，图12的(ii)也大致与图12的(i)相同。

然后，格式页生成单元103，例如，根据图5那样的简要表信息，从图10A～图12的格式页部件的集合选择适当的格式页部件，动态地生成格式页。

此处，使用图13说明已动态生成的格式页。

图13是表示与本发明的实施方式相关的格式页的一例的图。

图13的(i)是表示基于简要表信息而设定的参数的记述，作为在格式页部件内的条件分支和参数而使用。例如，设定用户的使用语言的图5的<system-language>～</system-language>，在图13的(i)中，作为language之类的参数进行设定。

由此，根据使用语言，变更显示于画面的文章、识别词汇和合成声音。设定操作设备100的画面尺寸的图5的<screen-height>～</screen-height>、<screen-width>～</screen-width>，在图13中分别作为displayheight、displaywidth之类的参数进行设定。

根据该值，变更浏览器的画面尺寸、字幕、GUI格式的大小等。另外，在操作设备100中，根据设定是可使用、还是想使用GUI和声音识别、合成功能的图5的<gui>～</gui>、<asr>～</asr>、<tts>～</tts>的值，决定图13的(i)的gui、listen、speech等参数。

在图5的简要表信息中，示出了声音识别、合成都可能的情况，因此图13的(i)的gui、listen、speech参数也被设定为与其相应的值(“on”)。它们作为切换GUI显示和声音识别、合成的ON/OFF的标志等而使用。

图13的(ii)是表示根据简要表信息，包含(include)哪个格式页部件的记述。例如，若图5的<gui>～</gui>是on，则包含图13的格式页部件(在本例中，文件名＝GUIFormTemplate.xsl)。

同样地，若图5的<asr>～</asr>和<tts>～</tts>是on，则包含图13的格式页部件(在本例中，文件名＝SpeechFormTemplate.xsl)。

这样，通过基于被生成的最终的格式页，在转换单元107中转换图9A～图9E的源文件，能够生成与简要表信息相对应的用户界面的内容。

像以上那样，用图14A～图14F说明所生成的最终的用户界面的内容的记述。

图14A～图14F是表示与本发明的实施方式相关的用户界面的内容的一例的图。

图14A的(i)是记述了操作设备200的数据模型的记述，记述了拷贝份数(<copier:CopyNum/>)等参数。

图14B的(ii)，是在用鼠标器点击了文本框和下拉菜单等的GUI的格式时，激活后述的声音输入部件那样的事件的记述。

图14C的(iii)是“份数(copies)”、“用纸(paper)”、“倍率(ratio)”、“双面(double-sided)”和“浓度(density)”等字幕显示的记述。

图14C～图14F的(iv)是文本框、下拉菜单和按钮等GUI结构要素的记述。

图14F的(v)是声音输入部件的记述，表示读入声音识别语法，并开始声音识别，将声音识别结果结合到用数据模型定义的参数的情况。

即，当点击GUI的格式时，能够激活声音输入部件，开始声音识别，使声音识别结果与参数结合，用识别结果填充已点击的GUI的格式。另外，即使它是直接输入和下拉菜单的选择，也能填充格式。这样，就能够实现可进行声音和GUI的输入的多模式的用户界面。

而且，用可进行声音和GUI的输入输出的多模式浏览器，运行该图14A～图14F的内容时的显示画面的一例，变成图15那样。

如以上说明的那样，根据本实施方式，考虑操作设备100的特性和用户的特性、嗜好，用操作对象设备动态地生成作为操作设备的用户界面的逻辑和使用模式，并能用操作设备实现它，由此，能够与对操作不习惯的用户和视觉障碍者等的用户相对应，适当地提供定制的用户界面，提高可用性。

[其它实施方式]

在上述实施方式中，作为简要表信息，使用了假定使用语言是英语系的图5所示的信息，使用语言并不限于英语，也可以适当生成与使用语言环境相应的简要表信息，生成与多种使用语言相对的多种简要表信息，构建假定了各种使用语言环境的系统。例如，在使用语言是日语时，在图5中，使用语言变成日语(<system-language>japanese</system-language>)。另外，为了使显示的信息变成日语表述，将各种源文件的该位置适当地变成日语表述。

然后，在这样的结构中，当用多模式浏览器运行该用户界面的内容时，能提供表述为日语的用户界面。这样，就能根据简要表信息变更模式和显示。

[其它实施方式]

在上述实施方式中，示出了以下的例子：假定是健康者且对操作对象设备200(复印机)的熟练程度中等的用户，在操作设备100(PDA)上，提示能进行声音和GUI输入的、用户能动地填充文本框和下拉菜单的用户主导UI。但并不限于此。

例如，对视觉障碍者和熟练程度低的用户，系统能够寻找输入项目，根据用户的应答，提示填充项目的系统主导UI，特别是能为视觉障碍者提供声音中心的系统主导UI。例如，变成像以下所示的应答。

复印机：“拷贝几张？”

用户：“3张”

复印机：“3张可以吗？”

用户：“可以”

复印机：“是什么样的用纸尺寸？”

用户：“A4”

.

复印机：“拷贝吗？”

用户：“是”

[拷贝开始]

此时，就会记述实现上述的应答的内容。

[其它实施方式]

在上述实施方式中，作为用运行用户界面的内容的操作设备进行的声音识别的类型，假定了接受“5张”和“A4”这样的单发声的单词的单词声音识别，但也能够进行接受组合多个单词的连续的发声的连续声音识别。由此，例如，当发声为“5张、从A4到A3、最浓”时，就能够同时填充多个相应的区域。

[其它实施方式]

在上述实施方式中，将从抽象UI部件转换成具体UI部件的典型的格式页、文本和格式的式样、字幕等的依赖应用程序的格式页进行分离，使典型的格式页成为不依赖于应用程序的记述，即使是上述实施方式所示的操作对象设备200(复印机)以外的其它设备，也能够以可再利用的形式进行记述，由此，就能够进一步降低制造成本。

例如，在图10A中，在input和select1的属性中，style属性(指定GUI部件的位置和大小的记述)分别如图10A的(iii)和(iv)所示的那样，变成了依赖于操作对象设备200(复印机)的UI那样的应用程序的记述。

因此，在图10A、B的格式页中，用将图10A的(iii)改写成图16的(i)、将图10B的(iv)改写为图16的(ii)的图16的格式页，预先转换style属性以外的部分，用只转换style属性的格式页，转换该转换结果。

图17表示该格式页的例子。在图17的格式页中，用图17的(i)转换style属性，用图17的(ii)复制style属性以外的剩余部分。因此，图16的格式页只剩下“抽象UI部件的input转换成GUI的文本框，select1转换成GUI的下拉菜单”等的记述，而没有依赖于操作对象设备200(复印机)的UI这样的特定的应用程序的记述。即，图16的格式页，即使在其它应用程序上，也可以利用。

[其它实施方式]

在上述实施方式中，简要表信息已通过用户在操作设备上实现的GUI，成为由用户设定的结构，也可以根据用户的操作设备100上的操作履历，动态地生成简要表信息。

[其它实施方式]

在上述实施方式中，简要表信息用用户在操作设备100上实现的GUI，手动地进行设定，但也可以输入用于特定用户的用户ID，并从该用户ID，访问管理每个用户ID的简要表信息的用户信息数据库，得到与该用户ID相对应的简要表信息。

此外，该用户信息数据库，例如，既可以用操作设备100管理，也可以使操作设备100经由有线/无线网络，用可访问的专用服务器进行管理。

[其它实施方式]

在上述实施方式中，说明了将实现本实施方式的各种程序，保持在操作设备100的ROM203和操作对象设备200的ROM303上的情况，但本发明不受此限定，还可以保持在可与操作设备100和操作对象设备200连接的外部存储装置(CD-ROM/R/RW驱动器、DVD-ROM/RAM/R/RW驱动器、ZIP驱动器、MO驱动器、存储器卡片(例如，SD卡、MM(多媒体)卡、智能媒体、小型快速(注册商标)槽)上，或者还可以构成实现各种程序的专用的硬件。

以上，详述了实施方式例，但本发明也可以采取作为例如系统、装置、方法、程序或记录介质等实施方式，具体地说，还能适用于由多台设备构成的系统，并且，也能适用于由一个设备组成的装置。

此外，本发明还包括通过以下步骤达成的情况：通过将实现上述的实施方式的功能的软件的程序(在实施方式中，与图中所示的流程图相对应的程序)，直接或远程供给到系统或装置，该系统或装置的计算机读出被供给的该程序代码并运行。

因此，为在计算机上实现本发明的功能处理，安装在该计算机上的程序代码本身也应实现本发明。就是说，本发明还包括用于实现本发明的功能处理的计算机程序本身。

此时，若具有程序的功能，则也可以是供给到通过目标代码、解释程序运行的程序、OS的脚本数据等的方式。

作为用于供给程序的记录介质，例如，有软盘(Floppy：注册商标)、硬盘、光盘、光磁盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性的存储卡、ROM、DVD(DVD-ROM、DVD-R)等。

此外，作为程序的供给方法，可以通过以下方式提供：使用用户计算机的浏览器，与英特网的主页连接，从该主页将本发明的计算机程序本身，或者被压缩的、包含自动安装功能的文件下载到硬盘等记录媒体上。另外，还可以通过以下方式实现：将构成本发明程序的程序代码分割成多个文件，从不同的主页下载各自的文件。就是说，本发明还包括：对于多个用户，下载用于以计算机实现本发明的功能处理的程序文件的WWW服务器。

另外，也可以这样实现：将本发明的程序加密，并存储到CD-ROM等记录介质中，分发给用户，对知晓预定的条件的用户，使其经由英特网，从主页上下载解密的密钥信息，通过使用该密钥信息，运行被加密的程序，使之安装在计算机上。

另外，除了通过计算机运行已读出的程序来实现上述实施方式的功能外，基于该程序的指示，在计算机上运行的OS等，进行实际处理的一部分或全部，通过该处理，也能实现上述实施方式的功能。

此外，也可以是，当从记录媒体读出的程序，被写入插在计算机中的功能扩展板或连接到计算机的功能扩展单元所具有的存储器中后，基于该程序的指示，由该功能扩展板或功能扩展单元所具有的CPU等进行实际处理的一部分或全部，通过该处理来实现上述实施方式的功能。

本发明不受以上实施例的限定，在本发明的精神和范围内能进行各种变更和改进。为明确本发明的公开范围，做成下面的权利要求书。

Claims

1.一种信息处理装置，生成用于操作设备对操作对象设备进行操作的用户界面，其特征在于，包括

发送装置，向上述操作设备发送上述用户界面的内容；

2.根据权利要求1所述的信息处理装置，其特征在于：

上述源文件、上述转换记述部件和上述用户界面的内容是用XML语言记述的。

3.根据权利要求1所述的信息处理装置，其特征在于：

上述转换记述部件和上述转换记述，作为格式页来记述。

4.根据权利要求1所述的信息处理装置，其特征在于：

上述操作对象设备是该信息处理装置。

5.根据权利要求1所述的信息处理装置，其特征在于：

上述操作设备和上述操作对象设备是不同的设备，

上述操作设备具有

将上述简要表信息发送给上述信息处理装置的发送装置；

运行上述用户界面的内容的运行装置。

6.根据权利要求5所述的信息处理装置，其特征在于：

上述发送装置，将输入到上述操作设备中的上述简要表信息发送给上述信息处理装置。

7.根据权利要求5所述的信息处理装置，其特征在于：

上述发送装置，将基于用户对上述操作设备的操作履历而生成的上述简要表信息，发送给上述信息处理装置。

8.根据权利要求5所述的信息处理装置，其特征在于：

上述操作设备具有取得装置，取得与该操作设备的用户对应的上述简要表信息，

9.一种生成用于操作设备对操作对象设备进行操作的用户界面的信息处理装置的控制方法，其特征在于，包括

接收步骤，接收简要表信息，该简要表信息包括表示上述操作设备特性的特性信息、和关于操作上述操作设备的用户的用户信息；

发送步骤，向上述操作设备发送上述用户界面的内容；