CN104220973A - 信息处理装置和程序 - Google Patents

信息处理装置和程序 Download PDF

Info

Publication number
CN104220973A
CN104220973A CN201380019592.5A CN201380019592A CN104220973A CN 104220973 A CN104220973 A CN 104220973A CN 201380019592 A CN201380019592 A CN 201380019592A CN 104220973 A CN104220973 A CN 104220973A
Authority
CN
China
Prior art keywords
information
picture
target
transformation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380019592.5A
Other languages
English (en)
Inventor
河野真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104220973A publication Critical patent/CN104220973A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/201—Accessories of ATMs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的是在GUI中预先显示转变之后的画面信息。该信息处理装置包括：画面识别单元，用于识别画面中包括的输入元素；输入信息生成单元，用于生成对应于输入元素的输入信息；转变目标信息获取单元，用于获取关于画面的转变目标的信息，关于转变目标的信息对应于输入信息；以及转变目标信息输出单元，用于输出转变目标信息以与画面分离地显示转变目标信息。

Description

信息处理装置和程序
技术领域
本公开涉及信息处理装置和程序。
背景技术
图形用户接口(GUI)常被用作提供给用户用于操作装置的接口。例如，用户执行如下预定操作，按下诸如按钮的操作元素并且将项目输入到显示在作为GUI的装置的显示单元上的画面上的诸如文本框的输入区域，以向装置提供多种输入。
一般而言，所显示的画面根据来自用户的输入转变到这种GUI上的其他画面。诸如移动电话和家用电器的电子装置的操作画面通常从示意性显示功能的主菜单转变成显示在主菜单上选择的功能的详细菜单。例如，输入的地址和所选择的链接使计算机的web浏览器依次获取并显示新的网页。
尽管显示在GUI上的画面转变到其他画面，但是相当多的用户经常希望不止一次地观看转变之前的画面。例如，电子装置的操作画面频繁地具有位于其上的“后退”按钮以允许详细的菜单转变为它们的主菜单。web浏览器也具有位于其上的“后退”按钮，使得web浏览器能够再次显示由装置缓存的转变之前的网页。
专利文献1描述了一种用于改进在web浏览器上显示转变之前的网页的功能的技术。例如，该技术具有被存储的所显示的网页的图像以允许用户检查关于甚至在转变之后未缓存的页面的显示信息。
引用文献列表
专利文献
专利文献1：JP 2011-204158A
发明内容
技术问题
一些用户希望观看转变之前的画面，并且其他用户希望观看转变之后的画面。然而，上述技术不能满足这些需求。此外，没有提供用于满足这些需求的其他技术。
因而本公开设计了新型的和改进的信息处理装置和程序，其能够预先在GUI上显示关于转变之后的画面的信息。
对问题的解决方案
根据本公开，提供了一种信息处理装置，其包括：画面识别单元，被配置成识别画面中包括的输入元素；输入信息生成单元，被配置成生成对应于输入元素的输入信息；转变目标信息获取单元，被配置成获取关于画面的转变目标的信息，关于转变目标的信息对应于输入信息；以及转变目标信息输出单元，被配置成输出关于转变目标的信息以与画面分离地显示关于转变目标的信息。
此外，根据本公开，提供了一种程序，用于使计算机执行：识别画面中包括的输入元素的功能；生成与输入元素对应的输入信息的功能；获取关于画面的转变目标的信息的功能，关于转变目标的信息与输入信息对应；以及输出关于转变目标的信息以与画面分离地显示关于转变目标的信息的功能。
用户生成对应于用户的输入元素的输入信息以在GUI上提供输入。基于输入信息预先获取并输出关于画面的转变目标的信息。这在用户实际输入信息以使画面转变到转变之后的画面之前，允许用户获取关于转变之后的画面的信息。
本发明的有利效果
根据如上文所述的本公开，可以显示在GUI上预先显示关于转变之后的画面的信息。
附图说明
图1是图示根据本公开的第一实施例的信息处理装置的外观的示图。
图2是图示在本公开的第一实施例中显示的画面的示例的示图。
图3是示出在图2的示例中在没有任何转变目标显示的情况下画面转变的示图。
图4是图示本公开的第一实施例中的转变目标显示的示例的示图。
图5是图示本公开的第一实施例中的转变目标显示的示例的示图。
图6是图示根据本公开的第一实施例的信息处理装置的示意性功能配置的框图。
图7是图示本公开的第一实施例中的处理示例的流程图。
图8是图示本公开的第二实施例中的转变目标显示的第一示例的示图。
图9是图示本公开的第二实施例中的转变目标显示的第二示例的示图。
图10是图示本公开的第二实施例中的转变目标显示的第三示例的示图。
图11是图示本公开的第二实施例中的处理示例的流程图。
图12是示出在图2的示例中在没有任何转变目标显示的情况下画面转变的示图。
图13是示出在图2的示例中在没有任何转变目标显示的情况下画面转变的示图。
图14是图示本公开的第三实施例中的转变目标显示的示例的示图。
图15是图示根据本公开的第四实施例的信息处理装置的外观的示图。
图16是图示本公开的第四实施例中的转变目标显示的第一示例的示图。
图17是图示本公开的第四实施例中的转变目标显示的第二示例的示图。
图18是图示根据本公开的第四实施例的信息处理装置的示意性功能配置的框图。
图19是图示根据本公开的第五实施例的装置的外观的示图。
图20是图示在本公开的第五实施例中显示的操作画面的示例的示图。
图21是图示在本公开的第五实施例中的转变目标显示的示例的示图。
图22是图示在本公开的第五实施例中显示的操作画面的另一示例的示图。
图23是图示根据本公开的第五实施例的信息处理装置的示意性功能配置的框图。
图24是图示根据本公开的第五实施例的信息处理装置的替选功能配置的框图。
图25是用于描述信息处理装置的硬件配置的框图。
具体实施方式
以下将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的元素由相同的附图标记表示，并且省略了重复的说明。
描述将按以下顺序进行。
1.第一实施例：web浏览器上的转变目标显示
2.第二实施例：转变目标显示
3.第三实施例：转变目标序列的显示
4.第四实施例：显示单元
5.第五实施例：与显示画面的装置不同的装置上的显示
6.硬件配置
7.补充
(1.第一实施例：web浏览器上的转变目标显示)
首先，将参照图1至7描述本公开的第一实施例。
(装置配置)
图1是图示根据本公开的第一实施例的信息处理装置的外观的示图。根据本实施例的信息处理装置是如图中所示的笔记本个人计算机(PC)100。除了图示示例之外，根据本实施例的信息处理装置的示例可以包括多种装置，诸如平板PC、桌面型PC和移动电话(智能电话)，只要它们具有如下文讨论的web浏览器的功能即可。
PC 100包括显示单元110。例如，显示单元110由液晶显示器(LCD)、有机电致发光(EL)显示器等。将在本实施例中描述显示单元110上显示的web浏览器，但是显示单元110可以进一步显示关于PC 100的处理的诸如多种图像和文本的信息。
(画面显示的示例)
图2是图示在本公开的第一实施例中显示的画面的示例的示图。PC100的显示单元110显示web浏览器画面1101。例如，web浏览器画面1101根据输入地址和所选链接转变到其他画面。在图示示例中用于航线预定的页面显示在web浏览器画面1101中。然而，毋庸赘言，可以显示任何其他页面。图示web浏览器画面1101的设计完全不限制本公开的实施例。
web浏览器画面1101包括作为输入元素的按钮1102。在图示示例中，按钮1102包括与诸如“预定”和“空座搜索”的功能对应的四个按钮1102a至1102d。一旦用户按下任何按钮1102(更具体地，用户用鼠标、触摸板等点击、双击或轻叩按钮)，web浏览器画面1101转变到与每个功能对应的页面。用于使画面转变的如按钮1102的输入元素在下文中还将被称为提交元素。
当用户按下按钮1102时，PC 100向web服务器传送指示“按钮1102已被按下”的信息。该信息可以被视为与作为输入元素的按钮1102对应的输入信息。该信息也是指示作为提交元素的按钮1102已执行提交操作的输入信息。
接收到指示“按钮1102已被按下”的输入信息的web服务器生成关于与该输入信息对应的web浏览器画面1101的转变目标的信息，并且随后将所生成的信息传送到PC 100。PC 100根据从web服务器接收到的信息使web浏览器画面1101转变。
(无转变目标显示)
图3是示出在图2的示例中在没有任何转变目标显示的情况下画面转变的示图。在图示示例中关于“预定”的按钮1102a已被按下。由于在该示例中用户仍未登录，因此显示错误消息，指示“您必须登录以进行在线预定”。
在该情况下，用户可以例如通过按下“后退”按钮等返回转变之前的画面。然而，例如，在画面已转变之后，无缓存页面等有时不允许用户返回。在该情况下，用户除了关闭浏览器并且随后再次访问该页面以外没有其他选择。这种情形会浪费用户的时间并且困扰用户。然而，在没有如下文讨论的任何转变目标显示的情况下，用户难于预测这些情形。
毋庸赘言，理想的是涉及一种网页，其中例如对于仍未登录的用户禁用关于“预定”的按钮1102a等以便防止上述情形。然而，从所有网页预见该最优设计总是不现实的。
因此，在本实施例中预先显示关于在按钮1102被按下的情况下显示的转变目标的信息以在用户实际按下按钮1102之前，允许用户了解按下按钮1102是否带来期望的结果。
(转变目标显示的示例)
图4和5是均图示根据本公开的第一实施例的转变目标显示的示例的示图。在图4的示例中，在光标位于按钮1102a上时(按钮1102a仍未被按下)，显示在关于“预定”的按钮1102a被按下的情况下显示的转变目标的画面图像(图3中的错误画面)作为转变目标显示1103。
例如，当PC 100新发起与其中在web浏览器画面1101上显示页面的会话(以下还将称为主会话)不同的会话(以下将称为子会话)，并且随后在该会话中向web服务器传送指示“按钮1102a已被按下”的输入信息时，可以获取用于显示转变目标显示1103的信息。在子会话中传送的输入信息实际上不是用户输入的，而是由PC 100生成。
这预先向用户通知如果用户按下按钮1102a，则用户将使画面转变到如图3中所示的错误画面并且陷入麻烦，使得用户可以避免按下按钮1102a。
同时，在图5的示例中，在指针位于按钮1102b上时(按钮1102b仍未被按下)，显示在关于“空座搜索”的按钮1102b被按下的情况下显示的转变目标的画面图像，作为转变目标显示1103。
这允许用户预先识别，即使当用户仍未登录时，仍可以使用在按动按钮1102b被按下的情况下显示的转变目标，使得用户可以没有拘束地按动按钮1102b。
(功能块)
图6是图示根据本公开的第一实施例的信息处理装置的示意性功能配置的框图。
PC 100包括显示单元110、显示控制单元120、画面识别单元130、输入信息生成单元140、转变目标信息获取单元150和转变目标信息输出单元160。除显示单元110以外的结构元件可以使用例如中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)被实现为软件。
显示控制单元120控制显示单元110以在显示单元110上显示web浏览器画面1101和转变目标显示1103。显示控制单元120根据从图中未示出的操作单元获取的用户操作从web服务器200获取用于显示web浏览器画面1101的信息。例如，获取实际按下在web浏览器画面1101上显示的按钮1102的用户操作，将基于该操作的输入信息(指示按钮1102已被按下)传送到web服务器200，并且从web服务器传送与输入信息对应的关于画面的转变目标的信息，这允许获取用于显示web浏览器画面1101的信息。此外，在关于本实施例的描述中省略了关于这种“通常画面转变”的功能配置，因为该功能配置是常用的。
同时，显示控制单元120从转变目标信息输出单元160获取用于显示转变目标显示1103的关于转变目标的信息。基于关于当前显示的web浏览器画面1101中包括的诸如按钮1102的输入元素的信息来获取关于转变目标的信息。因此，显示控制单元120还向画面识别单元130提供用于显示web浏览器画面1101的信息，允许获取关于转变目标的信息。
画面识别单元130基于从显示控制单元120获取的信息识别作为web浏览器画面1101中包括的输入元素的按钮1102。从显示控制单元120提供给画面识别单元130的信息可以是例如网页的源代码。例如，画面识别单元130可以通过检测来自源代码的字符串来识别按钮1102和针对按钮1102设定的属性，该字符串表示按钮1102。
作为示例，当以超文本标记语言(HTML)编写网页时，画面识别单元130从源代码中提取表示诸如“<a href＝"reserve.html"><imgsrc＝"reserve.gif"···></a>”的链接的字符串。此外，该字符串被显示为web浏览器画面1101上的按钮1102。画面识别单元130可以进一步获取诸如“href(指示去往其他页面等的链接)”和“reserve.html(链接目标的统一资源定位符(URL))”的信息作为按钮1102的属性。
输入信息生成单元140生成与画面识别单元130识别的输入元素对应的输入信息。如上文讨论的，与作为提交元素的按钮1102对应的输入信息可以指示按钮1102已执行提交操作。在HTML的示例中这可以是指定URL“reserve.html”的请求。就是说，在本实施例中，输入信息生成单元140生成在按钮1102被按下的情况下将传送到web服务器200的信息作为输入信息。
转变目标信息获取单元150从web服务器200获取关于与输入信息生成单元140生成的输入信息对应的转变目标的信息。更具体地，例如，转变目标信息获取单元150向web服务器200传送包括所生成的输入信息的请求，并且随后从web服务器200接收作为对该请求的响应的关于转变目标的画面的信息。如上文讨论的，当转变目标被显示时，web浏览器画面1101自身不转变。转变目标信息获取单元150因此可以使用与用于显示web浏览器画面1101的主会话不同的子会话与web服务器200通信。
转变目标信息输出单元160向显示控制单元120输出由转变目标信息获取单元150获取的关于转变目标的信息以便与web浏览器画面1101分离地显示由转变目标信息获取单元150获取的关于转变目标的信息作为转变显示1103。与web浏览器画面1101分离地显示由转变目标信息获取单元150获取的关于转变目标的信息意味着，在保持显示web浏览器画面1101的同时，分离地显示由转变目标信息获取单元150获取的关于转变目标的信息。例如，如上述示例中的那样，转变目标显示1103可以与web浏览器画面1101的一部分重叠。替选地，转变目标显示1103可以被显示成不与web浏览器画面1101重叠，或者可以与全部web浏览器画面1101重叠以临时使web浏览器画面1101不可见。
(处理过程)
图7是图示本公开的第一实施例中的处理示例的流程图。
首先，画面识别单元130识别作为输入元素的按钮1102，参考关于显示单元110上的光标位置的信息，并且确定光标是否位于按钮1102上(步骤S101)。
接下来，输入信息生成单元140生成与光标所在的按钮1102对应的输入信息(步骤S103)。这里生成的输入信息可以例如指示“按钮1102已被按下”。
接下来，转变目标信息获取单元150将由输入信息生成单元140生成的输入信息传送到web服务器200(步骤S105)。如上文讨论的，转变目标信息获取单元150可以在与主会话不同的子会话中传送输入信息。例如，如图4和5的示例中的那样，如果在web浏览器画面1101上显示页面的同时新显示转变目标显示1103，则转变目标信息获取单元150新发起子会话并且传送输入信息。
接下来，转变目标信息获取单元150从web服务器200接收转变目标信息(步骤S107)。转变目标信息是关于web服务器200基于在步骤S105中传送的输入信息生成的画面的信息，并且在转变目标信息直接显示在web浏览器画面1101上的情况下可以引起正常画面转变。
接下来，转变目标信息输出单元160将接收到的转变目标信息提供给显示控制单元120，并且显示控制单元120将转变目标显示1103显示在显示单元110上(步骤S109)。如上文讨论的，在本实施例中与web浏览器画面1101分离地显示转变目标显示1103。
(2.第二实施例：转变目标显示)
接下来，将参照图8至11描述本公开的第二实施例。
由于本实施例具有与第一实施例相同的装置配置和相同的功能块，因此将省略详细描述。
(转变目标显示的示例)
图8是图示本公开的第二实施例中的转变目标显示的第一示例的示图。在图示示例中光标位于关于“预定”的按钮1102a和关于“空座搜索”的按钮1102b之间的空间周围。一旦按钮1102a和1102b被按下，则分别显示下一画面作为转变目标显示1103a和1103b。
这样，在本实施例中针对在web浏览器画面1101上显示的每个按钮1102显示第一实施例中描述的相同的转变目标显示1103。可以如图中所示显示用于使每个按钮1102与转变目标显示1103相关联的链接，以指示每个按钮1102和转变目标显示1103之间的关系。替选地，转变目标显示1103也可以与相应的按钮1102重叠。
在上述示例中针对光标附近的按钮1102显示转变目标显示1103，并且被显示转变目标显示1103的按钮1102仍不必受限。例如，可以针对所有按钮1102a至1102d显示转变目标显示1103。
图9是图示本公开的第二实施例中的转变目标显示的第二示例的示图。在图示示例中，当web浏览器画面1101上显示的每个按钮1102a至1102d被按下时，转变目标被显示为转变目标显示1103e。例如，在转变目标显示1103e中，一旦每个按钮1102被按下，可以通过切换具有按钮1102的名称的选项卡来显示下一画面。
即使当例如在显示单元110中剩下少量区域时，这仍允许显示关于按钮1102的转变目标显示1103e。此外，被显示转变目标显示1103e的按钮1102不必是web浏览器画面1101中包括的所有按钮1102。例如，不必针对画面的页头、页脚等上显示的典型按钮(诸如用于返回主页的按钮和用于切换语言的按钮)显示转变目标显示1103e，尽管图9没有示出它们中的任何一个。
图10是图示本公开的第二实施例中的转变目标显示的第三示例的示图。在图示示例中，当web浏览器画面1101上显示的按钮1102a至1102d被按下时，转变目标分别被显示为转变目标代码1104a至1104d。转变目标代码1104被包括显示单元110的用于获取捕获图像的其他设备转换成转变目标的画面图像。在图示示例中二维码被显示为转变目标代码1104，并且也可以使用其他类型的代码。
作为信息处理装置100和包括显示单元110的用于获取捕获图像的其他设备的具体示例，信息处理装置100包括例如桌面型PC和电视机，并且该其他设备包括智能电话。在该情况下，智能电话利用相机(成像设备)获取图像，即示出PC或电视机的显示单元的图像，识别该图像中包括的转变目标代码1104，并且使用转变目标代码1104中包括的信息来显示转变目标的画面图像。该显示可以被显示为例如增强现实(AR)。
上述捕获图像可以甚至使用显示单元110周围的空间来显示转变目标的画面图像。例如，较之在显示单元110自身上显示，这样可以显示更多的画面图像。因此，例如即使当在显示单元110中留下少量区域时，仍可以显示关于按钮1102的转变目标的画面图像。
因此，甚至在其中显示转变目标的画面图像的其他实施例中，使用转变目标代码1104而非显示画面图像，通过这种方式也还可以显示转变目标信息。
(处理过程)
图11是图示本公开的第二实施例中的处理示例的流程图。
首先，画面识别单元130识别作为输入元素的按钮1102(步骤S201)。在本实施例中画面识别单元130识别多个按钮1102。web浏览器画面1101中包括的所有按钮1102或其一部分可以被识别。例如，识别的按钮1102可以限于位于显示单元110上的光标周围的按钮1102。可以从识别目标中排除除了画面的页头和页脚以外的区域中包括的按钮1102。
接下来，输入信息生成单元140生成与识别的按钮1102对应的输入信息(步骤S203)。由于在本实施例中识别多个按钮1102，因此输入信息生成单元140生成关于每个按钮1102的输入信息。更具体地，这里生成的输入信息可以指示被识别为提交元素的每个按钮1102已执行提交操作。
接下来，转变目标信息获取单元150将由输入信息生成单元140生成的输入信息传送到web服务器200(步骤S205)。转变目标信息获取单元150可以在关于各个按钮1102的分立的子会话中传送输入信息。例如，如图8的示例中的那样，当检测到两个按钮1102a和1102b时，转变目标信息获取单元150新发起两个子会话并且传送输入信息。
接下来，转变目标信息获取单元150从web服务器200接收转变目标信息(步骤S207)。转变目标信息是关于在web服务器200中基于在步骤S205中传送的输入信息生成的画面的信息。如果转变目标信息显示在web浏览器画面1101上，则画面将正常转变。由于在本实施例中针对多个按钮1102生成并传送输入信息，因此转变目标信息获取单元150接收关于各个按钮1102的转变目标信息。
接下来，转变目标信息输出单元160将接收到的转变目标信息提供给显示控制单元120，并且显示控制单元120将转变目标显示1103(或者转变目标代码1104)显示在显示单元110上(步骤S209)。如上文讨论的，在本实施例中以某种方式与相应的按钮1102相关联地显示转变目标显示1103(或者转变目标代码1104)。
(3.第三实施例：转变目标序列的显示)
接下来，将参照图12至14描述本公开的第三实施例。
由于本实施例具有与第一实施例或第二实施例相同的装置配置，因此将省略详细描述。
(无转变目标显示)
图12和13是均示出在图2的上述示例中在没有任何转变目标显示的情况下画面转变的示图。在图示示例中关于“会员注册”的按钮1102d被按下。在该情况下，web浏览器画面1101显示图12中所示的关于会员注册的第一页面作为转变目标。第一页面包括姓名、年龄和地址的输入框1105。在用户将预定项输入到输入框1105之后，用户按下“下一步”按钮1102n。web浏览器画面1101随后转变到图13中所示的关于会员注册的第二页面。
图13中所示的关于会员注册的第二页面包括关于信用卡号码和有效期的输入框1105。在用户将预定项输入到输入框1105之后，用户按下“下一步”按钮1102n。
在上述画面转变中直到每个页面被显示之前用户不了解要求用户输入什么类型的项。因此，例如不喜欢用他们的信用卡在线支付的用户在第一页面上输入他们的姓名和地址，但是直到第二页面被显示之前不知道要求信用卡交易。结果，用户放弃会员注册(用户将例如最终选择通过电话预定)。在该情况下，用户徒然在第一页面上输入他们的姓名等。包括姓名的个人信息被传送到web服务器200，这最终也完全无用。
(转变目标显示的示例)
图14是图示本公开的第三实施例中的转变目标显示的示例的示图。当利用位于按钮1102d上的光标按下“会员注册”按钮1102d时(按钮1102d仍未被按下)，转变目标(图12中所示的关于会员注册的第一页面)被显示为图14的示例中的第一转变目标显示1103d1。
此外，当光标移动到第一转变目标显示1103d1上包括的按钮1102n时，在关于会员注册的第一页面上按下按钮1102d的情况下显示的转变目标(图13中所示的关于会员注册的第二页面)被显示为第二转变目标显示1103d2。此外，关于包括第一转变目标显示1103d1和第二转变目标显示1103d2的画面序列的信息不必如示例那样逐一显示。这些信息可以被同时显示。
姓名、年龄和地址是关于会员注册的第一页面上的基本输入项。在没有输入这些项的情况下将显示错误，即便按下了“下一步”按钮1102n。因此，当在输入信息生成单元140显示第一转变目标显示1103a之后显示第二转变目标显示1103b时，输入信息生成单元140生成第一转变目标显示1103a上的输入项的伪项1106(图中的姓名“ABCDEF”、年龄“30”和地址“ABCDEFGH”)并且随后连同指示“按钮1102n已被按下”的信息一起将它们传送到web服务器200作为输入信息。
这允许用户知晓在用户按下按钮1102的情况下显示的画面的转变，同时用户不必陷入输入这些项的麻烦并且避免了将不必要的信息传送到web服务器的风险。因此，如在不喜欢在线支付的用户的示例中的那样，如果按钮1102被按下之后的画面转变导致失望的结果，则用户可以在没有任何麻烦和风险的情况下避免按下某个按钮1102。
(功能块)
返回图6，将主要描述本实施例中的信息处理装置的功能块和第一实施例的功能块之间的区别。
在本实施例中画面识别单元130基于从显示控制单元120获取的信息来识别web浏览器画面1101中包括的作为输入元素的按钮1102，并且还识别输入框1105。在本实施例中输入框1105也是输入元素。用于输入诸如文本的项的输入元素如输入框1105在下文中也可被称为录入元素。
画面识别单元130不仅获取关于被显示为web浏览器画面1101的画面的信息，而且还从显示控制单元120获取关于被显示为转变目标显示1103的画面的信息，并且随后识别转变目标显示1103的画面图像中包括的按钮1102和输入框1105。此外，可以从转变目标信息输出单元160提供关于被显示为转变目标显示1103的画面的信息。
输入信息生成单元140不仅生成与作为提交元素的按钮1102对应的输入信息，而且还生成与作为录入元素的输入框1105对应的输入信息。与输入框1105对应的输入信息对应于输入到输入框1105中的项，即诸如上述示例中的姓名和地址的文本信息。如上文讨论的，输入信息生成单元140可以生成关于该项的信息的预先限定的伪项1106，作为输入信息。
在本实施例中，画面识别单元130不仅识别被显示为web浏览器画面1101的画面中的输入元素，而且还识别被显示为转变目标显示1103的画面中的输入元素。因此，输入信息生成单元140不仅还生成关于被显示为web浏览器画面1101的画面的输入信息，而且还生成关于被显示为转变目标显示1103的画面的输入信息。
转变目标信息获取单元150从web服务器200获取关于与输入信息生成单元140生成的输入信息对应的转变目标的信息。如上文讨论的，在本实施例中针对录入元素设定输入信息。因此，例如在已设定基本输入项的画面中可以获取关于转变目标的信息。
当转变目标信息获取单元150获取关于针对被显示为转变目标显示1103的画面而生成的输入信息所对应的转变目标的信息时，转变目标信息获取单元150可以保持使用子会话，其中转变目标信息获取单元150已获取关于原始转变目标的画面的信息。例如，在上述示例中转变目标信息获取单元150可以通过使用子会话与web服务器200通信，在子会话中转变目标信息获取单元150已获取用于显示转变目标显示1103d1的信息。
转变目标信息输出单元160将由转变目标信息获取单元150获取的关于转变目标的信息输出到显示控制单元120，以与web浏览器画面1101分离地显示由转变目标信息获取单元150获取的关于转变目标的信息，作为转变目标显示1103。如上文讨论的，在本实施例中，除了作为当前浏览器画面1101的下一转变目标的转变目标显示1103d1之外，还显示作为进一步接下来的转变目标的转变目标显示1103d2，作为关于转变目标的信息。转变目标信息输出单元160逐个获取关于这些转变目标的信息，并且随后将所获取的信息提供给显示控制单元120。
例如，在本公开的每个实施例中，当用户对转变目标信息指示的转变结果满意时，信息处理装置100可以具有根据用户操作如转变目标信息指示的那样引起实际web浏览器画面1101转变的功能。在该情况下，转变目标信息获取单元150可以使用例如主会话，其中使web浏览器画面1101显示用于将输入信息序列再次传送到web服务器的页面，并且随后使web浏览器画面1101转变。如果存在针对录入项设定的伪项1106，则将伪项1106替换为已预先登记的真实项。
(4.第四实施例：显示单元)
接下来，将参照图15至18描述本公开的第四实施例。
(装置配置)
图15是图示根据本公开的第四实施例的信息处理装置的外观的示图。如图中所示，根据本实施例的PC 300是折叠式平板PC。此外，根据本实施例的信息处理装置的示例可以包括多种装置，诸如移动电话(智能电话)，其配备有如下文讨论的多个显示单元并且除了图示示例以外具有web浏览器的功能。
PC 200包括两个显示单元310a和310b。这些显示单元310由例如LCD或有机EL显示器形成。在本实施例中将描述显示单元310上显示的web浏览器，并且显示单元310仍可以额外显示多种信息，诸如与PC300的处理相关的图像和文本。
(画面显示和转变目标显示的示例)
图16是图示本公开的第四实施例中的转变目标显示的第一示例的示图。在图示示例中显示单元310a显示与图2中所示相同的web浏览器画面1101。同时，显示单元310b显示转变目标显示1103f，其示出了在web浏览器画面1101上显示的按钮1102a至1102d均被按下的情况下显示的转变目标。转变目标显示1103f可以显示与按钮1102a至1102d对应的图标(示为“预定”、“空座搜索”等)以便示出转变目标显示1103f与各个按钮1102的关系。
该示例与第二实施例的相同之处在于显示关于与多个按钮1102对应的多个目标的信息。因此，用于显示关于多个目标的信息的第二实施例中的配置也可以应用于本实施例。
在上述示例中用于显示web浏览器画面1101的显示单元310a与用于显示转变目标显示1103的显示单元310b分离。因此，即便web浏览器画面1101包括例如多个按钮1102，仍可以显示具有足够空间的转变目标显示1103。
图17是图示本公开的第四实施例中的转变目标显示的第二示例的示图。在图示示例中显示单元310a显示与图2中所示相同的web浏览器画面1101。同时，显示单元310b显示画面转变序列作为转变目标显示1103d1至1103d4，当web浏览器画面1101上显示的“会员注册”按钮1102d被按下时显示该画面转变序列。转变目标显示1103d1至1103d4可以显示与按钮1102d对应的图标(图示为“会员注册”)以示出转变目标显示1103d1至1103d4和按钮1102d之间的关系。
该示例与第三实施例的相同之处在于显示关于与按钮1102对应的转变目标序列的信息。因此，用于显示关于转变目标序列的信息的第三实施例中的配置也可以应用于本实施例。
在上述示例中用于显示web浏览器画面1101的显示单元310a与用于显示转变目标显示1103的显示单元310b分离。因此，即便按钮1102引起许多画面上的画面转变，仍可以显示具有足够空间的转变目标显示1103。
被显示为转变目标显示1103的画面转变序列可以例如保持显示在按钮1102被按下之后转变的画面，直到处理序列完成为止。例如，如图示示例显示“主页”按钮，并且随后web浏览器画面1101上当前显示(或web浏览器画面1101上曾经显示)的其中呈现转变回到画面的画面被执行，允许识别处理序列的完成。
被显示为转变目标显示1103的画面转变序列可以指示预定数目的画面转变。例如，在图示示例中当用户操作将画面转变的数目限定为两次时，显示转变目标显示1103d1至1103d2。
此外，如果画面转变序列包括分支，意味着画面包括可以被按下的按钮1102，并且转变画面对于要被按下的每个按钮1102是不同的，则转变目标显示1103可以在图中分叉。替选地，转变目标显示1103g可以限于与预先限定的主要使用情况对应的按钮1102。
例如，如图示示例那样，该画面转变序列可以被显示为排列的静止图像，这些静止图像是转变目标的画面图像。画面转变序列也可以被显示为包括连续的静止图像的移动图像，这些静止图像是转变目标的画面图像。
此外，如上文说明的用于显示画面转变序列的配置也可以被应用于第三实施例。
(功能块)
图18是图示根据本公开的第四实施例的信息处理装置的示意性功能配置的框图。
PC 300包括显示单元310a和310b、显示控制单元320a和320b、画面识别单元130、输入信息生成单元140、转变目标信息获取单元150和转变目标信息输出单元160。除显示单元310a和310b以外的结构元件可以使用例如CPU、RAM和ROM被实现为软件。
可以与第一至第三实施例中的任一个相同的功能配置部分被分配相同的标记，省略了详细描述。
显示控制单元320a控制显示单元310a以在显示单元310a上显示web浏览器画面1101。显示控制单元320a根据由图中未示出的操作单元获取的用户操作从web服务器200获取用于显示web浏览器画面1101的信息。显示控制单元320a将用于显示web浏览器画面1101的信息提供给画面识别单元130，允许获取关于转变目标的信息。
显示控制单元320b控制显示单元320b以在显示单元310b上显示转变目标显示1103。显示控制单元320b从转变目标信息输出单元160获取用于显示转变目标显示1103的关于转变目标的信息。
如上文所述的配置允许根据本实施例的PC 400在显示单元310a和显示单元310b上分别分离地显示web浏览器画面1101和转变目标显示1103。此外，web浏览器画面1101和转变目标显示1103中的每个不总是必须显示在同一显示单元310上，而是其上显示它们中的每个的显示单元310可以按照需要自动地切换或者通过用户操作切换。
(5.第五实施例：与显示画面的装置不同的装置上的显示)
接下来，将参照图19至25描述本公开的第五实施例。
(装置配置)
图19是图示根据本公开的第五实施例的装置的外观的示图。如图中所示，根据本实施例的信息处理装置是智能电话400。除了图示示例之外，根据本实施例的信息处理装置可以包括配备有如下文讨论的成像单元和显示单元的多种装置。
智能电话400包括显示单元410和成像单元470。例如，显示单元410由液晶显示器(LCD)、有机电致发光(EL)显示器等形成。显示单元410具有附于其上的触摸传感器。用户在预定区域内与显示单元410的接触可以作为操作而被获取。例如，成像单元470由图像传感器和透镜以及其驱动机构形成。成像单元470拍摄包括ATM 500的显示单元510的区域的图像。
如图中所示，根据本实施例的另一装置是自动出纳机(ATM)。除了用于插入和取出现金、卡等的槽之外，ATM 500包括显示单元510。例如，显示单元510由LCD等形成，并且显示关于ATM 500上的操作的多种信息。显示单元510具有附于其上的触摸传感器，并且获取用户在预定区域内与显示单元510的接触作为操作。
ATM 500不限于ATM，并且也可以是多种装置，诸如售票机和票价调整机，只要它们中的每个包括如显示单元510的、显示关于操作的信息的显示单元即可。
(画面显示的示例)
图20是图示在本公开的第五实施例中显示的操作画面的示例的示图。操作画面5101显示在ATM 500的显示单元510上。操作画面5101包括按钮5102。用户接触与显示单元510上的按钮5102对应的位置，并且随后可以向ATM 500提供操作输入。操作画面5101响应于通过使用按钮5102从用户提供的操作输入而进行转变。
在图示示例中ATM在操作画面5101上显示交易内容，并且诸如售票机和票价调整机的其他装置也必然显示不同的内容。即使装置是ATM，仍可以显示不同的操作内容。换言之，操作画面5101的显示内容和设计完全不限制本公开的实施例。
如上文讨论的，操作画面5101包括作为输入元素的按钮5102。在图示示例中按钮5102包括与诸如“取款”和“存款”的功能对应的四个按钮5102a至5102d。一旦用户按下任何一个按钮5102(更具体地，用户在按钮5102的区域内接触显示单元510)，则ATM 500使操作画面5101转变。由于按钮5102也是使画面转变的输入元素，因此它们也是提交元素。
当用户按下按钮5102时，ATM 500获取指示“按钮5102已被按下”的信息。该信息被视为与作为输入元素的按钮5102对应的输入信息。该信息也是指示作为提交元素的按钮5102已执行提交操作的输入信息。
已获取指示“按钮5102已被按下”的输入信息的ATM 500获取与该信息对应的关于操作画面5101的转变目标的信息。ATM 500可以根据其中存储的程序操作并且生成关于转变目标的信息。ATM 500可以与诸如主机计算机的另一装置通信以获取关于转变目标的信息。
在图示示例中，当按钮5102a至5102d均被按下时，ATM 500获取对于每个按钮5102a至5102d不同的输入信息。结果，ATM 500可以显示对于每个按钮5102a至5102d不同的下一操作画面。然而，用户不了解当用户选择每个按钮5102时显示什么类型的下一操作画面。
在本实施例中，在每个按钮5102被选择的情况下显示的下一操作画面随后被呈现给用户，作为转变目标显示。然而，本实施例与第一实施例的不同之处在于，在本实施例中，并非由ATM 500的显示单元510，而是由智能电话400的显示单元410来显示转变目标显示。
(转变目标显示的示例)
图21是图示在本公开的第五实施例中的转变目标显示的示例的示图。在图示示例中，智能电话400的显示单元410显示由成像单元470获取的ATM 500的显示单元510的图像。显示单元510显示包括按钮5102a至5102d的操作画面5101。
显示单元410进一步显示叠置在ATM 500的显示单元510的图像上的转变目标显示4103。智能电话400将成像单元470获取的图像中包括的按钮5102识别为标记，并且随后获取与每个按钮5102对应的下一画面信息，从而显示转变目标显示4103。
在图示示例中显示与各个按钮5102a至5102d对应的转变目标显示4103a至4103d。例如，转变目标显示4103a示出了在“取款”按钮5102a被选择的情况下显示的下一操作画面(用于输入取款金额的画面)。同样，转变目标显示4103b至4103d也示出了在各个按钮5102b至5102d被选择的情况下显示的下一操作画面。
这允许用户预先了解当用户选择显示单元310上显示的每个按钮5102时有什么画面显示在ATM 500上，并且随后操作ATM 500。
此外，不必针对所有按钮5102显示转变目标显示4103。例如，可以仅针对接触智能电话400的显示单元410的用户指定的按钮5102显示转变目标显示4103。例如，如第三实施例中那样，当一个或更多个按钮5102被选择时，关于该一个或更多个按钮5102的画面转变序列可以被显示为静止图像或移动图像。
(画面显示的修改示例)
图22是图示在本公开的第五实施例中显示的操作画面的另一示例的示图。除了如图中所示的按钮5102之外，操作画面5101可以显示标记5105。该标记5105被智能电话400识别为标记而非按钮5102的图像。这允许智能电话400在显示单元410上显示转变目标4103，该转变目标4103与图像中包括的每个按钮5102对应。
此外，较之将按钮5102识别为标记，以这种方式显示与每个按钮5102对应的标记5105可以使识别更简单和更准确。
(功能块)
图23是图示根据本公开的第五实施例的信息处理装置的示意性功能配置的框图。
智能电话400包括显示单元410、显示控制单元420、画面识别单元430、输入信息生成单元140、转变目标信息获取单元450、转变目标信息输出单元160和成像单元470。除显示单元410和成像单元470以外的结构元件可以使用例如CPU、RAM和ROM被实现为软件。
可以与第一至第四实施例中的任一个相同的上述功能配置部分被分配相同的标记，省略了详细描述。
画面识别单元430对从成像单元470提供的捕获图像执行图像识别处理，并且识别作为操作画面5101中包括的输入元素的按钮5102。例如，画面识别单元430基于关于按钮5102的图像的预先限定的特征量对捕获图像进行搜索以寻找按钮5102的图像。画面识别单元430可以不仅识别如按钮5102的提交元素，而且可以识别诸如用于输入金额的框的录入元素，然而这没有在图示示例中示出。画面识别单元430向输入信息生成单元140提供关于所识别的输入元素的信息。画面识别单元430可以向显示控制单元420输出关于所识别的输入元素在捕获图像中的位置的信息。
转变目标信息获取单元450参考转变目标数据库(DB)452以获取与输入信息生成单元140生成的输入信息对应的关于转变目标的信息。转变目标DB 452可以连同例如用于ATM 500的操作辅助应用软件一起由管理ATM 500的公司(金融机构)提供。在该情况下，转变目标信息获取单元450可以使用输入信息搜索可以被显示为操作画面5101的画面库，并且随后从其获取关于转变目标的信息。
显示控制单元420控制显示单元410的显示。显示控制单元220使显示单元410显示包括从成像单元470提供的ATM 500的操作画面5101的捕获图像，并且使显示单元410根据从转变目标信息输出单元160提供的转变目标信息显示转变目标显示4103。显示控制单元420可以基于已从例如画面识别单元430提供的、关于输入元素在捕获图像中的位置的信息来决定转变目标显示4103的显示位置。
图24是图示根据本公开的第五实施例的信息处理装置的替选功能配置的框图。
在如图23的示例中描述的同一功能配置中，服务器装置600提供图示示例中的画面识别单元430、输入信息生成单元140、转变目标信息获取单元450和转变目标信息输出单元160。在该示例中智能电话400向服务器装置600传送关于成像单元470获取的捕获图像的信息。服务器装置600使用画面识别单元430、输入信息生成单元140、转变目标信息获取单元450和转变目标信息输出单元160的功能输出关于转变目标的信息并将其传送到智能电话400。智能电话400根据接收到的信息使显示控制单元120将转变目标显示4103显示在显示单元410上。
在本实施例中服务器装置600可以以这种方式执行用于使智能电话400显示转变目标显示4103的至少部分处理。同样地，服务器装置可以执行第一至第四实施例中的PC 100和PC 300的至少部分处理。在该情况下，服务器装置可以是web服务器200或任何其他服务器装置。
尽管画面识别单元430、转变目标信息获取单元450等的处理的具体操作是不同的，但是在本实施例中整体处理过程与第一至第四实施例相同。第一至第四实施例的配置和修改示例也可以应用于本实施例。
(6.硬件配置)
最后，将参照图25描述根据本公开的实施例的信息处理装置的硬件配置。图25是用于描述信息处理装置的硬件配置的框图。例如，该图中所示的信息处理装置900可以被实现为根据上述实施例的PC 100、PC300、智能电话400和服务器设备600。
信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。此外，信息处理装置900可以按照需要包括成像设备933和传感器935。除了CPU 901之外或者作为其替代，信息处理装置900可以包括诸如数字信号处理器(DSP)的处理电路。
CPU 901用作操作处理器和控制器，并且根据ROM 903、RAM 905、存储设备919或可移动记录介质927上记录的多种程序来控制信息处理装置900中的所有或一些操作。ROM 903存储CPU 901使用的程序和操作参数。RAM 905主要存储在CPU 901的执行中使用的程序以及在执行中适当修改的参数。CPU 901、ROM 903和RAM 905通过包括诸如CPU总线的内部总线的主机总线907彼此连接。此外，主机总线907经由桥909连接到诸如外围部件互连/接口(PCI)总线的外部总线911。
输入设备915是用户操作的设备，诸如鼠标、键盘、触摸板、按钮、开关和操纵杆。输入设备915可以是例如使用红外光或其他无线电波的遥控单元，或者可以是能够响应于信息处理装置900的操作进行操作的诸如移动电话的外部连接设备929。输入设备915包括基于用户输入的信息生成输入信号并且将输入信号输出到CPU 901的输入控制电路。通过操作输入设备915，用户向信息处理装置900输入各种类型的数据或者需要处理操作。
输出设备917包括能够视觉地或听觉地向用户通知所获取的信息的设备。输出设备917可以包括诸如液晶显示器(LCD)、等离子体显示面板(PDP)和有机电致发光(EL)显示器的显示设备，诸如扬声器和耳机的音频输出设备，以及打印机。输出设备917可以以诸如文本和图像的视频形式以及诸如语音和声音的音频形式输出从信息处理装置900的处理获得的结果。
存储设备919是用于数据存储的设备，其被配置为信息处理装置900的存储单元的示例。存储设备919包括例如诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备或磁-光存储设备。存储设备919存储CPU 901要执行的程序、各种数据以及从外部获得的数据。
驱动器921是用于诸如磁盘、光盘、磁-光盘和半导体存储器的可移动记录介质927，并且内建在信息处理装置900中或者与其外部附接。驱动器921读出附接于其的可移动记录介质927中记录的信息，并且将读出的信息输出到RAM 905。此外，驱动器921可以在附接于其的可移动记录介质927中写入记录。
连接端口923是用于将设备直接连接到信息处理装置900的端口。连接端口923可以包括例如通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923可以进一步包括RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)端口等。外部连接设备929与连接端口923的连接使得可以在信息处理装置900和外部连接设备929之间交换各种数据。
通信设备925是例如包括用于连接到通信网络931的通信设备等的通信接口。通信设备925可以是例如用于有线或无线局域网(LAN)、Bluetooth(注册商标)、无线USB(WUSB)等的通信卡。此外，通信设备925可以是用于光学通信的路由器、用于非对称数字订户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。通信设备925基于诸如TCP/IP的预定协议向例如互联网或其他通信设备传送信号和从其接收信号。此外，连接到通信设备925的通信网络931可以是以有线或无线方式连接的网络，并且可以是例如互联网、家庭LAN、红外通信、无线电波通信、卫星通信等。
成像设备933是例如通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器以及诸如用于控制物体图像在图像传感器上的形成的透镜的各种部件拍摄真实空间的图像来生成捕获图像的设备。成像设备933可以是拍摄静止图像的设备，并且也可以是拍摄移动图像的设备。
传感器935包括例如各种传感器，诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器和声音传感器。传感器935获取例如关于信息处理装置900的状态的信息，诸如信息处理装置900的外壳的取向；以及关于信息处理装置900周围的环境的信息，诸如信息处理装置900周围的亮度和噪声。传感器935也可以包括全球定位系统(GPS)传感器，其接收GPS信号并且测量装置的纬度、经度和海拔。
到此为止已描述了信息处理装置900的硬件配置的示例。每个上述结构元件可以使用通用部件来构造，并且也可以使用专用于每个结构元件的功能的硬件来构造。该配置也可以根据实现时的技术水平而被适当修改。
(7.补充)
下文将总结本公开的实施例。
用户正在操作的信息处理装置或者向用户正在操作的装置提供服务的服务器装置可以生成转变目标信息。换言之，生成转变目标信息的信息处理装置不必限于本公开的实施例中的由用户操作的装置。
转变目标信息可以是在画面转变期间的特定时刻作为后继用户操作的结果显示的图像。所显示的图像对于每个用户操作可以是不同的。在该情况下，转变目标信息可以涉及使用某个标准从多个不同的转变目标中选择的一个或更多个转变目标，或者涉及可以显示的所有转变目标。
转变目标信息可以是在画面转变期间的特定时刻或之后通过用户操作显示的图像序列。在该情况下，该图像序列可以被显示为排列的静止图像，或者作为移动图像被逐一显示。以这种方式提供转变信息可以被视为用于模拟在特定时刻或之后因用户操作导致的处理的服务。此外，转变目标信息不必被直接显示为图像(诸如静止图像和移动图像)。转变目标信息也可以被显示为唯一对应于图像并且通过预定的转换处理获得的代码(诸如AR标记和QR代码(注册商标))。例如，拍摄并显示代码的图像的装置可以将代码转换成图像。
例如，在显示单元上显示转变目标信息的位置位于画面(诸如上述示例中的web浏览器画面和操作画面)内的页边区域中，或者在与画面相同的显示单元上显示转变目标信息的情况下位于该画面周围的区域。替选地，转变目标信息可以至少部分地叠置在画面中包括的诸如按钮的输入元素(操作目标)上。转变目标信息可以显示在作为包括显示画面的显示单元的同一装置的装置的显示单元上。
转变目标信息也可以显示在经由专用线缆或者诸如互联网的网络连接到包括用于显示画面的显示单元的其他装置的装置的显示单元上。在每种情况下，转变目标信息可以例如被显示为转变目标的画面图像。随后可以缩小并显示画面图像。
此外，可以在多种状态下显示转变目标信息。例如，可以在半透射状态或非透射状态下显示转变目标信息。转变目标信息也可以显示在可检测的其他窗口上。转变目标信息可以通过电子邮件、互联网协议(IP)通信、Bluetooth(注册商标)通信等被发送到用于显示转变目标信息的装置。转变目标信息不必被自动发送。例如，用户随后访问服务器装置等以获取转变目标信息，使得可以发送转变目标信息。
本公开的实施例包括例如，如上文所述的信息处理装置、包括该信息处理装置的系统、由该信息处理装置或系统执行的方法、用于使信息处理装置发挥作用的程序、以及其上记录有该程序的记录介质。
上文已参照附图描述了本发明的优选实施例，然而显然本发明不限于以上示例。本领域技术人员可以在所附权利要求的范围内找到各种替换和修改，并且应当理解，它们无疑在本发明的技术范围内。
此外，本技术还可以如下配置。
(1)一种信息处理装置，包括：
画面识别单元，被配置成识别画面中包括的输入元素；
输入信息生成单元，被配置成生成对应于所述输入元素的输入信息；
转变目标信息获取单元，被配置成获取关于所述画面的转变目标的信息，关于所述转变目标的信息对应于所述输入信息；以及
转变目标信息输出单元，被配置成输出关于所述转变目标的信息以与所述画面分离地显示关于所述转变目标的信息。
(2)根据(1)所述的信息处理装置，
其中所述画面识别单元基于从第一显示控制单元获取的信息来识别所述输入元素，所述第一显示控制单元控制显示所述画面的第一显示单元。
(3)根据(2)所述的信息处理装置，
其中所述转变目标信息输出单元将关于所述转变目标的信息输出到所述第一显示控制单元，以使关于所述转变目标的信息被显示在所述第一显示单元上。
(4)根据(3)所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息，以使关于所述转变目标的信息被显示为其他装置转换成画面图像的代码，所述其他装置获取包括所述第一显示单元的捕获图像。
(5)根据(2)所述的信息处理装置，
其中所述转变目标信息输出单元将关于所述转变目标的信息输出到第二显示控制单元，以使关于所述转变目标的信息被显示在与所述第一显示单元不同的第二显示单元上，所述第二显示控制单元控制所述第二显示单元。
(6)根据(1)所述的信息处理装置，
其中所述画面识别单元基于关于包括所述画面的捕获图像的信息来识别所述输入元素。
(7)根据(6)所述的信息处理装置，
其中所述画面识别单元识别所述捕获图像中包括的所述输入元素的图像。
(8)根据(6)所述的信息处理装置，
其中所述画面识别单元识别以如下方式定位的代码：所述代码对应于所述输入元素，所述代码包括在所述捕获图像中。
(9)根据(1)至(3)和(5)至(8)中任一项所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息，以将关于所述转变目标的信息显示为画面图像。
(10)根据(1)至(9)中任一项所述的信息处理装置，
其中所述输入元素包括使所述画面转变的提交元素，以及
其中所述输入信息生成单元生成指示所述提交元素已执行提交操作的输入信息。
(11)根据(10)所述的信息处理装置，
其中所述画面识别单元识别多个所述提交元素，
其中所述输入信息生成单元生成指示各个提交元素已执行提交操作的多条输入信息，
其中所述转变目标信息获取单元获取关于所述画面的多个转变目标的信息，关于所述多个转变目标的信息对应于各个输入信息，以及
其中所述转变目标信息输出单元输出关于所述多个转变目标的信息。
(12)根据(11)所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述多个转变目标的信息，以与各个提交元素相关联地显示关于所述多个转变目标的信息。
(13)根据(1)至(12)中任一项所述的信息处理装置，
其中所述输入元素包括用于输入项目的录入元素，以及
其中所述输入信息生成单元生成对应于所述项目的输入信息。
(14)根据(13)所述的信息处理装置，
其中所述输入信息生成单元生成虚构的并且对应于所述项目的输入信息。
(15)根据(1)至(14)中任一项所述的信息处理装置，
其中关于所述转变目标的信息包括关于通过所述画面的转变逐一显示的一系列画面的信息。
(16)根据(15)所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息以将所述一系列画面显示为经排列的静态图像。
(17)根据(15)所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息以将所述一系列画面显示为连续呈现静止图像的移动图像。
(18)根据(15)至(17)中任一项所述的信息处理装置，
其中关于所述一系列画面的信息对应于继续直至一系列处理完成的所述画面的转变。
(19)根据(15)至(17)中任一项所述的信息处理装置，
其中关于所述一系列画面的信息对应于被执行预定次数的所述画面的转变。
(20)一种程序，用于使计算机执行：
识别画面中包括的输入元素的功能；
生成与所述输入元素对应的输入信息的功能；
获取关于所述画面的转变目标的信息的功能，关于所述转变目标的信息与所述输入信息对应；以及
输出关于所述转变目标的信息以与所述画面分离地显示关于所述转变目标的信息的功能。
附图标记列表
100，300 PC
110，310，410 显示单元
1101 web浏览器画面
1102 按钮
1103，4103 转变目标显示
1104 转变目标代码
1105 输入框
1106 伪项
120，320，420 显示控制单元
130，430 画面识别单元
140 输入信息生成单元
150，450 转变目标信息获取单元
160 转变目标信息输出单元
470 成像单元
400 智能电话
500 ATM
510 显示单元
5101 操作画面
5102 按钮
5105 标记
600 服务器装置

Claims (20)

1.一种信息处理装置，包括：
画面识别单元，被配置成识别画面中包括的输入元素；
输入信息生成单元，被配置成生成对应于所述输入元素的输入信息；
转变目标信息获取单元，被配置成获取关于所述画面的转变目标的信息，关于所述转变目标的信息对应于所述输入信息；以及
转变目标信息输出单元，被配置成输出关于所述转变目标的信息以与所述画面分离地显示关于所述转变目标的信息。
2.根据权利要求1所述的信息处理装置，
其中所述画面识别单元基于从第一显示控制单元获取的信息来识别所述输入元素，所述第一显示控制单元控制显示所述画面的第一显示单元。
3.根据权利要求2所述的信息处理装置，
其中所述转变目标信息输出单元将关于所述转变目标的信息输出到所述第一显示控制单元，以使关于所述转变目标的信息被显示在所述第一显示单元上。
4.根据权利要求3所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息，以使关于所述转变目标的信息被显示为其他装置转换成画面图像的代码，所述其他装置获取包括所述第一显示单元的捕获图像。
5.根据权利要求2所述的信息处理装置，
其中所述转变目标信息输出单元将关于所述转变目标的信息输出到第二显示控制单元，以使关于所述转变目标的信息被显示在与所述第一显示单元不同的第二显示单元上，所述第二显示控制单元控制所述第二显示单元。
6.根据权利要求1所述的信息处理装置，
其中所述画面识别单元基于关于包括所述画面的捕获图像的信息来识别所述输入元素。
7.根据权利要求6所述的信息处理装置，
其中所述画面识别单元识别所述捕获图像中包括的所述输入元素的图像。
8.根据权利要求6所述的信息处理装置，
其中所述画面识别单元识别以如下方式定位的代码：所述代码对应于所述输入元素，所述代码包括在所述捕获图像中。
9.根据权利要求1所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息，以将关于所述转变目标的信息显示为画面图像。
10.根据权利要求1所述的信息处理装置，
其中所述输入元素包括使所述画面转变的提交元素，以及
其中所述输入信息生成单元生成指示所述提交元素已执行提交操作的输入信息。
11.根据权利要求10所述的信息处理装置，
其中所述画面识别单元识别多个所述提交元素，
其中所述输入信息生成单元生成指示各个提交元素已执行提交操作的多条输入信息，
其中所述转变目标信息获取单元获取关于所述画面的多个转变目标的信息，关于所述多个转变目标的信息对应于各个输入信息，以及
其中所述转变目标信息输出单元输出关于所述多个转变目标的信息。
12.根据权利要求11所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述多个转变目标的信息，以与各个提交元素相关联地显示关于所述多个转变目标的信息。
13.根据权利要求1所述的信息处理装置，
其中所述输入元素包括用于输入项目的录入元素，以及
其中所述输入信息生成单元生成对应于所述项目的输入信息。
14.根据权利要求13所述的信息处理装置，
其中所述输入信息生成单元生成虚构的并且对应于所述项目的输入信息。
15.根据权利要求1所述的信息处理装置，
其中关于所述转变目标的信息包括关于通过所述画面的转变逐一显示的一系列画面的信息。
16.根据权利要求15所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息以将所述一系列画面显示为经排列的静态图像。
17.根据权利要求15所述的信息处理装置，
其中所述转变目标信息输出单元输出关于所述转变目标的信息以将所述一系列画面显示为连续呈现静止图像的移动图像。
18.根据权利要求15所述的信息处理装置，
其中关于所述一系列画面的信息对应于继续直至一系列处理完成的所述画面的转变。
19.根据权利要求15所述的信息处理装置，
其中关于所述一系列画面的信息对应于被执行预定次数的所述画面的转变。
20.一种程序，用于使计算机执行：
识别画面中包括的输入元素的功能；
生成与所述输入元素对应的输入信息的功能；
获取关于所述画面的转变目标的信息的功能，关于所述转变目标的信息与所述输入信息对应；以及
输出关于所述转变目标的信息以与所述画面分离地显示关于所述转变目标的信息的功能。
CN201380019592.5A 2012-04-18 2013-03-11 信息处理装置和程序 Pending CN104220973A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-094579 2012-04-18
JP2012094579 2012-04-18
PCT/JP2013/056641 WO2013157322A1 (ja) 2012-04-18 2013-03-11 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
CN104220973A true CN104220973A (zh) 2014-12-17

Family

ID=49383290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019592.5A Pending CN104220973A (zh) 2012-04-18 2013-03-11 信息处理装置和程序

Country Status (5)

Country Link
US (1) US9665252B2 (zh)
EP (1) EP2840473A1 (zh)
JP (1) JPWO2013157322A1 (zh)
CN (1) CN104220973A (zh)
WO (1) WO2013157322A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699447A (zh) * 2018-02-07 2020-09-22 日本电气株式会社 信息处理装置、控制方法和程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD734355S1 (en) * 2013-01-04 2015-07-14 Samsung Electronics Co., Ltd. Portable electronic device with graphical user interface
USD746862S1 (en) * 2013-06-12 2016-01-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US9864490B2 (en) 2013-08-12 2018-01-09 Home Box Office, Inc. Coordinating user interface elements across screen spaces
US9232095B2 (en) * 2013-10-30 2016-01-05 Kyocera Document Solutions Inc. Display input device, image forming apparatus, and control method of display input device
JP6099102B2 (ja) * 2014-09-09 2017-03-22 日本電信電話株式会社 サーバ、操作支援方法、操作支援プログラム及び操作支援システム
JP6492571B2 (ja) 2014-11-20 2019-04-03 株式会社リコー 情報処理システム、情報処理装置、画面表示方法及びプログラム
USD789403S1 (en) * 2015-02-25 2017-06-13 Linkedin Corporation Display screen or portion thereof with a graphical user interface
JP2017062300A (ja) * 2015-09-24 2017-03-30 セイコーエプソン株式会社 半導体装置、システム、電子機器、及び、音声認識方法
WO2017081920A1 (ja) 2015-11-10 2017-05-18 日本電気株式会社 情報処理装置、制御方法、及びプログラム
USD927529S1 (en) 2019-01-11 2021-08-10 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
USD943624S1 (en) 2016-10-27 2022-02-15 Apple Inc. Electronic device with pair of display screens or portions thereof each with animated graphical user interface
USD842892S1 (en) * 2016-10-27 2019-03-12 Apple Inc. Electronic device with pair of display screens or portions thereof each with graphical user interface
US11816459B2 (en) * 2016-11-16 2023-11-14 Native Ui, Inc. Graphical user interface programming system
JP6631573B2 (ja) * 2017-03-23 2020-01-15 京セラドキュメントソリューションズ株式会社 表示装置および表示システム
JP2018181261A (ja) * 2017-04-21 2018-11-15 京セラドキュメントソリューションズ株式会社 表示装置
USD944850S1 (en) * 2019-06-03 2022-03-01 Hitachi Energy Switzerland Ag Display screen with an animated graphical user interface for power control system
JP7202571B2 (ja) 2019-07-12 2023-01-12 日本ノーベル株式会社 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム
JP6785489B1 (ja) * 2019-10-09 2020-11-18 株式会社Ｃ−Ｒｉｓｅ 情報処理方法、情報処理装置、情報処理システム及びコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0206090D0 (en) * 2002-03-15 2002-04-24 Koninkl Philips Electronics Nv Previewing documents on a computer system
JP2004070809A (ja) 2002-08-08 2004-03-04 Ntt Advanced Technology Corp Ｗｅｂ情報閲覧装置、Ｗｅｂ情報表示方法及びそのプログラム
JP2005032041A (ja) 2003-07-07 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> リンク先コンテンツの連続閲覧支援装置、連続閲覧支援方法、ポップアップウィンドウの表示制御方法および消去制御方法
US20050057498A1 (en) * 2003-09-17 2005-03-17 Gentle Christopher R. Method and apparatus for providing passive look ahead for user interfaces
US7481361B2 (en) * 2005-09-29 2009-01-27 International Business Machines Corporation Method and system for identifying unsafe synthetic transactions and modifying parameters for automated playback
JP4983655B2 (ja) * 2007-03-07 2012-07-25 ソニー株式会社 表示制御装置、表示制御方法、表示制御プログラム及び表示システム
US20080244398A1 (en) * 2007-03-27 2008-10-02 Lucinio Santos-Gomez Direct Preview of Wizards, Dialogs, and Secondary Dialogs
US8645863B2 (en) * 2007-06-29 2014-02-04 Microsoft Corporation Menus with translucency and live preview
US20090108057A1 (en) * 2007-10-24 2009-04-30 Hong Mu Using Quick Response Codes to Provide Interactive Services
JP2011204158A (ja) 2010-03-26 2011-10-13 Sony Corp 端末装置、処理システム、処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699447A (zh) * 2018-02-07 2020-09-22 日本电气株式会社 信息处理装置、控制方法和程序
CN111699447B (zh) * 2018-02-07 2023-10-24 日本电气株式会社 信息处理装置、控制方法和程序

Also Published As

Publication number Publication date
US9665252B2 (en) 2017-05-30
US20150026636A1 (en) 2015-01-22
WO2013157322A1 (ja) 2013-10-24
EP2840473A1 (en) 2015-02-25
JPWO2013157322A1 (ja) 2015-12-21

Similar Documents

Publication Publication Date Title
CN104220973A (zh) 信息处理装置和程序
US11294616B2 (en) Systems and methods for the secure synchronization of user interface state amongst computing devices
US9984408B1 (en) Method, medium, and system for live video cooperative shopping
US11017052B1 (en) Electronic forms interaction framework for a consistent user experience
US20170248486A1 (en) System and method for adaptive electronic distribution of information
US11366564B2 (en) Electronic device and method for multi-view browsing in an augmented reality environment
US7454524B2 (en) Method and apparatus for domain hosting by using logo domain
US20150154303A1 (en) System and method for providing content recommendation service
WO2001037165A9 (en) An apparatus and method for simple wide-area network navigation
US20170295203A1 (en) Personalized Website Theme
US20130106916A1 (en) Drag and drop human authentication
US20220417343A1 (en) Image processing method, apparatus, device, and computer-readable storage medium
US20230097010A1 (en) User interface for searching and generating graphical objects linked to third-party content
CN111124564A (zh) 显示用户界面的方法及装置
CN106104531A (zh) 自动将数字地图嵌入在软件应用中
JP2009230592A (ja) 画面情報生成装置、端末制御装置、画面情報生成方法、画面情報生成プログラム、端末制御方法及び端末制御プログラム
US11030448B2 (en) Method for recommending one or more actions and an electronic device thereof
JPWO2020008600A1 (ja) ブラウザ管理システム、ブラウザ管理方法、ブラウザ管理プログラム、およびクライアントプログラム
TWI754167B (zh) 網頁畫面和其相關資訊之存取傳送方法及電子裝置
KR20170079835A (ko) 이모티콘을 활용한 거래 내역 표시 방법 및 장치
JP2021009492A (ja) クライアント装置及びサーバ装置及びそれらの制御方法及びプログラム、並びに、リモートブラウザシステム
JP4906260B2 (ja) 金融機関用営業店端末、サーバ及びシステム
CN116975481A (zh) 一种词汇练习方法、装置、电子设备和存储介质
KR20220123900A (ko) 실감 콘텐츠 제공 시스템 및 그 방법
CN118467864A (zh) 显示设备、服务器及浏览器标签分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141217