CN103176690B - 显示控制设备、显示控制方法和程序 - Google Patents

显示控制设备、显示控制方法和程序 Download PDF

Info

Publication number
CN103176690B
CN103176690B CN201210442952.XA CN201210442952A CN103176690B CN 103176690 B CN103176690 B CN 103176690B CN 201210442952 A CN201210442952 A CN 201210442952A CN 103176690 B CN103176690 B CN 103176690B
Authority
CN
China
Prior art keywords
information processing
user interface
processing equipment
display
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210442952.XA
Other languages
English (en)
Other versions
CN103176690A (zh
Inventor
笠原俊
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103176690A publication Critical patent/CN103176690A/zh
Application granted granted Critical
Publication of CN103176690B publication Critical patent/CN103176690B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及显示控制设备、显示控制方法和程序。一种信息处理系统获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述信息处理设备基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。

Description

显示控制设备、显示控制方法和程序
技术领域
本公开涉及显示控制设备、显示控制方法和程序。
背景技术
近年来，图像识别技术已经被高度开发，并且，现在能够从成像设备识别在输入图像中包含的真实对象（例如，诸如布告板或建筑物的对象）的位置或姿势。作为上述的对象识别的应用例子，增强现实（AR）应用是已知的。根据AR应用，与真实对象相关的虚拟对象（例如，广告信息、导航信息或游戏信息）可以被重叠在真实空间图像中包含的真实对象上。
另一方面，已知远程桌面技术是这样的技术，其中，根据远程操作，使用操作终端，控制由执行终端执行命令。例如，如果使用远程桌面技术，则可以给操作终端分配执行该命令的权利。例如，如果许可执行该命令，则可以使用操作终端来控制命令的执行，但是，如果限制命令执行，则限制使用操作终端的对命令执行的控制。例如，在专利文献（PTL）1中公开了上述的远程桌面技术。
[引文列表]
[专利文献]
[PTL 1]
JP 2007-334633A
发明内容
[技术问题]
但是，尚未公开允许用户容易地识别这样的命令的技术，当要由用户操作的终端使用经过另一终端的显示控制的画面的识别结果来控制该另一终端的命令执行时，限制该命令的执行。因此，希望实现用于允许用户容易地识别限制其执行的命令的技术。
[解决问题的方案]
根据第一示例实施例，本公开针对一种信息处理系统，其包括：一个或多个处理单元，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
该系统可以包括：用户界面，该用户界面接收在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择；以及通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在第二显示器上显示的用户界面的表示中显示的多个图形表示之一的选择相对应的信息发送到包括第一显示器的信息处理设备。
根据另一个示例实施例，本公开针对一种由信息处理系统执行的信息处理方法，该方法包括：获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及，基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
根据另一个示例实施例，本公开针对一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理系统执行时使得信息处理系统执行处理，该处理包括：获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及，基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
[本发明的有益效果]
根据上述的本公开的实施例，可以使用户能够容易地识别这样的命令，当要由用户操作的终端使用经过另一个终端的显示控制的画面的识别结果来控制另一终端的命令执行时，限制该命令的执行。
附图说明
[图1]
图1是示出根据本公开实施例的显示控制系统的配置的说明图。
[图2]
图2是示出执行终端的功能配置例子的框图。
[图3]
图3是示出操作终端的功能配置例子的框图。
[图4]
图4是示出由执行终端发送到操作终端的信息的例子的示图。
[图5]
图5是示出由操作终端的显示控制单元进行的显示控制的示图。
[图6]
图6是示出根据操作终端的显示控制单元的显示控制显示的画面的例子的示图。
[图7]
图7是示出由操作终端的发送控制单元进行的发送控制的示图。
[图8]
图8是示出命令执行结果的例子的示图。
[图9]
图9是示出根据本公开实施例的显示控制系统的操作的流程的流程图。
[图10]
图10是示出根据本公开实施例的变型例的发送信息的例子的示图。
[图11]
图11是示出根据本公开实施例的变型例的显示控制系统的操作的流程的流程图。
[附图标记列表]
1 显示控制系统
10 执行终端
20 操作终端
100 显示控制设备
110 操作检测单元
120 发送控制单元
130 显示控制单元
140 获取单元
150 命令执行单元
200 显示控制设备
210 图像获取单元
220 识别单元
230 信息获取单元
240 显示控制单元
250 操作检测单元
260 发送控制单元
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且，省略这些结构元件的重复说明。
另外，在本说明书和附图中，基本上具有相同的功能配置的多个组成元件通过在相同的附图标记后面跟随不同的字母字符加以区分。但是，当不需要区分具有基本上相同的功能配置的多个组成元件时，仅仅使用相同的附图标记。
另外，将按照下面的顺序描述“具体实施方式”。
1.显示控制系统的概要
2.执行终端的功能配置例子
3.操作终端的功能配置例子
4.显示控制设备中设置的功能
5.显示控制系统的操作
6.变型例
7.结论
<1.显示控制系统的概要>
在下文中，首先，将参照图1描述根据本公开实施例的显示控制系统的概要。
图1是示出根据本公开实施例的显示控制系统的配置的说明图。如图1所示，根据本公开实施例的显示控制系统1包括执行终端10和操作终端20。执行终端10可以显示包括一个或多个项目的画面。对项目的数量没有特别的限制。在图1所示的例子中，由执行终端10显示包括项目Itm1至Itm15的画面D10。例如，这些项目可以均对应于由执行终端10实现的各个应用。
操作终端20可以对由执行终端10显示的画面进行成像。在图1所示的例子中，由操作终端20对由执行终端10显示的画面D10进行成像。另外，在图1所示的例子中，通过成像获得的图像（下文中被称为“捕获图像”）被包含在由操作终端20显示的画面D20中。该“捕获图像”可以对应于当前正被捕获并被显示为画面D20的图像，或者，可以是以前被捕获并存储的图像，该图像随后被显示为画面D20。这里，如果用户执行选择操作终端20的项目的操作，则执行终端10执行对应于该项目的命令。
例如，如果用户执行选择操作终端20的项目Itm3的操作，则执行终端10执行对应于项目Itm3的命令“转变到照片选择画面”。
虽然在图1中智能电话被示出为执行终端10和操作终端20的例子，但是，执行终端10和操作终端20都不限于智能电话。例如，执行终端10和操作终端20均可以是个人数字助理（PDA）、便携式电话、便携式音乐播放设备、便携式视频处理设备或便携式游戏装置。
随便提一下，还考虑希望限制来自操作终端20的命令执行的控制的情况。例如，如果执行终端10的用户不希望任意地示出运动图像给其他人，那么存在这样的情况，即：其中，即使执行选择操作终端20的项目Itm2的操作时，也希望禁止命令“转变到运动图像选择画面”的执行。在这样的情况中，可以分配执行该命令的权利给操作终端。此时，如果可以使操作终端20的用户能够容易地识别限制其执行的命令，那么可以改进对于操作终端20的用户的便利性。
鉴于上述情形，已经作出了本公开的实施例。根据本公开的实施例，当使用由执行终端10显示的画面的识别结果来执行由执行终端10进行的命令执行的控制时，操作终端20可以使操作终端20的用户能够容易地识别限制其执行的命令。在下文中，将参照图2描述根据本公开实施例的执行终端10的功能配置。
<2.执行终端的功能配置例子>
图2是示出执行终端10的功能配置例子的框图。参照图2，执行终端10包括输入设备12、存储设备14、显示设备16、通信设备18和显示控制设备100。显示控制设备100包括操作检测单元110、发送控制单元120、显示控制单元130、获取单元140和命令执行单元150。
（输入设备）
输入设备12是用来允许用户操作执行终端10或输入信息到执行终端10的输入装置。输入设备12可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备12可以包括识别用户手势的手势识别模块。
（存储设备）
存储设备14使用诸如半导体存储器或硬盘的存储介质来存储用于由执行终端10进行的处理的程序和数据。例如，存储设备14存储用于包括项目的画面的显示控制的程序。此外，例如，存储设备14存储用于执行对应于该项目的命令的程序。
（显示设备）
显示设备16是由液晶显示器（LCD）、有机发光二极管（OLED）或阴极射线管（CRT）构成的显示模块。显示设备16可以是执行终端10的一部分，或者，可以与执行终端10分开地配置。
（通信设备）
通信设备18是以有线或无线的方式与操作终端20通信的通信接口。当被连接到网络时，通信设备18可以经由网络与操作终端20通信。另外，通信设备18可以不涉及网络而直接与操作终端20通信。例如，通信设备18可以与操作终端20通过无线电波执行近场无线通信或者执行红外通信。
（显示控制设备）
显示控制设备100对应于诸如中央处理单元（CPU）或数字信号处理器（DSP）的处理器。显示控制设备100通过执行在存储设备14或另一个存储介质中存储的程序来操作稍后描述的显示控制设备100的各种功能。显示控制设备100可以不被嵌入在执行终端10中，并且，可以被嵌入在另一个设备（例如，服务器）中。
上面参照图2已经描述了根据本公开实施例的执行终端10的功能配置。在下文中，将参照图3详细地描述根据本公开实施例的操作终端20的功能配置。
<3.操作终端的功能配置例子>
图3是示出操作终端20的功能配置例子的框图。参照图3，操作终端20包括成像设备21、输入设备22、存储设备24、显示设备26、通信设备28和显示控制设备200。显示控制设备200包括图像获取单元210、识别单元220、信息获取单元230、显示控制单元240、操作检测单元250和发送控制单元260。
(成像设备)
成像设备21通过使用诸如电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）的成像元件对真实空间进行成像来产生捕获图像。虽然成像设备21被假设是本公开实施例的操作终端20的一部分，但是，成像设备21可以与操作终端20分开地配置。
（输入设备）
输入设备22是用来允许用户操作操作终端20或输入信息到操作终端20的输入装置。输入设备22可以包括，例如，键盘、键区、鼠标、按钮、开关或触摸面板。输入设备22可以包括识别用户手势的手势识别模块。
（存储设备）
存储设备24使用诸如半导体存储器或硬盘的存储介质来存储用于由操作终端20进行的处理的程序和数据。另外，存储设备24存储要用于对象识别的特征量字典和虚拟对象数据，该虚拟对象数据是充当显示目标的虚拟对象的数据。此外，存储设备24可以存储作为对象识别结果产生的识别结果。
（显示设备）
显示设备26是由液晶显示器（LCD）、有机发光二极管（OLED）或阴极射线管（CRT）构成的显示模块。显示设备26可以是操作终端20的一部分，或者，可以与操作终端20分开地配置。
（通信设备）
通信设备28是以有线或无线的方式与执行终端10通信的通信接口。当被连接到网络时，通信设备28可以经由网络与执行终端10通信。另外，通信设备28可以不涉及网络而直接与执行终端10通信。例如，通信设备28可以与执行终端10通过无线电波执行近场无线通信或者执行红外通信。
（显示控制设备）
显示控制设备200对应于诸如中央处理单元（CPU）或数字信号处理器（DSP）的处理器。显示控制设备200通过执行在存储设备24或另一个存储介质中存储的程序来操作稍后描述的显示控制设备200的各种功能。显示控制设备200可以不被嵌入在操作终端20中，并且，可以被嵌入在另一个设备（例如，服务器）中。
上面参照图3已经描述了根据本公开实施例的操作终端20的功能配置。在下文中，将参照图4至8详细地描述根据本公开实施例的显示控制设备100和200。
<4.显示控制设备中设置的功能>
图4是示出由执行终端10发送到操作终端20的信息（在下文中被称为“发送信息”）的例子的示图。如图4所示，发送信息包括配置信息和授权信息。配置信息指示包括一个或多个项目的画面的配置。显示控制单元130可以根据配置信息显示画面。在图4中所示的例子，配置信息指示构成画面D10的项目Itm1至Itm15的位置和大小。
例如，当项目位置是基于画面的预定点的位置时，项目的位置可以由项目的预定点的位置表示。例如，画面D10的左上角可以是画面的预定点，但是，画面的预定点可以不是画面D10的左上角。另外，项目的左上角可以是项目的预定点，但是，项目的预定点可以不是项目的左上角。另外，虽然在图4中所示的例子中通过把画面D10的预定点的位置表示为（0,0），把项目Itm1至Itm15的预定点的位置表示为(X1,Y1)至(X15,Y15)，以及把项目Itm1至Itm15的大小（宽度，高度）表示为(W1,H1)至(W15,H15)，来表示项目的坐标，但是对表示的类型没有特别的限制。
例如，代替每一个项目的坐标，项目之间的间隔的大小、以及画面末端与项目之间的间隔的大小可以作为配置信息被包含在发送信息中。在这种情况下，可以按照项目编号的顺序布置稍后将描述的表示许可命令的执行的信息或者指示限制命令的执行的信息。另外，如果每一个项目具有除矩形以外的形状，那么可以用另一种表示来限定每一个项目的坐标。例如，每一个项目可以是点，但是，在这种情况下，每一个项目的大小可以不作为配置信息被包含在发送信息中。此外，例如，如果已经通过操作终端20识别了每一个项目的大小，但是每一个项目的大小可以不作为配置信息被包含在发送信息中。
授权信息由指示许可命令的执行的信息（在下文中被简称为“许可”）或者指示限制命令的执行的信息（在下文中被简称为“限制”）构成。在图4中所示的例子中，“许可”或“限制”与来自项目Item1至Itm15中的每一个的要执行的命令的执行相关联。例如，如果由操作检测单元110已经检测到来自用户的设置操作，可以设置授权信息。例如，由用户通过输入设备12输入设置操作。
虽然如果在下面限制命令的执行，则禁止命令的执行，但是也可以不禁止命令的执行。另外，可以逐步地施加对命令的执行的限制。如果发送控制单元120控制要发送到操作终端20的发送信息，那么由通信设备18根据控制把发送信息发送到操作终端20。例如，如果操作检测单元110已经检测到来自用户的发送操作，则可以发送发送信息。例如，由用户通过输入设备12输入发送操作。
由操作终端20的通信设备28接收从执行终端10发送的发送信息。显示控制设备200的信息获取单元230可以获取由通信设备28接收到的发送信息。另一方面，图像获取单元210获取画面D10的捕获图像。例如，根据由操作终端20的成像设备21进行的成像，可以获得画面D10的捕获图像。显示控制单元240可以控制由图像获取单元210获取的捕获图像被显示。显示设备26可以根据由显示控制单元240进行的显示控制来执行显示。例如，在图1中示出的例子中，显示控制单元240控制要被显示为画面D20的捕获图像。
识别单元220通过识别画面D10来获取识别结果。例如，识别单元220识别在由图像获取单元210获取的捕获图像中包含的画面D10以及画面D10的捕获图像中的位置和姿势。例如，识别单元220可以通过把从捕获图像确定的特征量与画面D10的特征量匹配来识别在捕获图像中包含的画面。
更具体地说，识别单元220根据诸如尺度不变特征变换（scaleinvariant featuretransform，SIFT）方法或随机蕨方法（random fernsmethod）的特征量确定方法来确定捕获图像内的真实对象的特征量，并且，把确定的特征量与真实对象的特征量匹配。识别单元220识别用于标识与捕获图像内的真实对象的特征量最匹配的特征量相关联的画面D10的信息、以及捕获图像中的画面D10的位置和姿势。
这里，识别单元220使用特征量字典，在该特征量字典中，真实对象的特征量数据与用于标识真实对象的信息相关联。特征量字典可以由存储设备24存储或者由通信设备28从服务器接收。例如，真实对象的特征量数据可以是根据SIFT方法或随机蕨方法从真实对象的学习图像确定的一组特征量。
画面D10的识别不限于此例子。例如，识别单元220可以通过识别诸如人工标记（例如，条形码或快速响应（QR）码）或者与画面D10相关联的自然标记的已知图形或符号或标记来间接地识别画面D10。另外，识别单元220可以识别画面D10，并且从画面D10的捕获图像中的大小和形状识别画面D10的位置和姿势。
另外，虽然上面已经描述了这样的例子：其中，识别单元220根据图像处理识别捕获图像中包含的画面D10的位置和姿势，但是，识别画面D10的位置和姿势的技术不限于基于图像处理的识别技术。例如，识别单元220可以检测成像设备21的方向和操作终端20的当前位置，并且，基于检测结果来估计捕获图像中包含的画面D10以及捕获图像中的画面D10的位置和姿势。
图5是示出由显示控制单元240进行的显示控制的示图。显示控制单元240执行控制，使得如果授权信息指示命令的执行被限制（“限制”的情况），那么基于配置信息和画面识别结果来执行限制显示，该限制显示是指示限制命令的执行的显示。例如，显示控制单元240可以把限制显示添加到由图像获取单元210获取的捕获图像。
如果如图4所示的配置信息和授权信息已经由信息获取单元230获取，那么“限制”与项目坐标(X2,Y2,W2,H2)、(X10,Y10,W10,H10)和(X11,Y11,W11,H11)相关联。因此，优选的是，显示控制单元240基于项目坐标(X2,Y2,W2,H2)、(X10,Y10,W10,H10)和(X11,Y11,W11,H11)以及画面D10的识别结果控制要执行的限制显示。
例如，如果画面D10的位置和姿势已经被识别为画面D10的识别结果，那么显示控制单元240基于画面D10的位置和姿势转换项目坐标(X2,Y2,W2,H2)、(X10,Y10,W10,H10)和(X11,Y11,W11,H11)。在图5中，在显示控制单元240已经转换项目坐标之后的坐标（在下文中被称为“转换的坐标”）被示出为(X2’,Y2’,W2’,H2’)、(X10’,Y10’,W10’,H10’)和(X11’,Y11’,W11’,H11’)。
显示控制单元240可以把限制显示添加到由转换的坐标指示的位置。在图5所示的例子中，显示控制单元240可以把限制显示添加到由转换的坐标(X2’,Y2’,W2’,H2’)、(X10’,Y10’,W10’,H10’)和(X11’,Y11’,W11’,H11’)指示的位置。显示设备26可以根据由显示控制单元240进行的显示控制来执行显示。
图6是示出根据由显示控制单元240进行的显示控制所显示的画面的例子的示图。在图6所示的例子中，其中限制显示R2、R10和R11被添加到由转换的坐标(X2’,Y2’,W2’,H2’)、(X10’,Y10’,W10’,H10’)和(X11’,Y11’,W11’,H11’)指示的位置的捕获图像被显示为画面D21。虽然在图6所示的例子中通过限制显示R2、R10和R11使项目变灰，但是，对于限制显示方法没有特别的限制。例如，限制显示可以是从中删除每一个项目的显示。
如果如上所述地进行限制显示，那么显示控制设备200使得用户能够容易地识别这样的命令：当使用经过由显示控制设备100进行的显示控制的画面的识别结果来执行由显示控制设备100进行的命令执行的控制时，限制该命令的执行。在图6所示的例子中，用户容易识别针对对应于项目Itm2的命令“转变到运动图像选择画面”、对应于项目Itm10的命令“Fasebook”和对应于项目Itm11的命令“日记”中的每一个限制授权。
用户可以选择这样的命令：当浏览如上所述地进行限制显示的画面D11时，许可该命令的执行。在图6所示的例子中，用户可以选择项目Itm1、Itm3至Item9和Item12至Item15中的一个。这里，例如，用户希望输入把画面上的坐标作为指定坐标（s’,t’）指定给输入设备22的操作。在这种情况下，操作检测单元25检测指定指定坐标（s’,t’）的操作。
图7是示出由发送控制单元260进行的发送控制的示图。如图7所示，例如，如果操作检测单元250已经检测到指定指定坐标（s’,t’）的操作，那么发送控制单元260基于画面D10的位置和姿势转换指定坐标（s’,t’）。指定坐标（s’,t’）的转换之后的坐标由(s,t)表示。发送控制单元260控制要发送给显示控制设备100的坐标(s,t)。如果坐标(s,t)被控制以由发送控制单元260发送给显示控制设备100，那么坐标(s,t)由通信设备28根据控制发送给执行终端10。
由通信设备28发送的坐标(s,t)由执行终端10的通信设备18接收。随后，如果坐标(s,t)被通信设备18接收时，显示控制设备100的获取单元140获取由通信设备18接收的坐标(s,t)。如果项目坐标已经被获取单元140获取并且授权信息指示许可命令的执行（“许可”的情况），那么命令执行单元150执行该命令。因为如图4所示“许可”与项目Itm3相关联，所以，优选的是，如果由获取单元140获取的坐标(s,t)与由项目Itm3的坐标（例如，由(X3,Y3,W3,H3)限定的范围内的坐标）一致，如图7所示，则命令执行单元150执行对应于项目Itm3的命令“转变到照片选择画面”。
图8是示出命令执行结果的例子的示图。如果命令执行单元150已经执行了对应于项目Itm3的命令“转变到照片选择画面”，那么显示控制单元130控制对应于照片选择画面的画面D12以如图8所示被显示。如果执行显示控制单元130的显示控制，那么根据显示控制由显示设备16显示画面D12。另外，在图8所示的例子中，如果成像设备21对画面D12进行成像，并且图像获取单元210获取捕获的图像，那么显示控制单元240控制捕获的图像以被显示为画面D22。
如果获取单元140没有获取项目坐标，那么优选的是，命令执行单元150不执行命令。另外，如果授权信息指示命令的执行被限制（“限制”的情况），那么优选的是，命令执行单元150限制命令的执行。例如，如果由获取单元140获取的坐标(s,t)是项目Itm2的坐标，那么优选的是，命令执行单元150执行对应于项目Itm2的命令“转变到运动图像选择画面”，因为“限制”与项目Itm2相关联，如图4所示。
另外，虽然坐标(s,t)可以被控制以如上所述无条件地被发送，但是发送控制单元260可以确定是否满足了预定的条件，并且，如果满足了预定的条件，则发送控制单元260控制坐标(s,t)被发送。另外，如果尚未满足预定条件，则发送控制单元260可以控制坐标(s,t)不被发送。
例如，如果在基于画面D10的位置和姿势的指定坐标(s’,t’)的转换之后的坐标(s,t)与一组项目坐标(X1,Y1,W1,H1)至(X15,Y15,W15,H15)一致或与其接近，那么发送控制单元260控制坐标(s,t)以被发送给显示控制设备100。另一方面，如果坐标(s,t)与一组项目坐标(X1,Y1,W1,H1)至(X15,Y15,W15,H15)不一致或不与其接近，那么发送控制单元260可以控制坐标(s,t)以不被发送给显示控制设备100。接近范围可以被预设，或者可以不被设置。
另外，例如，如果授权信息指示许可命令的执行（“许可”的情况），那么发送控制单元260可以控制坐标(s,t)以发送给显示控制设备100。另一方面，如果授权信息指示命令的执行被限制（“限制”的情况），那么发送控制单元260可以控制坐标(s,t)以不发送给显示控制设备100。
如果操作检测单元110已经检测到来自用户的命令指定操作，那么命令执行单元150可以执行根据命令指定操作指定的命令。在这种情况下，如果操作检测单元110已经检测到了来自用户的命令指定操作，那么优选的是，不管授权信息如何，命令执行单元150都执行该命令。另一方面，当获取单元140获取了项目坐标时，优选的是，如果授权信息指示许可命令的执行（“许可”的情况），那么命令执行单元150执行该命令。另外，当获取单元140获取了项目坐标时，优选的是，如果授权信息指示命令的执行被限制（“限制”的情况），那么命令执行单元150限制命令的执行。例如，由用户通过输入设备12输入命令指定操作。
上面参照图4至8已经描述了根据本公开实施例的显示控制设备100和200中设置的功能。在下文中，将参照图9详细地描述根据本公开实施例的显示控制系统1的操作。
<5.显示控制系统的操作>
图9是示出根据本公开实施例的显示控制系统1的操作的流程的流程图。
如果执行终端10的显示控制单元130执行包括各项目的画面的显示控制，如图9所示，那么显示设备16根据由显示控制单元130的显示控制显示包括各项目的画面（步骤S11）。如上所述，对于项目的数量没有特别的限制。随后，发送控制单元120控制画面的配置信息和用于要从该项目起执行的命令的授权信息以发送给操作终端20。根据发送控制单元120的控制，通信设备18把配置信息和授权信息发送给操作终端20（步骤S12）。如上所述，例如，如果操作检测单元110已经检测到来自用户的发送操作，那么发送配置信息和授权信息。
随后，如果操作终端20的通信设备28从执行终端10接收配置信息和授权信息（步骤S21），那么信息获取单元230获取由通信设备28接收到的配置信息和授权信息。另一方面，如果成像设备21对经过显示控制单元130的显示控制的画面进行成像，那么图像获取单元210获取根据由成像设备21进行的成像而获得的捕获图像（步骤S22）。识别单元220从捕获图像识别画面（步骤S23）。随后，如果显示控制单元240执行捕获图像的显示控制，那么显示设备26显示捕获图像（步骤S24）。
随后，如果授权信息指示命令的执行被限制（步骤S25中的“是”），那么显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像（步骤S26），并且前进到步骤S27。如果授权信息没有指示命令的执行被限制（即，如果授权信息指示许可命令的执行）（步骤S25中的“否”），那么显示控制单元240前进到步骤S27。随后，如果操作检测单元250已经检测到来自用户的指定坐标，那么发送控制单元260基于根据由识别单元220进行的识别获得的识别结果转换指定的坐标（步骤S27），并且，控制转换的坐标以被发送。通信设备28根据由发送控制单元260进行的控制发送转换的坐标（步骤S28）。应该注意，虽然显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像（步骤S26），但是，可以通过把对应于命令的状态从限制改变为许可来去除限制显示。例如，口令或其它认证信息可以在操作终端20处被输入并被发送给执行终端10。在成功认证时，执行终端10然后可以把数据发送给操作终端20，从而指示命令的状态从限制改变为许可。输入该认证信息的示例过程可以包括选择图6所示的限制显示R2、R10和R11中的一个。在选择这些显示之一时，显示控制单元240控制显示器以显示提示用户输入认证信息的界面。该认证信息然后从操作终端20被发送到执行终端10，如上所略述的。在基于成功认证从执行终端10接收到指示命令的状态已经从限制改变为许可的数据时，显示控制单元240控制显示器以从捕获图像去除限制显示。
随后，如果执行终端10的通信设备18接收到转换的坐标（步骤S13），那么获取单元140获取由通信设备18接收的坐标。如果由通信设备18接收的坐标不是项目坐标（或者，不接近于项目坐标）（步骤S14中的“否”），那么命令执行单元150结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S11）。如果由通信设备18接收的坐标是项目坐标（或者，接近于项目坐标）（步骤S14中的“是”），那么命令执行单元150前进到步骤S15。
如果授权信息没有指示许可命令的执行（即，如果命令的执行被指示为被限制）（步骤S15中的“否”），那么命令执行单元150结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S11）。如果授权信息指示许可命令的执行（步骤S15中的“是”），那么命令执行单元150执行命令（步骤S16）并结束操作。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S11）。显示控制单元130可以执行命令执行结果的显示控制。
上面参照图9已经描述了根据本公开实施例的显示控制系统1的操作。将参照图10详细地描述根据本公开实施例的变型例的显示控制设备100和200中设置的功能。
<6.变型例>
图10是示出根据本公开实施例的变型例的发送信息的例子的示图。如图10所示，除了配置信息和授权信息以外，发送信息还可以包括用于标识命令的信息（在下文中被称为“命令标识信息”）。但是，命令标识信息不是不可缺少的信息。如果执行终端10的发送控制单元120控制如上所述的发送信息被发送，那么通信设备18发送发送信息。由通信设备18发送的发送信息由操作终端20的通信设备28接收并由信息获取单元230获取。
这里，例如，如果操作检测单元250已经检测到了指定命令的操作，那么发送控制单元260可以控制用于标识命令的命令标识信息以发送给显示控制设备100。这里，发送控制单元260可以确定是否已经满足预定的条件，并且，如果满足了预定的条件，则发送控制单元260控制命令标识信息被发送。另外，如果尚未满足预定条件，则发送控制单元260可以控制命令标识信息不被发送。
例如，如果操作检测单元250已经检测到指定坐标(s’,t’)的操作，并且在基于画面D10的位置和姿势的指定坐标(s’,t’)的转换之后的坐标(s,t)与一组项目坐标(X1,Y1,W1,H1)至(X15,Y15,W15,H15)一致或与其接近，那么发送控制单元260可以控制对应于项目的命令标识信息以被发送给显示控制设备100。
例如，如果操作检测单元250已经检测到指定坐标(s’,t’)的操作，并且在指定坐标(s’,t’)的转换之后的坐标(s,t)与项目坐标(X3,Y3,W3,H3)一致或与其接近，那么发送控制单元260可以控制与其项目相关联的命令标识信息“COM3”以被发送给显示控制设备100。虽然由发送控制单元260控制其发送的命令标识信息可以被包含在发送信息中，但是，当命令标识信息没有包含在发送信息中时，命令标识信息可以是由配置信息限定的项目数等。
另一方面，例如，如果授权信息指示许可命令的执行（“许可”的情况），那么发送控制单元260可以控制命令标识信息以发送给显示控制设备100。另一方面，如果授权信息指示命令的执行被限制（“限制”的情况），那么发送控制单元260可以控制命令标识信息以不发送给显示控制设备100。
如果通信设备28根据由发送控制单元260进行的控制来发送命令标识信息，那么执行终端10的通信设备18接收命令标识信息，并且获取单元140获取由通信设备18接收的命令标识信息。如果获取单元140已经获取了命令标识信息，并且，授权信息指示许可命令的执行，那么命令执行单元150可以执行该命令。如果获取单元140尚未获取命令标识信息，那么命令执行单元150可能无法执行该命令。另外，如果授权信息指示命令的执行被限制，那么命令执行单元150可以限制命令的执行。
上面参照图10已经描述了根据本公开实施例的变型例的显示控制设备100和200中设置的功能。在下文中，将参照图11详细地描述根据本公开实施例的变型例的显示控制系统1的操作。
图11是示出根据本公开实施例的变型例的显示控制系统1的操作的流程的流程图。
如果执行终端10的显示控制单元130执行包括各项目的画面的显示控制，如图11所示，那么显示设备16根据由显示控制单元130的显示控制显示包括各项目的画面（步骤S31）。如上所述，对项目的数量没有特别的限制。随后，发送控制单元120控制画面的配置信息以及用于要从该项目起执行的命令的授权信息和命令标识信息以发送给操作终端20。根据发送控制单元120的控制，通信设备18把配置信息、授权信息和命令标识信息发送给操作终端20（步骤S32）。例如，如果操作检测单元110已经检测到来自用户的发送操作，那么可以发送配置信息、授权信息和命令标识信息。
随后，如果操作终端20的通信设备28从执行终端10接收配置信息、授权信息和命令标识信息（步骤S41），那么信息获取单元230获取由通信设备28接收到的配置信息、授权信息和命令标识信息。另一方面，如果成像设备21对经过显示控制单元130的显示控制的画面进行成像，那么图像获取单元210获取根据由成像设备21进行的成像而获得的捕获图像（步骤S42）。识别单元220从捕获图像识别画面（步骤S43）。随后，如果显示控制单元240执行捕获图像的显示控制，那么显示设备26显示捕获图像（步骤S44）。
随后，如果授权信息指示命令的执行被限制（步骤S45中的“是”），那么显示控制单元240基于配置信息和识别结果把限制显示添加到捕获图像（步骤S46），并且前进到步骤S47。如果授权信息没有指示命令的执行被限制（即，如果命令的执行被指示为许可）（步骤S45中的“否”），那么显示控制单元240前进到步骤S47。随后，如果操作检测单元250已经检测到来自用户的指定坐标，那么发送控制单元260基于根据由识别单元220进行的识别获得的识别结果转换指定的坐标（步骤S47）。
如果转换后的坐标不是项目坐标（或者不接近于项目坐标）（步骤S48中的“否”），那么发送控制单元260结束操作而不执行命令。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S31）。另一方面，如果转换后的坐标是项目坐标（或接近于项目坐标）（步骤S48中的“是”），那么发送控制单元260控制对应于该项目的命令标识信息被发送。通信设备28根据由发送控制单元260进行的控制发送命令标识信息（步骤S49）。如果执行终端10的通信设备18接收到命令标识信息（步骤S33），那么获取单元140获取由通信设备18接收的命令标识信息。
随后，如果授权信息没有指示许可命令的执行（即，如果命令的执行被指示为被限制）（步骤S34中的“否”），那么命令执行单元150结束操作而不执行由命令标识信息标识的命令。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S31）。如果授权信息指示许可命令的执行（步骤S35中的“是”），那么命令执行单元150执行由命令标识信息标识的命令（步骤S36）并结束操作。作为替代方案，显示控制单元130可以重新执行显示控制（步骤S31）。显示控制单元130可以执行命令执行结果的显示控制。
上面参照图11已经描述了根据本公开实施例的变型例的显示控制系统1的操作的流程。
<7.总结>
如上所述，根据本公开的显示控制设备200具有信息获取单元230，该信息获取单元230获取包括显示控制设备100的一个或多个项目的画面的配置信息和用于从该项目起执行的命令的授权信息。另外，如果授权信息指示命令的执行被限制，那么显示控制设备200包括显示控制单元240，该显示控制单元240基于画面识别结果和配置信息控制要执行的限制显示，该限制显示是指示命令的执行被限制的显示。因此，如果使用经过由执行终端10进行的显示控制的画面的识别结果来执行由执行终端10进行的命令执行的控制，那么要由用户操作的操作终端20使得用户能够容易地识别限制其执行的命令。
虽然参照附图已经描述了本公开的优选实施例，但是本公开的技术范围不限于此。本领域的技术人员应该理解，根据设计要求和其他因素可以想到各种修改、组合、子组合和替换，只要它们在所附的权利要求或其等同物的范围即可。
例如，虽然上面已经描述了显示控制设备200具有画面识别功能的例子，但是服务器可以代替显示控制设备200具有上述功能。例如，如果显示控制设备200已经把捕获图像发送给服务器，那么服务器可以代替显示控制设备200从捕获图像识别画面。如上所述，本公开的技术还可以应用于云计算。
另外，本说明书的显示控制系统1的操作中的步骤不必一定按照流程图中描述的顺序以时序执行。例如，显示控制系统1的操作中的步骤可以按照与流程图中描述的顺序不同的顺序处理或者被并行地处理。
另外，可以创建这样的计算机程序：用于使诸如CPU、只读存储器（ROM）和嵌入在执行终端10或操作终端20中的随机存取存储器（RAM）的硬件具有与上述的执行终端10或操作终端20的每一种配置相同的功能。另外，还提供记录计算机程序的存储介质。
另外，本技术还可以被配置为如下。
（1）一种信息处理系统，包括：一个或多个处理单元，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；并且，所述一个或多个处理单元基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
（2）（1）的信息处理系统，还包括：图像捕获单元，所述图像捕获单元捕获与在第一显示器上显示的用户界面相对应的图像数据。
（3）（1）至（2）中的任何一个的信息处理系统，其中，所述一个或多个处理单元获取与在第一显示器上显示的用户界面相对应的授权信息和配置信息中的至少一个。
（4）（1）至（3）中的任何一个的信息处理系统，其中，配置信息指示所述多个图形表示中的每一个被显示在第一显示器上的位置。
（5）（1）至（4）中的任何一个的信息处理系统，其中，授权信息指示是否能够访问与所述多个图形表示中的每一个相对应的功能。
（6）（1）至（5）中的任何一个的信息处理系统，其中，所述一个或多个处理单元基于获取的配置信息来生成用户界面的表示。
（7）（1）至（6）中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得对于与不能被访问的功能相对应的所述多个图形表示中的至少一个施加预定的视觉效果。
（8）（1）至（7）中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得省略与不能被访问的功能相对应的所述多个图形表示中的至少一个。
（9）（1）至（8）中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制第二显示器显示用户界面的表示，使得图像被重叠在与不能被访问的功能相对应的所述多个图形表示中的至少一个上。
（10）（1）至（9）中的任何一个的信息处理系统，还包括：用户界面，该用户界面接收在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择。
（11）（1）至（10）中的任何一个的信息处理系统，还包括：通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的信息发送给包括第一显示器的信息处理设备。
（12）（1）至（11）中的任何一个的信息处理系统，还包括：通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的坐标信息发送给包括第一显示器的信息处理设备。
（13）（1）至（12）中的任何一个的信息处理系统，还包括：通信接口，其中，所述一个或多个处理单元控制通信接口，以把与在显示于第二显示器上的用户界面的表示中显示的所述多个图像表示中的一个的选择相对应的命令标识信息发送给包括第一显示器的信息处理设备。
（14）（1）至（13）中的任何一个的信息处理系统，其中，所述多个图形表示中的一个对应于照片浏览应用。
（15）（1）至（14）中的任何一个的信息处理系统，还包括：用户界面，该用户界面接收与显示于第二显示器上的用户界面的表示中显示的照片浏览应用相对应的图形表示的选择；以及通信接口，其中，所述一个或多个处理单元控制通信接口，以把与对应于照片浏览应用的图形表示的选择相对应的信息发送给包括第一显示器的信息处理设备，该信息处理设备响应于接收到与该图形表示的选择相对应的信息来执行照片浏览应用。
（16）（1）至（15）中的任何一个的信息处理系统，其中，信息处理系统是第一信息处理设备，并且，所述多个图形表示中的每一个图形表示对应于在第二信息处理设备处实现的相应功能。
（17）（1）至（16）中的任何一个的信息处理系统，其中，与在第一显示器上显示的用户界面相对应的捕获图像数据是静止图像数据。
（18）（1）至（17）中的任何一个的信息处理系统，还包括：用户界面，该用户界面接收与不能被访问的功能相对应的认证信息。
（19）（1）至（18）中的任何一个的信息处理系统，其中，所述一个或多个处理单元控制显示器改变用户界面的表示，以指示基于接收到的认证信息能够访问功能。
（20）（1）至（19）中的任何一个的信息处理系统，其中，当在第二显示器上选择与不能被访问的功能相对应的图形表示时，用户界面显示画面以输入认证信息。
（21）（1）至（20）中的任何一个的信息处理系统，其中，所述多个图形表示至少包括对应于功能的图标。
（22）一种由信息处理系统执行的信息处理方法，该方法包括：获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。
（23）一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由信息处理系统执行时使得信息处理系统执行处理，该处理包括：获取与在第一显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；以及基于在用户界面上执行的识别处理来控制第二显示器显示用户界面的表示，用户界面的表示指示是否能够访问与多个图形表示相对应的功能。

Claims (17)

1.一种信息处理系统，包括：
第一信息处理设备，包括第一显示器和第一电路，第一电路被配置为：
获取与在第二信息处理设备的第二显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；
从第二信息处理设备接收与用户界面相对应的配置信息和授权信息，所述授权信息指示第二信息处理设备是否允许或限制命令的执行，所述命令被从第一电路发送到第二信息处理设备；
识别包含在捕获图像数据中的画面和项目；
当授权信息指示允许命令的执行时，控制第一显示器基于捕获图像数据显示用户界面的第一表示，用户界面的第一表示指示与多个图形表示对应的功能能够被访问；
当授权信息指示不允许命令的执行时，控制第一显示器基于捕获图像数据显示用户界面的第二表示，用户界面的第二表示包括重叠在与不能被访问的功能对应的多个图形表示中的至少一个上的限制显示图像；
根据所述配置信息、所述授权信息以及所述包含在捕获图像数据中的画面和项目，转换项目的坐标；
向第二信息处理设备发送转换后的坐标和命令；以及
第二信息处理设备，包括第二电路，第二电路被配置为：
向第一信息处理设备发送所述配置信息和所述授权信息；
从第一信息处理设备接收转换后的坐标和命令；
确定转换后的坐标是否对应于用户界面内的项目；
当转换后的坐标对应于用户界面内的项目时，根据授权信息确定命令是否被授权；以及
当命令被授权时根据所述授权信息来执行命令。
2.根据权利要求1所述的信息处理系统，其中
所述第一电路还被配置为捕获与在第二显示器上显示的用户界面相对应的图像数据。
3.根据权利要求1所述的信息处理系统，其中
配置信息指示所述多个图形表示中的每一个被显示在第二显示器上的位置。
4.根据权利要求1所述的信息处理系统，其中
所述第一电路还被配置为基于获取的配置信息来生成用户界面的第一表示或用户界面的第二表示。
5.根据权利要求1所述的信息处理系统，其中
所述第一电路还被配置为控制第一显示器显示用户界面的第二表示，使得对于与不能被访问的功能相对应的所述多个图形表示中的至少一个施加预定的视觉效果。
6.根据权利要求1所述的信息处理系统，其中
所述第一电路还被配置为控制第一显示器显示用户界面的第二表示，使得省略与不能被访问的功能相对应的所述多个图形表示中的至少一个。
7.根据权利要求1所述的信息处理系统，其中
所述第一信息处理设备还包括用户界面，该用户界面接收所述多个图像表示中的一个的选择。
8.根据权利要求7所述的信息处理系统，其中
所述第一信息处理设备还包括通信接口，以及
所述第一电路还被配置为控制通信接口，以把与所述多个图像表示中的一个的选择相对应的信息发送给第二信息处理设备。
9.根据权利要求7所述的信息处理系统，其中
所述第一信息处理设备还包括通信接口，以及
所述第一电路还被配置为控制通信接口，以把与所述多个图像表示中的一个的选择相对应的命令标识信息发送给第二信息处理设备。
10.根据权利要求7所述的信息处理系统，其中
所述多个图形表示中的一个对应于照片浏览应用。
11.根据权利要求10所述的信息处理系统，其中
所述第一信息处理设备还包括：
用户界面，该用户界面接收与显示于显示器上的照片浏览应用相对应的图形表示的选择；以及
通信接口，
所述第一电路还被配置为控制通信接口，以把与对应于照片浏览应用的图形表示的选择相对应的信息发送给第二信息处理设备，以及
第二信息处理设备响应于接收到信息来执行照片浏览应用。
12.根据权利要求1所述的信息处理系统，其中
捕获图像数据是静止图像数据。
13.根据权利要求1所述的信息处理系统，其中
所述第一信息处理设备还包括用户界面，该用户界面接收与不能被访问的功能相对应的认证信息。
14.根据权利要求13所述的信息处理系统，其中
所述第一电路还被配置为控制第一显示器改变用户界面的表示，以指示基于接收到的认证信息能够访问功能。
15.根据权利要求13所述的信息处理系统，其中
当在第一显示器上选择与不能被访问的功能相对应的图形表示时，用户界面显示画面以输入认证信息。
16.一种由包括第一信息处理设备和第二信息处理设备的信息处理系统执行的信息处理方法，该方法包括：
由第一信息处理设备的第一电路获取与在第二信息处理设备的第二显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；
由第一电路从第二信息处理设备接收与在显示器上显示的用户界面相对应的配置信息和授权信息，所述授权信息指示第二信息处理设备是否允许或限制命令的执行，所述命令被从第一电路发送到第二信息处理设备；
由第一电路识别包含在捕获图像数据中的画面和项目；
当授权信息指示允许命令的执行时，由第一信息处理设备的第一显示器基于捕获图像数据显示用户界面的第一表示，用户界面的第一表示指示与多个图形表示对应的功能能够被访问；
当授权信息指示不允许命令的执行时，由所述第一显示器基于捕获图像数据显示用户界面的第二表示，用户界面的第二表示包括重叠在与不能被访问的功能对应的多个图形表示中的至少一个上的限制显示图像；
由第一电路根据所述配置信息、所述授权信息以及所述包含在捕获图像数据中的画面和项目，转换项目的坐标；
由第一电路向第二信息处理设备发送转换后的坐标和命令；
由第二信息处理设备的第二电路向第一信息处理设备发送所述配置信息和所述授权信息；
由第二电路从第一信息处理设备接收转换后的坐标和命令；
由第二电路确定转换后的坐标是否对应于用户界面内的项目；
当转换后的坐标对应于用户界面内的项目时，由第二电路根据授权信息确定命令是否被授权；以及
当命令被授权时由第二电路根据所述授权信息来执行命令。
17.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在由包括第一信息处理设备和第二信息处理设备的信息处理系统执行时使得信息处理系统执行处理，该处理包括：
由第一信息处理设备的第一电路获取与在第二信息处理设备的第二显示器上显示的用户界面相对应的捕获图像数据，用户界面包括多个图形表示，每一个图形表示对应于相应的功能；
由第一电路从第二信息处理设备接收与在显示器上显示的用户界面相对应的配置信息和授权信息，所述授权信息指示第二信息处理设备是否允许或限制命令的执行，所述命令被从第一电路发送到第二信息处理设备；
由第一电路识别包含在捕获图像数据中的画面和项目；
当授权信息指示允许命令的执行时，由第一信息处理设备的第一显示器基于捕获图像数据显示用户界面的第一表示，用户界面的第一表示指示与多个图形表示对应的功能能够被访问；
当授权信息指示不允许命令的执行时，由所述第一显示器基于捕获图像数据显示用户界面的第二表示，用户界面的第二表示包括重叠在与不能被访问的功能对应的多个图形表示中的至少一个上的限制显示图像；
由第一电路根据所述配置信息、所述授权信息以及所述包含在捕获图像数据中的画面和项目，转换项目的坐标；
由第一电路向第二信息处理设备发送转换后的坐标和命令；
由第二信息处理设备的第二电路向第一信息处理设备发送所述配置信息和所述授权信息；
由第二电路从第一信息处理设备接收转换后的坐标和命令；
由第二电路确定转换后的坐标是否对应于用户界面内的项目；
当转换后的坐标对应于用户界面内的项目时，由第二电路根据授权信息确定命令是否被授权；以及
当命令被授权时由第二电路根据所述授权信息来执行命令。
CN201210442952.XA 2011-11-16 2012-11-08 显示控制设备、显示控制方法和程序 Expired - Fee Related CN103176690B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011250955A JP5987299B2 (ja) 2011-11-16 2011-11-16 表示制御装置、表示制御方法およびプログラム
JP2011-250955 2011-11-16

Publications (2)

Publication Number Publication Date
CN103176690A CN103176690A (zh) 2013-06-26
CN103176690B true CN103176690B (zh) 2018-06-12

Family

ID=48429205

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210442952.XA Expired - Fee Related CN103176690B (zh) 2011-11-16 2012-11-08 显示控制设备、显示控制方法和程序
CN201220584715.2U Expired - Fee Related CN203689435U (zh) 2011-11-16 2012-11-08 信息处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201220584715.2U Expired - Fee Related CN203689435U (zh) 2011-11-16 2012-11-08 信息处理系统

Country Status (8)

Country Link
US (2) US9880713B2 (zh)
EP (1) EP2780787B1 (zh)
JP (1) JP5987299B2 (zh)
KR (1) KR20140094512A (zh)
CN (2) CN103176690B (zh)
AR (1) AR088822A1 (zh)
TW (1) TW201331824A (zh)
WO (1) WO2013073100A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031126A1 (en) * 2012-08-24 2014-02-27 Empire Technology Development Llc Virtual reality applications
EP2888876A4 (en) 2012-08-27 2016-04-20 Empire Technology Dev Llc GENERATION OF EXEMPLARY EXTENDED REALITY
US20140195968A1 (en) * 2013-01-09 2014-07-10 Hewlett-Packard Development Company, L.P. Inferring and acting on user intent
JP6179227B2 (ja) * 2013-07-08 2017-08-16 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
CN104516618B (zh) * 2013-09-27 2020-01-14 中兴通讯股份有限公司 界面功能解析显示方法及装置
CN104571776A (zh) * 2013-10-22 2015-04-29 胜华科技股份有限公司 电子装置
JP6209952B2 (ja) * 2013-11-19 2017-10-11 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
JP6390785B2 (ja) * 2015-03-27 2018-09-19 富士通株式会社 表示方法、プログラム及び表示制御装置
JP2017058748A (ja) * 2015-09-14 2017-03-23 セイコーエプソン株式会社 機器の機能実行方法、機器およびプログラム
US10613739B2 (en) * 2016-06-11 2020-04-07 Apple Inc. Device, method, and graphical user interface for controlling multiple devices in an accessibility mode
US10261600B2 (en) 2016-08-09 2019-04-16 International Business Machines Corporation Remotely operating target device
US10284492B2 (en) * 2016-08-10 2019-05-07 Microsoft Technology Licensing, Llc Control of casting to a media renderer
WO2018173126A1 (ja) * 2017-03-21 2018-09-27 三菱電機株式会社 監視画面データ生成装置、監視画面データ生成方法、および監視画面データ生成プログラム
CN108388155B (zh) * 2018-03-21 2020-06-23 联想(北京)有限公司 一种远程控制方法及系统
CN109871249B (zh) * 2019-01-14 2021-08-24 平安科技（深圳）有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备
WO2020150899A1 (zh) * 2019-01-22 2020-07-30 京东方科技集团股份有限公司 语音控制方法、语音控制装置以及计算机可执行非易失性存储介质
DE102019131897A1 (de) * 2019-11-26 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur softwareunabhängigen Integration mobiler Endgeräte ins Fahrzeug
CN111273850B (zh) * 2020-01-21 2022-01-21 维达力实业(深圳)有限公司 终端控制方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674110A (zh) * 2009-10-21 2010-03-17 中兴通讯股份有限公司 一种实现移动终端桌面共享和控制的方法及移动终端

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178697B2 (ja) 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
JP4039001B2 (ja) 2000-05-30 2008-01-30 ソニー株式会社 電子機器
JP4147796B2 (ja) 2002-03-25 2008-09-10 ソニー株式会社 情報画像利用システム、情報画像管理サーバ、情報画像管理方法、及び、プログラム、記録媒体
CN101149772B (zh) * 2002-04-22 2012-11-14 微软公司 应用程序共享安全
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
US7451921B2 (en) * 2004-09-01 2008-11-18 Eric Morgan Dowling Methods, smart cards, and systems for providing portable computer, VoIP, and application services
JP2006081028A (ja) * 2004-09-10 2006-03-23 Kyocera Mita Corp 遠隔操作システム、通信装置及び電気機器
US7580933B2 (en) * 2005-07-28 2009-08-25 Microsoft Corporation Resource handling for taking permissions
JP2007243726A (ja) * 2006-03-09 2007-09-20 Fujifilm Corp 遠隔制御装置、方法およびシステム
JP2007334633A (ja) 2006-06-15 2007-12-27 Hitachi Information Systems Ltd リモートデスクトップシステム
KR101434295B1 (ko) 2008-01-07 2014-09-25 삼성전자주식회사 디스플레이 장치에 표시된 화면의 일부분을 전자장치를통해 ｇｕｉ로 제공하는 방법 및 이를 적용한 전자장치
JP2009246646A (ja) * 2008-03-31 2009-10-22 Kenwood Corp リモコン装置及び設定方法
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
KR101694159B1 (ko) * 2010-04-21 2017-01-09 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8645866B2 (en) * 2010-06-29 2014-02-04 Exelis Inc. Dynamic icon overlay system and method of producing dynamic icon overlays
EP2625646B1 (en) * 2010-10-06 2022-06-22 Citrix Systems Inc. Mediating resource access based on a physical location of a mobile device
US9178981B2 (en) * 2010-12-22 2015-11-03 Lg Electronics Inc. Mobile terminal and method of sharing information therein
US20130141471A1 (en) * 2011-06-05 2013-06-06 Apple Inc. Obscuring graphical output on remote displays
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9195388B2 (en) * 2013-03-15 2015-11-24 Apple Inc. Specifying applications to share in a shared access mode

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674110A (zh) * 2009-10-21 2010-03-17 中兴通讯股份有限公司 一种实现移动终端桌面共享和控制的方法及移动终端

Also Published As

Publication number Publication date
WO2013073100A1 (en) 2013-05-23
US9880713B2 (en) 2018-01-30
US20140223323A1 (en) 2014-08-07
EP2780787A1 (en) 2014-09-24
TW201331824A (zh) 2013-08-01
EP2780787B1 (en) 2020-04-15
AR088822A1 (es) 2014-07-10
KR20140094512A (ko) 2014-07-30
JP5987299B2 (ja) 2016-09-07
CN203689435U (zh) 2014-07-02
JP2013105454A (ja) 2013-05-30
CN103176690A (zh) 2013-06-26
EP2780787A4 (en) 2015-04-22
US20180136806A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN103176690B (zh) 显示控制设备、显示控制方法和程序
JP5942456B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20140240225A1 (en) Method for touchless control of a device
JP4676303B2 (ja) 端末装置
WO2013088637A2 (en) Information processing device, information processing method and program
EP2814000A1 (en) Image processing apparatus, image processing method, and program
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
JP6589038B1 (ja) ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法
JP5677591B2 (ja) 判定装置及び判定プログラム
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN108027903B (zh) 信息处理设备、控制方法和程序
CN105912315A (zh) 信息处理装置、信息处理系统、信息处理方法和计算机程序产品
CN112596609A (zh) 显示处理方法、显示处理装置和可穿戴设备
CN111913674B (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN105814575B (zh) 认证设备、认证系统、程序、存储介质和认证方法
WO2007088430A1 (en) System, device, method and computer program product for using a mobile camera for controlling a computer
JP4871226B2 (ja) 認識装置および認識方法
US9319600B2 (en) Information processing apparatus, information processing method and computer program product
CN106125937B (zh) 一种信息处理方法和处理器
JP6304305B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018026117A (ja) 画像表示装置、画像表示システム及びプログラム
JP6155893B2 (ja) 画像処理装置、及びプログラム
JP2016143284A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2015109097A (ja) 判定装置及び判定方法
JP7373090B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180612

Termination date: 20201108