CN115997388A - 信息处理终端、远程控制方法以及程序 - Google Patents

信息处理终端、远程控制方法以及程序 Download PDF

Info

Publication number
CN115997388A
CN115997388A CN202080102493.3A CN202080102493A CN115997388A CN 115997388 A CN115997388 A CN 115997388A CN 202080102493 A CN202080102493 A CN 202080102493A CN 115997388 A CN115997388 A CN 115997388A
Authority
CN
China
Prior art keywords
controlled device
control
information processing
processing terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080102493.3A
Other languages
English (en)
Inventor
中出真弓
伊藤保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN115997388A publication Critical patent/CN115997388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供消除寻找遥控器的麻烦，从而显著提高用户的便利性的远程控制技术。信息处理终端具备通信装置，经由该通信装置对被控制设备发送控制命令而对该被控制设备进行远程控制，其特征在于，具备：虚拟遥控器生成部，从作为该信息处理终端的周围的图像的周围图像中确定所述被控制设备以及作为期望的控制操作的期望控制操作，并且生成用于受理用户针对确定出的所述期望控制操作的操作指示的受理对象；操作受理部，经由所述受理对象受理由用户作出的所述操作指示；以及命令发送部，将与所述操作受理部受理的所述操作指示对应的所述控制命令发送到所述被控制设备。

Description

信息处理终端、远程控制方法以及程序
技术领域
本发明涉及使用便携信息终端进行远程控制的远程控制技术。
背景技术
作为便携型信息终端有头戴式显示器(以下记载为“HMD”)，头戴式显示器以眼镜形式在玻璃部的显示画面上重叠显示实际空间的影像和通过计算机形成的增强现实(AR：Augmented Reality)的生成图像(虚拟形象等AR对象)。
另一方面，利用远程控制器(以下记载为“遥控器”)操作的设备不断增加。为了应对这种情况，汇集各种遥控器功能的学习遥控器(存储对应各种遥控器功能)、智能遥控器(经由Wi-Fi、无线LAN等因特网通信来管理设备的动作)等得到普及。例如，在专利文献1中，公开了通过使带有指向性的通用遥控器朝向作为对象的被远程控制设备来确立无线链路，利用接收到从被远程控制设备发送的操作应用的该通用遥控器来操作被远程控制设备的远程操作系统。
现有技术文献
专利文献
专利文献1：国际公开第2012/132171号
发明内容
根据专利文献1公开的技术，仅通过使通用遥控器朝向希望远程操作的设备，就能够选择设备并且能够使用该通用遥控器对所选择的设备进行远程操作。然而，不限于通用遥控器，已有的遥控器有未普遍使用的功能的功能按钮或者功能按钮的配置与用户的喜好不同等，未必是对用户友好的接口。另外，即便是通用遥控器，也未解决寻找遥控器的麻烦。
本发明是鉴于上述事情而完成的，其目的在于提供一种消除寻找遥控器的麻烦，显著提高用户的便利性的远程控制技术。
本发明提供一种信息处理终端，具备通信装置，经由该通信装置对被控制设备发送控制命令而对该被控制设备进行远程控制，其特征在于，具备：虚拟遥控器生成部，从作为该信息处理终端的周围的图像的周围图像，确定所述被控制设备以及作为期望的控制操作的期望控制操作，并且生成受理用户针对确定出的所述期望控制操作的操作指示的受理对象；操作受理部，经由所述受理对象受理由用户作出的所述操作指示；以及命令发送部，将与所述操作受理部受理的所述操作指示对应的所述控制命令发送给所述被控制设备。
根据本发明，提供消除寻找遥控器的麻烦，显著提高用户的便利性的远程控制技术。上述以外的课题、结构以及效果通过以下的实施方式的说明将更加明确。
附图说明
图1是用于说明本发明的实施方式的概要的说明图。
图2是本发明的实施方式的远程操作系统的系统结构图。
图3是本发明的实施方式的HMD的硬件结构图。
图4是本发明的实施方式的HMD的功能框图。
图5是用于说明本发明的实施方式的虚拟遥控器图像的一个例子的说明图。
图6是用于说明本发明的实施方式的解析用表格的一个例子的说明图。
图7的(a)是用于说明本发明的实施方式的控制数据表格的一个例子的说明图，(b)是用于说明本发明的实施方式的遥控器表格的一个例子的说明图。
图8是用于说明本发明的实施方式的手势动作表格的一个例子的说明图。
图9是本发明的实施方式的远程操作处理的流程图。
图10是本发明的实施方式的确定信息取得处理的流程图。
图11是本发明的实施方式的控制数据取得处理的流程图。
图12的(a)是用于说明本发明的变形例的提示面的例子的说明图，(b)以及(c)是用于说明本发明的变形例的虚拟遥控器图像的例子的说明图。
图13的(a)是用于说明本发明的变形例的提示面的例子的说明图，(b)是用于说明本发明的变形例的虚拟遥控器图像的例子的说明图。
图14是本发明的变形例的远程操作系统的系统结构图。
图15是用于说明本发明的变形例的概要的说明图。
图16是本发明的变形例的智能手机的硬件结构图。
(符号说明)
100：HMD；101：智能机；105：扩展接口部；106：定时器；110：存储装置；111：主处理器；112：系统总线；113：RAM；114：ROM；115：闪存存储器；120：操作受理装置；121：按钮开关；122：触摸面板；123：操作键；130：图像处理装置；131：显示器；133：外置摄像机；134：内置摄像机；140：声音处理装置；141：扬声器；143：麦克风；150：传感器；151：接收部；152：陀螺传感器；153：地磁传感器；154：加速度传感器；155：深度传感器；160：通信装置；161：LAN通信I/F；162：电话网通信I/F；163：BT通信I/F；164：红外线通信I/F；210：主控制部；220：虚拟遥控器生成部；221：图像取得部；222：确定信息取得部；223：控制数据取得部；224：对应建立部；225：虚拟图像生成部；230：操作受理部；240：命令发送部；250：数据存储部；251：解析用表格；251a：记载内容；251b：解析内容；251c：记载类别；252：控制数据表格；252a：被控制设备名；252b：ID；252c：控制数据；252d：详细信息；253：遥控器表格；253a：记载类别；253b：解析内容；253c：ID；253d：控制命令；253e：区域；253f：显示数据；253g：创建日期时间；254：手势动作表格；254a：手势动作；254b：操作指示；255：处理数据；300：提示面；301：提示面；305：外框；310：记载信息；311：被控制设备名；312：期望控制操作；400：虚拟遥控器图像；401：虚拟遥控器图像；410：被控制设备信息显示区域；411：被控制设备名；420：期望控制操作显示区域；421：受理对象；422：受理对象；423：受理对象；431：不可显示；500：远程操作系统；510：被控制设备；520：无线路由器；530：网络；550：网络服务器；901：用户。
具体实施方式
以下，使用附图，说明本发明的实施方式。
使用附图，说明本发明的实施方式。在说明实施方式的结构等之前，说明本实施方式的概要。此外，在本说明书以及附图中，关于同一物记载同一符号。
本实施方式例如是考虑容易找不到远程控制器(遥控器、远程操作装置)的上年纪的用户等的使用的例子。上年纪的用户不仅容易找不到遥控器，而且多数对已有的遥控器所配备的大量的按钮感到麻烦。在本实施方式中，为了解决这些问题，例如，无论何时，只要通过手写等在恰当的纸上简单地记载必要最低限的控制操作，就能够如真正的遥控器那样地使用它。
图1是用于说明本实施方式的概要的图。在本实施方式中，佩戴HMD(头戴式显示器)100的用户901准备记载有希望操作的设备(被控制设备)的名称和期望的控制操作(期望控制操作)的纸等。以下，将记载后的纸等称为提示面300，将记载的信息称为记载信息310。
而且，HMD100根据用户901经由显示器131观察的提示面300的记载信息310，生成被控制设备的遥控器的功能，作为虚拟遥控器图像400。而且，受理用户901的针对提示面300的操作，作为向虚拟遥控器图像400的操作，从HMD100操作被控制设备。
HMD100读取提示面300的记载信息310，并与被控制设备的控制命令建立对应，从而生成虚拟遥控器图像400。生成的虚拟遥控器图像400也可以显示于HMD100的显示器131上。例如，在提示面300中记载的期望控制操作也可以在被辨识后作为功能按钮(受理对象)而显示于HMD100的显示器131。而且，用户901进行手势等操作，针对该功能按钮作出指示，从而控制被控制设备。
提示面300例如也可以是如上述纸的片状的部件。另外，记载信息310也可以通过手写来记载。然而，提示面300以及记载信息310不限于此。
由此，根据本实施方式，用户901能够如将自己准备的提示面300用作遥控器，操作被控制设备。
[系统结构]
以下，关于实现上述方案的本实施方式的远程操作系统500，首先，说明系统结构。图2是本实施方式的远程操作系统500的系统结构图。
如本图所示，本实施方式的远程操作系统500具备HMD100、被控制设备510、无线路由器520以及网络服务器550。
无线路由器520经由网络530与网络服务器550连接。HMD100经由无线路由器520与网络服务器550连接。
被控制设备510利用有线LAN或者无线LAN与无线路由器520连接。HMD100经由无线路由器520向被控制设备510发送控制命令。
通过上述结构，在本实施方式中，佩戴HMD100的用户901能够通过远程控制而控制被控制设备510。
网络服务器550是用于控制被控制设备510的、储存控制数据的外部服务器。将来自HMD100的经由无线路由器520以及网络530发出请求的被控制设备510的控制数据，经由网络530以及无线路由器520发送给发送源的HMD100。
此外，在此，以1台网络服务器550为代表而记载，但台数不限于此。例如，也可以由被控制设备510的厂商分别提供网络服务器550。另外，网络服务器550并非始终必要。在HMD100从网络服务器550取得必要的信息后，通过HMD100、无线路由器520以及被控制设备510之间的通信，进行被控制设备510的控制。
被控制设备510是佩戴HMD100的用户901希望用遥控器控制的设备。例如，是空调器、照明器具、TV、电风扇等家电产品、燃气热水器、地暖等作为家庭用能源管理系统的HEMS(Home Energy Management System，家庭能源管理系统)能够应用的设备等。以下，在本实施方式中，关于被控制设备510，以空调器为例子进行说明。此外，关于空调器，设想家庭用的空调装置(以下，通称记载为“空调器”)。
HMD100是用户901佩戴于头部、在显示器131中显示处理后的信息的装置。本实施方式的HMD100具有眼镜或者护目镜形状，在眼镜的镜片位置具备显示器131。显示器131既可以是透射型，也可以是非透射型。
在HMD100中，用户901能够经由显示器131观察实际空间的状况。另外，在显示器131上显示增强现实的AR对象。因此，用户901能够同时视觉辨认显示于显示器131的AR对象和实际空间的状况这两者。
[HMD]
接下来，使用附图，说明本实施方式的HMD100的硬件结构以及功能块。
[硬件结构]
以下，关于实现上述处理的本实施方式的HMD100，说明硬件结构。图3是示出本实施方式的HMD100的结构例的框图。在这些图中，对与图1、图2所示的结构相同的结构附加同一符号。
如本图所示，本实施方式的HMD100具备主处理器111、系统总线112、存储装置110、操作受理装置120、图像处理装置130、声音处理装置140、传感器150、通信装置160、扩展接口(I/F)部105以及定时器106。
主处理器111是依照预定的程序而控制HMD100整体的主控制部。主处理器111通过CPU(Centoral Processor Unit)或者微型处理器单元(MPU)实现。主处理器111通过执行存储于存储装置110的操作系统(Operating System：OS)、各种动作控制用应用等程序，进行HMD100整体的动作控制处理。另外，主处理器111控制各种APP的起动动作。主处理器111依照定时器106测量并输出的时钟信号进行处理。
系统总线112是用于在主处理器111与HMD100内的各部之间进行数据发送接收的数据通信路。
存储装置110具备RAM113、ROM114以及闪存存储器115。在存储装置110中存储操作系统、音乐、图像、文档等各种动作控制用APP等程序。另外，储存利用操作系统等执行的基本动作所需的基础数据、由各种APP等起动的文件数据等的信息数据。例如，在搭载于HMD100的音乐APP起动并选择了音乐的文件数据时，在HMD100中再生所选择的音乐的文件数据，能够收听期望的音乐。
RAM113是基本动作程序、其他应用程序执行时的程序区域。另外，RAM113是在执行各种应用程序时，根据需要而临时保持数据的临时存储区域。RAM113也可以与主处理器111一体地构成。
ROM114以及闪存存储器115存储用于实现HMD100的功能的各种程序、动作设定值、包括来自后述传感器150的检测值的传感器信息、虚拟目标以及内容等的各种显示用数据。
闪存存储器115存储从网络530上下载的动作程序、利用所述动作程序创建的各种数据等。存储于闪存存储器115的各动作程序能够通过从网络530上的各服务器装置的下载处理进行更新以及扩展功能。
进而，闪存存储器115能够存储从网络530上下载的视频、静止图像、声音等内容。另外，存储内置摄像机134或者外置摄像机133拍摄到的视频、静止图像等数据。
ROM114以及闪存存储器115是即便为未从外部对HMD100供给电源的状态仍保持存储的信息的、所谓的非易失性存储设备。以下，在无需特别区分ROM114以及闪存存储器115的情况下，将两者一并称为内置存储空间(Internal Memory Storage，内部存储器)。通过主处理器111将存储于内置存储空间的新应用程序在RAM113中展开并执行，HMD100能够实现多种功能。
作为内置存储空间，需要即使在未对HMD100供给电源的状态下也保持所存储的信息。因此，关于内置存储空间，使用例如闪存ROM、SSD(Solid State Drive，固态硬盘)、HDD(Hard Disc Drive，硬盘驱动器)等设备。
操作受理装置120受理针对HMD100的操作指示的输入。在本实施方式中，具备按钮开关121和触摸面板122。按钮开关121是电源键、音量键、主页键等。另外，触摸面板122受理利用触摸焊盘作出的操作指示。此外，本实施方式的HMD100也可以未必具备这所有的操作受理装置120。另外，也可以经由通过有线通信或者无线而通信连接的独立的信息处理终端设备来受理HMD100的操作。
操作受理装置120在HMD100内设置为用户901易于进行输入操作的位置、形态即可。此外，也可以是从HMD100的主体分离并以有线或无线形式连接的方式。另外，也可以是利用用户901的视线的方式。在利用视线的方式中，例如，使输入操作画面显示于显示器131内，根据利用后述内置摄像机134检测到的用户901的视线所面向的输入操作画面上的位置，取入输入操作信息。也可以使输入操作画面显示指针，操作指针来取入输入操作信息。另外，也可以由用户901发出表示输入操作的声音，利用后述麦克风143收音而取入输入操作信息。
图像处理装置130是影像(视频)处理器，具备显示器131、外置摄像机133以及内置摄像机134。
显示器131是例如液晶面板等显示设备(显示器)，对HMD100的使用者提示利用图像信号处理部处理后的图像数据。显示器131具备左眼用显示器和右眼用显示器。显示器131也可以是透射型(光学透射型)显示器或者非透射型(视频透射型)显示器。
光学透射型显示器具备：投影部，投影基于起动APP的再生信息或向用户901的通知信息等各种信息；以及透明的半透半反镜，使所投影的各种信息在眼前成像显示。另外，视频透射型显示器具备将利用外置摄像机133拍摄到的眼前的现实空间物体和各种信息一起显示的液晶面板等。通过显示器131，用户901除了眼前的视野视场内的图像以外，还一并视觉辨认基于起动APP的音乐、图像、文档等再生信息。
此外，图像信号处理部是处理从外置摄像机133以及内置摄像机134输入的图像的影像(视频)信号处理器。另外，图像信号处理部将由主处理器111等创建的目标重叠于输入图像而输出到显示器131。图像信号处理部既可以通过主处理器111实现，也可以与主处理器111独立地设置图像专用的处理器，通过该图像专用的处理器来实现。
在本实施方式中，在显示器131上，作为AR对象，显示模仿遥控器画面的图像等。
外置摄像机133以及内置摄像机134是通过使用CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器等电子设备将从透镜输入的光变换为电信号，从而输入周围、对象物的图像数据的摄像机。
外置摄像机133取得HMD100的周围的图像。外置摄像机133设置于HMD100的前表面，拍摄前方的视野视场状态。此外，在HMD100中，根据显示器131的种类，有光学透射型和视频透射型，但两者都通过拍摄由外置摄像机133拍摄的眼前的视场视野状态而取入。
内置摄像机134取得与外置摄像机133不同的区域的图像。例如，拍摄用户901的眼睛。此外，在本实施方式中，内置摄像机134连同进行视线确定处理的处理部一起，作为视线检测传感器发挥功能。
视线检测传感器具备右眼视线检测部和左眼视线检测部，分别检测右眼、左眼的视线。此外，检测视线的处理利用作为眼动追踪处理通常使用的公知技术即可。例如，在利用角膜反射的方法中，将红外线LED(Light Emitting Diode)照射到脸，用红外线摄像机拍摄，以通过红外线LED照射形成的反射光的在角膜上的位置(角膜反射)为基准点，根据瞳孔相对角膜反射的位置的位置，检测视线。在该情况下，具备红外线摄像机、红外线LED。
声音处理装置140是处理声音的音频处理器。具备扬声器141和麦克风143。
扬声器141将利用声音信号处理部处理后的声音信号输出到外部。声音信号处理部是音频信号处理器。在HMD100中，例如，使用头戴式耳机等。
麦克风143将用户的声音等变换为声音数据而输入。例如，也可以具备外周音麦克风和发声音麦克风。这些麦克风分别收集来自外部的声音、用户901自身的发声。此外，也可以连接头戴式耳机。头戴式耳机佩戴于用户901的耳部，收听向用户901的声音。
传感器150是用于检测HMD100的状态的传感器群。在本实施方式中，具备GPS(Global Positioning System，全球定位系统)接收部151、陀螺传感器152、地磁传感器153、加速度传感器154以及深度传感器155。通过这些传感器群，检测HMD100的位置、活动、倾斜、方位等。另外，深度传感器155取得从HMD100至对象物的距离信息。此外，也可以还具备其他传感器。
加速度传感器154是检测每单位时间的速度的变化即加速度的传感器，能够捕捉活动/振动/冲击等。另外，陀螺传感器152是检测旋转方向的角速度的传感器，能够捕捉纵/横/斜的姿势的状态。能够使用搭载于HMD100的加速度传感器154以及陀螺传感器152来检测HMD100的活动。
地磁传感器153是检测地球的磁力的传感器，检测HMD100所面向的方向。也可以使用除了前后方向和左右方向以外还检测上下方向的地磁的3轴类型，捕捉针对HMD100的活动的地磁变化，从而检测HMD100的活动。
深度传感器155是能够立体地捕捉人、物等对象物的形状的传感器。使用将红外线等激光照射到对象物并测定返回的散射光来分析检测直至位于远方的对象物的距离或该对象物的状态的LiDAR(Light Detection and Ranging，激光探测和测距)、针对每个像素测量照射到被摄体的脉冲光的反射时间而进行测距的TOF(Time Of Flight，飞行时间)传感器、发射毫米波的电波并捕捉其反射波来检测直至反射的对象物的距离或对象物的状态的毫米波雷达等。
通信装置160是通过近距离无线通信、无线LAN或者基站通信，与处于附近的其他信息终端进行无线通信的通信接口。在无线通信时，经由发送接收天线进行数据的发送接收。
通信装置160具备LAN(Local Area Network，局域网)通信接口(I/F)161、电话网通信I/F162、BT(Bluetooth，蓝牙(注册商标))通信I/F163以及红外线通信I/F164。
LAN通信I/F161经由无线接入点等与因特网等网络530连接，与网络530上的各服务器进行数据的发送接收。与无线接入点等的连接也可以使用Wi-Fi(注册商标)、BlueTooth(注册商标)。
电话网通信I/F162利用移动体电话通信网连接到通信网络，与通信网络上的服务器进行信息的发送接收。在使用的通信方式中，例如，有GSM(注册商标)(Global Systemfor Mobile communications，全球移动通信系统)方式、W-CDMA(Wideband Code DivisionMultiple Access，宽带码分多址)方式、CDMA2000方式、UMTS(Universal MobileTelecommunications System，通用移动通信系统)方式等第3代移动通信系统(以下记载为“3G”)、或者LTE(Long Term Evolution，长期演进)方式、被称为第4代(4G)、第5代(5G)的通信方式等。
BT通信I/F163是用于通过Bluetooth标准与外部装置进行通信的接口。红外线通信I/F164是用于通过红外线与外部装置进行通信的接口。例如，使用IrDA(Infrared DataAssociation，红外数据协会(注册商标))等。
此外，作为近距离无线通信，也可以使用Zigbee(注册商标)、HomeRF(Home RadioFrequency，家居射频(注册商标))等来进行。或者，也可以使用Wi-Fi(注册商标)等无线LAN来进行。另外，也可以使用超宽频带无线系统(Ultra Wide Band：UWB)。
LAN通信I/F161、电话网通信I/F162、BT通信I/F163以及红外线通信I/F164分别具备编码电路、解码电路、天线等。
此外，通信装置160作为无线通信的手段也可以使用基于光通信声波的通信等其他方法。在该情况下，代替发送接收天线而分别使用光发光/受光部、声波输出/声波输入部。
扩展接口部105是用于扩展HMD100的功能的接口群，在本实施方式中，具备充电端子、影像/声音接口、USB(Universal Serial Bus，通用串行总线)接口、存储器接口等。影像/声音接口进行外部影像/来自声音输出设备的影像信号/声音信号的输入、外部影像/向声音输入设备的影像信号/声音信号的输出等。USB接口进行SB设备的连接。存储器接口连接存储卡、其他存储器介质而进行数据的发送接收。
此外，图3所示的HMD100的结构例还包括在本实施方式中并非必须的结构，但即便是不具备这些的结构也不会影响本实施方式的效果。另外，也可以还加上数字广播接收功能、电子现金结算功能等未图示的结构。
[HMD的功能块]
接下来，说明HMD100的与本实施方式相关的功能结构。图4是本实施方式的HMD100的功能框图。通过主处理器111将储存于内部存储空间的程序载入到RAM113并执行，实现本图所示的各功能。
如图4所示，HMD100具备主控制部210、虚拟遥控器生成部220、操作受理部230、命令发送部240以及数据存储部250。在数据存储部250中，储存解析用表格251、控制数据表格252、遥控器表格253、手势动作表格254以及处理数据255。在内部存储空间或者RAM113中构筑数据存储部250。
主控制部210控制HMD100整体的动作。
虚拟遥控器生成部220根据提示面300上的记载信息310，生成被控制设备510的虚拟遥控器。虚拟遥控器是能够使HMD100的用户901如被控制设备510的遥控器那样使用提示面300上的记载信息310的功能。本实施方式的虚拟遥控器生成部220生成将遥控器的功能按钮重叠到提示面300的对应的记载信息310上而提示的虚拟遥控器图像400。此外，后述操作受理部230受理用户901针对该虚拟遥控器图像400上的功能按钮的操作指示，命令发送部240向被控制设备510发送控制命令。
本实施方式的虚拟遥控器生成部220具备图像取得部221、确定信息取得部222、控制数据取得部223、对应建立部224以及虚拟图像生成部225。
图像取得部221取得作为虚拟遥控器的基础的提示面300的图像。在本实施方式中，利用外置摄像机133拍摄实际空间，取得周围图像。所拍摄的实际空间包括提示面300的记载信息310。
确定信息取得部222进行确定信息取得处理。确定信息取得处理是解析图像取得部221取得的周围图像，确定用户901希望操作的设备即被控制设备和希望操作的控制操作即期望控制操作的处理。在本实施方式中，解析提示面300上的记载信息310，确定被控制设备和期望控制操作。在确定中，使用解析用表格251。将确定结果分别输出为被控制设备确定信息、期望控制操作确定信息。解析用表格251以及确定信息取得处理后述。
控制数据取得部223进行控制数据取得处理。控制数据取得处理是取得利用确定信息取得部222确定出的被控制设备510的控制数据的处理。控制数据取得部223首先判别被控制设备510的控制数据是否储存于本装置(HMD100)的控制数据表格252。而且，在未储存的情况下，利用可连接的被控制设备510确认有无未储存于控制数据表格252的被控制设备510。在有未储存于控制数据表格252的被控制设备510的情况下，从被控制设备510取得被控制设备510的信息，例如设备名、型号等，从网络服务器550取得控制数据。将从网络服务器550取得的控制数据，与对每个被控制设备510赋予的识别信息(ID)建立对应而储存到控制数据表格252。控制数据取得处理以及控制数据表格252后述。
此外，在控制数据中包括每个被控制设备510的、可能的控制操作和各控制操作的控制命令。
对应建立部224进行将确定信息取得部222确定出的期望控制操作和包含于控制数据的控制命令建立对应的对应建立处理。建立对应的结果储存于遥控器表格253。该遥控器表格253是用户901期望的虚拟遥控器的控制数据。对应建立处理以及遥控器表格253的详细后述。
虚拟图像生成部225生成作为虚拟遥控器发挥功能的虚拟遥控器图像400，并显示于显示器131。显示位置关于用户901的视线方向，设为与提示面300对齐的位置。虚拟图像生成部225使用遥控器表格253生成虚拟遥控器图像400。
在此，图5示出生成的虚拟遥控器图像400的一个例子。如本图所示，虚拟遥控器图像400具备被控制设备信息显示区域410和期望控制操作显示区域420。
在被控制设备信息显示区域410中，作为确定由确定信息取得部222确定出的被控制设备的信息，显示被控制设备名411。在本图的例子中，显示为“空调器”。
在期望控制操作显示区域420中，显示用于受理用户901针对由确定信息取得部222确定出的期望控制操作的指示的功能按钮的受理对象421、422。针对每个期望控制操作，创建受理对象421、422。受理对象421、422的显示位置是提示面300的记载信息310中的记载有与期望控制操作对应的信息的位置。
操作受理部230受理用户901针对虚拟遥控器(虚拟遥控器图像400)的操作指示。在本实施方式中，例如，在检测到针对受理对象421、422的操作指示的情况下，受理为与该受理对象421、422对应的期望控制操作的操作指示。
操作指示例如通过手势动作、视线操作等进行。操作受理部230参照手势动作表格254等解析这些操作，检测操作指示。在有了预先决定的动作的情况下，判别为选择了该受理对象421、422。而且，确定与该受理对象421、422建立对应的期望控制操作。
此外，操作受理部230通过从利用HMD100具备的传感器150、外置摄像机133拍摄的图像中抽出的手的活动等，检测用户901的手势动作。另外，使用视线检测传感器的功能来检测视线操作。
命令发送部240将与所确定的期望控制操作建立对应的控制命令发送给被控制设备。在本实施方式中，经由通信装置160以及无线路由器520发送给被控制设备510。从遥控器表格253取得控制命令。
[解析用表格]
在此，说明解析用表格251的一个例子。在确定信息取得部222解析记载信息310时使用解析用表格251。是与有可能记载于记载信息310的字符串、图形、颜色等(以下称为“字符串等”)建立对应而登记解析结果的表格。
图6是示出本实施方式的解析用表格251的一个例子的图。如本图所示，解析用表格251针对每个记载内容251a，将解析内容251b和记载类别251c建立对应而登记。
在记载内容251a中，例如，储存用户901在提示面300中记载为记载信息310的字符串等的候补。例如，储存空调器、冷却器、照明器具、灯光(Light)、灯(Lamp)、电视机等被控制设备510的名称以及制冷、制热、除湿、送风、停止、点亮、熄灭等期望控制操作的名称。在此，关于被控制设备510的名称以及期望控制操作的名称各个名称，一并储存各种不同的呼称、记载。他们是用户901可能记载的字符串等。
在解析内容251b中，储存记载内容251a所记载的被控制设备510的名称或者期望控制操作的名称的解析内容。解析内容是唯一地确定大量的用户901可能记载的字符串等的信息。
在本实施方式中，例如，在记载内容251a是被控制设备510的名称的情况下，储存用于确定该被控制设备510的设备名。具体而言，在记载内容251a是“空调器”、“冷却器”等的情况下，储存“空调器设备”。另外，在是“照明器具”、“灯光”、“灯”的情况下，储存“照明设备”。
另外，在记载内容251a是期望控制操作的名称的情况下，储存用于确定该期望控制操作的信息。具体而言，在记载内容251a是“制冷”等的情况下，在“制冷功能ON”是“停止”等的情况下，储存“停止”。
在记载类别251c中，储存记载内容251a所表示的内容的类别。在本实施方式中，登记表示被控制设备510、或者表示期望控制操作中的任意一个。
确定信息取得部222解析提示面300的记载信息310，抽出字符串等。而且，搜索解析用表格251的记载内容251a，检测与抽出的字符串等匹配的信息。而且，抽出与其对应地登记的解析内容251b和记载类别251c。而且，在记载类别251c表示被控制设备的情况下，输出解析内容251b作为被控制设备确定信息。另一方面，在记载类别251c表示期望控制操作的情况下，输出解析内容251b作为期望控制操作确定信息。
在此，以解析用表格251为例子，说明确定信息取得部222解析记载信息310的具体例子。确定信息取得部222将在提示面300上记载为记载信息310的内容与记载内容251a对照，将有匹配的内容的数据的解析内容251b以及记载类别251c作为解析结果。
例如，在作为记载信息310记载为“空调器”、“冷却器”等字符串的情况下，作为解析内容251b以及记载类别251c，分别将“空调器设备”、“被控制设备”作为解析结果。
另外，在作为记载信息310记载为“冷气”、“凉快”、“制冷”、“冷”等的情况下，将“制冷功能ON”、“期望控制操作”作为解析结果。
在作为记载信息310记载为“关停”、“关”、“停止”、“停”等的情况下，将“停止”、“期望控制操作”作为解析结果。
在作为记载信息310，记载为“暖气”、“温暖”、“制暖”、“暖”等的情况下，将“制暖功能ON”、“期望控制操作”作为解析结果。
在作为记载信息310记载为“去湿”、“去”、“除湿”、“除”等的情况下，将“除湿功能ON”、“期望控制操作”作为解析结果。
在作为记载信息310记载为“电灯”、“灯”、“照明”、“照亮”、“光亮”等的情况下，将“照明器具”、“被控制设备”作为解析结果。
解析用表格251是一个例子，关于未记载的其他字符串以及针对该字符串的解析内容，省略此处的说明。另外，各字符串仅为一个例子。另外，如上所述，记载信息310除了字符串以外，也可以还能够利用图形(插图)、图画文字(雪标志、火焰标志等)、记号等。
此外，在记载信息310记载的信息未登记于解析用表格251的情况下，确定信息取得部222将解析记载信息310得到的结果(字符串等)新登记到记载内容251a。在该情况下，从用户901受理登记对应的解析内容251b、记载类别251c。
[控制数据表格]
控制数据表格252储存被控制设备510的控制数据。图7的(a)是示出本实施方式的控制数据表格252的一个例子的图。如本图所示，控制数据表格252与被控制设备名252a建立对应，储存其识别信息(ID)252b、该被控制设备510的控制数据252c以及该被控制设备510的详细信息252d。
ID252b是唯一地决定被控制设备510的控制数据的信息即可。例如，也可以使用厂商设定的型号等。控制数据252c是在该被控制设备中每个可能的控制操作的控制命令的集合。详细信息252d例如是名称、厂商名、物理地址等。详细信息252d被用于HMD100和被控制设备510的连接等。此外，详细信息252d也可以保管为与ID252b关联起来的子表格，而并非保管在相同的控制数据表格252上。
在控制数据表格252中，关于用户901以前连接过的被控制设备510、有使用的可能性的被控制设备510预先登记上述信息。另外，控制数据取得部223也可以从网络服务器550取得并登记。
[遥控器表格]
接下来，说明遥控器表格253。遥控器表格253是储存用于确定虚拟遥控器的对象的被控制设备510的信息和每个期望控制操作的控制命令的表格。
图7的(b)是示出本实施方式的遥控器表格253的一个例子的图。如本图所示，在遥控器表格253中储存记载类别253a、解析内容253b、识别信息(ID)253c、控制命令253d、区域253e以及显示数据253f。此外，遥控器表格253也可以储存创建日期时间253g。
记载类别253a是记载信息310的类别(被控制设备或者期望控制操作)。在本实施方式中，确定信息取得部222储存使用解析用表格251进行解析的结果而得到的记载类别251c。
解析内容253b是确定信息取得部222解析记载信息310得到的结果。在本实施方式中，储存解析用表格251的解析内容251b。
在记载类别253a为被控制设备的情况下，ID253c储存唯一地确定该被控制设备的ID。确定信息取得部222根据被控制设备的解析内容251b，从被控制设备主体、网络等取得被控制设备510的ID。
在记载类别253a为期望控制操作的情况下，控制命令253d是与该控制操作对应的控制命令。对应建立部224从控制数据表格252取得并储存。
显示数据253f是显示于虚拟遥控器图像400的数据。区域253e是用于确定虚拟遥控器图像400的显示区域的信息。在本实施方式中，确定信息取得部222储存解析出的结果。此外，在区域253e中，例如，储存利用由HMD100取得的图像的像素位置确定的信息。
此外，虚拟图像生成部225将在提示面300记载的手写的字符串当作功能按钮，生成功能按钮群的受理对象。
例如，虚拟图像生成部225在生成虚拟遥控器图像400时，在被控制设备信息显示区域410中，显示作为记载类别253a而登记了“被控制设备”的数据的、登记于显示数据253f的信息。在图7的(b)的情况下，是“空调器”。
另外，虚拟图像生成部225在虚拟遥控器图像400的期望控制操作显示区域420中显示在记载类别253a中登记了“期望控制操作”的所有数据的显示数据253f。在图7的(b)的情况下，是“制冷”以及“停止”。
此外，主控制部210在经过预先决定的期间后、或者在从用户901受理到指示时，删除虚拟遥控器图像400的显示。此时，一并地，遥控器表格253也被删除。由此，能够避免浪费地消耗存储器。预先决定的期间例如是1分钟、1小时、登记日中、1周等。
另外，也可以在虚拟遥控器图像400的显示删除后，在经过另行决定的一定时间后，删除遥控器表格253。在该情况下，即使虚拟遥控器图像400的显示被删除，如果是在遥控器表格253的删除前，则对应用户901观察被控制设备510，再次显示虚拟遥控器图像400，并受理操作。此外，遥控器表格253也可以构成为在针对接下来的被控制设备510的虚拟遥控器生成处理开始的情况下删除。
[手势动作表格]
接下来，说明手势动作表格254的一个例子。手势动作表格254是将用户901的每个手势与操作指示建立对应而登记的表格。在根据操作受理部230检测到的用户901的手势动作而确定操作指示时使用。
图8是示出本实施方式的手势动作表格254的一个例子的图。如本图所示，手势动作表格254具备手势动作254a和操作指示254b。
手势动作254a是操作受理部230可能检测的用户901的手势。
操作指示254b储存与各手势对应的操作指示的内容。操作指示的内容预先决定。也可以由用户901登记期望的操作指示。
例如，在操作受理部230作为用户901的手势动作检测到触摸作为受理对象421、422的功能按钮的动作时，操作受理部230判别为对应的功能(在此为控制操作)的执行指示，从遥控器表格253取得与该执行指示建立对应的控制命令。命令发送部240将该控制命令发送给被控制设备510。
另外，如本图所示，例如，如果作为手势动作，检测到在按压提示的功能按钮的同时在功能按钮群的显示区域内滑动的动作，则操作受理部230判别为使该功能按钮移动的指示。另外，如果作为手势动作，检测到在按压提示的功能按钮的同时向功能按钮显示区域外滑动的动作，则操作受理部230判别为删除该功能按钮的指示。另外，如果作为手势动作，检测到以包围提示的功能按钮群整体的方式描绘圆弧的动作，则操作受理部230判别为选择用圆弧包围的功能按钮的指示。进而，在检测到用户901将手横向移动的手势动作时，操作受理部230判别为结束功能按钮显示的指示。
各手势动作仅为一个例子，当然，还能够使其他手势动作有效。例如，如上所述，也可以利用内置摄像机134检测用户901的视线，进行功能按钮的选择等。
通过具备该手势动作表格254，用户901可自由地设定功能按钮的配置。
另外，处理所需的数据、在处理中生成的数据以及处理的结果生成的数据被储存到处理数据255。
使用这些各功能、数据，用户901进行使用图1说明的远程操作处理。即，佩戴HMD100的用户901仅通过经由HMD100的显示器131视觉辨认提示面300，能够得到犹如该提示面300成为遥控器的操作环境。
[远程操作处理]
接下来，说明利用本实施方式的HMD100实施的、包括虚拟遥控器生成处理的远程操作处理的流程。图9是本实施方式的远程操作处理的处理流程。本处理以用户901指示、或者、HMD100检测到提示面300为契机而开始。此外，在此，以在创建虚拟遥控器图像400后，在经过预定期间后删除数据的情况为例子进行说明。
首先，图像取得部221取得周围图像(步骤S1101)。
确定信息取得部222进行从周围图像中取得确定信息(被控制设备确定信息和期望控制操作确定信息)的确定信息取得处理(步骤S1102)。
控制数据取得部223进行根据被控制设备确定信息，取得被控制设备510的控制数据的控制数据取得处理(步骤S1103)。关于控制数据，如果处于本装置的存储装置110内，则从存储装置110取得，如果不在本装置的存储装置110内，则经由通信装置160从网络服务器550取得。
在步骤S1103中，控制数据取得部223判别可否取得与确定为被控制设备的装置有关的控制信息(步骤S1104)。
在此，在能够从本装置或者网络服务器550中的任意一个获得控制数据的情况下(S1104:“是”)，对应建立部224进行使遥控器表格253完成的对应建立处理(步骤S1105)。在此，将控制命令与期望控制操作建立对应。
虚拟图像生成部225参照遥控器表格253，生成虚拟遥控器图像(步骤S1106)。在此，虚拟图像生成部225创建包括与控制命令建立对应的功能按钮的受理对象421、422和被控制设备510的名称的显示的显示数据。创建的显示数据以分别配置于由图像取得部221取得的周围图像的对应的区域的方式生成。例如，如图1所示，以在提示面300的记载“空调器”的区域中显示被控制设备名，在记载“制冷”的区域中显示受理“制冷”的指示的功能按钮，在记载“停止”的区域中显示受理“停止”的指示的功能按钮的方式生成。
此外，在显示器131是透射型显示器的情况下，虚拟遥控器图像也可以不显示。但是，保持功能按钮(受理对象421、422)的区域信息，受理用户901的指示。例如，保持受理对象421、422的配置位置、对应控制操作的信息，操作受理部230受理用户901的操作指示。
在此，主控制部210使定时器106开始定时器计数(步骤S1107)。而且，判别定时器的值tm是否超过预先决定的期间Th(tm≤Th)(步骤S1108)，如果超过期间Th(tm>Th)，则主控制部210删除遥控器表格253(步骤S1111)，结束处理。
另一方面，当在期间内(tm≤Th)的情况下，在操作受理部230受理了由用户901针对期望控制操作作出的操作指示时(步骤S1109)，操作受理部230从遥控器表格253中抽出针对受理的控制操作的控制命令。
命令发送部240经由通信装置160将抽出的控制命令发送给被控制设备510(步骤S1110)，返回到步骤S1108。
在步骤S1104中，在无法取得控制数据的情况下(S1104:“否”)，主控制部210进行无法取得的情况下的显示处理(NG显示处理)(步骤S1112)，结束处理。在NG显示处理中，例如，使表明无法获得所指定的被控制设备510的控制数据的消息显示于显示器131、或者使表面无法创建虚拟遥控器的消息显示于显示器131。
[确定信息取得处理]
接下来，说明利用确定信息取得部222实施的、确定信息取得处理的流程。图10是本实施方式的确定信息取得处理的处理流程。本处理是解析周围图像，使遥控器表格253的记载类别253a、解析内容253b以及ID253c完成的处理。
确定信息取得部222首先进行提示面形状掌握处理(步骤S1201)。该提示面形状掌握处理是掌握提示面300的形状的处理。具体而言，解析利用外置摄像机133拍摄到的周围图像，检测提示面300的预先决定的形状。在本实施方式中，检测外框305。将检测的外框305的区域内作为用于检测被控制设备510的名称、期望控制操作的信息的扫描区域。如上所述，在提示面300中，将被控制设备的名称和期望控制操作描述为记载信息310。
此外，外框305的形状例如为矩形。然而，形状没有限定。另外，形状也可以并非准确的图形，例如，在手写下还有矩形的线摇摆或者角稍微倒角的情况，所以在类似矩形下判断为矩形。另外，也可以将在矩形的外框305内描绘的标志、文字合起来判断为提示面300。例如，也可以以用圆圈包围“遥控器”、“遥”的标志或用户喜欢的标志等各个特征，作为提示面300。
接下来，确定信息取得部222判别在提示面300的扫描区域中，是否存在可能与被控制设备信息或者期望控制操作信息相符的记载信息310(步骤S1202)。在判别有无信息的情况下，例如，利用对扫描区域进行2值化，判别是否有预定的尺寸以上的连续的黑区域等简单的图像解析处理进行。
在此，在判别为无记载信息310的情况下(S1202：“否”)，进行NG显示处理(步骤S1211)，结束处理。在NG显示处理中，例如，输出表明无法检测记载信息310的消息等。另外，也可以在判断是否为提示面300时，计算类似提示面300的程度，在该程度为某阈值以上的情况下显示消息。
在判别为有记载信息310的情况下(S1202：“是”)，确定信息取得部222进行详细地解析扫描区域的提示面解析处理(步骤S1203)。在提示面解析处理中，解析记载信息310，抽出被控制设备信息候补和期望控制操作信息候补。
通过比较记载信息310的解析结果和登记于解析用表格251的记载内容251a，抽出被控制设备信息候补和期望控制操作信息候补。例如，在图1的例子中，将“空调器”抽出为被控制设备信息候补，将“制冷”和“停止”抽出为期望控制操作候补。此时，决定与被控制设备信息候补和期望控制操作候补各自对应的解析内容251b。
接下来，确定信息取得部222进行从被控制设备信息候补取得被控制设备510的识别信息(ID)的ID取得处理(步骤S1204)。在此，ID是唯一地识别被控制设备510的信息，例如为型号等。例如，也可以是被控制设备510的厂商名、设备的种类、物理地址等设备详细信息。
确定信息取得部222例如将被控制设备信息候补与解析用表格251对照，选定设备的种类。此外，设备的种类例如是登记于解析用表格251的解析内容251b的信息。而且，也可以从控制数据表格252取得将所选定的设备的种类登记为被控制设备名252a的所有记录项的识别信息(ID)252b，使用与取得的识别信息(ID)252b对应的详细信息252d，向周围发送连接确立请求，并根据是否得到响应来判别。由此，仅从相符的种类的设备接受响应。
此外，能够通过ID取得处理，判别周围是否有能够通过虚拟遥控器发送控制命令的被控制设备510。即，确定信息取得部222判别在预定期间内是否有响应(步骤S1205)。
在预定期间内得到了响应的情况下(S1205：“是”)，确定信息取得部222将抽出并确定的解析内容251b及其记载类别251c以及ID252b输出给控制数据取得部223。另外，确定信息取得部222还将抽出并确定的信息登记到遥控器表格253(步骤S1206)，结束处理。在此，登记的信息是记载类别253a、解析内容253b、ID253c和在提示面解析处理中得到的区域253e以及显示数据253f。
另一方面，在未得到响应的情况下(S1205：“否”)，转移到步骤S1211，进行NG显示处理，结束处理。在该情况的NG显示处理中，输出表明周围没有能够利用虚拟遥控器发送操作命令的被控制设备510的消息。
此外，从多个被控制设备510得到响应的情况下的选择的规则预先决定。规则例如是向用户提示最早发送来响应的设备、用户901的视线方向的设备，并受理选择等。
另外，确定信息取得部222在未从期望的设备得到响应的情况下，也可以搜索可连接的被控制设备510。此时，在检测到未登记于控制数据表格252的新的被控制设备510的情况下，取得新的被控制设备510的详细信息，登记到控制数据表格252。而且，确认在新的被控制设备510中，是否没有与被控制设备信息候补相符的设备。
另外，例如，在明确新的被控制设备510的存在的情况下，用户901也可以通过利用外置摄像机133拍摄被控制设备510的厂商名、型号来取得ID252b。另外，也可以拍摄被控制设备510的外形形状，并连同拍摄图像一起，对网络服务器550进行查询。另外，用户901也可以从厂商等的主页取得。在该情况下，用户901也可以在提示面300中手写记载若干详细信息，并作为拍摄数据取得。进而，也可以用户901通过声音发出几个详细信息，并利用声音处理装置140取得。
即使在该情况下，在控制数据表格252中对在登记时登记的每个被控制设备510赋予ID。
此外，用户901无需在提示面300上作为被控制设备510的信息准确地记述被控制设备510的名称。例如，也可以用“冷却器”、“冷风机”等其他文字、可判断为空调器的图画来描绘。在本实施方式中，在解析用表格251中，预先登记用户901可能记载的设想的各种表述。另外，用户901为了解析作为记载信息310在提示面300记载的内容也可以使用AI(Artificial Intelligence，人工智能)。
[控制数据取得处理]
接下来，说明利用控制数据取得部223实施的控制数据取得处理。图11是本实施方式的控制数据取得处理的处理流程。本处理是用于取得在确定信息取得处理中确定出的被控制设备510的控制数据的处理。
控制数据取得部223根据确定信息取得部222确定出的、包括被控制设备510的ID的被控制设备确定信息，检索在控制数据表格252中是否登记了该设备的控制数据(步骤S1301)。在此，根据ID，检索控制数据表格252，判别是否登记了匹配的具有ID252b的数据。
在有匹配的数据、登记了控制数据的情况下(S1301：“是”)，控制数据取得部223进行控制命令抽出处理(步骤S1302)。具体而言，参照匹配的数据的控制数据，针对每个期望控制操作，抽出与期望控制操作的解析内容建立对应的控制命令。此外，在确定信息取得处理中，在确定信息取得部242从ID控制数据表格252取得了被控制设备510的ID的情况下，也可以不再次搜索控制数据表格252，而从与取得的ID252b建立对应的控制数据252c中抽出控制命令。
而且，控制数据取得部223将抽出的各控制命令分别与期望控制操作建立对应而登记到遥控器表格253(步骤S1303)，结束处理。
在此，在无匹配的数据的情况下(S1301：“否”)，控制数据取得部223向网络服务器550请求与ID对应的控制数据(步骤S1304)。而且，判别是否接收到返回控制数据(步骤S1305)。
在接收到返回控制数据的情况下(S1305：“是”)，控制数据取得部223将接收到的控制数据与被控制设备名、ID建立对应，登记到控制数据表格252(步骤S1306)，转移到步骤S1302。
此外，在步骤S1305中，在虽然向网络服务器550请求了但得到无控制数据的意思的响应的情况下、或者在预定期间内无响应的情况下(S1305：“否”)，控制数据取得部223进行NG显示处理(步骤S1311)，结束处理。在此，输出表明无法获得被控制设备510的控制数据的消息等。
如以上说明，本实施方式的HMD100具备通信装置160，针对被控制设备510经由该通信装置160发送控制命令，对该被控制设备510进行远程控制。而且，具备：虚拟遥控器生成部220，从周围的图像即周围图像中确定被控制设备510以及作为期望的控制操作的期望控制操作，并且生成用于受理用户901针对所确定的期望控制操作的操作指示的受理对象421、422；操作受理部230，经由受理对象421、422受理由用户901作出的操作指示；以及命令发送部240，将与操作受理部230受理的操作指示对应的控制命令发送给被控制设备510。
另外，周围图像包括具有表示期望控制操作的描述的提示面300。虚拟遥控器生成部220具备：确定信息取得部222，从周围图像中分别取得用于确定被控制设备510的被控制设备确定信息和用于确定期望控制操作的期望控制操作确定信息；控制数据取得部223，使用被控制设备确定信息而取得该被控制设备的控制数据；对应建立部224，将包含于控制数据的控制被控制设备510的控制命令和期望控制操作建立对应；以及虚拟图像生成部225，生成受理对象421、422，生成将该受理对象421、422显示于在将周围图像显示于显示器131的情况下显示表示期望控制操作的描述的区域中的虚拟遥控器图像400。
这样，根据本实施方式，利用搭载于HMD100的外置摄像机133拍摄用于提示遥控器功能按钮的面(提示面300)，根据描绘于提示面300的图形、文字，掌握所操作的被控制设备510和功能(期望控制操作)，在描绘有功能的场所，作为AR对象(功能按钮图像等)提示控制被控制设备510的遥控器的功能按钮。此时，将AR对象和在提示面300中已印刷或者记载的文字/图像等重叠在提示面300中进行提示。
另外，通过用户901针对功能按钮的手势动作等，受理用户901针对功能按钮的选择/移动/删除等操作，HMD100控制被控制设备。
根据本实施方式，即使用户901遗失遥控器，也可随时生成虚拟遥控器，并且在该虚拟遥控器中，可仅将用户901需要的功能显示为功能按钮。另外，作为虚拟遥控器的基础的提示面300可描绘在纸等上，贴到电冰箱或者如笔记本等那样装订多张放置，根据需要使用。由此，即便是经常忘记的用户901，无需搜寻遥控器，而能够容易地控制被控制设备510。
即，根据本实施方式，用户901可自由地设定并生成虚拟遥控器，由用户901选择用户901希望的功能，该虚拟遥控器配置用于实现该选择的功能的功能按钮。
根据本实施方式，用户901即使身边没有远程操作用的遥控器，只要在纸等上通过手写记载所需要的操作，其就直接作为遥控器发挥功能。因此，用户901无需寻找遥控器。另外，能够仅将需要的功能创建为功能按钮，所以也不麻烦。另外，其配置也能够设为喜好的结构，所以便于使用。
这样，根据本实施方式，消除了在设备的远程控制中寻找遥控器的麻烦，用户901的便利性显著提高。
另外，在本实施方式中，关于生成过虚拟遥控器的被控制设备510，哪怕只有1次，将控制数据表格252保存到HMD100的数据存储部。通过使用该保存的控制数据，下次之后的对被控制设备510的控制，无需经由网络53就能够进行。其结果，能够避免网络530中的不良现象(网络线路的拥堵情形所致的延迟、线路切断等)。
另一方面，在本实施方式中，遥控器表格253在使用结束后删除，在之后需要的情况下重新创建。用户901无需在HMD100的数据存储部250内搜索虚拟遥控器。另外，能够抑制浪费地消耗存储器。
<变形例1>
此外，在上述实施方式中，也可以构成为在用户901记载于提示面300的期望控制操作中有被控制设备所没有的功能的情况下，明示无该功能。
图12的(b)示出该情况的虚拟遥控器图像例。在此，例如，以用户901如图12的(a)所示在提示面300中记载的情况为例子示出。
如图12的(a)所示，用户901记载“空调器”作为被控制设备名311，记载“冷气”、“关停”、“暖气”作为期望控制操作312。
在确定信息取得部222取得的被控制设备510中无制热的功能的情况下，在控制数据取得部223取得的控制数据中，无与制热对应的控制命令。控制数据取得部223将其通知给虚拟图像生成部225。
虚拟图像生成部225关于“冷气”和“关停”的控制操作，利用上述实施方式的手法与控制命令建立对应而生成功能按钮并显示。然而，关于“暖气”，根据来自控制数据取得部223的通知，进行表示不可使用的不可显示431。
在图12的(b)的例子中，无“暖气”功能，所以在虚拟遥控器图像400中，作为不可显示431，创建赋予了×标记的AR对象，重叠到“暖气”的受理对象423而显示。由此，用户901能够直观地掌握无法利用“暖气”的功能。
同样地，在上述实施方式中，在不存在被控制设备510的控制数据的情况下，输出该意思的消息，但不限定于此。例如，也可以如图12的(c)所示，在虚拟遥控器的被控制设备名411上进行不可显示431，并通知给用户901。
此外，在本变形例中，使×标记的AR对象重叠而提示，但不可显示431不限于此。例如，也可以是“无相应的制热功能。”、“无可操作的空调器。”等字符串的AR对象。进而，也可以从扬声器141作为声音输出这些字符串。
通过本变形例，能够减轻用户的无用的操作。
<变形例2>
在上述实施方式中，将被控制设备510设为空调器进行了说明，但被控制设备510不限定于空调器。例如，也可以是照明器具。
在图13的(a)中，示出在被控制设备510是照明器具的情况下用户901创建的提示面301的一个例子，在图13的(b)中，示出HMD100解析该提示面301而创建的虚拟遥控器图像401的一个例子。如本图所示，根据记载信息310，生成作为被控制设备名411而显示“照明”、作为受理对象421、422分别显示“点亮”以及“熄灭”的虚拟遥控器图像401。
<变形例3>
进而，在上述实施方式中，从HMD100经由网络530发送向被控制设备510的控制命令。然而，从HMD100向被控制设备510的控制命令的发送不限于此。
例如，也可以如图14所示，使用红外线通信、Bluetooth等近距离通信I/F，从HMD100向被控制设备510直接发送控制命令。在该情况下，命令发送部240经由BT通信I/F163、红外线通信I/F164，发送与用户901选择的控制操作对应的控制命令。
通过本变形例，能够利用近距离通信I/F，不经由网络530，通过HMD100控制被控制设备510。其结果，无需考虑网络530中的不良现象(网络线路的拥堵情形所致的延迟、线路切断等)。
此外，也可以构成为用户901可选择使用哪个通信单元从HMD100向被控制设备510发送控制命令。
<变形例4>
另外，在上述实施方式中，被控制设备的控制数据预先登记于HMD100或者从网络服务器550取得。然而，控制数据也可以从被控制设备510自身取得。在该情况下，控制数据取得部223经由LAN通信I/F161、BT通信I/F163、红外线通信I/F164中的任意一个，访问被控制设备510，从被控制设备510取得。
特别地，在经由红外线通信I/F164取得控制信息的情况下，也可以代替控制命令，取得每个控制操作的、从一般的遥控器装置发生的红外线图案(数据格式)。
而且，命令发送部240将与用户901的操作建立对应的红外线图案发送给被控制设备510。由此，能够输出与从通常的遥控器发生的红外线图案大致相同的红外线图案，能够高精度地发送指示。
此外，在遥控器中使用的红外线的数据格式中有若干个。例如，有NEC格式、家电协会格式、SONY格式等。在本变形例中，当然使用被控制设备510所采用的红外线的数据格式。
另外，在经由BT通信I/F163通过Bluetooth进行通信的情况下，需要事先进行配对。在配对失败的情况下，将该意思通知给用户901。
<变形例5>
另外，在上述实施方式中，作为用户901使用的信息处理终端，以HMD100为例子进行了说明，但使用的信息处理终端不限于此。例如，也可以使用智能手机(以下称为智能机)、平板终端等便携型信息终端。
图15示出使用智能机的情况下的虚拟遥控器的处理的概要以及显示例。
如本图所示，用户901将智能机101举在提示面300与自身之间，拍摄包括提示面300的记载信息310的区域，得到周围图像。
智能机101解析周围图像，确定被控制设备510和期望控制操作，与控制命令或者红外线格式建立对应。然后，创建虚拟遥控器图像400，显示于智能机101的显示器131。而且，在经由虚拟遥控器图像400受理到来自用户901的操作指示时，智能机101向被控制设备510发送与操作指示对应的控制命令(红外线格式)。
生成的虚拟遥控器图像400如图15所示，具备被控制设备信息显示区域410和期望控制操作显示区域420。在本图的例子中，显示受理制冷开始的指示的“制冷”和受理停止的指示的“停止”的受理对象421、422。
此外，图15示出实现该方案的智能机101的硬件结构。智能机101的硬件结构具备与HMD100的硬件基本上相同的结构。但是，智能机101并非如HMD100那样被佩戴使用，而是由用户901手持使用。因此，操作受理装置120部分不同。
在智能机101中，作为操作受理装置120，不仅具备按钮开关121、触摸面板122，而且还具备操作键123。
此外，智能机101实现上述实施方式的功能结构也与HMD100基本上相同。但是，智能机101的操作受理部230无需检测并解析手势动作来确定用户901。通过检测触摸面板122的功能受理按钮显示区域的触摸操作，受理用户901的意思。
此外，不限于智能机、平板，只要有等同或者近似的硬件结构、软件结构，就能够实现本变形例。例如，也可以是笔记本PC、平板PC等。
<变形例6>
在上述实施方式中，提示面300例如以纸等片材上的材质为前提进行了说明。但是，提示面300不限于此。例如，也可以是白板等。只要用户901可自如写入并拍摄，则材质、形状不限。
另外，提示面300例如也可以是被控制设备510的厂商提供的。例如，是手册或遥控器的记载等。进而，也可以是安装到被控制设备510的遥控器自身。
在预先准备了记载信息310的情况下、即并非用户901创建而将手册或遥控器自身用于提示面300的情况下，在创建虚拟遥控器时，功能按钮的受理对象也可以不全部生成。
在该情况下，确定信息取得部222在解析提示面300的图像并确定控制操作之后，提示给用户901，受理希望使虚拟遥控器图像400显示的控制操作的选择。而且，将受理到选择的控制操作确定为期望控制操作。
由此，即使在假设将已有的信息用作提示面300的情况下，也能够仅使用户901的期望的功能显示于虚拟遥控器。
<变形例7>
另外，在上述实施方式中，确定信息取得部222解析记载信息310而确定字符。此时，在解析中，例如，使用OCR(Optical Character Recognition，光学字符识别)功能等已有的文字解析。然而，不限定于此。例如，也可以预先使用户901登记手写文字，参照该登记，利用模式匹配等手法进行解析。
另外，也可以构成为仅在无法通过OCR功能等解析由用户901手写的文字的情况下，使用户901输入数字数据，将手写文字和数字数据建立对应而登记。即使在该情况下，在下次的提示面信息取得处理时，将登记的手写文字作为图案，进行模式匹配处理，确定文字。
<变形例8>
另外，在上述实施方式中，记载信息310以基本为字符串的情况为例子进行了说明。然而，记载信息310不限定于字符串。也可以是图形、颜色等。在该情况下，在解析用表格251中，在记载内容251a中，预先登记图形、颜色等。
此外，用户901也可以进行登记。用户901将自身喜欢的图形、颜色预先登记为表示确定的被控制设备510、确定的期望控制操作的图形、颜色。由此，用户901连文字也无需记载，而能够生成虚拟遥控器。
进而，也可以代替记载信息310而为声音等。在该情况下，解析用表格251登记声音。即，代替记载内容251a、或者追加地登记声音数据。而且，与声音数据建立对应，登记解析内容251b、记载类别251c。
<变形例9>
进而，在上述实施方式中，在显示虚拟遥控器图像的情况下，在经过预定时间后，删除虚拟遥控器图像400的显示。但是，不限定于此。例如，也可以构成为根据来自用户901的明示的指示，删除虚拟遥控器图像400的显示。
进而，也可以构成为不仅是虚拟遥控器图像400的显示，而且作为生成虚拟遥控器图像400的基础的遥控器表格253也与删除虚拟遥控器图像400的显示的时机同步地删除。
<变形例10>
在能够经由网络530从厂商的主页等获得被控制设备510的功能按钮的配置(遥控器的功能按钮的配置)信息的情况下，也可以将被控制设备510的功能按钮的配置信息进一步存储到数据存储部250。而且，虚拟图像生成部225也可以并非依照提示面300的配置，而依照被控制设备510的功能按钮的配置，生成虚拟遥控器图像400。
此外，实现本发明的技术的结构不限于上述实施方式以及变形例，能够考虑各种变形例。例如，能够将某个实施方式或者变形例的结构的一部分与其他例的结构置换。另外，还能够对某个实施方式或者变形例的结构加上其他例的结构。它们全部属于本发明的范畴。另外，在文中、图中出现的数值、消息等也仅为一个例子，即使使用不同的数值、消息等也不会影响本发明的效果。
上述的本发明的功能等也可以通过例如利用集成电路设计等而利用硬件实现他们的一部分或者全部。另外，也可以通过微型处理器单元等解释并执行实现各个功能等的程序而利用软件实现。也可以并用硬件和软件。所述软件也可以是在产品出厂的时间点，预先储存于HMD100的内部存储空间等的状态。也可以在产品出厂后，从因特网上的各种服务器装置等取得。另外，也可以取得以存储卡、光盘等提供的所述软件。
另外，在图中示出的控制线、信息线表示在说明上认为必要的部分，未必示出产品上的所有控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (11)

1.一种信息处理终端，具备通信装置，经由该通信装置对被控制设备发送控制命令而对该被控制设备进行远程控制，其特征在于，具备：
虚拟遥控器生成部，从作为该信息处理终端的周围的图像的周围图像中确定所述被控制设备以及作为期望的控制操作的期望控制操作，并且生成用于受理用户针对所确定出的所述期望控制操作的操作指示的受理对象；
操作受理部，经由所述受理对象受理由用户作出的所述操作指示；以及
命令发送部，将与所述操作受理部受理的所述操作指示对应的所述控制命令发送到所述被控制设备。
2.根据权利要求1所述的信息处理终端，其特征在于，
所述周围图像包括具有表示所述期望控制操作的表述的提示面，
所述虚拟遥控器生成部具备：
确定信息取得部，从所述周围图像中分别取得用于确定所述被控制设备的被控制设备确定信息和用于确定所述期望控制操作的期望控制操作确定信息；
控制数据取得部，使用所述被控制设备确定信息，取得该被控制设备的控制数据；
对应建立部，将包含于所述控制数据的用于控制所述被控制设备的控制命令和利用所述期望控制操作确定信息确定出的所述期望控制操作建立对应；
虚拟图像生成部，生成所述受理对象，并生成虚拟遥控器图像，在所述虚拟遥控器图像中，将该受理对象配置于在将所述周围图像显示于所述该信息处理终端的显示器的情况下显示表示所述期望控制操作的表述的区域中。
3.根据权利要求2所述的信息处理终端，其特征在于，
所述虚拟图像生成部使所生成的所述虚拟遥控器图像在该信息处理终端具备的显示器上显示预先决定的期间。
4.根据权利要求2所述的信息处理终端，其特征在于，
所述虚拟图像生成部在所述被控制设备不受理的控制操作被确定为所述期望控制操作的情况下，对所述受理对象进行预先决定的不可显示。
5.根据权利要求2所述的信息处理终端，其特征在于，
所述信息处理终端还具备控制数据表格，该控制数据表格将所述被控制设备的所述控制数据与该被控制设备建立对应而存储，
所述控制数据取得部从所述控制数据表格、外部服务器以及所述被控制设备的任意一个取得所述控制数据。
6.根据权利要求1所述的信息处理终端，其特征在于，
所述信息处理终端具备LAN通信接口以及近距离通信接口的至少1个，作为输出控制命令的通信装置。
7.根据权利要求2所述的信息处理终端，其特征在于，
所述提示面为片状，
所述提示面还具备表示所述被控制设备的表述，
表示所述被控制设备的表述和表示所述期望控制操作的表述是用户记载的。
8.根据权利要求1至7中的任意一项所述的信息处理终端，其特征在于，
该信息处理终端是头戴式显示器。
9.根据权利要求1至7中的任意一项所述的信息处理终端，其特征在于，
该信息处理终端是智能手机。
10.一种远程控制方法，是具备通信装置、经由该通信装置对被控制设备发送控制命令而对该被控制设备进行远程控制的信息处理终端中的远程控制方法，所述远程控制方法的特征在于，具备：
虚拟遥控器生成步骤，从作为该信息处理终端的周围的图像的周围图像中确定所述被控制设备以及作为期望的控制操作的期望控制操作，并且生成用于受理用户针对确定出的所述期望控制操作的操作指示的受理对象；
操作受理步骤，经由所述受理对象受理由用户作出的所述操作指示；以及
命令发送步骤，将与所受理的所述操作指示对应的所述控制命令发送到所述被控制设备。
11.一种程序，使具备通信装置、经由该通信装置对被控制设备发送控制命令而对该被控制设备进行远程控制的信息处理终端所具备的计算机实现：
虚拟遥控器生成功能，从作为该信息处理终端的周围的图像的周围图像中确定所述被控制设备以及作为期望的控制操作的期望控制操作，并且生成用于受理用户针对确定出的所述期望控制操作的操作指示的受理对象；
操作受理功能，经由所述受理对象受理由用户作出的所述操作指示；以及
命令发送功能，将与所受理的所述操作指示对应的所述控制命令发送到所述被控制设备。
CN202080102493.3A 2020-07-08 2020-07-08 信息处理终端、远程控制方法以及程序 Pending CN115997388A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026710 WO2022009338A1 (ja) 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム

Publications (1)

Publication Number Publication Date
CN115997388A true CN115997388A (zh) 2023-04-21

Family

ID=79552378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102493.3A Pending CN115997388A (zh) 2020-07-08 2020-07-08 信息处理终端、远程控制方法以及程序

Country Status (4)

Country Link
US (1) US20230245456A1 (zh)
JP (1) JPWO2022009338A1 (zh)
CN (1) CN115997388A (zh)
WO (1) WO2022009338A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023138873A (ja) * 2020-08-21 2023-10-03 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918971A (ja) * 1995-06-28 1997-01-17 Matsushita Electric Ind Co Ltd 電子機器操作装置
WO2005043484A1 (en) * 2003-11-04 2005-05-12 Koninklijke Philips Electronics N.V. Universal remote control device with touch screen
WO2007063471A2 (en) * 2005-11-30 2007-06-07 Koninklijke Philips Electronics N.V. Programming of a universal remote control device
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
JP2012105131A (ja) * 2010-11-11 2012-05-31 Sony Corp サーバ装置、表示操作端末、および遠隔操作システム
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR101595957B1 (ko) * 2014-06-12 2016-02-18 엘지전자 주식회사 이동 단말기 및 제어 시스템
WO2016080561A1 (ko) * 2014-11-17 2016-05-26 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR102383130B1 (ko) * 2016-01-18 2022-04-08 삼성전자주식회사 기능을 제어하는 방법 및 이를 지원하는 전자 장치
CN107104996B (zh) * 2016-02-19 2021-05-18 腾讯科技（深圳）有限公司 用户位置校验方法和装置、受控设备访问方法和装置
KR102411124B1 (ko) * 2017-10-27 2022-06-21 삼성전자주식회사 전자 장치 및 전자 장치에서 외부 장치를 이용한 태스크 수행 방법

Also Published As

Publication number Publication date
JPWO2022009338A1 (zh) 2022-01-13
US20230245456A1 (en) 2023-08-03
WO2022009338A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US10495878B2 (en) Mobile terminal and controlling method thereof
EP2945043B1 (en) Eyewear-type terminal and method of controlling the same
JP6256339B2 (ja) 制御装置および記憶媒体
CN105306084B (zh) 眼镜型终端及其控制方法
US9900498B2 (en) Glass-type terminal and method for controlling the same
US10776618B2 (en) Mobile terminal and control method therefor
TWI423112B (zh) 可攜式虛擬輸入操作裝置與其操作方法
KR102176365B1 (ko) 이동 단말기 및 그것의 제어방법
KR20170037424A (ko) 이동 단말기 및 그 제어방법
US11500533B2 (en) Mobile terminal for displaying a preview image to be captured by a camera and control method therefor
US11373650B2 (en) Information processing device and information processing method
US20180164983A1 (en) Display system, display apparatus, control method for display apparatus
KR20140019630A (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
KR102364085B1 (ko) 이동 단말기 및 그것의 제어방법
WO2022009338A1 (ja) 情報処理端末、遠隔制御方法およびプログラム
JP2016115125A (ja) ウェアラブル検索システム
KR20160001229A (ko) 이동단말기 및 그 제어방법
KR102412140B1 (ko) 카메라 및 이를 포함하는 가상 현실 시스템
KR20160019741A (ko) 미러 디스플레이 장치 및 그의 동작 방법
KR20150145550A (ko) 이동 단말기
KR102309451B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
KR20190124597A (ko) 이동단말기 및 그 제어방법
US11263455B2 (en) Mobile terminal and method for controlling the same
WO2022190406A1 (ja) 端末装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination