CN111835604A - 远程操作系统、远程操作终端、远程操作程序 - Google Patents

远程操作系统、远程操作终端、远程操作程序 Download PDF

Info

Publication number
CN111835604A
CN111835604A CN202010257649.7A CN202010257649A CN111835604A CN 111835604 A CN111835604 A CN 111835604A CN 202010257649 A CN202010257649 A CN 202010257649A CN 111835604 A CN111835604 A CN 111835604A
Authority
CN
China
Prior art keywords
remote operation
unit
type
estimation
operation terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010257649.7A
Other languages
English (en)
Other versions
CN111835604B (zh
Inventor
泷川正史
丸谷裕树
中川达也
金山将也
神田博纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Publication of CN111835604A publication Critical patent/CN111835604A/zh
Application granted granted Critical
Publication of CN111835604B publication Critical patent/CN111835604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本发明提供一种能够提高可操作多个对象设备的1台远程操作终端的操作性的远程操作系统、远程操作终端、远程操作程序。实施方式的远程操作系统具备:管理部,其把用于表示空间区域的类别的区域类别、与将规定的设备(3)进行唯一表示的设备ID建立对应关系地进行管理;取得部,其取得规定的空间区域中的环境信息;推定部(202),其基于所取得的环境信息,并通过学习模型(205)来推定区域类别,其中该学习模型(205)是通过使用了事前所取得的环境信息的机器学习而生成的;以及提示部,其在远程操作终端(1)将用户接口进行提示,其中该用户接口用于远程操作利用已与所推定的区域类别建立了对应关系的设备ID而被表示的设备(3)。

Description

远程操作系统、远程操作终端、远程操作程序
技术区域
本发明的实施方式涉及一种远程操作系统、远程操作终端、远程操作程序。
背景技术
以往,为了提高用户操作家电设备等的便利性,开发出了:能够由1台装置操作多个设备的远程操作终端(所谓遥控装置)。然而,根据以往的远程操作终端,有时不一定能以良好的操作性来操作对象设备,比如,操作了非本意想要操作的设备的情形、或者需要在远程操作终端与操作对象的设备(以下称之为“对象设备”。)之间进行特殊处理的情形等等。
专利文献
专利文献1:日本特开平10-336769号公报
专利文献2:日本特开2001-142825号公报
发明内容
本发明想要解决的课题在于,提供一种能够提高可操作多个对象设备的1台远程操作终端的操作性的远程操作系统、远程操作终端、远程操作程序。
实施方式的远程操作系统是:通过远程操作终端而远程操作至少1个设备的系统,其特征在于,该远程操作系统具备:管理部,其把用于表示空间区域的类别的区域类别、与将规定的设备进行唯一表示的设备ID建立对应关系地进行管理;取得部,其取得规定的空间区域中的环境信息;推定部,其基于所取得的所述环境信息,并通过学习模型来推定区域类别,其中该学习模型是通过使用了事前所取得的环境信息的机器学习而生成的;以及提示部,其在所述远程操作终端将用户接口进行提示,其中该用户接口用于远程操作利用已与所推定的所述区域类别建立了对应关系的设备ID而被表示的设备。
根据上述构成,通过能够选择性地向用户提示:设备的名称、以及与该设备建立对应关系的区域类别,用户能够容易地把握作为操作对象的设备的设置场地。
附图说明
图1是表示第1实施方式所涉及的远程操作系统的构成的示意图。
图2是表示第1实施方式所涉及的远程操作终端的硬件构成的框图。
图3是表示第1实施方式所涉及的推定装置的硬件构成的框图。
图4是表示第1实施方式所涉及的远程操作终端的功能构成的框图。
图5是表示第1实施方式所涉及的推定装置的功能构成的框图。
图6是表示第1实施方式所涉及的区域登录处理的动作的流程图。
图7是表示第1实施方式所涉及的区域登录画面的图。
图8是表示第1实施方式所涉及的设备登录处理的动作的流程图。
图9是表示第1实施方式所涉及的区域选择画面的图。
图10是表示第1实施方式所涉及的设备登录画面的图。
图11是表示第1实施方式所涉及的设备登录画面上显示有设备清单的状态的图。
图12是表示第1实施方式所涉及的设备选择画面的图。
图13是表示第1实施方式所涉及的设备操作画面的图。
图14是表示第2实施方式所涉及的设备的功能构成的图。
图15是表示第2实施方式所涉及的登录处理的动作的流程图。
图16是表示第3实施方式所涉及的学习处理的动作的流程图。
图17是表示第4实施方式所涉及的操作画面显示处理的动作的流程图。
图18是表示第4实施方式所涉及的设备选择画面的图。
图19是表示第5实施方式所涉及的设备登录处理的动作的流程图。
图20是表示第5实施方式所涉及的设备登录画面的图。
图21是表示第5实施方式所涉及的设备登录画面上显示有设备清单的状态的图。
附图标记说明
1…远程操作终端;2…推定装置;3…设备;101…取得部;102…发送部;103…接收部;104…管理部;105…提示部;106…远程操作部;201…接收部;202…推定部;203…发送部;204…学习部;205…学习模型;206…教师数据。
具体实施方式
下面,参照附图,说明本发明的实施方式。另外,在本说明书以及附图中,对于具有实质上相同的功能构成的构成要素,赋予相同符号并省略重复说明。
<第1实施方式>
(整体构成)
对本实施方式所涉及的远程操作系统的整体构成进行说明。图1是表示远程操作系统的构成的示意图。
如图1所示,本实施方式所涉及的远程操作系统具备:远程操作终端1、以及经由网络NW而与远程操作终端1连接的推定装置2。另外,在本实施方式中,远程操作系统应用在:包括设置有多个设备3的室内空间或者室外空间(庭院、阳台、露台等)在内的居住施设。该居住施设具有:餐厅、客厅、更衣室这3个空间区域,这些空间区域的环境互不相同。作为互不相同的环境,例如可以例举出:设置在各空间区域的家具等设备的差异所带来的内部景观。另外,作为设备3,在餐厅设置有冰箱31,在客厅设置有照明设备32、空调33、电视34,在更衣室设置有洗衣机35。另外,在本实施方式中,虽然将推定装置2设置在了居住施设外的远程地位置,但是,也可以设置在居住施设内,还可以利用远程操作终端1或设备3来实现:由推定装置2能实现的功能。另外,把远程操作系统的用户想像成为:居住施设的居住者或者利用者。
在居住施设内设置有:与网络NW连接的无线路由器RT,在居住施设内设置的所有设备3以及远程操作终端1分别能够与无线路由器RT进行无线连接。远程操作终端1能够经由无线路由器RT而与推定装置2进行通信连接,并且还能够分别与设备3进行通信连接。设备3分别构成为:经由无线网络,并通过来自远程操作终端1的远程操作而能够对设备3的主功能进行控制。另外,设备3分别被预先设定有唯一的标识符亦即设备ID,远程操作终端1能够取得:与同一LAN连接的设备3的设备ID。另外,作为设备ID,也可以使用MAC(MediaAccess Control)地址。
(硬件构成)
对远程操作终端、推定装置的硬件构成进行说明。图2、图3分别是表示远程操作终端、推定装置的硬件构成的框图。
远程操作终端1是平板型终端,如图2所示,作为硬件,具备:CPU(CentralProcessing Unit)10、RAM(Random Acess Memory)11、存储器12、输入输出I/F(Interface)13、网络I/F14、屏幕15、相机16、地磁传感器17、GNSS(Global Navigation SatelliteSystem)传感器18、以及环境光传感器19。
CPU10以及RAM11相互协同来执行各种功能,存储器12用于存储:在通过各种功能而被执行的处理(远程操作程序)中所使用的各种数据。输入输出I/F13能够与输入输出装置之间进行数据的输入输出。网络I/F14是:能够与无线路由器RT之间进行无线通信的网络适配器。屏幕15是:具有屏幕和触摸式传感器的输入输出装置的一种。相机16用于拍摄:由可见光确定的2维图像及影像。地磁传感器17通过检测地磁来测定方位。GNSS传感器18通过GPS等GNSS来测定远程操作终端1的位置。环境光传感器19用于测定远程操作终端1的周围的亮度。
如图3所示,作为推定装置2的硬件,具备:CPU20、RAM21、存储器22、输入输出I/F23、以及网络I/F24。CPU20以及RAM21相互协同来执行各种功能,存储器22用于存储:在通过各种功能而被执行的处理中所使用的各种数据。输入输出I/F23能够与连接于推定装置2的键盘等输入装置、或者屏幕等输出装置之间进行数据的输入输出。网络I/F24是:LAN(Local Area Network)等网络适配器。
(功能构成)
对远程操作终端、推定装置的功能构成进行说明。图4、图5分别是表示远程操作终端、推定装置的功能构成的框图。
如图4所示,作为远程操作终端1的功能,具备:取得部101、发送部102、接收部103、管理部104、提示部105、以及远程操作部106。取得部101用于取得能够表示各空间区域的特征的环境信息。发送部102用于向推定装置2发送由取得部101取得的环境信息。接收部103用于接收:利用由推定装置2发送来的环境信息而确定的空间区域的类别亦即区域类别。管理部104能够把区域类别、与将设备3进行唯一表示的设备ID建立对应关系地进行管理。提示部105通过将下述的操作画面显示在屏幕15上而向用户进行提示,即,该操作画面是:用于操作与由接收部103接收到的区域类别建立对应关系的设备3的操作画面。远程操作部106基于用户针对操作画面进行的输入,向作为操作对象的设备3发送动作指示。另外,在存储器12中,作为设定信息而存储有:用于生成朝向作为操作对象的设备3发送的动作指示的各种信息、以及构成用于操作设备3的GUI(Graphical User Interface)的各种信息。
由取得部101取得的环境信息只要是对推定区域类别来说是有益的信息即可,例如,拍摄作为对象的空间区域而得到的图像、与在作为对象的空间区域中所接收到的所有无线通信相关联的电波的类别以及强度的式样、由地磁传感器17检测到的地磁的式样、由GNSS传感器18得到的测定位置、以及由环境光传感器19测定的亮度等等这些都可以作为环境信息来使用。另外,还可以将上述这些进行组合来作为环境信息。另外,在本实施方式中,使用了由相机16拍摄到的拍摄图像来作为环境信息。
如图5所示,作为推定装置2的功能,具备:接收部201、推定部202、发送部203、以及学习部204。接收部201用于接收由远程操作终端1发送来的环境信息。推定部202使用学习模型205来推定区域类别,其中该学习模型205是将由接收部201接收到的环境信息作为输入而将区域类别作为输出。发送部203用于向远程操作终端1发送由推定部202推定出的区域类别。学习部204用于提高由学习模型205确定的推定精度。
在本实施方式中,在运用远程操作系统之前,通过使用监督式学习的机器学习来预先对学习模型205进行训练。作为机器学习的算法,虽然可以使用深度学习,但也可以使用已知的其它算法。学习模型205是:将环境信息作为输入而输出区域类别的模型,分别针对应该推定的区域类别,通过基于所获得的与区域类别有关的环境信息群的机器学习,来进行训练。例如,事前准备出:在被分类成客厅的房间内所拍摄的拍摄图像,可以使用这些拍摄图像,并基于客厅的拍摄图像而将区域类别推定为客厅,如此地事前来对学习模型205进行训练。
学习部204通过使教师数据206反映于学习模型205中,来提高由学习模型205所确定的推定精度,其中教师数据206是:将区域类别标记成正确答案标签的环境信息。
(区域登录处理)
对区域登录处理进行说明。图6是表示区域登录处理的动作的流程图。图7是表示区域登录画面的图。该区域登录处理是进行下述登录的处理,即,将处于居住施设内的空间区域的区域类别登录为:远程操作终端所确定的操作对象亦即设备所设置的场地。另外,在图6所示的区域登录处理之前,预先取得:作为登录对象的空间区域的拍摄图像。
如图6所示,首先,在远程操作终端1,发送部102向推定装置2发送:由取得部101取得的作为环境信息的拍摄图像(S101)。接着,在推定装置2,接收部201接收:由发送部102发送来的拍摄图像(S102),推定部202基于由接收部201接收到的拍摄图像来推定区域类别(S103),发送部203将该区域类别作为推定区域类别而发送给远程操作终端1(S104)。
接着,在远程操作终端1,接收部103接收:由发送部203发送来的推定区域类别(S105),提示部105将推定区域类别提示给用户(S106)。在此,提示部105使如图7所示那样的区域登录画面G1显示于屏幕15。该区域登录画面G1包括:以用户能够选择的方式而将推定区域类别的候补进行显示的区域显示R1、以用户能够选择的方式而将候补以外的推定区域类别进行显示的下拉式选单P1、以及用户能够进行选择的登录按键B11及取消按键B12。在图7中,作为区域显示R1,显示有客厅R11和餐厅R12。
接着,管理部104判定是否进行了登录指示(S107)。在此,在选择了登录按键B11的情况下,管理部104判定为进行了登录指示。在进行了登录指示的情况下(S107,YES),管理部104将推定区域类别登录为:设定设备3的区域类别(S108),发送部102向推定装置2发送:表示推定结果为正确的意思的正确答案通知(S109)。
接着,在推定装置2,接收部201接收:由发送部102发送来的正确答案通知(S110),并将该正确答案通知附加给在步骤S102所接收到的拍摄图像,且作为教师数据206而存储于存储器12(S111),以此来结束区域登录处理。
另一方面,在没有登录指示的情况下,亦即,在选择取消按键B12的情况下(S107,NO),则结束区域登录处理。
(设备登录处理)
对设备登录处理进行说明。图8是表示设备登录处理的动作的流程图。图9、图10分别是表示区域选择画面、设备登录画面的图。图11是表示在设备登录画面中显示出设备清单的状态的图。设备登录处理是在远程操作终端来进行的处理,也是进行如下所述的处理,即:作为由远程操作终端确定的操作对象,将设置在规定的空间区域的设备、与该空间区域建立对应关系地,来进行登录的处理。另外,在图8所示的设备登录处理之前,通过上述的区域登录处理,预先登录:应该与设备建立对应关系的空间区域的区域类别。
如图8所示,首先,提示部105将预先登录的空间区域的区域类别提示给用户(S201)。在此,提示部105使如图9所示那样的区域选择画面G2显示于屏幕15。该区域选择画面G2用于将由管理部104管理的所有空间区域以用户能够选择的方式进行提示,该区域选择画面G2还包括:能够选择性地对登录结束的空间区域的区域类别进行显示的区域显示R2、以及用于指示设备登录处理的结束的取消按键B21。图9中显示有:客厅R21、餐厅R22、更衣室R23,来作为区域显示R2。
接着,提示部105判断是否选择了:通过区域选择画面G2中的区域显示R2而被显示出的区域类别的任意一个(S202)。
在选择了区域类别的任意一个的情况下(S202,YES),提示部105通过如图10、图11所示那样的设备登录画面G3,将连接于与远程操作终端1同一LAN的、且没有与其它区域类别建立对应关系的设备3提示给用户(S203)。在图10所示的设备登录画面G3中,包括有:用于指示追加应该与选择中的区域类别建立对应关系的设备3的追加按键B31。一旦选择该追加按键B31,如图11所示,就会显示出:包括用于登录应该追加的设备3的图标C3以及确定按键B32在内的设备清单L3。在图11中,作为图标C3,显示有图标C31~C35,通过选择这些图标之中的至少一个以上图标,再选择确定按键B32,就会选择出由图标C3表示的设备3,来作为应该与区域类别建立对应关系的设备3。
接着,管理部104判定:是否选择了应该与选择中的区域类别建立对应关系的设备3(S204)。
在选择了设备3的情况下(S204,YES),管理部104会将所选择的设备3与选择中的区域类别建立对应关系地进行登录(S205),并判断:用户是否已指示了设备登录处理的结束(S206)。在此,提示部105在将设备3与区域类别建立对应关系之后使显示画面从设备登录画面G3(图10、11)迁移到区域选择画面G2(图9),在区域选择画面G2中显示出弹出窗,且该弹出窗包含有:选择了取消按键B21之时是否结束登录处理的选择项,管理部104在该弹出窗显示中被选择了结束用的选择项的情况下,则判定为:已指示了结束设备登录处理。
在指示了结束设备登录处理的情况下(S206,YES),则结束设备登录处理。另一方面,在没有指示结束设备登录处理的情况下(S206,NO),提示部105再次判断:是否选择了区域类别的任意一个(S202)。
另外,在步骤S204,在没有选择设备3的情况下(S204,NO),管理部104判断:用户是否已指示了设备登录处理的结束(S206)。
另外,在步骤S202,在没有选择区域类别的情况下(S202,NO),提示部105判定:用户进行最后的操作之后所经过的时间是否达到规定时间例如1小时以上(S207)。
在经过的时间达到规定时间以上的情况下(S207,YES),则结束设备登录处理。另一方面,在经过的时间未达到规定时间的情况下(S207,NO),提示部105再次判断:是否选择了区域类别的任意一个(S202)。
(操作画面显示处理)
对操作画面显示处理进行说明。图12是表示设备选择画面的图。图13是表示设备操作画面的图。
提示部105根据用户的指示,使如图12所示那样的设备选择画面G4显示于屏幕15。在该设备选择画面G4中,包括有:能够选择性地显示出区域类别以及与该区域类别建立对应关系的设备ID所表示的设备3的图标C4、用于将已登录的所有设备3的电源控制为ON(接通)的所有ON按键B41、以及用于将已登录的所有设备3的电源控制为OFF(断开)的所有OFF按键B42。在图12中,作为图标C4,显示有图标C41~C45。图标C41~45分别表示与客厅建立对应关系的照明设备、空调、电视,图标C44表示与更衣室建立对应关系的洗衣机,图标C45表示与餐厅建立对应关系的冰箱。
一旦选择了设备选择画面G4中的图标C4的任意一个,提示部105就会使如图13所示那样的操作画面G5显示于屏幕15,来作为用于操作所选择的设备3的GUI。图13所示的操作画面G5是将空调33作为操作对象,其构成为包括:能够显示出设备3的类别及设备ID、以及与该设备3建立对应关系的区域类别的显示区域R51;能够显示出空调33的动作模式的显示区域R52;能够显示出室内的温度及湿度的显示区域R53;能够显示出与时间有关的信息的显示区域R54;能够显示出设定温度及设定温度的显示区域R55;包含有用于打开或关闭空调33的操作按键的显示区域R56;能够显示出各种状况的显示区域R57;以及能够调出上述这些以外的各种功能的选单按键B51等。
如上所述,通过能够选择性地向用户提示:设备3的名称、以及与该设备3建立对应关系的区域类别,用户能够容易地把握作为操作对象的设备3的设置场地。
<第2实施方式>
对第2实施方式所涉及的远程操作系统进行说明。在第1实施方式中,与空间区域的登录所涉及的区域类别的推定相关的环境信息的取得、区域类别的推定虽然分别是在远程操作终端、推定装置来进行的,但是,在本实施方式所涉及的远程操作系统中,在设备这方来进行的这一点是与第1实施方式不同的。下面,对与第1实施方式不同的构成以及动作进行说明。
对本实施方式所涉及的设备的构成进行说明。图14是表示设备的功能构成的图。
如图14所示,作为本实施方式所涉及的设备3a是空调33,其具备:作为硬件的CPU、RAM、存储器、以及对所设置的空间区域进行拍摄的相机,还具备推定功能30,来作为通过CPU以及RAM相互协同而执行的功能。该推定功能30具备:取得部300、接收部301、推定部302、以及发送部303。
取得部300相当于第1实施方式中的远程操作终端1的取得部101,取得:利用设备3a所具备的相机而获得的拍摄图像,来作为表示各空间区域的特征的环境信息。接收部301接收:由远程操作终端1发送来的推定要求。推定部302相当于第1实施方式所涉及的推定装置2中的推定部202,基于由取得部300取得的环境信息,来推定区域类别,关于这一点是不同于推定部202的。发送部303向远程操作终端1发送:由推定部302推定出的区域类别、以及设定于设备3a的设备ID,来作为针对由接收部301接收到的推定要求作出的响应。关于学习模型205,实质上是与第1实施方式中推定装置2所具备的学习模型相同的。
作为设备的动作,对登录处理进行说明。该登录处理相当于第1实施方式所涉及的区域登录处理以及设备登录处理。图15是表示登录处理的动作的流程图。另外,在图15中,由相机进行的拍摄是预先进行的。
如图15所示,首先,在远程操作终端1,发送部102发送推定要求(S401)。接着,在设备3a,接收部301接收从远程操作终端1发送来的推定要求(S402),取得部300取得由相机获得的拍摄图像(S403),推定部302基于所取得的拍摄图像,来推定区域类别(S404),发送部303向远程操作终端1发送:推定出的区域类别以及设定于设备3a的设备ID,来作为针对所接收到的推定要求作出的响应(S405)。
接着,在远程操作终端1,接收部103接收从设备3a发送来的推定区域以及设备ID(S406),管理部104将所接收到的区域类别与设备ID建立对应关系,来对区域类别以及设备ID进行登录(407)。
这样,在设备3a,进行:环境信息的取得、和区域类别的推定,由此能够减少:用户关于区域类别与设备3a之间的对应关系所进行的操作。另外,也可以使设备3a进行:由第1实施方式中的推定装置2实施的处理。
<第3实施方式>
对第3实施方式所涉及的远程操作系统进行说明。本实施方式所涉及的远程操作系统在下述这一点上是不同于第1实施方式的,即:关于所运用的施设的每一个,它们执行用于生成、更新学习模型的学习处理这一点。下面,对学习处理的动作进行说明。图16是表示学习处理的动作的流程图。另外,在图16所示的学习处理中,是在区域登录处理之前先执行的,另外,预先取得环境信息。
如图16所示,首先,在远程操作终端1中,发送部102向推定装置2发送:与作为对象的空间区域相关的环境信息、以及该空间区域的区域类别(S501)。在此,空间区域的区域类别是在远程操作终端1由用户来设定的。
接着,在推定装置2,接收部201接收由远程操作终端1发送的环境信息以及区域类别(S502),并把将区域类别标记成正确答案标签的环境信息作为教师数据206而存储于存储器12(S503),推定部202通过教师数据206,来生成或者更新学习模型205(S504)。
在第1实施方式中,为了将具有居住施设全体上都共通的特征的内部景观的拍摄图像作为输入来进行区域类别的推定,在事前准备出了学习模型,这是很有效的。对此,在将具有居住施设全体上没有共通的特征的环境信息作为输入来进行区域类别的推定的情况下,事前准备学习模型就不是很有效的。根据上述的学习处理,即便是在将空间区域内通过传感器来检测的电波的强度、地磁的式样、测定位置、亮度等作为环境信息来使用的情况下,也能够进行区域类别的推定。
<第4实施方式>
对第4实施方式所涉及的远程操作系统进行说明。本实施方式所涉及的远程操作系统在下述这一点上是不同于第1实施方式的,即:在操作画面显示处理中进行区域类别的推定这一点。图17是表示操作画面显示处理的动作的流程图。图18是表示设备选择画面的图。另外,在图17所示的操作画面显示处理之前,通过上述的区域登录处理以及设备登录处理,预先将区域类别与设备建立对应关系。另外,预先取得:在规定的空间区域所拍摄到的拍摄图像。
如图17所示,首先,在远程操作终端1,发送部102向推定装置2发送:由取得部101取得的拍摄图像(S301)。接着,在推定装置2,接收部201接收由发送部102发送来的拍摄图像(S302),推定部202基于由接收部201接收到的拍摄图像来推定区域类别(S303),发送部203向远程操作终端1发送区域类别(S304)。
接着,在远程操作终端1,接收部103接收由发送部203发送来的区域类别(S305),提示部105将设备3提示给用户(S306),其中该设备3是通过管理部104而与接收到的区域类别建立对应关系的设备。在此,提示部105使如图18所示那样的设备选择画面G6显示于屏幕15。在该设备选择画面G6中,包括有:能够选择性地显示出与区域类别建立对应关系的设备ID所表示的设备3的图标C6、用于将与区域类别建立对应关系的所有的设备3的电源控制为ON(接通)的所有ON按键B61、以及用于将与区域类别建立对应关系的所有的设备3的电源控制为OFF(断开)的所有OFF按键B62。在图18中,作为用于显示与客厅建立对应关系的设备3的图标C6,显示有图标C61~C63。
接着,提示部105判定:是否选择了所提示的设备3的任意一个(S307)。在选择了设备3的情况下(S307,YES),提示部105将用于操作所选择的设备3的GUI提示给用户(S308)。另一方面,在没有选择设备3的情况下(S307,NO),提示部105再次判定:是否选择了所提示的设备3的任意一个(S307)。
与第1实施方式同样地,提示部105使图13所示的操作画面G5显示于屏幕15,来作为用于操作所选择的设备3的GUI。
如上所述,能够通过在空间区域所获得的环境信息,来推定区域类别,并将与所推定出的区域类别建立对应关系的设备3提示给用户,由此能够提高:与作为操作对象的设备3的选择相关联的操作性。
<第5实施方式>
对第5实施方式所涉及的远程操作系统进行说明。本实施方式所涉及的远程操作系统在下述这一点上是不同于第1实施方式的,即:在设备登录处理中进行区域登录处理这一点。图19是表示本实施方式所涉及的设备登录处理的动作的流程图。图20是表示本实施方式所涉及的设备登录画面的图。图21是表示在本实施方式所涉及的设备登录画面中显示出设备清单的状态的图。
如图19所示,首先,提示部105判定:用户是否指示了设备3的追加(S601)。在此,在选择了图20所示的设备登录画面G3a中的追加按键B31的情况下,提示部105判定为:用户已指示了设备3的追加。
在已指示了设备3的追加的情况下(S601,YES),提示部105通过图21所示的设备登录画面G3a,来向用户提示:连接于与远程操作终端1同一LAN的、且为未登录的设备3(S602)。另外,图21所示的设备登录画面G3a中所包含的图标C3以及确定按键B32的功能是与图11所示的设备登录画面相同的。
接着,管理部104判定:是否选择了应该登录的设备3(S603)。
在选择了设备3的情况下(S603,YES),关于应该与所选择的设备3建立对应关系的区域类别,则执行上述的区域登录处理(S604)。接着,管理部104将利用该区域登录处理而被登录的区域类别、所选择的设备3、以及用于操作设备3的设定信息建立对应关系地进行登录(S605)。
另一方面,在没有选择设备3的情况下(S603,NO),管理部104再次判定:是否选择了应该登录的设备3(S603)。
另外,在步骤S601,在没有指示设备3的追加的情况下(S601,NO),提示部105判定:用户进行最后的操作之后所经过的时间是否达到规定时间例如1小时以上(S606)。
在经过的时间达到规定时间以上的情况下(S606,YES),则结束设备登录处理。另一方面,在经过的时间未达到规定时间的情况下(S606,NO)、提示部105再次判定:用户是否指示了设备3的追加(S601)。
这样,在利用远程操作系统来对作为操作对象的设备3进行登录时,通过与下述的区域类别建立对应关系地进行登录,能够容易地进行设备3与设置场地之间的对应关系建立,即,所述区域类别是基于与设置设备3的场地有关的环境信息而被推定出的。
在本实施方式中,虽然将远程操作程序描述成是预先被安装在上述的远程操作终端1的内部的,但是,也包括了本发明中的远程操作程序被存储在存储介质中的情形。在此,所谓存储介质是指:作为上述远程操作终端1的电脑能够读取或能够执行的所有介质,例如:磁带、磁盘(硬盘驱动器等)、光盘(CD-ROM、DVD盘等)、光磁盘(MO等)、闪存等这样的相对于远程操作终端1能够拆装的介质、或者还能够经由网络而进行传送的介质等。
虽然说明了发明的实施方式,但是,这些实施方式只是作为例子提出而已,并非意欲限定发明的范围。这些新的实施方式能够以其他各种方式来实施,只要是在不脱离发明宗旨的范围内,可以进行各式各样的省略、置换、变更。这些实施方式或其变形均包含在本发明的范围和宗旨中,并且也包含在权利要求的范围所记载的发明及其均等的范围内。

Claims (10)

1.一种远程操作系统,是通过远程操作终端而远程操作至少1个设备的远程操作系统,其特征在于,
所述远程操作系统具备:
管理部,其把用于表示空间区域的类别的区域类别、与将规定的设备进行唯一表示的设备ID建立对应关系地进行管理;
取得部,其取得规定的空间区域中的环境信息;
推定部,其基于所取得的所述环境信息,并通过学习模型来推定区域类别,其中该学习模型是通过使用了事前所取得的环境信息的机器学习而生成的;以及
提示部,其在所述远程操作终端将用户接口进行提示,其中该用户接口用于远程操作利用已与所推定的所述区域类别建立了对应关系的设备ID而被表示的设备。
2.根据权利要求1所述的远程操作系统,其特征在于,
所述取得部被设置在由所述远程操作终端操作的至少一个设备上。
3.根据权利要求1或2所述的远程操作系统,其特征在于,
所述推定部被设置在由所述远程操作终端操作的至少一个设备上。
4.根据权利要求1或2所述的远程操作系统,其特征在于,
所述推定部设置在:经由网络而与所述远程操作终端连接的推定装置。
5.根据权利要求1或2所述的远程操作系统,其特征在于,
所述推定部设置在:所述远程操作终端。
6.根据权利要求1至5中任一项所述的远程操作系统,其特征在于,
还具备:通过使用了所述环境信息的机器学习来生成或者更新所述学习模型的学习部。
7.根据权利要求6所述的远程操作系统,其特征在于,
所述学习部设置在:经由网络而与所述远程操作终端连接的推定装置。
8.根据权利要求1至7中任一项所述的远程操作系统,其特征在于,
所述环境信息是拍摄图像。
9.一种远程操作终端,是经由网络而与推定装置连接的、且能够远程操作至少1个设备的远程操作终端,其特征在于,
所述远程操作终端具备:
管理部,其把用于表示空间区域的类别的区域类别、与将规定的设备进行唯一表示的设备ID建立对应关系地进行管理;
取得部,其取得规定的空间区域中的环境信息;
发送部,其用于向所述推定装置发送所取得的所述环境信息;
接收部,其用于接收由所述推定装置发送来的区域类别,其中该区域类别是表示在所述推定装置中基于所发送的所述环境信息而被推定出的空间区域的类别的区域类别;以及
提示部,其将用户接口进行提示,其中该用户接口用于远程操作利用已与所接收的所述区域类别建立了对应关系的设备ID而被表示的设备。
10.一种远程操作程序,是在经由网络而与推定装置连接的电脑上被执行的、且能够远程操作至少1个设备的远程操作程序,其特征在于,
所述远程操作程序使所述电脑发挥下述各部的功能,
即,所述各部包括:
管理部,其把用于表示空间区域的类别的区域类别、与将规定的设备进行唯一表示的设备ID建立对应关系地进行管理;
取得部,其取得规定的空间区域中的环境信息;
发送部,其用于向所述推定装置发送所取得的所述环境信息;
接收部,其用于接收由所述推定装置发送来的区域类别,其中该区域类别是表示在所述推定装置中基于所发送的所述环境信息而被推定出的空间区域的类别的区域类别;以及
提示部,其将用户接口进行提示,其中该用户接口用于远程操作利用已与所接收的所述区域类别建立了对应关系的设备ID而被表示的设备。
CN202010257649.7A 2019-04-19 2020-04-03 远程操作系统、远程操作终端、远程操作程序 Active CN111835604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019079842A JP7278847B2 (ja) 2019-04-19 2019-04-19 遠隔操作システム、遠隔操作端末、遠隔操作プログラム
JP2019-079842 2019-04-19

Publications (2)

Publication Number Publication Date
CN111835604A true CN111835604A (zh) 2020-10-27
CN111835604B CN111835604B (zh) 2022-04-05

Family

ID=72913569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010257649.7A Active CN111835604B (zh) 2019-04-19 2020-04-03 远程操作系统、远程操作终端、远程操作程序

Country Status (2)

Country Link
JP (1) JP7278847B2 (zh)
CN (1) CN111835604B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220929A1 (en) * 2009-02-27 2010-09-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
CN105207864A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 家电设备控制方法和装置
CN105549944A (zh) * 2015-12-11 2016-05-04 小米科技有限责任公司 设备显示方法及装置
CN106990894A (zh) * 2017-03-21 2017-07-28 北京小米移动软件有限公司 智能设备的控制方法及装置
CN107040646A (zh) * 2015-11-11 2017-08-11 Lg电子株式会社 移动终端及其控制方法
CN108388142A (zh) * 2018-04-10 2018-08-10 百度在线网络技术(北京)有限公司 用于控制家居设备的方法、装置和系统
CN108573596A (zh) * 2012-12-28 2018-09-25 松下电器(美国)知识产权公司 控制方法
CN108986821A (zh) * 2018-08-23 2018-12-11 珠海格力电器股份有限公司 一种设置房间与设备关系的方法和设备
CN109218145A (zh) * 2018-08-24 2019-01-15 英华达(上海)科技有限公司 Iot设备控制界面的显示方法、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087275A (ja) 2001-09-11 2003-03-20 Hitachi Ltd 制御端末装置
JP6713057B2 (ja) 2016-11-08 2020-06-24 シャープ株式会社 移動体制御装置および移動体制御プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220929A1 (en) * 2009-02-27 2010-09-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
CN108573596A (zh) * 2012-12-28 2018-09-25 松下电器(美国)知识产权公司 控制方法
CN105207864A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 家电设备控制方法和装置
CN107040646A (zh) * 2015-11-11 2017-08-11 Lg电子株式会社 移动终端及其控制方法
CN105549944A (zh) * 2015-12-11 2016-05-04 小米科技有限责任公司 设备显示方法及装置
CN106990894A (zh) * 2017-03-21 2017-07-28 北京小米移动软件有限公司 智能设备的控制方法及装置
CN108388142A (zh) * 2018-04-10 2018-08-10 百度在线网络技术(北京)有限公司 用于控制家居设备的方法、装置和系统
CN108986821A (zh) * 2018-08-23 2018-12-11 珠海格力电器股份有限公司 一种设置房间与设备关系的方法和设备
CN109218145A (zh) * 2018-08-24 2019-01-15 英华达(上海)科技有限公司 Iot设备控制界面的显示方法、系统、设备及存储介质

Also Published As

Publication number Publication date
JP2020178257A (ja) 2020-10-29
CN111835604B (zh) 2022-04-05
JP7278847B2 (ja) 2023-05-22

Similar Documents

Publication Publication Date Title
JP6035014B2 (ja) 無線操作装置、無線操作システム及び無線操作方法
EP3760391A1 (en) Information processing apparatus, telepresence robot, information processing method, and carrier means
CN105143917A (zh) 响应于外部产生的区域性候选定位模式选择的移动装置定位
JP2013243555A (ja) 情報処理装置、電源タップ、サーバ装置、情報処理システム、情報処理方法及びプログラム
JP4860723B2 (ja) 経路案内システム、経路案内装置及び経路案内方法
JP2009303014A (ja) 制御装置、制御方法、制御プログラムおよび制御プログラムを記録した記録媒体
JP6572390B2 (ja) 管理装置、制御方法およびプログラム
JP2019164759A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
CN111835604B (zh) 远程操作系统、远程操作终端、远程操作程序
JP7369611B2 (ja) 遠隔操作端末、プログラム、遠隔制御装置及び遠隔操作システム
JP2014139745A (ja) 機器管理システム、機器管理装置、機器管理方法及びプログラム
CN104904191A (zh) 移动装置与用于建立无线链路的方法
US11313576B2 (en) Air-conditioner communication system, method of confirming connection of air-conditioner communication system, wireless LAN adapter, and connection confirmation instructions of air-conditioner communication system
JP2006340060A (ja) 制御対象機器およびその監視制御システム
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2000076197A (ja) 携帯情報端末装置及び記録媒体
JP5938987B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4415907B2 (ja) 機器操作システム
US20210142246A1 (en) Scheduling system and method
CN102124728A (zh) 使用a/v设备发送受控设备通信相关参数以编程遥控器
JP6219441B2 (ja) 無線操作装置、無線操作システム及び無線操作方法
CN111416757A (zh) 远程操作终端、程序、远程控制装置以及远程操作系统
JP7286125B1 (ja) 機器制御サーバ
JP6789784B2 (ja) 通信ネットワーク、サーバ装置、制御システム、制御方法、およびプログラム
JP4199650B2 (ja) 機器情報設定方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant