CN110800314B - 计算机系统、远程操作通知方法以及记录介质 - Google Patents

Abstract

本发明的目的在于提供一种在进行远程作业辅助时，能显示能由用户远程操作的IoT设备的计算机系统、远程操作通知方法以及程序。计算机系统获取拍摄到IoT设备的图像，从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。此外，预先存储能远程操作的所述IoT设备的图像，并基于预先存储的所述IoT设备的图像，通过与获取到的所述图像进行比较的图像识别，判断该IoT设备是能远程操作的IoT设备。此外，将能远程操作作为增强现实，显示包围所述IoT设备的图像的边框，对显示的边框受理输入操作，根据输入显示对所述IoT设备进行远程操作的登录画面。

Description

计算机系统、远程操作通知方法以及记录介质

技术领域

本发明涉及在指示终端与被指示终端之间共享画面的计算机系统、远程操作通知方法以及程序。

背景技术

近年，已知用接受远程作业的指示的被指示者持有的被指示终端和给予远程作业的指示的指示者持有的指示终端来进行画面共享的方法。此时，已知用拍摄接受指示的对象，使指示内容与该对象重叠显示的所谓的增强现实进行指示的方法。

有时在接受像这样的增强现实的指示时，在拍摄到的现实世界中视觉确认了能远程操作的IoT(Internet of Things：物联网)设备。在该情况下，理想的是作为指示者或被指示者的用户能从该IoT设备进行远程操作。

作为显示像这样的增强现实的构成，公开了一种在被指示者装备的可穿戴终端显示来自指示者的指示内容的构成(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2016－181751号公报

发明内容

发明所要解决的问题

然而，在专利文献1的构成中，难以判断在显示的画面内是否包括能远程操作的IoT设备，指示内容的对象是否为能远程操作的IoT设备。

本发明的目的在于提供一种在进行远程作业辅助时，能显示能由用户(指示者或被指示者中的任意一个或双方)远程操作的IoT设备的计算机系统、远 程操作通知方法以及程序。

用于解决问题的方案

在本发明中，提供以下这样的解决方案。

本发明提供一种计算机系统，其特征在于，具备：获取单元，获取拍摄到IoT设备的图像；存储单元，存储图像，该图像为从多个方向拍摄到能远程操作 的所述IoT设备的图像；判断单元，基于存储的多个方向的图像，通过与获取 到的所述图像进行比较的图像识别，判断是从哪个方向拍摄到的图像，从该判 断结果和获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；第一通知单元，在拍摄有判断为能远程操作的所述IoT设备的所述图 像的位置，用增强现实显示能远程操作的情况；以及第二通知单元，在判断为 不存在能远程操作的所述IoT设备，在拍摄到所述拍摄图像的地点的附近存在 其他能远程操作的IoT设备的情况下，用增强现实显示该其他能远程操作的IoT设备所在的方向。

根据本发明，计算机系统获取拍摄到IoT设备的图像，存储图像，该图像 为从多个方向拍摄到能远程操作的所述IoT设备的图像，基于存储的多个方向 的图像，通过与获取到的所述图像进行比较的图像识别，判断是从哪个方向拍 摄到的图像，从该判断结果和获取到的所述图像判断能由视觉确认该图像的用 户远程操作的所述IoT设备，在拍摄有判断为能远程操作的所述IoT设备的所述 图像的位置，用增强现实显示能远程操作的情况，在判断为不存在能远程操作 的所述IoT设备，在拍摄到所述拍摄图像的地点的附近存在其他能远程操作的IoT设备的情况下，用增强现实显示该其他能远程操作的IoT设备所在的方向。

本发明属于计算机系统的范畴，但在远程操作通知方法和程序等其他范畴 中，会发挥对应于该范畴的同样的作用、效果。

发明效果

根据本发明，能提供一种在进行远程作业辅助时，能显示能由用户远程操 作的IoT设备计算机系统、远程操作通知方法以及程序。

附图说明

图1是表示远程操作通知系统1的概要的图。

图2是远程操作通知系统1的整体构成图。

图3是计算机10、指示终端100以及被指示终端200的功能框图。

图4是表示计算机10、被指示终端200执行的设备图像数据存储处理的流 程图。

图5是表示计算机10、指示终端100以及被指示终端200执行的远程操作 通知处理的流程图。

图6是表示计算机10、指示终端100以及被指示终端200执行的远程操作 通知处理的流程图。

图7是表示计算机10、被指示终端200执行的设备图像数据存储处理的变 形例的流程图。

图8是表示计算机10、指示终端100以及被指示终端200执行的远程操作 通知处理的变形例的流程图。

图9是表示计算机10、指示终端100以及被指示终端200执行的远程操作 通知处理的变形例的流程图。

图10是表示指示终端100显示的增强现实的一个例子的图。

图11是表示被指示终端200显示的增强现实的一个例子的图。

具体实施方式

以下，参照附图对用于实施本发明的最佳实施方式进行说明。需要说明的 是，该实施方式仅是一个例子，本发明的技术的范围不限于此。

(远程操作通知系统1的概要)

基于图1对本发明的优选的实施方式的概要进行说明。图1是用于对作为 本发明的优选的实施方式的远程操作通知系统1的概要进行说明的图。远程操 作通知系统1由计算机10、指示终端100以及被指示终端200构成，是指示终 端100和被指示终端200经由计算机10执行画面共享的计算机系统。

需要说明的是，在图1中，计算机10、指示终端100以及被指示终端200 的数量能适当变更。此外，计算机10、指示终端100以及被指示终端200不限 于实际存在的装置，也可以是虚拟的装置。此外，后述的各处理也可以由计算 机10、指示终端100以及被指示终端200中的任意一个或多个的组合来实现。 此外，也可以由指示终端100和被指示终端200构成计算机系统1，而不经由计 算机10。在该情况下，指示终端100或被指示终端200中的任意一个或双方执 行由计算机10执行的各处理即可。

计算机10是连接为能与指示终端100、被指示终端200进行数据通信的计 算机装置。

指示终端100是连接为能与计算机10进行数据通信的终端装置。指示终端 100是在进行远程作业辅助时，作为给予指示的一侧的用户的指示者持有的终端 装置。指示终端100例如是便携电话、便携信息终端、平板终端、个人计算机， 除此之外，还可以是笔记本终端、板状(slate)终端、电子书籍终端以及便携式 音乐播放器等电器、智能眼镜和头戴显示器等可穿戴终端、其他物品。

被指示终端200是连接为能与计算机10进行数据通信的终端装置。被指示 终端200是在进行远程作业辅助时，作为接受指示的一侧的用户的被指示者持 有的终端装置。被指示终端200是与上述的指示终端100同样的电器、可穿戴 终端、其他物品。

首先，指示终端100或被指示终端200中的任意一个或双方将能远程操作 的IoT设备的设备图像数据向计算机10发送(步骤S01)。指示终端100或被 指示终端200将设备图像数据向计算机10发送，所述设备图像数据匹配了从规 定的一个方向或多个方向拍摄到能远程操作的IoT设备的设备图像与该IoT设备 的标识符(名称、型号、IP地址、MAC地址等)。此时的设备图像既可以是预 先拍摄到的设备图像，也可以是这次新拍摄的设备图像。

计算机10接收设备图像数据。计算机10存储接收到的设备图像数据(步 骤S02)。

指示终端100和被指示终端200执行画面共享(步骤S03)。被指示终端200将自身显示的规定的窗口、规定的画面区域的一部分或全部与指示终端100 进行画面共享。此时进行画面共享的图像是被指示终端200显示的拍摄图像。 在画面共享中，被指示终端200通过将成为自身显示的对象的画面数据经由计 算机10向指示终端100发送，进行画面共享。

被指示终端200将拍摄到的图像作为拍摄图像数据向计算机10发送(步骤 S04)。被指示终端200拍摄远程作业辅助所需要的场所、物品，将其作为拍摄 图像数据向计算机10发送。在该拍摄图像中，拍入有IoT设备等。被指示终端 200发送的拍摄图像数据既可以是至今拍摄到的拍摄图像，也可以是本次拍摄到 的拍摄图像。

计算机10接收拍摄图像数据。计算机10通过接收拍摄图像数据，获取拍 摄到IoT设备的拍摄图像。计算机10从获取到的拍摄图像判断能由视觉确认该 拍摄图像的用户远程操作的IoT设备(步骤S05)。计算机10基于预先存储的 设备图像数据，通过与获取到的拍摄图像进行比较的图像识别，判断是否拍入 有能远程操作的IoT设备。

例如，计算机10通过对设备图像数据进行图像识别，提取特征量、特征点。 计算机10通过对拍摄图像数据进行图像识别，提取特征量、特征点。计算机10 通过对提取到的各自的特征量、特征点进行比较，判断是否具有相同的特征量、 特征点，在判断为具有相同的特征量、特征点的情况下，判断为该IoT设备能 远程操作，在判断为不具有相同的特征量、特征点的情况下，判断为该IoT设 备不能远程操作。

计算机10将能远程操作通知向指示终端100发送，该能远程操作通知在拍 摄有判断为能远程操作的IoT设备的拍摄图像的位置，用增强现实显示能远程 操作(步骤S06)。

指示终端100接收能远程操作通知。指示终端100基于该能远程操作通知， 在拍摄有判断为能远程操作的IoT设备的拍摄图像的位置，用增强现实显示能 远程操作(步骤S07)。指示终端100显示包围IoT设备的图像的边框作为增强 现实。指示终端100对显示的边框受理输入操作，根据输入显示远程操作IoT设备的登录画面(ID：、密码等输入画面)。指示终端100在登录到该IoT设 备后，能远程操作该IoT设备。

以上为远程操作通知系统1的概要。

(远程操作通知系统1的系统构成)

基于图2，对作为本发明的优选的实施方式的远程操作通知系统1的系统构 成进行说明。图2是表示作为本发明的优选的实施方式的远程操作通知系统1 的系统构成的图。远程操作通知系统1由计算机10、指示终端100、被指示终 端200以及公共线路网络(互联网、第三代、第四代通信网等)5构成，是指示 终端100和被指示终端200经由计算机10执行画面共享的计算机系统。

需要说明的是，构成远程操作通知系统1的各装置类的数量和其种类能适 当变更。此外，远程操作通知系统1不限于实际存在的装置，也可以由虚拟的 装置类来实现。此外，后述的各处理也可以由构成远程操作通知系统1的各装 置类中的任意一个或多个的组合来实现。此外，远程操作通知系统1也可以由 指示终端100和被指示终端200构成。在该情况下，指示终端100或被指示终 端200中的任意一个或双方执行由计算机10执行的处理即可。

计算机10是具备后述的功能的上述的计算机装置。

指示终端100是具备后述的功能的上述的终端装置。

被指示终端200是具备后述的功能的上述的终端装置。

(各功能的说明)

基于图3，对作为本发明的优选的实施方式的远程操作通知系统1的功能进 行说明。图3是表示计算机10、指示终端100以及被指示终端200的功能框图 的图。

计算机10具备CPU(Central Processing Unit：中央处理器)、RAM(Random AccessMemory：随机存储器)以及ROM(Read Only Memory：只读存储器) 等作为控制部11，具备用于能与其他设备进行通信的器件，例如依据IEEE802.11 的Wi-Fi(Wireless-Fidelity：无线上网)对应器件等作为通信部12。此外，计算 机10具备由硬盘、半导体存储器、记录介质、存储卡等实现的数据的储存(storge) 部作为存储部13。此外，计算机10具备执行各种计算、处理等的各种器件等作 为处理部14。

在计算机10中，通过控制部11读取规定的程序，与通信部12协作实现数 据收发模块20和远程通知发送模块21。此外，在计算机10中，通过控制部11 读取规定的程序，与存储部13协作实现存储模块30。此外，在计算机10中， 通过控制部11读取规定的程序，与处理部14协作实现图像判断模块40、坐标 确定模块41、通知制作模块42以及位置信息判断模块43。

指示终端100与计算机10同样，具备CPU、RAM以及ROM等作为控制 部110，具备用于能与其他设备进行通信的器件作为通信部120。此外，指示终 端100具备对通过控制部110控制的数据或图像进行输出显示的显示部、受理 来自用户的输入的触摸面板、键盘、鼠标等输入部、拍摄IoT设备的拍摄器件 等各种器件作为输入输出部140。

在指示终端100中，通过控制部110读取规定的程序，与通信部120协作 实现远程通知接收模块150和数据收发模块151。此外，在指示终端100中，通 过控制部110读取规定的程序，与输入输出部140协作实现显示模块170和输 入受理模块171。

被指示终端200与指示终端100同样，具备CPU、RAM以及ROM等作为 控制部210，具备用于能与其他设备进行通信的器件作为通信部220，具备显示 部、输入部、拍摄器件等各种器件作为输入输出部240。

在被指示终端200中，通过控制部210读取规定的程序，与通信部220协 作实现数据收发模块250、位置信息获取模块251以及远程通知接收模块252。 此外，在被指示终端200中，通过控制部210读取规定的程序，与输入输出部 240协作实现拍摄模块270和显示模块271。

(设备图像数据存储处理)

基于图4，对远程操作通知系统1执行的设备图像数据存储处理进行说明。 图4是表示计算机10和被指示终端200执行的设备图像数据存储处理的流程的 图。与本处理一同对上述的各装置的模块执行的处理进行说明。

需要说明的是，本处理能由计算机10和指示终端100执行。在该情况下， 指示终端100执行后述的由被指示终端200执行的各处理即可，因此省略详细 说明。此外，本处理能由指示终端100和被指示终端200执行。在该情况下， 指示终端100或被指示终端200中的任意一个或双方执行后述的由计算机10执 行的各处理即可，因此省略详细说明。

首先，数据收发模块250将能远程操作的IoT设备的图像和该IoT设备的标 识符(名称、型号、IP地址、MAC地址等)作为设备图像数据向计算机10发 送(步骤S10)。在步骤S10中，数据收发模块250发送的IoT设备的图像是本 次拍摄模块270拍摄到的IoT设备的图像、至今由拍摄模块270拍摄到的图像、 从外部数据库、网站等获取到的图像。此外，IoT设备的图像是从一个方向或多 个方向拍摄到的图像。数据收发模块250在图像是从一个方向拍摄到的图像的 情况下，将从一个方向拍摄到的一个图像和标识符作为设备图像数据发送。数 据收发模块250在图像是从多个方向拍摄到的图像的情况下，将从各方向拍摄 到的多张图像和标识符作为设备图像数据发送。

数据收发模块20接收设备图像数据。存储模块30存储接收到的设备图像 数据(步骤S11)。在步骤S11中，存储模块30将IoT设备的图像与标识符相 对应地存储。

以上是设备图像数据存储处理。远程操作通知系统1将计算机10存储的设 备图像数据用于后述的处理。

(远程操作通知处理)

基于图5和图6，对远程操作通知系统1执行的远程操作通知处理进行说明。 图5和图6是表示计算机10、指示终端100以及被指示终端200执行的远程操 作通知处理的流程的图。与本处理一同对上述的各装置的模块执行的处理进行 说明。

需要说明的是，本处理能由指示终端100和被指示终端200执行。在该情 况下，指示终端100或被指示终端200中的任意一个或双方执行后述的由计算 机10执行的各处理即可。

首先，拍摄模块270拍摄IoT设备(步骤20)。在步骤S20中，拍摄模块 270在用户希望进行作业辅助的状况下，拍摄IoT设备，因此在图像内拍入有一 个或多个IoT设备、其他电子设备等。

显示模块271显示作为拍摄模块270拍摄到的图像的拍摄图像(步骤S21)。 在步骤S21中，显示模块271既可以显示本次拍摄模块270拍摄到的拍摄图像， 也可以显示以前拍摄模块270拍摄到的拍摄图像。

计算机10、指示终端100以及被指示终端200将被指示终端200显示的拍 摄图像进行画面共享(步骤S22)。在步骤S22中，将被指示终端200显示拍摄 图像的窗口、显示拍摄图像的画面区域的画面经由计算机10与指示终端100进 行画面共享。

被指示终端200将显示于窗口的画面的画面数据向计算机10发送。计算机 10接收该画面数据，向指示终端100发送。指示终端100接收该画面数据，在 自身进行显示。

数据收发模块250将通过上述的步骤S21的处理显示的拍摄图像作为拍摄 图像数据，向计算机10发送(步骤S23)。需要说明的是，步骤S23的处理也 可以与上述的画面共享同时执行。

数据收发模块20接收拍摄图像数据。计算机10通过接收拍摄图像数据， 获取拍摄到IoT设备的图像。

图像判断模块40对获取到的拍摄图像进行图像解析(步骤S24)。在步骤 S24中，图像判断模块40提取拍摄图像的特征量、特征点。例如，图像判断模 块40提取拍摄图像所包含的物体的形状、颜色等。此外，图像判断模块40提 取拍摄图像所包含的像素值的平均、方差、直方图等统计值。

图像判断模块40对存储模块30存储的设备图像进行图像解析(步骤S25)。 在步骤S25中，图像判断模块40提取设备图像的特征量、特征点。图像判断模 块40与上述的步骤S24的处理同样提取设备图像的特征量、特征点。此时，图 像判断模块40在设备图像是从一个方向拍摄的情况下，从一张图像提取特征量、 特征点。此外，图像判断模块40在设备图像是从多个方向拍摄的情况下，从各 方向的设备图像提取特征量、特征点。

图像判断模块40通过将从拍摄图像提取到的特征量、特征点与从设备图像 提取的特征量、特征点进行比较，判断能由视觉确认拍摄图像的用户远程操作 的IoT设备的有无(步骤S26)。在步骤S26中，图像判断模块40通过判断从 设备图像提取到的特征量、特征点是否与从拍摄图像提取到的特征量、特征点 一致，判断拍摄图像中是否拍入有能远程操作的IoT设备。图像判断模块40在 判断为一致的情况下，判断为在该拍摄图像中拍入有能远程操作的IoT设备， 或拍入的电子设备或物体能远程操作。另一方面，图像判断模块40在判断为不 一致的情况下，判断为在该拍摄图像中未拍入有能远程操作的IoT设备，或拍 入的电子设备、物体不能远程操作。图像判断模块40获取与判断为能远程操作 的IoT设备相对应的标识符。图像判断模块40将由从一个方向的拍摄到的设备 图像中提取到的特征量、特征点与从获取到的拍摄图像中提取到的特征量、特 征点进行比较。此外，图像判断模块40将由从多个方向拍摄到的设备图像的各 方向的设备图像中提取到的特征量、特征点与从获取到的拍摄图像中提取到的 特征量、特征点进行比较。图像判断模块40也能根据比较的结果判断是从多个 方向中的哪个方向拍摄的图像。

在步骤S26中，图像判断模块40在判断为不存在能远程操作的IoT设备的 情况下(步骤S26否(NO))，结束本处理。

另一方面，在步骤S26中，在图像判断模块40判断为存在能远程操作的IoT设备的情况下(步骤S26是(YES))，坐标确定模块41确定该IoT设备在拍 摄图像中的坐标(步骤S27)。在步骤S27中，坐标确定模块41将该IoT设备 在拍摄图像中的坐标确定为例如直角坐标系。此时，坐标确定模块41确定该IoT设备的中心的坐标。

通知制作模块42基于确定的坐标和图像解析的结果，制作包围该IoT设备 的边框(步骤S28)。在步骤S28中，通知制作模块42根据从位于确定的坐标 的IoT设备提取到的形状、颜色变化，制作包围该IoT设备的边框。该边框为例 如矩形、圆形。通知制作模块42在制作矩形的边框的情况下，通过确定各顶点 在拍摄图像中的坐标，制作边框。此外，通知制作模块42在制作圆形的边框的 情况下，通过对确定的IoT设备的中心的坐标和半径的长度进行确定，制作边 框。在以下的说明中，对通知制作模块42制作了矩形的边框的情况进行说明。

远程通知发送模块21将制作的边框作为表示能远程操作的能远程操作通知 向指示终端100发送(步骤S29)。在步骤S29中，能远程操作通知是在拍摄有 判断为能远程操作的IoT设备的拍摄图像的位置，将能远程操作作为增强现实 显示于指示终端100的通知。在该能远程操作通知包括该IoT设备的标识符。

远程通知接收模块150接收能远程操作通知。显示模块170基于该能远程 操作通知，在画面共享的拍摄图像中的能远程操作的IoT设备的位置，显示增 强现实(步骤S30)。在步骤S30中，显示模块170显示包围该IoT设备的图像 的边框作为增强现实。该边框为上述的矩形的边框。显示模块170基于各顶点 的坐标，对拍摄图像中的IoT设备的图像重叠显示包围该IoT设备的边框。

基于图10，对显示模块170显示的增强现实进行说明。图10是表示显示模 块170显示的增强现实的一个例子的图。在图10中，显示模块170在共享画面 300显示作为增强现实的包围边框310。该包围边框310分别与拍入于在共享画 面300显示的拍摄图像的第一IoT设备320、第二IoT设备330重叠。显示模块 170在该包围边框310的内部显示IoT设备的标识符和能远程操作的意思。在显 示在包围边框310的内部显示的标识符和能远程操作的意思时，第一IoT设备 320和第二IoT设备330在能由用户判别的状态下进行显示。在图中，通过将该 显示的背景设为半透明来表示该状态。

输入受理模块171判断是否对显示模块170显示的边框受理了输入操作(步 骤S31)。在步骤S31中，输入受理模块171判断是否受理了向包围边框310 的输入操作。例如，输入受理模块171判断是否受理了向包围边框310的内部 的点击操作、向显示于包围边框310内的内容的点击操作、向包围边框310的 边框线的点击操作、语音输入以及手势输入等输入操作。在步骤S31中，在输 入受理模块171判断为未受理输入操作的情况下(步骤S31否)，反复进行本 处理。需要说明的是，输入受理模块171也可以在画面共享结束的输入操作， 或在规定的时间以上未受理输入操作的情况下，结束本处理。

另一方面，在步骤S31中，输入受理模块171在判断为受理了输入操作的 情况下(步骤S31是)，显示模块170显示用于远程操作该IoT设备所需要的 画面(步骤S32)。在步骤S32中，显示模块170显示例如登录画面作为用于远 程操作该IoT设备所需要的画面。显示模块170显示受理ID和密码的输入的画 面作为登录画面。显示模块170将登录画面作为重叠于该IoT设备的增强现实 进行显示。

需要说明的是，显示模块170也可以将登录画面显示于共享画面的任意的 场所。此外，显示模块170也可以将登录画面显示于共享画面的外部。

数据收发模块151将受理输入的ID和密码作为登录数据，向第一IoT设备 320发送(步骤S33)。指示终端100通过登录至第一IoT设备320，对其进行 远程操作。此时，数据收发模块151也可以将登录数据发送至计算机10，经由 计算机10向第一IoT设备320发送。

需要说明的是，远程操作通知系统1也可以将指示终端100显示的增强现 实显示于被指示终端200。在该情况下，远程操作通知系统1将能远程操作通知 发送至被指示终端200，被指示终端200基于该能远程操作通知显示增强现实即 可。

以上是远程操作通知处理。

(变形例)

对上述的远程操作通知系统1执行的设备图像数据存储处理和远程操作通 知处理的变形例进行说明。在以下的说明中，对与上述的构成相同的构成，标 注相同的附图标记，省略其详细说明。

(设备图像数据存储处理)

基于图7，对远程操作通知系统1执行的设备图像数据存储处理的变形例进 行说明。图7是表示计算机10和被指示终端200执行的设备图像数据存储处理 的变形例的流程的图。与本处理一同对上述的各装置的模块执行的处理进行说 明。

需要说明的是，本处理与上述的设备图像数据存储处理同样能由计算机10 和指示终端100执行。在该情况下，指示终端100执行后述的由被指示终端200 执行的各处理即可，因此省略详细说明。此外，本处理与上述的设备图像数据 存储处理同样能由指示终端100和被指示终端20执行。在该情况下，指示终端 100或被指示终端200中的任意一个或双方执行后述的由计算机10执行的各处 理即可，因此省略详细说明。

首先，数据收发模块250将能远程操作的IoT设备的图像、该IoT设备的标 识符以及该IoT设备的位置信息作为设备图像数据向计算机10发送(步骤S40)。 在步骤S40中，数据收发模块250发送的IoT设备的图像与上述的步骤S10的 图像相同。IoT设备的位置信息是获取例如拍摄地点的自身的位置信息、IoT设 备的位置信息的信息。

数据收发模块20接收设备图像数据。存储模块30存储接收到的设备图像 数据(步骤S41)。在步骤S41中，存储模块30将IoT设备的图像、标识符以 及位置信息相对应地存储。

以上是设备图像数据存储处理的变形例。远程操作通知系统1将计算机10 存储的设备图像数据用于后述的处理。

(远程操作通知处理)

基于图8和图9，对远程操作通知系统1执行的远程操作通知处理的变形例 进行说明。图8和图9是表示计算机10、指示终端100以及被指示终端200执 行的远程操作通知处理的变形例的流程的图。与本处理一同对上述的各装置的 模块执行的处理进行说明。

远程操作通知系统1执行上述的远程操作通知处理的步骤S20～S22的处理 (步骤S50～S52)。省略对各处理的详细说明。

位置信息获取模块251从GPS等获取自身的位置信息(步骤S53)。需要 说明的是，步骤S53的处理也可以在与上述的步骤S50的处理相同的定时执行。 此外，在通过步骤S51的处理显示的拍摄图像不是本次拍摄的图像的情况下， 在以前对拍摄图像进行拍摄的定时从GPS等获取自身的位置信息即可。

数据收发模块250将通过上述的步骤S50的处理拍摄到的拍摄图像和通过 上述的步骤S53的处理获取到的自身的位置信息作为拍摄图像数据，向计算机 10发送(步骤S54)。需要说明的是，步骤S54的处理也可以与上述的画面共 享同时执行。

数据收发模块20接收拍摄图像数据。计算机10通过接收拍摄图像数据， 获取拍摄到IoT设备的图像和拍摄到IoT设备的地点的位置信息。

远程操作通知系统1执行上述的步骤S24～S26的处理(步骤S55～S57)。 省略对各处理的详细说明。

在步骤S57中，在图像判断模块40判断为存在能远程操作的IoT设备的情 况下(步骤S57是)，执行上述的远程操作通知处理的步骤S27以后的处理。 需要说明的是，在本处理中，为了简化说明，省略记载，作为结束处理进行说 明。

另一方面，在步骤S57中，在图像判断模块40判断为不存在能远程操作的IoT设备的情况下(步骤S57否)，位置信息判断模块43基于拍摄图像数据的 位置信息和设备图像数据的位置信息，判断在被指示终端200的周边的位置是 否存在能远程操作的IoT设备(步骤S58)。在步骤S58中，位置信息判断模块 43判断是否能确定具有设备图像数据的位置信息中的拍摄图像数据的位置信息 的附近的位置信息的IoT设备。附近的位置信息是指，例如认为是同一房间内 的位置信息、半径数米以内的位置信息。位置信息判断模块43通过判断存储模 块30存储的位置信息中对应于符合该条件的位置信息的IoT设备的有无，判断 在被指示终端200的周边的位置是否存在能远程操作的IoT设备。

在步骤S58中，在位置信息判断模块43判断为不存在的情况下(步骤S58 否)，结束本处理。

另一方面，在步骤S58中，在位置信息判断模块43判断为存在的情况下(步 骤S58是)，位置信息判断模块43基于拍摄图像数据的位置信息和设备图像数 据的位置信息，确定能远程操作的IoT设备所在的方向(步骤S59)。在步骤 S59中，位置信息判断模块43将被携带终端200作为中心，确定在哪个方向(例 如右、右后方、左以及左后方)存在能远程操作的IoT设备。

通知制作模块42基于确定的方向，制作表示能远程操作的IoT设备所在的 方向的箭头(步骤S60)。在步骤S60中，通知制作模块42制作箭头，该箭头 表示该IoT设备相对于拍摄图像位于哪个方向。该箭头，例如，在IoT设备位于 从拍摄图像看的左后方侧的情况下，制作于拍摄图像左下，在IoT设备位于从 拍摄图像看的右侧的情况下，制作于拍摄图像右。在以下的说明中，对通知制 作模块42在拍摄图像的左后方侧和右侧进行了制作的情况进行说明。

远程通知发送模块21将制作的箭头作为表示能远程操作的IoT设备位于该 方向的能远程操作通知，向被指示终端200发送(步骤S61)。在步骤S61中， 能远程操作通知是指，将判断为能远程操作的IoT设备所在的方向作为增强现 实显示于拍摄图像的通知。在该能远程操作通知中包括IoT设备的标识符。

远程通知接收模块252接收能远程操作通知。显示模块271基于该能远程 操作通知，将能远程操作的IoT设备所在的方向作为增强现实显示于画面共享 的拍摄图像(步骤S62)。在步骤S62中，显示模块271显示表示该IoT设备所 在的场所的方向的箭头作为增强现实。显示模块271对拍摄图像重叠显示箭头。

基于图11，对显示模块271显示的增强现实进行说明。图11是表示显示模 块271显示的增强现实的一个例子的图。在图11中，显示模块271在共享画面 500，显示作为增强现实的第一箭头510和第二箭头520。在该第一箭头510和 第二箭头520的内部显示表示IoT设备所在的方向的意思。第一箭头510和第 二箭头520分别表示能远程操作的IoT设备所在的场所的方向。它们既可以指 向同一IoT设备，也可以指向不同的IoT设备。

用户通过视觉确认该增强现实，使被指示终端200向与上一次拍摄的方向 不同的方向移动，拍摄出拍摄图像。远程操作通知系统1再次执行上述的步骤 S50～S57的处理，在判断为存在能远程操作的IoT设备的情况下，执行上述的 远程操作通知处理的步骤S27以后的处理。需要说明的是，在本处理中，为了 简化说明，省略记载，结束处理。

需要说明的是，远程操作通知系统1也可以将被指示终端200显示的增强 现实显示于指示终端100。在该情况下，远程操作通知系统1将能远程操作通知 发送至指示终端100，指示终端100基于该能远程操作通知，显示增强现实即可。

以上为远程操作通知处理的变形例。

需要说明的是，远程操作通知系统1也可以将上述的各处理组合执行。例 如，在设备图像数据和拍摄图像数据中包括位置信息的情况下，也可以将包围 边框310作为增强现实显示于指示终端100，并且将第一箭头510和第二箭头 520作为增强现实显示于被指示终端200。

上述的单元和功能通过由计算机(包括CPU、信息处理装置以及各种终端) 读取规定的程序并执行来实现。程序由例如，从计算机经由网络而提供(SaaS： 软件即服务)的方案来提供。此外，程序由记录于例如软盘、CD(光盘，包括 CD－ROM等)以及DVD(高密度数字视频光盘，包括DVD－ROM、DVD－ RAM等)等计算机可读取记录介质的方案来提供。在该情况下，计算机从该记 录介质读取程序，传送至内部存储装置或外部存储装置，存储并执行。此外， 也可以将该程序预先记录于例如磁盘、光盘以及磁光盘等存储装置(记录介质)， 从该存储装置经由通信线路提供给计算机。

以上，对本发明的实施方式进行了说明，但本发明不限于上述的这些实施 方式。此外，本发明的实施方式所述的效果不过是对本发明产生的最合适的效 果的列举，本发明的效果不限定于本发明的实施方式所记载的效果。

附图标记说明：

1远程操作通知系统，10计算机，100指示终端，200被指示终端。

Claims (4)

1.一种计算机系统，其特征在于，具备：

获取单元，获取拍摄到IoT设备的图像；

存储单元，存储图像，该图像为从多个方向拍摄到能远程操作的所述IoT设备的图像；

判断单元，基于存储的多个方向的图像，通过与获取到的所述图像进行比较的图像识别，判断是从哪个方向拍摄到的图像，从该判断结果和获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；

第一通知单元，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况；以及

第二通知单元，在判断为不存在能远程操作的所述IoT设备，在拍摄到所述拍摄图像的地点的附近存在其他能远程操作的IoT设备的情况下，用增强现实显示该其他能远程操作的IoT设备所在的方向。

2.根据权利要求1所述的计算机系统，其特征在于，

所述通知单元将能远程操作的情况作为增强现实而显示包围所述IoT设备的图像的边框，

所述计算机系统还具备：显示单元，对显示的边框受理输入操作，根据输入显示对所述IoT设备进行远程操作的登录画面。

3.一种远程操作通知方法，由计算机系统执行，具备以下步骤：

获取拍摄到IoT设备的图像；

存储单元，存储图像，该图像为从多个方向拍摄到能远程操作的所述IoT设备的图像；

基于存储的多个方向的图像，通过与获取到的所述图像进行比较的图像识别，判断是从哪个方向拍摄到的图像，从该判断结果和获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；

在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况；以及

在判断为不存在能远程操作的所述IoT设备，在拍摄到所述拍摄图像的地点的附近存在其他能远程操作的IoT设备的情况下，用增强现实显示该其他能远程操作的IoT设备所在的方向。

4.一种记录介质，记录计算机可读取的程序，所述计算机可读取的程序用于使计算机系统执行以下步骤：

获取拍摄到IoT设备的图像；

存储单元，存储图像，该图像为从多个方向拍摄到能远程操作的所述IoT设备的图像；

基于存储的多个方向的图像，通过与获取到的所述图像进行比较的图像识别，判断是从哪个方向拍摄到的图像，从该判断结果和获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；

在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况，以及

在判断为不存在能远程操作的所述IoT设备，在拍摄到所述拍摄图像的地点的附近存在其他能远程操作的IoT设备的情况下，用增强现实显示该其他能远程操作的IoT设备所在的方向。

Images