CN110800314A - 计算机系统、远程操作通知方法以及程序 - Google Patents

计算机系统、远程操作通知方法以及程序 Download PDF

Info

Publication number
CN110800314A
CN110800314A CN201780092596.4A CN201780092596A CN110800314A CN 110800314 A CN110800314 A CN 110800314A CN 201780092596 A CN201780092596 A CN 201780092596A CN 110800314 A CN110800314 A CN 110800314A
Authority
CN
China
Prior art keywords
iot device
image
terminal
computer
remotely
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780092596.4A
Other languages
English (en)
Other versions
CN110800314B (zh
Inventor
菅谷俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of CN110800314A publication Critical patent/CN110800314A/zh
Application granted granted Critical
Publication of CN110800314B publication Critical patent/CN110800314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明的目的在于提供一种在进行远程作业辅助时，能显示能由用户远程操作的IoT设备的计算机系统、远程操作通知方法以及程序。计算机系统获取拍摄到IoT设备的图像，从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。此外，预先存储能远程操作的所述IoT设备的图像，并基于预先存储的所述IoT设备的图像，通过与获取到的所述图像进行比较的图像识别，判断该IoT设备是能远程操作的IoT设备。此外，将能远程操作作为增强现实，显示包围所述IoT设备的图像的边框，对显示的边框受理输入操作，根据输入显示对所述IoT设备进行远程操作的登录画面。

Description

计算机系统、远程操作通知方法以及程序
技术领域
本发明涉及在指示终端与被指示终端之间共享画面的计算机系统、远程操作通知方法以及程序。
背景技术
近年，已知用接受远程作业的指示的被指示者持有的被指示终端和给予远程作业的指示的指示者持有的指示终端来进行画面共享的方法。此时，已知用拍摄接受指示的对象，使指示内容与该对象重叠显示的所谓的增强现实进行指示的方法。
有时在接受像这样的增强现实的指示时，在拍摄到的现实世界中视觉确认了能远程操作的IoT(Internet of Things：物联网)设备。在该情况下，理想的是作为指示者或被指示者的用户能从该IoT设备进行远程操作。
作为显示像这样的增强现实的构成，公开了一种在被指示者装备的可穿戴终端显示来自指示者的指示内容的构成(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016－181751号公报
发明内容
发明所要解决的问题
然而，在专利文献1的构成中，难以判断在显示的画面内是否包括能远程操作的IoT设备，指示内容的对象是否为能远程操作的IoT设备。
本发明的目的在于提供一种在进行远程作业辅助时，能显示能由用户(指示者或被指示者中的任意一个或双方)远程操作的IoT设备的计算机系统、远程操作通知方法以及程序。
用于解决问题的方案
在本发明中，提供以下这样的解决方案。
本发明提供一种计算机系统，其特征在于，具备：获取单元，获取拍摄到IoT设备的图像；判断单元，从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；以及通知单元，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。
根据本发明，计算机系统获取拍摄到IoT设备的图像，从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。
本发明属于计算机系统的范畴，但在远程操作通知方法和程序等其他范畴中，会发挥对应于该范畴的同样的作用、效果。
发明效果
根据本发明，能提供一种在进行远程作业辅助时，能显示能由用户远程操作的IoT设备计算机系统、远程操作通知方法以及程序。
附图说明
图1是表示远程操作通知系统1的概要的图。
图2是远程操作通知系统1的整体构成图。
图3是计算机10、指示终端100以及被指示终端200的功能框图。
图4是表示计算机10、被指示终端200执行的设备图像数据存储处理的流程图。
图5是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的流程图。
图6是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的流程图。
图7是表示计算机10、被指示终端200执行的设备图像数据存储处理的变形例的流程图。
图8是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的变形例的流程图。
图9是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的变形例的流程图。
图10是表示指示终端100显示的增强现实的一个例子的图。
图11是表示被指示终端200显示的增强现实的一个例子的图。
具体实施方式
以下，参照附图对用于实施本发明的最佳实施方式进行说明。需要说明的是，该实施方式仅是一个例子，本发明的技术的范围不限于此。
(远程操作通知系统1的概要)
基于图1对本发明的优选的实施方式的概要进行说明。图1是用于对作为本发明的优选的实施方式的远程操作通知系统1的概要进行说明的图。远程操作通知系统1由计算机10、指示终端100以及被指示终端200构成，是指示终端100和被指示终端200经由计算机10执行画面共享的计算机系统。
需要说明的是，在图1中，计算机10、指示终端100以及被指示终端200的数量能适当变更。此外，计算机10、指示终端100以及被指示终端200不限于实际存在的装置，也可以是虚拟的装置。此外，后述的各处理也可以由计算机10、指示终端100以及被指示终端200中的任意一个或多个的组合来实现。此外，也可以由指示终端100和被指示终端200构成计算机系统1，而不经由计算机10。在该情况下，指示终端100或被指示终端200中的任意一个或双方执行由计算机10执行的各处理即可。
计算机10是连接为能与指示终端100、被指示终端200进行数据通信的计算机装置。
指示终端100是连接为能与计算机10进行数据通信的终端装置。指示终端100是在进行远程作业辅助时，作为给予指示的一侧的用户的指示者持有的终端装置。指示终端100例如是便携电话、便携信息终端、平板终端、个人计算机，除此之外，还可以是笔记本终端、板状(slate)终端、电子书籍终端以及便携式音乐播放器等电器、智能眼镜和头戴显示器等可穿戴终端、其他物品。
被指示终端200是连接为能与计算机10进行数据通信的终端装置。被指示终端200是在进行远程作业辅助时，作为接受指示的一侧的用户的被指示者持有的终端装置。被指示终端200是与上述的指示终端100同样的电器、可穿戴终端、其他物品。
首先，指示终端100或被指示终端200中的任意一个或双方将能远程操作的IoT设备的设备图像数据向计算机10发送(步骤S01)。指示终端100或被指示终端200将设备图像数据向计算机10发送，所述设备图像数据匹配了从规定的一个方向或多个方向拍摄到能远程操作的IoT设备的设备图像与该IoT设备的标识符(名称、型号、IP地址、MAC地址等)。此时的设备图像既可以是预先拍摄到的设备图像，也可以是这次新拍摄的设备图像。
计算机10接收设备图像数据。计算机10存储接收到的设备图像数据(步骤S02)。
指示终端100和被指示终端200执行画面共享(步骤S03)。被指示终端200将自身显示的规定的窗口、规定的画面区域的一部分或全部与指示终端100进行画面共享。此时进行画面共享的图像是被指示终端200显示的拍摄图像。在画面共享中，被指示终端200通过将成为自身显示的对象的画面数据经由计算机10向指示终端100发送，进行画面共享。
被指示终端200将拍摄到的图像作为拍摄图像数据向计算机10发送(步骤S04)。被指示终端200拍摄远程作业辅助所需要的场所、物品，将其作为拍摄图像数据向计算机10发送。在该拍摄图像中，拍入有IoT设备等。被指示终端200发送的拍摄图像数据既可以是至今拍摄到的拍摄图像，也可以是本次拍摄到的拍摄图像。
计算机10接收拍摄图像数据。计算机10通过接收拍摄图像数据，获取拍摄到IoT设备的拍摄图像。计算机10从获取到的拍摄图像判断能由视觉确认该拍摄图像的用户远程操作的IoT设备(步骤S05)。计算机10基于预先存储的设备图像数据，通过与获取到的拍摄图像进行比较的图像识别，判断是否拍入有能远程操作的IoT设备。
例如，计算机10通过对设备图像数据进行图像识别，提取特征量、特征点。计算机10通过对拍摄图像数据进行图像识别，提取特征量、特征点。计算机10通过对提取到的各自的特征量、特征点进行比较，判断是否具有相同的特征量、特征点，在判断为具有相同的特征量、特征点的情况下，判断为该IoT设备能远程操作，在判断为不具有相同的特征量、特征点的情况下，判断为该IoT设备不能远程操作。
计算机10将能远程操作通知向指示终端100发送，该能远程操作通知在拍摄有判断为能远程操作的IoT设备的拍摄图像的位置，用增强现实显示能远程操作(步骤S06)。
指示终端100接收能远程操作通知。指示终端100基于该能远程操作通知，在拍摄有判断为能远程操作的IoT设备的拍摄图像的位置，用增强现实显示能远程操作(步骤S07)。指示终端100显示包围IoT设备的图像的边框作为增强现实。指示终端100对显示的边框受理输入操作，根据输入显示远程操作IoT设备的登录画面(ID：、密码等输入画面)。指示终端100在登录到该IoT设备后，能远程操作该IoT设备。
以上为远程操作通知系统1的概要。
(远程操作通知系统1的系统构成)
基于图2，对作为本发明的优选的实施方式的远程操作通知系统1的系统构成进行说明。图2是表示作为本发明的优选的实施方式的远程操作通知系统1的系统构成的图。远程操作通知系统1由计算机10、指示终端100、被指示终端200以及公共线路网络(互联网、第三代、第四代通信网等)5构成，是指示终端100和被指示终端200经由计算机10执行画面共享的计算机系统。
需要说明的是，构成远程操作通知系统1的各装置类的数量和其种类能适当变更。此外，远程操作通知系统1不限于实际存在的装置，也可以由虚拟的装置类来实现。此外，后述的各处理也可以由构成远程操作通知系统1的各装置类中的任意一个或多个的组合来实现。此外，远程操作通知系统1也可以由指示终端100和被指示终端200构成。在该情况下，指示终端100或被指示终端200中的任意一个或双方执行由计算机10执行的处理即可。
计算机10是具备后述的功能的上述的计算机装置。
指示终端100是具备后述的功能的上述的终端装置。
被指示终端200是具备后述的功能的上述的终端装置。
(各功能的说明)
基于图3，对作为本发明的优选的实施方式的远程操作通知系统1的功能进行说明。图3是表示计算机10、指示终端100以及被指示终端200的功能框图的图。
计算机10具备CPU(Central Processing Unit：中央处理器)、RAM(Random AccessMemory：随机存储器)以及ROM(Read Only Memory：只读存储器)等作为控制部11，具备用于能与其他设备进行通信的器件，例如依据IEEE802.11的Wi-Fi(Wireless-Fidelity：无线上网)对应器件等作为通信部12。此外，计算机10具备由硬盘、半导体存储器、记录介质、存储卡等实现的数据的储存(storge)部作为存储部13。此外，计算机10具备执行各种计算、处理等的各种器件等作为处理部14。
在计算机10中，通过控制部11读取规定的程序，与通信部12协作实现数据收发模块20和远程通知发送模块21。此外，在计算机10中，通过控制部11读取规定的程序，与存储部13协作实现存储模块30。此外，在计算机10中，通过控制部11读取规定的程序，与处理部14协作实现图像判断模块40、坐标确定模块41、通知制作模块42以及位置信息判断模块43。
指示终端100与计算机10同样，具备CPU、RAM以及ROM等作为控制部110，具备用于能与其他设备进行通信的器件作为通信部120。此外，指示终端100具备对通过控制部110控制的数据或图像进行输出显示的显示部、受理来自用户的输入的触摸面板、键盘、鼠标等输入部、拍摄IoT设备的拍摄器件等各种器件作为输入输出部140。
在指示终端100中，通过控制部110读取规定的程序，与通信部120协作实现远程通知接收模块150和数据收发模块151。此外，在指示终端100中，通过控制部110读取规定的程序，与输入输出部140协作实现显示模块170和输入受理模块171。
被指示终端200与指示终端100同样，具备CPU、RAM以及ROM等作为控制部210，具备用于能与其他设备进行通信的器件作为通信部220，具备显示部、输入部、拍摄器件等各种器件作为输入输出部240。
在被指示终端200中，通过控制部210读取规定的程序，与通信部220协作实现数据收发模块250、位置信息获取模块251以及远程通知接收模块252。此外，在被指示终端200中，通过控制部210读取规定的程序，与输入输出部240协作实现拍摄模块270和显示模块271。
(设备图像数据存储处理)
基于图4，对远程操作通知系统1执行的设备图像数据存储处理进行说明。图4是表示计算机10和被指示终端200执行的设备图像数据存储处理的流程的图。与本处理一同对上述的各装置的模块执行的处理进行说明。
需要说明的是，本处理能由计算机10和指示终端100执行。在该情况下，指示终端100执行后述的由被指示终端200执行的各处理即可，因此省略详细说明。此外，本处理能由指示终端100和被指示终端200执行。在该情况下，指示终端100或被指示终端200中的任意一个或双方执行后述的由计算机10执行的各处理即可，因此省略详细说明。
首先，数据收发模块250将能远程操作的IoT设备的图像和该IoT设备的标识符(名称、型号、IP地址、MAC地址等)作为设备图像数据向计算机10发送(步骤S10)。在步骤S10中，数据收发模块250发送的IoT设备的图像是本次拍摄模块270拍摄到的IoT设备的图像、至今由拍摄模块270拍摄到的图像、从外部数据库、网站等获取到的图像。此外，IoT设备的图像是从一个方向或多个方向拍摄到的图像。数据收发模块250在图像是从一个方向拍摄到的图像的情况下，将从一个方向拍摄到的一个图像和标识符作为设备图像数据发送。数据收发模块250在图像是从多个方向拍摄到的图像的情况下，将从各方向拍摄到的多张图像和标识符作为设备图像数据发送。
数据收发模块20接收设备图像数据。存储模块30存储接收到的设备图像数据(步骤S11)。在步骤S11中，存储模块30将IoT设备的图像与标识符相对应地存储。
以上是设备图像数据存储处理。远程操作通知系统1将计算机10存储的设备图像数据用于后述的处理。
(远程操作通知处理)
基于图5和图6，对远程操作通知系统1执行的远程操作通知处理进行说明。图5和图6是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的流程的图。与本处理一同对上述的各装置的模块执行的处理进行说明。
需要说明的是，本处理能由指示终端100和被指示终端200执行。在该情况下，指示终端100或被指示终端200中的任意一个或双方执行后述的由计算机10执行的各处理即可。
首先，拍摄模块270拍摄IoT设备(步骤20)。在步骤S20中，拍摄模块270在用户希望进行作业辅助的状况下，拍摄IoT设备，因此在图像内拍入有一个或多个IoT设备、其他电子设备等。
显示模块271显示作为拍摄模块270拍摄到的图像的拍摄图像(步骤S21)。在步骤S21中，显示模块271既可以显示本次拍摄模块270拍摄到的拍摄图像，也可以显示以前拍摄模块270拍摄到的拍摄图像。
计算机10、指示终端100以及被指示终端200将被指示终端200显示的拍摄图像进行画面共享(步骤S22)。在步骤S22中，将被指示终端200显示拍摄图像的窗口、显示拍摄图像的画面区域的画面经由计算机10与指示终端100进行画面共享。
被指示终端200将显示于窗口的画面的画面数据向计算机10发送。计算机10接收该画面数据，向指示终端100发送。指示终端100接收该画面数据，在自身进行显示。
数据收发模块250将通过上述的步骤S21的处理显示的拍摄图像作为拍摄图像数据，向计算机10发送(步骤S23)。需要说明的是，步骤S23的处理也可以与上述的画面共享同时执行。
数据收发模块20接收拍摄图像数据。计算机10通过接收拍摄图像数据，获取拍摄到IoT设备的图像。
图像判断模块40对获取到的拍摄图像进行图像解析(步骤S24)。在步骤S24中，图像判断模块40提取拍摄图像的特征量、特征点。例如，图像判断模块40提取拍摄图像所包含的物体的形状、颜色等。此外，图像判断模块40提取拍摄图像所包含的像素值的平均、方差、直方图等统计值。
图像判断模块40对存储模块30存储的设备图像进行图像解析(步骤S25)。在步骤S25中，图像判断模块40提取设备图像的特征量、特征点。图像判断模块40与上述的步骤S24的处理同样提取设备图像的特征量、特征点。此时，图像判断模块40在设备图像是从一个方向拍摄的情况下，从一张图像提取特征量、特征点。此外，图像判断模块40在设备图像是从多个方向拍摄的情况下，从各方向的设备图像提取特征量、特征点。
图像判断模块40通过将从拍摄图像提取到的特征量、特征点与从设备图像提取的特征量、特征点进行比较，判断能由视觉确认拍摄图像的用户远程操作的IoT设备的有无(步骤S26)。在步骤S26中，图像判断模块40通过判断从设备图像提取到的特征量、特征点是否与从拍摄图像提取到的特征量、特征点一致，判断拍摄图像中是否拍入有能远程操作的IoT设备。图像判断模块40在判断为一致的情况下，判断为在该拍摄图像中拍入有能远程操作的IoT设备，或拍入的电子设备或物体能远程操作。另一方面，图像判断模块40在判断为不一致的情况下，判断为在该拍摄图像中未拍入有能远程操作的IoT设备，或拍入的电子设备、物体不能远程操作。图像判断模块40获取与判断为能远程操作的IoT设备相对应的标识符。图像判断模块40将由从一个方向的拍摄到的设备图像中提取到的特征量、特征点与从获取到的拍摄图像中提取到的特征量、特征点进行比较。此外，图像判断模块40将由从多个方向拍摄到的设备图像的各方向的设备图像中提取到的特征量、特征点与从获取到的拍摄图像中提取到的特征量、特征点进行比较。图像判断模块40也能根据比较的结果判断是从多个方向中的哪个方向拍摄的图像。
在步骤S26中，图像判断模块40在判断为不存在能远程操作的IoT设备的情况下(步骤S26否(NO))，结束本处理。
另一方面，在步骤S26中，在图像判断模块40判断为存在能远程操作的IoT设备的情况下(步骤S26是(YES))，坐标确定模块41确定该IoT设备在拍摄图像中的坐标(步骤S27)。在步骤S27中，坐标确定模块41将该IoT设备在拍摄图像中的坐标确定为例如直角坐标系。此时，坐标确定模块41确定该IoT设备的中心的坐标。
通知制作模块42基于确定的坐标和图像解析的结果，制作包围该IoT设备的边框(步骤S28)。在步骤S28中，通知制作模块42根据从位于确定的坐标的IoT设备提取到的形状、颜色变化，制作包围该IoT设备的边框。该边框为例如矩形、圆形。通知制作模块42在制作矩形的边框的情况下，通过确定各顶点在拍摄图像中的坐标，制作边框。此外，通知制作模块42在制作圆形的边框的情况下，通过对确定的IoT设备的中心的坐标和半径的长度进行确定，制作边框。在以下的说明中，对通知制作模块42制作了矩形的边框的情况进行说明。
远程通知发送模块21将制作的边框作为表示能远程操作的能远程操作通知向指示终端100发送(步骤S29)。在步骤S29中，能远程操作通知是在拍摄有判断为能远程操作的IoT设备的拍摄图像的位置，将能远程操作作为增强现实显示于指示终端100的通知。在该能远程操作通知包括该IoT设备的标识符。
远程通知接收模块150接收能远程操作通知。显示模块170基于该能远程操作通知，在画面共享的拍摄图像中的能远程操作的IoT设备的位置，显示增强现实(步骤S30)。在步骤S30中，显示模块170显示包围该IoT设备的图像的边框作为增强现实。该边框为上述的矩形的边框。显示模块170基于各顶点的坐标，对拍摄图像中的IoT设备的图像重叠显示包围该IoT设备的边框。
基于图10，对显示模块170显示的增强现实进行说明。图10是表示显示模块170显示的增强现实的一个例子的图。在图10中，显示模块170在共享画面300显示作为增强现实的包围边框310。该包围边框310分别与拍入于在共享画面300显示的拍摄图像的第一IoT设备320、第二IoT设备330重叠。显示模块170在该包围边框310的内部显示IoT设备的标识符和能远程操作的意思。在显示在包围边框310的内部显示的标识符和能远程操作的意思时，第一IoT设备320和第二IoT设备330在能由用户判别的状态下进行显示。在图中，通过将该显示的背景设为半透明来表示该状态。
输入受理模块171判断是否对显示模块170显示的边框受理了输入操作(步骤S31)。在步骤S31中，输入受理模块171判断是否受理了向包围边框310的输入操作。例如，输入受理模块171判断是否受理了向包围边框310的内部的点击操作、向显示于包围边框310内的内容的点击操作、向包围边框310的边框线的点击操作、语音输入以及手势输入等输入操作。在步骤S31中，在输入受理模块171判断为未受理输入操作的情况下(步骤S31否)，反复进行本处理。需要说明的是，输入受理模块171也可以在画面共享结束的输入操作，或在规定的时间以上未受理输入操作的情况下，结束本处理。
另一方面，在步骤S31中，输入受理模块171在判断为受理了输入操作的情况下(步骤S31是)，显示模块170显示用于远程操作该IoT设备所需要的画面(步骤S32)。在步骤S32中，显示模块170显示例如登录画面作为用于远程操作该IoT设备所需要的画面。显示模块170显示受理ID和密码的输入的画面作为登录画面。显示模块170将登录画面作为重叠于该IoT设备的增强现实进行显示。
需要说明的是，显示模块170也可以将登录画面显示于共享画面的任意的场所。此外，显示模块170也可以将登录画面显示于共享画面的外部。
数据收发模块151将受理输入的ID和密码作为登录数据，向第一IoT设备320发送(步骤S33)。指示终端100通过登录至第一IoT设备320，对其进行远程操作。此时，数据收发模块151也可以将登录数据发送至计算机10，经由计算机10向第一IoT设备320发送。
需要说明的是，远程操作通知系统1也可以将指示终端100显示的增强现实显示于被指示终端200。在该情况下，远程操作通知系统1将能远程操作通知发送至被指示终端200，被指示终端200基于该能远程操作通知显示增强现实即可。
以上是远程操作通知处理。
(变形例)
对上述的远程操作通知系统1执行的设备图像数据存储处理和远程操作通知处理的变形例进行说明。在以下的说明中，对与上述的构成相同的构成，标注相同的附图标记，省略其详细说明。
(设备图像数据存储处理)
基于图7，对远程操作通知系统1执行的设备图像数据存储处理的变形例进行说明。图7是表示计算机10和被指示终端200执行的设备图像数据存储处理的变形例的流程的图。与本处理一同对上述的各装置的模块执行的处理进行说明。
需要说明的是，本处理与上述的设备图像数据存储处理同样能由计算机10和指示终端100执行。在该情况下，指示终端100执行后述的由被指示终端200执行的各处理即可，因此省略详细说明。此外，本处理与上述的设备图像数据存储处理同样能由指示终端100和被指示终端20执行。在该情况下，指示终端100或被指示终端200中的任意一个或双方执行后述的由计算机10执行的各处理即可，因此省略详细说明。
首先，数据收发模块250将能远程操作的IoT设备的图像、该IoT设备的标识符以及该IoT设备的位置信息作为设备图像数据向计算机10发送(步骤S40)。在步骤S40中，数据收发模块250发送的IoT设备的图像与上述的步骤S10的图像相同。IoT设备的位置信息是获取例如拍摄地点的自身的位置信息、IoT设备的位置信息的信息。
数据收发模块20接收设备图像数据。存储模块30存储接收到的设备图像数据(步骤S41)。在步骤S41中，存储模块30将IoT设备的图像、标识符以及位置信息相对应地存储。
以上是设备图像数据存储处理的变形例。远程操作通知系统1将计算机10存储的设备图像数据用于后述的处理。
(远程操作通知处理)
基于图8和图9，对远程操作通知系统1执行的远程操作通知处理的变形例进行说明。图8和图9是表示计算机10、指示终端100以及被指示终端200执行的远程操作通知处理的变形例的流程的图。与本处理一同对上述的各装置的模块执行的处理进行说明。
远程操作通知系统1执行上述的远程操作通知处理的步骤S20～S22的处理(步骤S50～S52)。省略对各处理的详细说明。
位置信息获取模块251从GPS等获取自身的位置信息(步骤S53)。需要说明的是，步骤S53的处理也可以在与上述的步骤S50的处理相同的定时执行。此外，在通过步骤S51的处理显示的拍摄图像不是本次拍摄的图像的情况下，在以前对拍摄图像进行拍摄的定时从GPS等获取自身的位置信息即可。
数据收发模块250将通过上述的步骤S50的处理拍摄到的拍摄图像和通过上述的步骤S53的处理获取到的自身的位置信息作为拍摄图像数据，向计算机10发送(步骤S54)。需要说明的是，步骤S54的处理也可以与上述的画面共享同时执行。
数据收发模块20接收拍摄图像数据。计算机10通过接收拍摄图像数据，获取拍摄到IoT设备的图像和拍摄到IoT设备的地点的位置信息。
远程操作通知系统1执行上述的步骤S24～S26的处理(步骤S55～S57)。省略对各处理的详细说明。
在步骤S57中，在图像判断模块40判断为存在能远程操作的IoT设备的情况下(步骤S57是)，执行上述的远程操作通知处理的步骤S27以后的处理。需要说明的是，在本处理中，为了简化说明，省略记载，作为结束处理进行说明。
另一方面，在步骤S57中，在图像判断模块40判断为不存在能远程操作的IoT设备的情况下(步骤S57否)，位置信息判断模块43基于拍摄图像数据的位置信息和设备图像数据的位置信息，判断在被指示终端200的周边的位置是否存在能远程操作的IoT设备(步骤S58)。在步骤S58中，位置信息判断模块43判断是否能确定具有设备图像数据的位置信息中的拍摄图像数据的位置信息的附近的位置信息的IoT设备。附近的位置信息是指，例如认为是同一房间内的位置信息、半径数米以内的位置信息。位置信息判断模块43通过判断存储模块30存储的位置信息中对应于符合该条件的位置信息的IoT设备的有无，判断在被指示终端200的周边的位置是否存在能远程操作的IoT设备。
在步骤S58中，在位置信息判断模块43判断为不存在的情况下(步骤S58否)，结束本处理。
另一方面，在步骤S58中，在位置信息判断模块43判断为存在的情况下(步骤S58是)，位置信息判断模块43基于拍摄图像数据的位置信息和设备图像数据的位置信息，确定能远程操作的IoT设备所在的方向(步骤S59)。在步骤S59中，位置信息判断模块43将被携带终端200作为中心，确定在哪个方向(例如右、右后方、左以及左后方)存在能远程操作的IoT设备。
通知制作模块42基于确定的方向，制作表示能远程操作的IoT设备所在的方向的箭头(步骤S60)。在步骤S60中，通知制作模块42制作箭头，该箭头表示该IoT设备相对于拍摄图像位于哪个方向。该箭头，例如，在IoT设备位于从拍摄图像看的左后方侧的情况下，制作于拍摄图像左下，在IoT设备位于从拍摄图像看的右侧的情况下，制作于拍摄图像右。在以下的说明中，对通知制作模块42在拍摄图像的左后方侧和右侧进行了制作的情况进行说明。
远程通知发送模块21将制作的箭头作为表示能远程操作的IoT设备位于该方向的能远程操作通知，向被指示终端200发送(步骤S61)。在步骤S61中，能远程操作通知是指，将判断为能远程操作的IoT设备所在的方向作为增强现实显示于拍摄图像的通知。在该能远程操作通知中包括IoT设备的标识符。
远程通知接收模块252接收能远程操作通知。显示模块271基于该能远程操作通知，将能远程操作的IoT设备所在的方向作为增强现实显示于画面共享的拍摄图像(步骤S62)。在步骤S62中，显示模块271显示表示该IoT设备所在的场所的方向的箭头作为增强现实。显示模块271对拍摄图像重叠显示箭头。
基于图11，对显示模块271显示的增强现实进行说明。图11是表示显示模块271显示的增强现实的一个例子的图。在图11中，显示模块271在共享画面500，显示作为增强现实的第一箭头510和第二箭头520。在该第一箭头510和第二箭头520的内部显示表示IoT设备所在的方向的意思。第一箭头510和第二箭头520分别表示能远程操作的IoT设备所在的场所的方向。它们既可以指向同一IoT设备，也可以指向不同的IoT设备。
用户通过视觉确认该增强现实，使被指示终端200向与上一次拍摄的方向不同的方向移动，拍摄出拍摄图像。远程操作通知系统1再次执行上述的步骤S50～S57的处理，在判断为存在能远程操作的IoT设备的情况下，执行上述的远程操作通知处理的步骤S27以后的处理。需要说明的是，在本处理中，为了简化说明，省略记载，结束处理。
需要说明的是，远程操作通知系统1也可以将被指示终端200显示的增强现实显示于指示终端100。在该情况下，远程操作通知系统1将能远程操作通知发送至指示终端100，指示终端100基于该能远程操作通知，显示增强现实即可。
以上为远程操作通知处理的变形例。
需要说明的是，远程操作通知系统1也可以将上述的各处理组合执行。例如，在设备图像数据和拍摄图像数据中包括位置信息的情况下，也可以将包围边框310作为增强现实显示于指示终端100，并且将第一箭头510和第二箭头520作为增强现实显示于被指示终端200。
上述的单元和功能通过由计算机(包括CPU、信息处理装置以及各种终端)读取规定的程序并执行来实现。程序由例如，从计算机经由网络而提供(SaaS：软件即服务)的方案来提供。此外，程序由记录于例如软盘、CD(光盘，包括CD－ROM等)以及DVD(高密度数字视频光盘，包括DVD－ROM、DVD－RAM等)等计算机可读取记录介质的方案来提供。在该情况下，计算机从该记录介质读取程序，传送至内部存储装置或外部存储装置，存储并执行。此外，也可以将该程序预先记录于例如磁盘、光盘以及磁光盘等存储装置(记录介质)，从该存储装置经由通信线路提供给计算机。
以上，对本发明的实施方式进行了说明，但本发明不限于上述的这些实施方式。此外，本发明的实施方式所述的效果不过是对本发明产生的最合适的效果的列举，本发明的效果不限定于本发明的实施方式所记载的效果。
附图标记说明：
1远程操作通知系统，10计算机，100指示终端，200被指示终端。

Claims (5)

1.一种计算机系统，其特征在于，具备：
获取单元，获取拍摄到IoT设备的图像；
判断单元，从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；以及
通知单元，在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。
2.根据权利要求1所述的计算机系统，其特征在于，还具备：
存储单元，预先存储能远程操作的所述IoT设备的图像，
所述判断单元基于预先存储的所述IoT设备的图像，通过与获取到的所述图像进行比较的图像识别，判断该IoT设备是能远程操作的IoT设备。
3.根据权利要求1所述的计算机系统，其特征在于，
所述通知单元将能远程操作的情况作为增强现实而显示包围所述IoT设备的图像的边框，
所述计算机系统还具备：显示单元，对显示的边框受理输入操作，根据输入显示对所述IoT设备进行远程操作的登录画面。
4.一种远程操作通知方法，由计算机系统执行，具备以下步骤：
获取拍摄到IoT设备的图像；
从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；以及
在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。
5.一种程序，用于使计算机系统执行以下步骤：
获取拍摄到IoT设备的图像；
从获取到的所述图像判断能由视觉确认该图像的用户远程操作的所述IoT设备；以及
在拍摄有判断为能远程操作的所述IoT设备的所述图像的位置，用增强现实显示能远程操作的情况。
CN201780092596.4A 2017-04-28 2017-04-28 计算机系统、远程操作通知方法以及记录介质 Active CN110800314B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016940 WO2018198318A1 (ja) 2017-04-28 2017-04-28 コンピュータシステム、遠隔操作通知方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110800314A true CN110800314A (zh) 2020-02-14
CN110800314B CN110800314B (zh) 2022-02-11

Family

ID=63918099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092596.4A Active CN110800314B (zh) 2017-04-28 2017-04-28 计算机系统、远程操作通知方法以及记录介质

Country Status (4)

Country Link
US (1) US10887195B2 (zh)
JP (1) JP6764151B2 (zh)
CN (1) CN110800314B (zh)
WO (1) WO2018198318A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085627A (ko) * 2018-01-11 2019-07-19 삼성전자주식회사 알림을 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN112911190A (zh) * 2019-12-04 2021-06-04 华为技术有限公司 一种远程协助的方法、电子设备和系统
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
WO2024048986A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법
US12132942B2 (en) * 2023-02-13 2024-10-29 XMReality AB (publ) Communication method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130957A1 (en) * 2013-11-14 2015-05-14 Qualcomm Incorporated Method and apparatus for identifying a physical iot device
CN105740173A (zh) * 2014-12-24 2016-07-06 柯尼卡美能达株式会社 远程控制装置、以及远程控制方法
KR20170016744A (ko) * 2015-08-04 2017-02-14 서울과학기술대학교 산학협력단 메타 데이터를 이용한 디바이스 원격 제어 장치 및 방법
CN106537849A (zh) * 2014-05-28 2017-03-22 三星电子株式会社 用于控制物联网设备的装置和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
JP5528057B2 (ja) * 2009-10-27 2014-06-25 株式会社アライド・リソーシズ・コミュニケーションズ デバイス発見方法
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
US20160217617A1 (en) * 2013-08-30 2016-07-28 Hewlett-Packard Development Company, L.P. Augmented reality device interfacing
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3132390A1 (en) * 2014-04-16 2017-02-22 Exxonmobil Upstream Research Company Methods and systems for providing procedures in real-time
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
JP6535191B2 (ja) 2015-03-23 2019-06-26 株式会社日立ソリューションズ 遠隔作業支援システム
US10431005B2 (en) * 2015-05-05 2019-10-01 Ptc Inc. Augmented reality system
US10176640B2 (en) * 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130957A1 (en) * 2013-11-14 2015-05-14 Qualcomm Incorporated Method and apparatus for identifying a physical iot device
CN106537849A (zh) * 2014-05-28 2017-03-22 三星电子株式会社 用于控制物联网设备的装置和方法
CN105740173A (zh) * 2014-12-24 2016-07-06 柯尼卡美能达株式会社 远程控制装置、以及远程控制方法
KR20170016744A (ko) * 2015-08-04 2017-02-14 서울과학기술대학교 산학협력단 메타 데이터를 이용한 디바이스 원격 제어 장치 및 방법

Also Published As

Publication number Publication date
WO2018198318A1 (ja) 2018-11-01
JPWO2018198318A1 (ja) 2020-04-02
US10887195B2 (en) 2021-01-05
CN110800314B (zh) 2022-02-11
JP6764151B2 (ja) 2020-09-30
US20200195518A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN110800314B (zh) 计算机系统、远程操作通知方法以及记录介质
CN110585699B (zh) 云游戏的控制方法、装置、设备及存储介质
US9674181B2 (en) Surveillance camera renting service
US10630735B2 (en) Communication terminal, communication system, communication method, and recording medium
JP6112036B2 (ja) 情報処理装置および方法、情報処理システム、並びにプログラム
JP5192462B2 (ja) リモートサポート方法、システム、プログラム
CN103141085A (zh) 信息处理设备和信息处理方法
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
CN113014960A (zh) 一种在线制作视频的方法、装置及存储介质
US10834595B2 (en) Service providing apparatus configured to control communication mode between communication terminals, service communicating system, service providing method and recording medium configured to perform same
CN109074327B (zh) 服务提供系统、服务递送系统、服务提供方法和程序
CN108780426B (zh) 服务提供系统、服务递送系统、服务提供方法和程序
JP2017046324A (ja) ユーザ端末、物体認識サーバ、通知方法及びユーザ端末用プログラム
KR102537147B1 (ko) 인증된 증강 현실 콘텐츠의 제공 시스템 및 방법
CN108885653B (zh) 服务提供系统、服务递送系统、服务提供方法和程序
JP6404526B2 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
KR20240054141A (ko) 디스플레이 장치 및 그 동작 방법
KR20220013235A (ko) 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN111968175A (zh) 图像处理方法、装置、设备及存储介质
CN114723435A (zh) 基于支付行为的社交方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant