CN112188152A - 远程作业支援系统 - Google Patents

远程作业支援系统 Download PDF

Info

Publication number
CN112188152A
CN112188152A CN202010557906.9A CN202010557906A CN112188152A CN 112188152 A CN112188152 A CN 112188152A CN 202010557906 A CN202010557906 A CN 202010557906A CN 112188152 A CN112188152 A CN 112188152A
Authority
CN
China
Prior art keywords
unit
sight
user
line
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010557906.9A
Other languages
English (en)
Inventor
大野千代
池田直仁
石井利树
大内敏
星泽拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN112188152A publication Critical patent/CN112188152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

课题在于提供能够由多个用户适当地协同动作的远程作业支援系统。解决手段在于具备：在作业现场(W1)进行作业的第1用户(10)佩戴的第1显示装置(100)；在作业现场配置的周围摄像装置(200)；以及被设置在规定位置(C1)，构成为能够与第1显示装置及周围摄像装置进行通信，由第2用户(20)操作的信息处理装置(300)，第1显示装置具备向信息处理装置发送第1影像数据的第1通信部，周围摄像装置具备向信息处理装置发送第2影像数据的第2通信部，信息处理装置具备：第2显示装置(376、378)，显示第1及第2影像数据；操作部，输入数据；以及第3通信部，将第2用户经由操作部输入的数据向第1显示装置发送。

Description

远程作业支援系统
技术领域
本发明涉及远程作业支援系统。
背景技术
近年来，使用眼镜型的头戴式显示器来显示规定的AR(Argumented Reality：增强现实)、MR(Mixed Reality：混合现实)或者VR(Virtual Reality：虚拟现实)信息的所谓可穿戴信息显示终端等开始在市场上出现。另外，除了AR、MR、VR以外，具备诉之于语音、显示、振动、温度、臭味、味道、电信号、刺激等人的五感的界面的可穿戴终端也开始在市场上出现。与此相伴，也提出了在这种可穿戴终端中与AR信息显示终端等的控制和各种活用相关的各种方法。作为其一例，在下述专利文献1的说明书第0118、0119段中记载了：“在根据来自如上所述的加速度传感器等的检测结果，判断为使用者U的行动状态是‘非步行时’的情况下，自动地切换为详细模式。进而依照图17所示的表，从‘发信者’、‘标题’、‘发信时刻’、‘Cc’、‘正文’的显示字段中，选择其项目。结果，如图16的(b)所示，使用画面整体显示详细的字符信息”，“与此相对，在根据来自加速度传感器等的检测结果，判断为使用者U的行动状态是‘步行时’的情况下，自动地切换为摘要模式。进而依照图17所示的表，从‘图标’和‘发信者’的显示字段中，选择其项目。结果，使用者U如图16的(a)所示，仅图标和发信者名称被使用画面中央区域的一部分而且以比详细模式时更大的字符显示”。
在先技术文献
专利文献
[专利文献1]日本特开2007－163634号公报
发明内容
发明所要解决的课题
另外，在将可穿戴终端适用于工业用途、保养用途等的情况下，例如由现场的作业人员佩戴可穿戴终端。有如下需求：希望与此同时，例如由位于远程地点的管理者等经由网络取得从可穿戴终端收集的数据，并确认作业状况。但是，仅通过将从可穿戴终端收集的数据向管理者等发送，有时作业人员及管理者等无法适当地协同动作。
本发明鉴于上述的情况而做成，其目的在于，提供能够由多个用户适当地协同动作的远程作业支援系统。
用于解决课题的手段
为了解决上述课题，本发明的远程作业支援系统的特征在于，具备：第1显示装置，被佩戴于在作业现场进行作业的第1用户；周围摄像装置，被配置于所述作业现场；以及信息处理装置，被设置在规定位置，构成为能够与所述第1显示装置及所述周围摄像装置进行通信，由第2用户操作；所述第1显示装置具备：第1显示部，向所述第1用户显示信息；第1摄像部，对所述第1显示装置的前方进行摄影，输出第1影像数据；以及第1通信部，向所述信息处理装置发送所述第1影像数据；所述周围摄像装置具备：第2摄像部，输出包含与所述第1影像数据的摄像范围不同的摄像范围的第2影像数据；发送控制部，针对所述第2影像数据，根据需要进行低分辨率化或者高分辨率化；以及第2通信部，向所述信息处理装置发送所述第2影像数据；所述信息处理装置具备：第2显示装置，显示所述第1及第2影像数据；操作部，输入数据；以及通信部，将所述第2用户经由所述操作部输入的数据向所述第1显示装置发送。
发明效果
根据本发明，能够由多个用户适当地协同动作。
附图说明
图1是基于本发明的一个实施方式的远程作业支援系统的整体构成图。
图2是表示可穿戴终端的构成的一例的框图。
图3是表示周围相机的构成的一例的框图。
图4是表示信息处理装置的构成的一例的框图。
图5是表示作业开始次序的一例的时序图。
图6是表示在作业开始次序中显示器上显示的各种画面的图。
图7是表示管理者20进行作业支援的环境的示意图。
图8是表示2台显示器的显示例的图。
图9是扩大显示动作的说明图。
图10是表示2台显示器的其他显示例的图。
图11是滚动动作的说明图。
图12是表示2台显示器的其他显示例的图。
图13是表示各种虚拟画面的例子的图。
图14是表示进行低分辨率化处理的环境的示意图。
图15是低分辨率化处理例程的流程图。
图16是注目位置通知例程的流程图。
图17是表示各种虚拟画面的其他例的图。
图18是详细注目位置通知例程的流程图。
图19是表示基于激光指示器的注目位置通知动作的示意图。
图20是表示重叠了热像图像的显示器的显示例的图。
附图标记说明：
10 作业人员(第1用户)
20 管理者(第2用户)
100 可穿戴终端(第1显示装置)
102 通信部(第1通信部)
112 发送控制部
114 虚拟画面控制部(画面控制部)
161 摄像部(第1摄像部)
184 左显示部(第1显示部)
186 右显示部(第1显示部)
200 周围相机(周围摄像装置)
202 通信部(第2通信部)
209 歪曲校正/图像合成部(第2摄像部)
212 发送控制部
222 激光指示器(方向显示部)
261、262 摄像部(第2摄像部)
300 信息处理装置
302 通信部(第3通信部)
314 滚动控制部
316 视线对应控制部
318 目视影像判定部
350 操作部
376、378 显示器(第2显示装置)
400 视线检测传感器
500 测距传感器(姿势检测部)
C1 管理中心(规定位置)
V1 影像数据(第1影像数据)
V2 全景影像数据(第2影像数据)
W1 作业现场
具体实施方式
〈实施方式的构成〉
(整体构成)
在以下的实施方式中为了方便在需要时分割为多个部分或者实施方式进行说明，但除了特别明示的情况之外，这些并不是相互无关的，而是一方为另一方的一部分或者全部变形例、详细说明、补充说明等关系。
另外，在以下的实施方式中，在言及要素的数量等(包含个数、数值、量、范围等)的情况下，除了特别明示的情况及在原理上显然限定于特定的数量的情况等之外，不限定于该特定的数量，既可以是特定的数量以上也可以是其以下。
进而，在以下的实施方式中，其构成要素(也包含要素步骤等)除了特别明示的情况及在原理上认为显然必须的情况等之外，其并不一定是必须的，这一点无需说明。
同样，在以下的实施方式中，在言及构成要素等的形状、位置关系等时，除了特别明示的情况及在原理上认为显然不是如此的情况等之外，包含在实质上与其形状等近似或者相似的对象等。这关于上述数值及范围也同样。
另外，在用于说明实施方式的全部附图中，针对同一部件在原则上赋予同一标记，并省略其反复的说明。
图1是基于本发明的一个实施方式的远程作业支援系统1的整体构成图。
在图1中，远程作业支援系统1具备可穿戴终端100、周围相机200、信息处理装置300、视线检测传感器400和测距传感器500(姿势检测部)。在此，来到作业现场W1的作业人员10(第1用户)佩戴可穿戴终端100来进行各种作业。可穿戴终端100具有大致眼镜状的形态，具备透射型HMD(头戴式显示器)、相机等(省略图示)。特别是，可穿戴终端100上安装的相机对作业人员10的视点处的影像进行摄影。另外，周围相机200被配置在作业人员10的附近。
另外，管理中心C1(规定位置)被设置在从作业现场W1分离的远程地点。在管理中心C1中，配置了作为熟练者的管理者20(第2用户)，在管理者20的周围，设置了上述的信息处理装置300、视线检测传感器400及测距传感器500。
作业人员10如果到达了作业现场W1，则在面部佩戴可穿戴终端100(第1显示装置)，并将周围相机200(周围摄像装置)设置在任意的场所。在此，周围相机200也被称为全天球(全景)相机、360度相机、180度相机，指的是对上下左右全方位的360度全景图像/动态图像、或跨半球的180度全景图像/动态图像进行摄影的相机。周围相机200是能够挪动的形态，由作业人员10每次在作业现场移动时挪动并设置。周围相机200的设置位置例如以俯瞰作业人员10，宛如位于管理中心C1的管理者20在旁边站立并观察作业状况的方式，设置在作业人员的旁边为佳。
此外，在其他作业现场W2、W3中，也与作业现场W1同样配置作业人员10、可穿戴终端100及周围相机200(省略图示)，管理者20经由信息处理装置300，能够确认这些作业现场W1、W2、W3的状态。可穿戴终端100、周围相机200及信息处理装置300能够经由通信网络600进行双向通信。此外，通信网络600可以是WAN(广域网，Wide Area Network)、LAN(LocalArea Network：局域网)、4G(LTE:Long Term Evolution：长期演进)/5G等网络中的任一种。
例如，信息处理装置300接收从周围相机200及可穿戴终端100供给的影像，在多个(在图示的例子中是2台)显示器376、378(第2显示装置)上分别显示这些影像。管理者20通过目视这些影像，能够同时把握作业人员10的作业状况和现场周围的状况。在此，为了使管理者20以高度的临场感观察影像，对显示来自可穿戴终端100的影像的显示器376适用中小型的显示器为佳。另外，对显示来自周围相机200的影像的显示器378，适用比显示器376更大型的显示器为佳。特别是，大型的显示器378不限于平板显示器，也可以适用全天球(全景)显示器或半天球(半全景)显示器。另外，优选将输出来自可穿戴终端100的影像的中小型的显示器376设置在管理者20的眼前，在其后方设置大型的显示器378，以使管理者20能够以直觉判断是哪一个的影像。
管理中心C1中的视线检测传感器400及测距传感器500对管理者20的各种动作进行检测。例如，视线检测传感器400能够对管理者20正目视哪个显示器、另外正目视该显示器的哪个位置进行检测，取得显示器上的坐标。为此，视线检测传感器400具备红外线相机、近红外线相机、可见光相机、光源等，具有对管理者20的视线方向进行检测的功能。另外，测距传感器500也被称为三维传感器，使用TOF(Time Of Flight：飞行时间)传感器或立体相机等，具备取得管理者20的身体、头、手、胳膊等的三维位置信息的功能。测距传感器500通过对管理者20的身体、头、手、胳膊等的部位与本机的距离进行检测，从而对管理者20的身体、头、手、胳膊等的动作进行检测。详细后述，信息处理装置300基于测距传感器500所检测出的管理者20的动作，能够使显示器上显示的周围相机200的影像以非接触方式滚动。
云30具备服务器等多个信息处理装置和存储装置。云30与通信网络600连接，积蓄来自可穿戴终端100、周围相机200的影像，而且积蓄与作业人员10、管理者20相关的信息、各作业现场W1、W2、W3的网络构成信息。另外，云30对可穿戴终端100上搭载的各种传感器、作业现场中设置的各种传感器的数据进行分析，转换为对管理者20而言有价值的信息之后，向管理者20的信息处理装置300发送。例如，云30能够对由可穿戴终端100上搭载的体征计测部164(参照图2)测定的作业人员10的体征数据进行分析，使作业人员10的疲劳度或者压力度成为数值，并向管理者20通知。另外，云30进行各作业现场W1、W2、W3的装置、终端等的管理/监视，在发生了错误的情况下向管理者20通知。
像这样，根据图1所示的远程作业支援系统1，管理者20经由中小型的显示器376，能够确认作业人员10的视点的影像。进而，管理者20经由大型的显示器378，能够自己自身操作并目视现场周围的影像。另外，能够宛如管理者20自身位于作业现场W1那样移动视点，因此能够详细地把握包含作业人员10在内的现场的状况。
(可穿戴终端100)
图2是表示可穿戴终端100的构成的一例的框图。此外，在图示的例子中，在作业人员10(参照图1)的头部上佩戴的显示装置中操作功能与运算处理功能成为一体。
在图2中，可穿戴终端100具备通信部102(第1通信部)、电源部103、光源部104、控制部110、操作部130、传感器部160、存储部170和显示部180。
通信部102在控制部110的控制下，经由通信网络600(参照图1)，在与云30、信息处理装置300等之间收发各种数据。进而，通信部102还具备WiFi、Bluetooth(注册商标)、LPWA(Low-Power Wide Area：低功耗广域网)、USB(Universal Serial Bus：通用串行总线)等近距离通信的接口。由此，能够在通信部102上连接追加的输入输出装置(未图示)，还能够经由追加的输入输出装置来输入输出操作命令等。
电源部103具备内置或者外置的电池等，向可穿戴终端100的各部供给电源。光源部104具备在利用传感器部160的情况、周围环境暗的情况等下对可穿戴终端100的前方及其周边进行照明的一个或者多个光源(未图示)。特别是，在光源的照射范围小的情况下，优选具备多个光源。另外，光源部104通过设置在可穿戴终端100的两端，能够实现大的照射范围。
在此，操作部130具备输入操作部131和语音输入输出部132。输入操作部131具备按钮、触摸面板、开关、拨号盘、外置的鼠标、键盘等输入设备(未图示)、以及设备控制用的驱动器(未图示)，以供作业人员10(参照图1)输入各种数据。另外，语音输入输出部132具备麦克风、耳机、扬声器等(未图示)。作业人员10能够经由麦克风向控制部110输入语音数据，控制部110能够经由耳机、扬声器等向作业人员10输出语音数据。
另外，传感器部160具备摄像部161(第1摄像部)、惯性计测部162、环境计测部163和体征计测部164。摄像部161以作为用户的作业人员10的正面即作业人员10的视野作为摄影对象，摄影4k/8k分辨率的静止图像或者动态图像，并输出影像数据V1(第1影像数据)。
惯性计测部162具备加速度传感器、陀螺传感器、地磁传感器、GPS(GlobalPositioning System：全球定位系统)装置等(未图示)。由此，惯性计测部162取得或者估计作业人员10的视线方向、视线位置、姿势、当前位置等。环境计测部163具备照度计、温度计、湿度计、环境麦克风等(未图示)，取得或者估计与作业人员10的周围环境相关的信息。另外，环境计测部163基于温度计等的计测结果，生成热像图像612(参照图20)。体征计测部164具备心率计、体温计、血压计、脉搏计、脑电波计等(未图示)。由此，体征计测部164取得作业人员10的身体信息，估计作业人员10的身体状况、情绪。
另外，存储部170具备认证部171、技能管理部172和通信目的地注册部173。更具体而言，存储部170具有ROM、FROM(Flash ROM)等非易失性存储器，在其中存放了各种参数、程序等。通过这些参数、程序等，实现了认证部171、技能管理部172、通信目的地注册部173等的功能。
认证部171在可穿戴终端100与信息处理装置300或者云30之间进行通信时，进行个人认证、设备认证、服务认证等访问限制。技能管理部172管理可能成为作业人员10的多个用户的姓名、所属、职业种类、职务经历、经验年数、所拥有的资格等静态信息。通信目的地注册部173管理经由通信部102通信的终端或服务的地址信息等。例如，在利用云30的服务的情况下，设定“http://(云30的IP地址)：(端口号)/服务ID”等的URL。此外，存储部170也可以设置在可穿戴终端100的外部。例如，也可以在经由网络连接的云30上设置存储部170，可穿戴终端100根据需要对存储部170进行访问。
显示部180具备显示控制部182、左显示部184(第1显示部)和右显示部186(第1显示部)。如上所述，可穿戴终端100具有眼镜型的形态，左显示部184及右显示部186被设置在与左右的眼镜玻璃对应的位置。显示控制部182对左显示部184及右显示部186上显示的画面的位置、定时进行控制。由此，左显示部184及右显示部186作为透射型HMD发挥功能，向作业人员10提示虚拟画面190。此外，在图2中示出了1个虚拟画面190，但显示部180能够将多个虚拟画面190向作业人员10提示。
控制部110执行可穿戴终端100整体的控制处理、实时图像处理等。控制部110具备CPU(Central Processing Unit：中央处理单元)、DSP(Digital Signal Processor：数字信号处理器)、GPU(Graphics Processing Unit：图形处理单元)、RAM(Random AccessMemory：随机访问存储器)、ROM(Read Only Memory：只读存储器)等作为一般性的计算机的硬件，在ROM中存放着由CPU执行的控制程序、由DSP执行的微程序及各种数据等。在图2中，控制部110的内部将由控制程序及微程序等实现的功能作为模块示出。
即，控制部110具备发送控制部112和虚拟画面控制部114(画面控制部)。在此，发送控制部112切换是否将影像数据V1从通信部102发送，另外，在发送的情况下设定其数据速率。另外，虚拟画面控制部114使从信息处理装置300(参照图1)供给的数据经由显示部180显示在虚拟画面190上。
此外，可穿戴终端100只要是能够由作业人员10佩戴即可，也可以不是眼镜型。另外，控制部110也可以与传感器部160、操作部130等一体构成。
(周围相机200)
图3是表示周围相机200的构成的一例的框图。
周围相机200具备通信部202(第2通信部)、电源部203、光源部204、显示部208、歪曲校正/图像合成部209(第2摄像部)、控制部210、操作部250、传感器部260、存储部270和激光指示器222(方向显示部)。
在此，通信部202、电源部203、光源部204、操作部250与可穿戴终端100(参照图2)的通信部102、电源部103、光源部104、操作部130同样构成。操作部250具备输入操作部251和语音输入输出部252。
传感器部260具备摄像部261、262(第2摄像部)、惯性计测部263和环境计测部264。摄像部261、262具备广角透镜(未图示)。然后，摄像部261、262以整个周围作为对象，摄影高分辨率的上下左右的360°全景4k/8k分辨率的静止图像或者动态图像，输出各个影像数据VX1、VX2。另外，惯性计测部263及环境计测部264与可穿戴终端100(参照图2)的惯性计测部162及环境计测部163同样构成。
歪曲校正/图像合成部209对影像数据VX1、VX2中发生的周边部分的失真进行校正，并对两者进行合成，来输出作为静止图像或者动态图像的全景影像数据V2(第2影像数据)。
激光指示器222出于向作业人员10指示特定的场所等目的，朝向由控制部210指定的坐标方向照射激光。此外，也可以替代激光指示器222，在周围相机200的壳体表面配置多个光源(LED等)，使相应的方向的光源点灯。
显示部208例如是平板显示器，在控制部210的控制下显示各种信息。
存储部270具有ROM、FROM(Flash ROM)等非易失性存储器，在其中存放着各种参数、程序等。存储部270具有通信目的地注册部272，其内容与上述的可穿戴终端100(参照图2)的通信目的地注册部173同样。
控制部210具备CPU、DSP、GPU、RAM、ROM等作为一般性的计算机的硬件，在ROM中存放着由CPU执行的控制程序、由DSP执行的微程序及各种数据等。在图3中，控制部210的内部将由控制程序及微程序等实现的功能作为模块示出。即，控制部210具备发送控制部212。在此，发送控制部212切换是否将全景影像数据V2从通信部202发送，另外在发送的情况下设定其数据速率。
(信息处理装置300)
图4是表示信息处理装置300的构成的一例的框图。
信息处理装置300例如是一般性的个人计算机或服务器装置，具备通信部302(第3通信部)、电源部303、光源部304、控制部310、操作部350、存储部360和显示部370。另外，在控制部310上连接着视线检测传感器400和测距传感器500。视线检测传感器400将表现管理者20(参照图1)的视线方向的数据，作为视线方向数据GD向控制部310供给。另外，测距传感器500将管理者20的姿势、动作，作为姿势/动作数据PM向控制部310供给。
在此，通信部302、电源部303、光源部304、操作部350与可穿戴终端100(参照图2)的通信部102、电源部103、光源部104、操作部130同样构成。操作部350具备输入操作部351和语音输入输出部352。
显示部370具备上述的显示器376、378、以及对这些显示器进行控制的显示控制部372、374。
存储部360具有ROM、FROM(Flash ROM)等非易失性存储器，在其中存放着各种参数、程序等。存储部360具备认证部361及技能管理部362，这些内容与上述的可穿戴终端100(参照图2)的认证部171及技能管理部172同样。
控制部310具备CPU、RAM、ROM、GPU、SSD等作为一般性的计算机的硬件，在SSD中存放着OS(Operating System：操作系统)、应用程序、各种数据等。OS及应用程序被在RAM上展开，并由CPU执行。在图4中，控制部310的内部将由应用程序等实现的功能作为模块示出。
即，控制部310具备重叠控制部312、滚动控制部314、视线对应控制部316和目视影像判定部318。通过这些，控制部310将从可穿戴终端100、周围相机200、云30等接收的影像、信息向显示部370输出。
重叠控制部312针对影像数据V1及全景影像数据V2，根据需要重叠其他信息。滚动控制部314基于视线方向数据GD或者姿势/动作数据PM，使大型的显示器378上显示的全景影像数据V2向上下方向或者左右方向滚动。另外，目视影像判定部318基于视线方向数据GD，判定管理者20正目视影像数据V1或者全景影像数据V2之中的哪一个，并检测正目视的坐标位置。
另外，视线对应控制部316基于姿势/动作数据PM，判定管理者20是否成为规定的姿势(例如前屈的姿势)。然后，视线对应控制部316在管理者20成为规定的姿势，而且，以规定时间以上注目于大致一定的坐标位置的情况下，使影像数据V1或者全景影像数据V2之中的该坐标位置的周围范围扩大显示。
〈实施方式的动作〉
(作业开始次序)
图5是表示作业开始次序的一例的时序图。另外，图6是表示在作业开始次序中显示器376、378上显示的各种画面的图。
在图5中，如果检测到云30所管理/监视的装置、终端的某一个中发生了错误，则信息处理装置300经由显示部370向管理者20进行错误通知(步骤S501)。例如，信息处理装置300将图6所示的错误画面601显示在中小型的显示器376上。
设为管理者20通过操作错误画面601来确认所发生的错误的详细情况，并判断为需要向发生现场派遣作业人员作为对策。于是，管理者20向任意的作业人员10的便携终端发送出动请求(步骤S502)。此时，将错误的详细情况和发生现场的信息也向作业人员10发送为佳。作业人员10接收出动请求(步骤S503)，确认错误的详细情况和发生现场的信息。接下来，作业人员10携带可穿戴终端100和周围相机200(参照图1)，向错误发生现场移动(步骤S504)。在此，错误发生现场例如设为是图1所示的作业现场W1。
作业人员10如果到达了错误发生现场即作业现场W1，则佩戴可穿戴终端100，操作电源部103(参照图2)并设为接通状态(步骤S505)。电源被设为接通状态的可穿戴终端100取得技能管理部172(参照图2)中存储的用户信息(与用户相关的信息)。另外，可穿戴终端100从惯性计测部162取得当前位置信息。接下来，可穿戴终端100的控制部110取得通信目的地注册部173中存储的云30的地址信息、由管理者20管理的信息处理装置300的地址信息，经由通信部102访问信息处理装置300。然后，可穿戴终端100发送所取得的用户信息和当前位置信息，并且开始对摄像部161所摄像的影像数据V1进行实时流分发。
另一方面，管理者20经由信息处理装置300，接收来自可穿戴终端100的通知、影像，从而对作业人员10的出动进行检测(步骤S506)。此时，在中小型的显示器376上，例如显示图6所示的画面603、604。接下来，作业人员10在作业现场W1的任意的场所设置周围相机200，操作其电源部203(参照图3)并设为接通状态(步骤S507)。电源被设为接通状态的周围相机200从惯性计测部263(参照图3)取得当前位置。周围相机200的控制部210取得通信目的地注册部272中存储的云30的地址信息、由管理者20管理的信息处理装置300的地址信息，经由通信部202访问信息处理装置300。
然后，周围相机200发送所取得的当前位置信息，并且开始对全景影像数据V2进行实时流分发。信息处理装置300经由大型的显示器378(参照图4)显示这些信息。由此，管理者20经由显示器378，对来自周围相机200的通知、影像进行视觉辨认，对周围相机200被设置的情况进行检测(步骤S508)。此时，在显示器378上，基于全景影像数据V2，例如显示图6所示的画面605、606中的某一个。
接下来，管理者20准备作业人员10应执行的次序手册、图纸，向作业人员10的可穿戴终端100发送(步骤S509)。此时，管理者20也可以经由信息处理装置300的语音输入输出部352，通过语音来输入实施内容，使该语音内容成为文本而作为次序手册。接收了次序手册、图纸的可穿戴终端100在由显示部180(参照图2)生成的虚拟画面190上对其进行显示。
作业人员10确认被显示的次序手册、图纸的内容，执行所需的作业准备(步骤S510)。接下来，如果作业人员10使用语音输入输出部132输入了如“作业开始”的语音，则其内容经由通信部102向信息处理装置300发送，并显示在显示器376、378(参照图4)上。管理者20一边观察显示器376、378上显示的影像，一边开始对作业人员10的作业进行支援(步骤S511)。
(部分扩大显示动作)
图7是表示管理者20进行作业支援的环境的示意图。在图示的例子中，在大型的显示器378的下方，配置了中小型的显示器376。然后，如上所述，在显示器378上显示来自周围相机200的全景影像数据V2等，在显示器376上显示来自可穿戴终端100的影像数据V1等。管理者20能够一边观察这些显示器376、378的影像，一边把握作业现场W1的情形。
另外，视线检测传感器400被设置在显示器376、378的下方，测距传感器500被设置在管理者20的侧方或者上方。在此，视线检测传感器400也可以设置多个，例如设置在显示器376的下方和显示器378的下方。同样，测距传感器500也可以设置多个，例如分别设置在管理者20的侧方和上方。
图8是表示2台显示器376、378的显示例的图。在图示的例子中，在大型的显示器378上，基于全景影像数据V2显示着图6所示的画面606。另外，在中小型的显示器376上，基于影像数据V1，显示着图6所示的画面604。
图9是扩大显示动作的说明图。
图9所示的姿势22是管理者20的通常的姿势。另外，姿势24是管理者20前屈窥视显示器376、378的姿势。管理者20在以姿势22的状态目视显示器376、378的影像时，有时希望详细观察影像的特定部分。在该情况下，管理者20成为前屈窥视该特定部分的姿势24。于是，测距传感器500对该姿势24进行检测，并向信息处理装置300的控制部310(参照图4)输出表示该情况的姿势/动作数据PM。
接下来，目视影像判定部318基于视线方向数据GD，判定管理者20正目视影像数据V1或者全景影像数据V2之中的哪一个，并检测正目视的坐标位置。由此，视线对应控制部316使影像数据V1或者全景影像数据V2之中的该坐标位置的周围范围扩大显示。在此，如果管理者20的姿势恢复到原姿势22(参照图9)，则测距传感器500对该姿势进行检测，将表示该情况的姿势/动作数据PM向信息处理装置300的控制部310输出。对应于此，控制部310使影像数据V1或者全景影像数据V2的显示状态恢复到原状态(参照图8)。
图10是表示2台显示器376、378的其他显示例的图。作为一例，设为在显示器376、378上显示了图8所示的画面604、606。然后，假定管理者20以前屈窥视的姿势24(参照图9)注目于画面606的中央附近。于是，如图10所示，在显示器378上，显示将画面606的中央附近扩大而成的画面608。此外，在显示器376上，显示与图8的情况同样的画面604。通过以上，根据管理者20的自然的动作，能够进行影像的扩大缩小显示。
(滚动动作#1)
图11是滚动动作的说明图。
图示的姿势22与图7所示的管理者20的姿势同样。在此，管理者20有时希望使大型的显示器378上显示的全景影像数据V2滚动。在该情况下，如姿势26所示，管理者20执行将手或者胳膊向滚动方向挥动的动作。测距传感器500对该动作进行检测，将对应的姿势/动作数据PM向信息处理装置300的控制部310供给。然后，控制部310中的滚动控制部314(参照图4)基于该姿势/动作数据PM，使全景影像数据V2向管理者20挥动手或者胳膊的方向滚动。此外，使全景影像数据V2滚动的方向例如是左右方向或者上下方向。
图12是表示2台显示器376、378的其他显示例的图。作为一例，设为在显示器376、378上显示了图8所示的画面604、606。然后，假定如图11的姿势26所示，管理者20执行使手或者胳膊向滚动方向挥动的动作。于是，如图12所示，在显示器378上显示使画面606(参照图8)滚动而成的画面610。此外，在显示器376上，显示与图8的情况同样的画面604。
(滚动动作#2)
另外，为了使显示器378的全景影像数据V2滚动，也能够采用别的方法。这是“管理者20向希望滚动的方向使视线以规定的速度移动”。视线检测传感器400将表现管理者20的视线的动作的视线方向数据GD向信息处理装置300的控制部310(参照图4)供给。于是，滚动控制部314基于该视线方向数据GD，使全景影像数据V2向视线移动的方向滚动。通过以上，根据管理者20的自然的动作，能够以非接触的方式使全景影像数据V2滚动。
(向作业人员10传达信息)
图13是表示各种虚拟画面的例子的图。
管理者20能够操作信息处理装置300的操作部350(参照图4)，向可穿戴终端100发送各种信息。由此，在可穿戴终端100上，例如显示如图13所示的虚拟画面1001～1003。虚拟画面1001示出管理者20所确定的错误原因。另外，虚拟画面1002显示着管理者20所指定的接下来作业人员10应执行的作业。另外，虚拟画面1003示出移动目的地的地图。
(低分辨率化处理)
在图1中，经由通信网络600向信息处理装置300供给的影像数据V1及全景影像数据V2通常是高分辨率的数据。但是，如果通信网络600等发生障碍，通信状态恶化，则在传送高分辨率的影像数据V1及全景影像数据V2时，有时影像中断。于是，在本实施方式中，进行使影像数据V1或者全景影像数据V2之中的某一个低分辨率化的处理、即降低数据速率的处理。
图14是表示进行低分辨率化处理的环境的示意图。
在图14中，在管理者20目视大型的显示器378时，将其视线的范围称为“区域QA”。另外，在目视中小型的显示器376时，将其视线的范围称为“区域QB”。另外，设为在显示器376上显示影像数据V1，在显示器378上显示全景影像数据V2。目视影像判定部318(参照图4)根据视线检测传感器400的视线方向数据GD，判定管理者20的视线方向属于区域QA、QB中的哪一个。
图15是在控制部310中执行的低分辨率化处理例程的流程图。
如果在图中处理前进到步骤S1101，则目视影像判定部318(参照图4)取得来自视线检测传感器400的视线方向数据GD。接下来，如果处理前进到步骤S1102，则目视影像判定部318判定管理者20正观察的范围是区域QA、QB之中的哪一个。接下来，如果处理前进到步骤S1103，则目视影像判定部318判定管理者20是否以规定时间持续注视区域QA、QB之中的某一方(视线位置是否停滞)。
如果在步骤S1103中判定为“否”，则处理返回到步骤S1101，反复进行上述的动作。另一方面，如果在步骤S1103中判定为“是”，则处理前进到步骤S1104，目视影像判定部318判定注视范围是否为区域QA(即全景影像数据V2)。如果在此判定为“是”，则处理前进到步骤S1105。在步骤S1105中，目视影像判定部318向可穿戴终端100发送请求低分辨率化的信号。
如果可穿戴终端100接收到该信号，则可穿戴终端100的发送控制部112(参照图2)降低影像数据V1的数据速率，进行低分辨率化。例如，使原本的分辨率为“4k/30fps”的影像数据，低分辨率化为“高清/15fps”。由此，以后将被低分辨率化后的影像数据V1显示在中小型的显示器376上。另一方面，在注视范围为区域QB(即影像数据V1)的情况下，在步骤S1104中判定为“否”，处理前进到步骤S1106。
在步骤S1106中，目视影像判定部318向周围相机200发送请求低分辨率化的信号。如果周围相机200接收到该信号，则周围相机200的发送控制部212降低全景影像数据V2的数据速率，进行低分辨率化。由此，以后将被低分辨率化后的全景影像数据V2显示在大型的显示器378上。
如上，根据本实施方式，在影像数据V1或者全景影像数据V2之中，将管理者20正注视的影像保持为高画质化状态，对未注视的影像进行低画质化，从而能够削减通信网络600上的数据量。此外，在通信环境进一步恶化的情况下，发送控制部112、212也可以停止影像数据V1或者全景影像数据V2的发送。
(注目位置通知处理#1)
接下来，说明作业现场W1的作业人员10通知管理者20的注目位置的处理。
图16是注目位置通知例程的流程图。在图16中步骤S1201、S1202、S1203的处理与图15中的步骤S1101、S1102、S1103同样。即，在步骤S1203中判定为“是”的情况，是管理者20以规定时间持续注视区域QA、QB之中的某一方的情况。如果在步骤S1203中判定为“是”，则处理前进到步骤S1204，向可穿戴终端100通知管理者20正观察的范围。由此，本例程的处理结束。
图17是表示各种虚拟画面的其他例的图。
如果可穿戴终端100接收到上述的步骤S1204的通知，则在可穿戴终端100上例如显示如图17所示的虚拟画面1205、1206。
由此，作业人员10能够把握管理者20正注目于影像数据V1或者全景影像数据V2之中的哪一个的图像，因此容易注意到错误或状况变化。
(注目位置通知处理#2)
图18是详细注目位置通知例程的流程图。
本例程使得在管理者20正注目于全景影像数据V2的情况下，作业人员10能够把握其更加详细的视线方向。在图18中，如果处理前进到步骤S1301，则目视影像判定部318(参照图4)取得来自视线检测传感器400的视线方向数据GD。接下来，如果处理前进到步骤S1302，则目视影像判定部318判定管理者20正观察的范围是否为区域QA。在此，如果判定为“否”，则处理返回到步骤S1301。
另一方面，如果在步骤S1302中判定为“是”，则处理前进到步骤S1303。在此，目视影像判定部318判定管理者20是否以规定时间持续注视区域QA。在此如果判定为“否”，则处理返回到步骤S1301。另一方面，如果判定为“是”，则处理前进到步骤S1304，目视影像判定部318向周围相机200通知视线方向的坐标位置。即，目视影像判定部318判定管理者20的视线位置相应于作为360度全景图像的全景影像数据V2中的哪一个位置，并将该坐标位置向周围相机200通知。通过以上，本例程的处理结束。
另一方面，周围相机200的控制部210(参照图3)如果接收到上述的坐标位置，则控制激光指示器222以向该坐标位置照射激光。
图19是表示基于激光指示器222的注目位置通知动作的示意图。如图所示，激光指示器222向管理者20的注目位置照射激光，从而作业人员10能够容易地把握管理者20的注目位置。由此，作业人员10容易注意到错误或状况变化，能够准确地把握管理者20正注视的部分作为作业对象。
此外，在上述的处理中，通过激光指示器222显示了管理者20的注目位置，但也可以在可穿戴终端100中通知注目位置。即，也可以分割出在大型的显示器378上管理者20正注视的图像部分，并将该图像部分向可穿戴终端100发送并显示在显示部180上。
(热像显示处理)
如上所述，可穿戴终端100的环境计测部163(参照图2)生成摄像部161的视野中映现的对象的热像图像。设为管理者20在中小型的显示器376(参照图4)上正目视来自可穿戴终端100的影像数据V1。在此，如果管理者20在操作部350中进行了指定“热像显示”的规定的操作，则该情况被经由通信部302向可穿戴终端100通知。
于是，其后，可穿戴终端100将热像图像与影像数据V1一起向信息处理装置300发送。如果信息处理装置300接收到影像数据V1和热像图像，则重叠控制部312将两者重叠地显示在显示器376上。
图20是表示重叠了热像图像的显示器376的显示例的图。在图示的例子中，在显示器376上，不仅显示与图12所示的同样的画面604，还重叠热像图像612地显示。此外，在图示的例子中热像图像612被显示在显示器376的中央部，但重叠控制部312能够基于管理者20的指令，任意地调节热像图像612的显示位置。
如上，根据本实施方式，能够使用可穿戴终端100的环境计测部163取得作业现场W1的热像图像，不仅是作业人员10，而且管理者20也能够使现场对象可视化，因此能够提早发现问题。
〈实施方式的效果〉
如上，本实施方式的远程作业支援系统(1)中，第1显示装置(100)具备：第1显示部(184、186)，向第1用户(10)显示信息；第1摄像部(161)，对第1显示装置(100)的前方进行摄影，输出第1影像数据(V1)；以及第1通信部(102)，向信息处理装置(300)发送第1影像数据(V1)，
周围摄像装置(200)具备：第2摄像部(209、261、262)，输出包含与第1影像数据(V1)的摄像范围不同的摄像范围的第2影像数据(V2)；发送控制部(201)，针对第2影像数据(V2)，根据需要进行低分辨率化或者高分辨率化；以及第2通信部(202)，向信息处理装置(300)发送第2影像数据(V2)，
信息处理装置(300)具备：第2显示装置(376、378)，显示第1及第2影像数据(V1、V2)；操作部(350)，输入数据；以及第3通信部(302)，将第2用户(20)经由操作部(350)输入的数据向第1显示装置(100)发送。
由此，能够由第1及第2用户(10、20)适当地协同动作。
另外，远程作业支援系统(1)还具备：视线检测传感器(400)，检测第2用户(20)的视线；以及视线对应控制部(316)，针对第2显示装置(376、378)，使第2影像数据(V2)之中的与视线对应之处扩大显示。
由此，第2用户(20)通过移动视线，能够使期望之处扩大显示。
另外，远程作业支援系统(1)还具备：滚动控制部(314)，在第2用户(20)的视线为规定状态的情况下，使第2显示装置(376、378)上显示的第2影像数据(V2)向左右方向或者上下方向滚动。
由此，第2用户(20)通过使视线成为规定状态，能够使第2映像数据(V2)滚动。
另外，远程作业支援系统(1)还具备检测第2用户(20)的姿势的姿势检测部(500)，视线对应控制部(316)在姿势检测部(500)检测出第2用户(20)的规定的姿势的情况下，针对第2显示装置(376、378)，使第2影像数据(V2)之中的与视线对应之处扩大显示。
由此，第2用户(20)如果成为规定的姿势，则能够使与视线对应之处扩大显示。
另外，滚动控制部(314)还具备如下功能：在姿势检测部(500)检测出第2用户(20)的规定的运动状态的情况下，使第2显示装置(376、378)上显示的第2影像数据(V2)沿左右方向或者上下方向滚动。
由此，第2用户(20)通过进行规定的运动，能够使第2影像数据(V2)滚动。
另外，远程作业支援系统(1)还具备：视线检测传感器(400)，检测第2用户(20)的视线；目视影像判定部(318)，基于检测出的视线，判定第2用户(20)正目视第1及第2影像数据(V1、V2)之中的哪一个；以及发送控制部(112、212)，基于目视影像判定部(318)的判定结果，控制第1或者第2影像数据(V1、V2)的数据速率，或者使发送停止。
由此，例如在通信环境恶化的情况下，能够降低第1或者第2影像数据(V1、V2)的数据速率，或者使发送停止，使通信继续进行。
另外，远程作业支援系统(1)还具备：画面控制部(114)，将目视影像判定部(318)的判定结果经由第1显示部(184、186)向第1用户(10)通知。
由此，第1用户(10)能够容易地把握第2用户(20)正着眼之处。
另外，远程作业支援系统(1)还具备：方向显示部(222)，被安装于周围摄像装置(200)，显示与坐标位置对应的方向。
由此，第1用户(10)根据方向显示部(222)的显示，能够容易地把握第2用户(20)所着眼之处。
〈变形例〉
本发明不限定于上述的实施方式，能够进行各种变形。上述的实施方式是为了易于理解地说明本发明而例示的方式，不一定限定为具备所说明的全部构成。另外，也可以在上述实施方式的构成上追加其他构成，还能够将构成的一部分置换为其他构成。另外，图中示出的控制线、信息线示出了认为在说明中需要的，不限于示出了在产品上需要的全部控制线、信息线。也可以认为在实际上几乎全部构成都相互连接。针对上述实施方式能够进行的变形例如如下。
(1)在上述实施方式中，说明了适用测距传感器500作为“姿势检测部”的具体例的例子。但是，只要能够检测管理者20的姿势、动作，则能够适用其来替代测距传感器500。例如，能够适用对管理者20的动态图像进行摄影来检测管理者20的姿势的动作捕捉系统。另外，也可以使管理者20佩戴对各部位的关节的弯曲角度进行检测的传感器，由此检测管理者20的姿势、动作。
(2)上述实施方式中的信息处理装置300的硬件能够通过一般性的计算机实现，因此也可以将执行图15、图16、图18所示的流程图、其他上述的各种处理的程序等存放在存储介质中，或者经由传送路径发布。
(3)关于图15、图16、图18所示的处理、其他上述的各处理，在上述实施方式中作为使用程序的软件性的处理进行了说明，但也可以将其一部分或者全部置换为使用ASIC(Application Specific Integrated Circuit：应用型专用集成电路)或者FPGA(FieldProgrammable Gate Array：现场可编程逻辑门阵列)等的硬件性的处理。

Claims (8)

1.一种远程作业支援系统，其特征在于，具备：
第1显示装置，被佩戴于在作业现场进行作业的第1用户；
周围摄像装置，被配置于所述作业现场；以及
信息处理装置，被设置在规定位置，构成为能够与所述第1显示装置及所述周围摄像装置进行通信，由第2用户操作，
所述第1显示装置具备：
第1显示部，向所述第1用户显示信息；
第1摄像部，对所述第1显示装置的前方进行摄影，输出第1影像数据；以及
第1通信部，向所述信息处理装置发送所述第1影像数据，
所述周围摄像装置具备：
第2摄像部，输出包含与所述第1影像数据的摄像范围不同的摄像范围的第2影像数据；以及
第2通信部，向所述信息处理装置发送所述第2影像数据，
所述信息处理装置具备：
第2显示装置，显示所述第1及第2影像数据；
操作部，输入数据；以及
第3通信部，将所述第2用户经由所述操作部输入的数据向所述第1显示装置发送。
2.如权利要求1所述的远程作业支援系统，其特征在于，还具备：
视线检测传感器，对所述第2用户的视线进行检测；以及
视线对应控制部，针对所述第2显示装置，使所述第2影像数据之中的与所述视线对应之处扩大显示。
3.如权利要求2所述的远程作业支援系统，其特征在于，还具备：
滚动控制部，在所述第2用户的视线是规定状态的情况下，使所述第2显示装置上显示的所述第2影像数据向左右方向或者上下方向滚动。
4.如权利要求2所述的远程作业支援系统，其特征在于，还具备：
姿势检测部，检测所述第2用户的姿势，
所述视线对应控制部在所述姿势检测部检测出所述第2用户的规定的姿势的情况下，针对所述第2显示装置，使所述第2影像数据之中的与所述视线对应之处扩大显示。
5.如权利要求4所述的远程作业支援系统，其特征在于，还具备：
滚动控制部，在所述姿势检测部检测出所述第2用户的规定的运动状态的情况下，使所述第2显示装置上显示的所述第2影像数据向左右方向或者上下方向滚动。
6.如权利要求1所述的远程作业支援系统，其特征在于，还具备：
视线检测传感器，对所述第2用户的视线进行检测；
目视影像判定部，基于检测出的所述视线，判定所述第2用户正目视着所述第1及第2影像数据之中的哪一个；以及
发送控制部，基于所述目视影像判定部的判定结果，控制所述第1或者第2影像数据的数据速率，或者使发送停止。
7.如权利要求1所述的远程作业支援系统，其特征在于，还具备：
视线检测传感器，对所述第2用户的视线进行检测；
目视影像判定部，基于检测出的所述视线，判定所述第2用户正目视着所述第1及第2影像数据之中的哪一个；以及
画面控制部，将所述目视影像判定部的判定结果经由所述第1显示部向所述第1用户通知。
8.如权利要求1所述的远程作业支援系统，其特征在于，还具备：
视线检测传感器，对所述第2用户的视线进行检测；
目视影像判定部，基于检测出的所述视线，判定所述第2用户正目视着所述第1及第2影像数据之中的哪一个，在正目视着所述第2影像数据的情况下，检测正目视的坐标位置；以及
方向显示部，被安装于所述周围摄像装置，显示与所述坐标位置对应的方向。
CN202010557906.9A 2019-07-01 2020-06-18 远程作业支援系统 Pending CN112188152A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-122778 2019-07-01
JP2019122778A JP7372061B2 (ja) 2019-07-01 2019-07-01 遠隔作業支援システム

Publications (1)

Publication Number Publication Date
CN112188152A true CN112188152A (zh) 2021-01-05

Family

ID=73919147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010557906.9A Pending CN112188152A (zh) 2019-07-01 2020-06-18 远程作业支援系统

Country Status (4)

Country Link
US (2) US11169764B2 (zh)
JP (1) JP7372061B2 (zh)
CN (1) CN112188152A (zh)
DE (1) DE102020116951A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020114656A1 (de) * 2020-06-02 2021-12-02 Audi Aktiengesellschaft Informationsverarbeitungssystem und verfahren zur verarbeitung von information
JP7335044B2 (ja) * 2021-06-07 2023-08-29 Ｎｅｃフィールディング株式会社 作業スキル判定システム、作業スキル判定方法、及び作業スキル判定プログラム
JP7464933B2 (ja) * 2021-10-08 2024-04-10 株式会社日本ブレーン 表示装置及び表示システム
JP2023156869A (ja) 2022-04-13 2023-10-25 株式会社日立製作所 作業支援システム及び方法
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras
JP2024049970A (ja) * 2022-09-29 2024-04-10 株式会社日立製作所 仮想三次元空間共有システム、仮想三次元空間共有方法、及び仮想三次元空間共有サーバ

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
JP2006332733A (ja) * 2005-05-23 2006-12-07 Hitachi Electronics Service Co Ltd カメラ画像を利用した監視サービスサポートシステム
US20070132663A1 (en) * 2005-12-12 2007-06-14 Olympus Corporation Information display system
WO2011058707A1 (ja) * 2009-11-11 2011-05-19 コニカミノルタオプト株式会社 撮影装置および遠隔作業支援システム
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置，医疗支援方法以及医疗支援系统
CN106101470A (zh) * 2015-04-28 2016-11-09 京瓷办公信息系统株式会社 信息处理装置及对图像处理装置的作业指示方法
US20170322624A1 (en) * 2014-11-17 2017-11-09 Yanmar Co., Ltd. Display system for remote control of working machine
JP2018026692A (ja) * 2016-08-10 2018-02-15 株式会社日立製作所 作業支援システム、撮影装置、及び表示装置
CN108259886A (zh) * 2016-12-27 2018-07-06 Fove股份有限公司 推定系统、推定方法及推定程序
CN109413376A (zh) * 2017-08-16 2019-03-01 奥林巴斯株式会社 作业支援系统、可穿戴装置、摄像装置、作业支援方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140967A (ja) * 1993-11-22 1995-06-02 Matsushita Electric Ind Co Ltd 画像表示装置
JP2006023953A (ja) 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
EP1686554A3 (en) 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
KR101809636B1 (ko) 2009-09-22 2018-01-18 페이스북, 인크. 컴퓨터 장치의 원격 제어
JP2011197736A (ja) 2010-03-17 2011-10-06 Mitsubishi Electric Corp 視界支援装置
JP2012095229A (ja) 2010-10-28 2012-05-17 Sharp Corp 画像表示装置及び画像表示装置用のコンピュータプログラム
JP2014182629A (ja) 2013-03-19 2014-09-29 Nec Corp 確認支援情報生成装置、確認支援情報生成方法、及びプログラム
WO2016092941A1 (ja) 2014-12-12 2016-06-16 オリンパス株式会社 カプセル内視鏡システム及びその撮像方法
JP2016171477A (ja) 2015-03-13 2016-09-23 株式会社日立製作所 遠隔作業支援装置、モニタリングシステム、および、遠隔作業支援方法
US20180181281A1 (en) 2015-06-30 2018-06-28 Sony Corporation Information processing apparatus, information processing method, and program
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
JP6733401B2 (ja) 2016-07-28 2020-07-29 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム
JP2017156665A (ja) 2016-03-04 2017-09-07 Ｎｅｃディスプレイソリューションズ株式会社 映像表示装置、映像表示方法、及びプログラム
JP2017188739A (ja) 2016-04-04 2017-10-12 株式会社Ｉｈｉエアロスペース 画像取得圧縮送信方法、移動体の遠隔操縦方法、画像取得圧縮送信装置、及び移動体の遠隔操縦システム
WO2017199495A1 (ja) 2016-05-20 2017-11-23 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理装置、及びプログラム
JP6715683B2 (ja) 2016-06-02 2020-07-01 グローリー株式会社 貨幣処理システム
CN110419018B (zh) * 2016-12-29 2023-08-04 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
JP2018182570A (ja) 2017-04-14 2018-11-15 コニカミノルタ株式会社 視線情報共有方法および視線情報共有システム
JP2019046291A (ja) 2017-09-05 2019-03-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP2019101919A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
US10977868B2 (en) * 2018-06-29 2021-04-13 Factualvr, Inc. Remote collaboration methods and systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293605A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法およびシステム
JP2006332733A (ja) * 2005-05-23 2006-12-07 Hitachi Electronics Service Co Ltd カメラ画像を利用した監視サービスサポートシステム
US20070132663A1 (en) * 2005-12-12 2007-06-14 Olympus Corporation Information display system
WO2011058707A1 (ja) * 2009-11-11 2011-05-19 コニカミノルタオプト株式会社 撮影装置および遠隔作業支援システム
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置，医疗支援方法以及医疗支援系统
US20170322624A1 (en) * 2014-11-17 2017-11-09 Yanmar Co., Ltd. Display system for remote control of working machine
CN106101470A (zh) * 2015-04-28 2016-11-09 京瓷办公信息系统株式会社 信息处理装置及对图像处理装置的作业指示方法
JP2018026692A (ja) * 2016-08-10 2018-02-15 株式会社日立製作所 作業支援システム、撮影装置、及び表示装置
CN108259886A (zh) * 2016-12-27 2018-07-06 Fove股份有限公司 推定系统、推定方法及推定程序
CN109413376A (zh) * 2017-08-16 2019-03-01 奥林巴斯株式会社 作业支援系统、可穿戴装置、摄像装置、作业支援方法

Also Published As

Publication number Publication date
US11544030B2 (en) 2023-01-03
DE102020116951A1 (de) 2021-01-07
US20220019399A1 (en) 2022-01-20
US11169764B2 (en) 2021-11-09
JP2021010101A (ja) 2021-01-28
US20210004195A1 (en) 2021-01-07
JP7372061B2 (ja) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112188152A (zh) 远程作业支援系统
US10684475B2 (en) Image generation apparatus and image generation method
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US10642564B2 (en) Display system, display device, information display method, and program
US9858643B2 (en) Image generating device, image generating method, and program
JP5966510B2 (ja) 情報処理システム
JP4952995B2 (ja) 画像表示システム、画像表示方法および画像表示プログラム
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
US20160049011A1 (en) Display control device, display control method, and program
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
EP3321776B1 (en) Operation input device and operation input method
US20100100853A1 (en) Motion controlled user interface
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
EP3264380B1 (en) System and method for immersive and collaborative video surveillance
JP2014149718A (ja) 撮影指示装置、撮影指示方法、及びプログラム
CN112119451A (zh) 信息处理装置、信息处理方法和程序
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
US20230385011A1 (en) Information processing apparatus, information processing system, information processing method, and information processing terminal
JP2017062650A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
GB2582106A (en) Display device and display device control method
JP2016053935A (ja) 可視像表示方法、第１デバイス、プログラム、及び、視界変更方法、第１デバイス、プログラム
JP2006260191A (ja) 遠隔指示システム
CN108140357B (zh) 信息处理装置
US11954269B2 (en) Information processing apparatus, information processing method, and program for generating location data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105