CN107111928A - 远程控制作业机用显示系统 - Google Patents

远程控制作业机用显示系统 Download PDF

Info

Publication number
CN107111928A
CN107111928A CN201480082777.5A CN201480082777A CN107111928A CN 107111928 A CN107111928 A CN 107111928A CN 201480082777 A CN201480082777 A CN 201480082777A CN 107111928 A CN107111928 A CN 107111928A
Authority
CN
China
Prior art keywords
eye
panoramic image
remote control
image
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480082777.5A
Other languages
English (en)
Other versions
CN107111928B (zh
Inventor
马尔塔·尼科里尼
安东尼奥·阿尔巴
江口慎吾
楠野顺也
保罗·特里皮基奥
埃马努埃莱·鲁法尔迪
卡洛·阿尔贝托·阿维扎诺
保罗·西蒙内·加斯帕雷洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to CN202010638589.3A priority Critical patent/CN111754750B/zh
Publication of CN107111928A publication Critical patent/CN107111928A/zh
Application granted granted Critical
Publication of CN107111928B publication Critical patent/CN107111928B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F5/00—Dredgers or soil-shifting machines for special purposes
    • E02F5/02—Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
    • E02F5/14—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids
    • E02F5/145—Component parts for trench excavators, e.g. indicating devices travelling gear chassis, supports, skids control and indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

远程控制作业机用显示系统包括均设置在作业机上或中的多个相机单元和图像处理设备以及均设置于远程控制端的显示设备和远程控制设备。显示设备检测操作员头部的移动，并且将所检测出的操作员头部的移动传送至远程控制设备。远程控制设备通过无线通信将从显示设备传送来的操作员头部的移动传送至图像处理设备。图像处理设备根据从远程控制设备传送来的操作员头部的移动来调整用于传送至显示设备的左眼和右眼全景图像的部分左眼和右眼全景图像。

Description

远程控制作业机用显示系统
技术领域
本发明涉及一种显示从作业机传送来的用于远程控制作业机的图像的显示系统。
背景技术
已经存在显示从作业机传送来的用于远程控制作业机的图像的显示系统。传统的显示系统包括附加于作业机的相机或相机组件，从位于远离作业机作业的作业现场的位置对该相机或相机组件进行远程控制。系统通过无线通信将相机拍摄的图像(影像)传送至显示系统的远程控制端，使得远程控制端中的显示设备能够实时显示所拍摄的图像。
例如，JP2008111269A公开了在显示设备上实时显示作业机环境的全景图像的显示系统。
作为另一示例，JP2002345058A公开了基于从附加于建筑机械的相机传送的数据在显示设备上实时显示作业现场图像的显示系统。由于无线电法规的约束，以2.4GHz的小功率无线电进行数据传送。
发明内容
本发明要解决的技术问题
希望远程控制作业机用显示系统能够跟踪操作员视线的移动，并且相应地改变正在显示设备上显示的图像，从而改善远程控制可操作性。
然而，JP2008111269A仅仅公开了响应于踏板操作来改变全景图像的显示系统。因为显示系统没有跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像，所以JP2008111269A不能始终提供良好的操作感。JP2002345058A也没有公开跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像的显示系统。
下面列出的专利文献表示与本发明相关的示例性技术。然而，任何一个都没有预见到本发明。
US6795109B2
US8274550B2
US6195204B1
US2006/0103723A1
US2007/0182812A1
US8355041B2
因此，本发明的目的在于提供一种远程控制作业机用显示系统，该显示系统能够跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。
针对技术问题的解决方案
为了实现上述目的，本发明提供了一种远程控制作业机用显示系统，该显示系统具有第一方面和第二方面。
(1)显示系统的第一方面
显示系统的第一方面为一种远程控制作业机用显示系统，包括：多个相机单元，附加于作业机，该作业机具有能够水平转动和垂直摆动的作业部件；图像处理设备，设置于上述作业机，基于上述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的上述全景图像的部分全景图像；显示设备，位于上述显示系统的远程控制端；以及远程控制设备，从上述图像处理设备接收上述部分全景图像，并且将所接收到的上述部分全景图像传送至显示设备，其中，每个相机单元都包括左眼相机和右眼相机这一对相机，上述图像处理设备分别基于上述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的上述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至上述远程控制设备，上述远程控制设备从上述图像处理设备接收上述部分左眼全景图像和右眼全景图像，并且将所接收的部分左眼全景图像和右眼全景图像传送至上述显示设备，上述显示设备设计为安装在操作员头部，从上述远程控制设备接收上述部分左眼全景图像和右眼全景图像，并且显示所接收的上述部分左眼全景图像和右眼全景图像，而且检测上述操作员头部的移动，并且将所检测出的上述操作员头部的移动传送至上述远程控制设备，上述远程控制设备通过无线通信将从上述显示设备传送来的操作员头部的移动传送至上述图像处理设备，并且上述图像处理设备根据从上述远程控制设备传送来的上述操作员头部的移动来调整将要传送至上述显示设备的上述部分左眼全景图像和右眼全景图像。
(2)显示系统的第二方面
显示系统的第二方面为一种远程控制作业机用显示系统，包括：多个相机单元，附加于作业机，该作业机具有能够水平转动和垂直摆动的作业部件；图像处理设备，设置于上述作业机，基于上述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的上述全景图像；显示设备，位于显示系统的远程控制端；以及远程控制设备，接收来自上述图像处理设备的全景图像，并且将所接收的上述全景图像的部分全景图像传送至上述显示设备，其中，每个相机单元都包括一对左眼相机和右眼相机，上述图像处理设备分别基于由上述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的上述左眼全景图像和右眼全景图像传送至上述远程控制设备，上述远程控制设备从上述图像处理设备接收上述左眼全景图像和右眼全景图像，并且将所接收的上述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至上述显示设备，上述显示设备设计成安装在操作员头部，从上述远程控制设备接收上述部分左眼全景图像和右眼全景图像，并且显示所接收的上述部分左眼全景图像和右眼全景图像，而且检测上述操作员头部的移动，并且将所检测出的上述操作员头部的移动传送至上述远程控制设备，并且上述远程控制设备根据从上述显示设备传送来的上述操作员头部的移动来调整将要传送至上述显示设备的上述部分左眼全景图像和右眼全景图像。
在本发明的示例性方面中，上述多个相机单元位于与座椅能够安装在上述作业机上的位置水平对应的安置位置处，使得上述多个相机单元具有位于坐高处的镜头中心，该坐高与假设坐在上述座椅上的对于上述作业机的目标市场而言具有平均体格的作业人员的眼睛高度对应。
在本发明的另一示例性方面中，上述多个相机单元设置在能够向上/向下移动和垂直转动的支撑构件上。
在本发明的另一示例性方面中，上述显示系统还包括位于上述多个相机单元的周边的照明设备。
在本发明的另一示例性方面中，上述显示设备基于在上述显示系统中提前准备的数据库或位于与上述显示系统不同的位置处的数据库，以部分作业辅助信息与上述部分左眼全景图像和右眼全景图像一致的方式将上述部分作业辅助信息与上述部分左眼全景图像和右眼全景图像一起显示，上述部分作业辅助信息是作业辅助信息中与上述部分左眼全景图像和右眼全景图像对应的辅助信息。
本发明的有益效果
本发明能够提供远程控制作业机用显示系统，该显示系统能够跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。
附图说明
图1为第一实施例的远程控制作业机用显示系统的示意图。
图2为设置在图1所示的作业机上的支撑构件中的支撑件的结构和由该支撑件支撑的多个相机单元的示意性立体图。
图3为示出设置在第一实施例的显示系统的作业机端的图像处理设备的系统配置的框图。
图4为示出图像处理设备裁剪部分全景图像的裁剪处理的图。
图5为示出设置在第一实施例的显示系统的远程控制端的远程控制设备的系统配置的框图。
图6为示出图像处理设备根据操作员头部的移动来调整部分全景图像的调整处理的图。
图7为描绘由第一实施例的显示系统实施的示例性控制操作的流程图。
图8为第二实施例的远程控制作业机用显示系统的示意图。
图9为示出在第三实施例的远程控制作业机用显示系统的作业机端设置的图像处理设备的系统配置的框图。
图10为示出在第三实施例的显示系统的远程控制端设置的远程控制设备的系统配置的框图。
图11为示出由第三实施例的显示系统实施的示例性控制操作的流程图。
图12为第四实施例的远程控制作业机用显示系统的示意图。
图13为第五实施例的远程控制作业机用显示系统的示意图。
图14为针对第六实施例的远程控制作业机用显示系统，当从前方观察构成相机单元的一对相机和安置在该一对相机上的示例性照明设备时的示意图。
图15为第七实施例的远程控制作业机用显示系统的显示设备上的示例性显示屏的显示，该显示屏以作业辅助信息中与部分全景图像相关联的部分与上述部分全景图像一致的方式将上述部分作业辅助信息与上述部分全景图像一起示出。
具体实施方式
下面将参照附图描述根据本发明的实施例。
第一实施例
图1为第一实施例的用于远程控制作业机200的显示系统100的示意图。
如图1所示，用于远程控制作业机200的显示系统100包括附加于作业机200并且从位于远离作业机200作业的作业现场的位置被远程控制的相机单元310-310。由相机单元310-310拍摄的图像(影像)通过无线通信传送至显示系统的远程控制端120，使得所拍摄的图像可以实时显示在远程控制端120的显示设备410上。
在显示系统100中，作业机200为由作业机200的操作员500从远离作业现场的位置远程控制的无人作业机。观看显示设备410的显示屏的操作员500从远程控制端120发送操作指令来控制无人作业机。因此作业机200能够在人类不能到达的危险作业现场(例如，由于现场的污染)中作业。
作业机200包括能够水平转动和能够垂直摆动的作业部件220。在本示例中，作业机200为建筑机械(具体为挖掘机)。作业机200还包括构成履带的行进主体210。作业部件220能够相对于行进主体210水平转动(围绕在垂直方向上延伸的轴线)。作业部件220包括：上主体221，能够相对于行进主体210水平转动；吊杆222，能够相对于上主体221垂直摆动(围绕在水平方向上延伸的轴线)；机械臂223，能够相对于吊杆222垂直摆动；以及挖斗224，能够相对于机械臂223垂直摆动。相对于置于水平面上的作业机200来定义本文中的“水平”方向和“垂直”方向。
在本示例中，机械臂223端部的附属装置是挖斗224。然而，本示例决不是进行限制，根据作业性质，任意合适的附属装置都可以装配至机械臂223的端部上。
在本示例中，作业机200为挖掘机。然而，本实施例决不是进行限制，作业机200可以为任意其他建筑机械或任意农业机械。
作业机200还包括远程操作设备230。远程操作设备230远程控制作业机200的主体，并且能够与作业机200的主体进行无线通信。远程操作设备230接受来自操作员500的操作，并且通过无线通信将基于这些操作而发出的操作指令传送至作业机200的主体。远程操作设备230包括操作部231，例如用来操作作业部件220(具体地说，上主体221、吊杆222、机械臂223、挖斗224或任意其他部件)的控制杆。
显示系统100由位于显示系统的作业机端110中的部件300和位于显示系统的远程控制端120中的部件400构成。
作业机端110中的部件300包括多个相机单元310-310和图像处理设备320，两者都设置在作业机200上。远程控制端120中的部件400包括显示设备410和远程控制设备420。
作业机端110中的部件300还包括支撑构件330。支撑构件330具有由设置在作业机200的作业部件220上的上主体221支撑(在本示例中，固定至上主体221)的下端和以水平姿态支撑(在本示例中，保持)相机单元310-310的上端。本文中的“水平姿态”定义为在作业机200置于水平面上时作业机200的姿态。
支撑构件330包括支撑件331和支撑底座(在本示例中为支柱332)。支撑件331支撑相机单元310-310。支撑底座将支撑件331支撑在其上端上，并且其下端又由上主体221支撑。
图2为示出设置在图1所示的作业机200上的支撑构件330中的支撑件331的结构以及由支撑件331支撑的相机单元310-310的示意性立体图。图2示出设置在支撑件331上的(在本示例中为五个)相机单元310-310，其中的一些被从支撑件331上拆除，实际上所有(在本示例中为5个)相机单元310-310都设置在支撑件331上。
如图2所示，每个相机单元310-310都由一对左眼相机311和右眼相机312构成。更具体地，一对相机311和312由用于操作员500左眼的左眼相机311和用于操作员500右眼的右眼相机312构成。一对相机311和312的镜头中心间隔距离“镜头，该距离等于正常人瞳孔中心之间的距离。在本示例中，构成相机单元310-310的所有相机311和312为相同类型的小型数码摄像机。
支撑件331构成为全方位或基本上全方位支撑相机单元310-310，使得由相机单元310-310拍摄的图像能够以预定的拍摄面积比(captured area ratio)重叠。具体地，支撑件331构成为全方位或基本上全方位支撑左眼相机311-311，使得由左眼相机311-311拍摄的左眼图像能够以预定的拍摄面积比重叠，并且全方位或基本上全方位支撑右眼相机312-312，使得由右眼相机312-312拍摄的右眼相机能够以预定的拍摄面积比重叠。
更具体地，当设置有两个相机单元310和310时，支撑件331可以使相机单元310和310布置在间隔预定距离的相对位置处；当设置有三个以上相机单元310-310时，支撑件331可以使相机单元310-310沿着具有预定长度半径的假想圆放射状地布置在等距离间隔或基本上等距离间隔开的位置处。
具体地，支撑件331为板状，并且可以成型为具有与相机单元310的数量匹配的边数。例如，当设置有两个相机单元310和310时，在俯视图中，支撑件331可以在相机单元310和310背对背布置的方向上具有增大的长度；当设置有三个以上相机单元310-310时，支撑件331可以具有规则多边形形状，该规则多边形形状的具有相等长度的边的数量与相机单元310的数量相同(具体地，当设置有三个相机单元310-310时，支撑件331在俯视图中可以具有正三角形形状；当设置有四个相机单元310-310时，支撑件331在俯视图中可以具有正方形形状；当设置有五个相机单元310-310时，支撑件331在俯视图中可以具有正五边形形状等等)。也可以是，支撑件331在俯视图中为圆形。
在该示例中，设置有五个相机单元310-310(换句话说，设置有构成相机单元310-310的总共十个相机311和312)。这些相机单元310-310沿着具有从俯视图中为五边形的支撑件331的中心测量的预定长度半径的假想圆放射状布置在等距离间隔开或基本上等距离间隔开的位置(每条边的中心)处。使用固定构件331a固定相机单元310-310。
如上面详细说明的那样，支撑件331支撑布置在相对位置处或放射状布置在等距离间隔开或基本上等距离间隔开的位置处的相机单元310-310。该布置使相机单元310-310整体能够泛盖360°水平视图。可以根据相机单元310-310的安置位置，以合适的方式确定构成相机单元310-310的每对相机311和312的视角。在本示例中，每对相机311和312都具有140°的垂直视角(具体地，在假想水平参考面上方70°以及在该平面下方的另外70°)。
相机单元310-310(参见图1)位于与座椅(在本示例中，如果作业机200是人工操作的，则该座椅为工作人员在操作期间所坐的座椅)能够安装在作业机200上的位置水平对应(具体地，在前/后方向和左/右方向上都水平对应)的安置位置处。另外，相机单元310-310布置为具有位于坐高处的镜头中心，该坐高与假设坐在能够安装在作业机200上的座椅上的对于作业机200的目标市场(例如，针对欧洲、北美或亚洲市场的规格)而言具有平均体格(例如，高度和坐姿高度)的作业人员(例如，来自欧洲、美国或亚洲的作业人员)的眼睛高度对应。
在本示例中，在上主体221前部，就面向行进方向的人员的左/右方向而言，吊杆222设置在上主体221的中心处。因此，就左/右方向而言，支撑构件330在上主体221的前部附近竖立于中心的右侧或左侧(在图1的示例中为左侧)。
支撑构件330还构成为支撑相机单元310-310，使得相机单元310-310具有位于与假设坐在能够安装在作业机200上的座椅上的作业人员的眼睛高度对应的高度处的镜头中心。
在本示例中，图像处理设备320设置在作业机200的作业部件220。但是本示例决不是进行限制，图像处理设备320可以设置在支撑构件330、行进主体210或任意其它合适的构件。
图像处理设备320基于由相机单元310-310拍摄的多个图像(影像数据)生成全景图像(全景影像数据)，裁剪出部分所生成的全景图像，并通过无线通信传送所裁剪出的部分全景图像。在本示例中，图像处理设备320构建在计算机(具体地，个人计算机)周围。
图3为示出第一实施例的显示系统100的作业机端110中的图像处理设备320的系统配置的框图。
如图3所示，图像处理设备320包括执行各种程序、计算以及其它处理的控制部321和存储各种数据的存储部322。
图像处理设备320具有用于与相机单元310-310通信的预定通信接口，并且通过连接电缆CB1的通信接口电连接至相机单元310-310。该配置使图像处理设备320能够接收由相机单元310-310拍摄的多个图像(影像数据)IM-IM和IM-IM。
在本示例中，相机单元310-310和图像处理设备320之间的通信接口为USB(通用串行总线)接口(具体地，为USB3.0兼容接口)。相机单元310-310与图像处理设备320之间的通信接口决不局限于USB接口，还可以为任意其它通信接口。另外，相机单元310-310与图像处理设备320之间的通信决不局限于有线通信，还可以为短程无线通信。
存储部322包含RAM(随机存取存储器)等易失性存储器和硬盘设备、闪速存储器等非易失性存储器。易失性存储器例如由控制部321用作在执行各种计算和其它处理中所需的作业存储器。非易失性存储器预加载(预安装)有来自外部资源(例如，存储介质或互联网服务器)的软件，包括计算机程序。
图像处理设备320还包括通信部323，通信部323用来与位于远程控制端120的远程控制设备420中的通信部423进行无线通信(在本示例中，为短程无线通信)。
短程无线通信的示例包括能够进行短程通信(大约从几米到100米)的技术：即，能够在大约从几十米到100米的范围进行短程通信的无线LAN(局域网)通信和能够在大约几米到几十米的范围进行短程通信的无线PAN(个人区域网)通信。
无线LAN通信的示例为IEEE 802.11兼容无线LAN通信。无线PAN通信的示例为IEEE802.15兼容无线PAN通信。
通信部323通过短程无线通信将数据发射至远程控制设备420的通信部423/从远程控制设备420的通信部423接收数据。在本示例中，通信部323进行IEEE 802.11兼容无线LAN通信。
图像处理设备320与远程控制设备420之间的通信决不局限于短程无线通信，还可以为长距离(超过大约100m)无线通信。
图像处理设备320分别基于由构成相机单元310-310的成对相机311-311和312-312拍摄的左眼和右眼图像(影像)IM-IM和IM-IM生成左眼和右眼全景图像(全景影像)PI。
例如通过下面的技术生成全景图像。对于左眼，通过将由全方位或基本上全方位布置为拍摄重叠图像IM-IM的左眼相机311-311拍摄的左眼图像IM-IM逐帧组合来生成左眼全景图像(全景影像)，以便合成其中左眼图像IM-IM重叠的普通图像。同样，对于右眼，通过将由全方位或基本上全方位布置为拍摄重叠图像IM-IM的右眼相机312-312拍摄的右眼图像IM-IM逐帧组合来生成右眼全景图像(全景影像)，以便合成其中右眼图像IM-IM重叠的普通图像。可采用任意公知的常规技术来生成全景图像PI和PI；由此，这里不再给出进一步的细节。
图像处理设备320将生成的左眼和右眼全景图像PI和PI暂时存储在存储部322中。
图像处理设备320实施裁剪处理来裁剪出存储在存储部322中的左眼全景图像PI的部分全景图像PIP，并且裁剪出存储在存储部322中的右眼全景图像PI的部分全景图像PIP。
图4为示出其中图像处理设备320从全景图像PI和PI中裁剪出部分全景图像PIP和PIP的裁剪处理。左眼和右眼全景图像PI和PI实际上具有相同的配置。图4在左眼和右眼全景图像PI和PI之间没有进行区分，而示出共同用于左眼和右眼图像两者的裁剪处理。
如图4所示，如果操作员500的头部510位于全景图像PI和PI全方位或者基本上全方位(在本示例中，基本上全方位)布置在其内侧的中空球体的中央处，则更容易理解图像处理设备320从全景图像PI和PI中裁剪出部分全景图像PIP和PIP的裁剪处理。
图像处理设备320通过使用预定参考点α(例如，作业机200的前向偏航参考角φy、滚转参考角φr或俯仰参考角φp)作为参考点，以与操作员500的视角对应的预定裁剪角度(β和γ)从全景图像PI和PI中裁剪出部分全景图像PIP和PIP。提前做出裁剪角度(β和γ)设置并且将它们存储在存储部322中。
例如，当相机单元310-310中的一个位于作业机200的前部附近时，预定参考点α可以为从位于作业机200的前部附近的那个相机单元310传送的图像的整个像素区域的中心像素。另外，预定裁剪角度(β和γ)可以与小于或等于正常人的视角的角度匹配。例如，水平裁剪角度β可以大约小于或等于200°，并且垂直裁剪角度γ可以大约小于或等于125°(具体地，假想水平参考面下方75°和上方50°)。
图像处理设备320(参见图3)通过无线通信将左眼全景图像(全景影像数据)PI的裁剪出的部分全景图像PIP和右眼全景图像(全景影像数据)PI的裁剪出的部分全景图像PIP传送至远程控制端120中的远程控制设备420。更具体地，图像处理设备320压缩左眼和右眼全景图像PI和PI的裁剪出的部分全景图像PIP和PIP，并且通过无线通信将它们实时传送至远程控制设备420。在本示例中，将通过无线通信传送的数据加密。
远程控制端120中的远程控制设备420从图像处理设备320接收左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP，并且将所接收的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP传输至显示设备410。在本示例中，远程控制设备420为计算机(在本示例中，为平板计算机)。
图5为示出第一实施例的显示系统100的远程控制端120中的远程控制设备420的系统配置的框图。
如图5所示，远程控制设备420包括执行各种程序、计算和其他处理的控制部421和存储各种数据的存储部422。
远程控制设备420具有用于与显示设备410通信的预定通信接口，并且通过连接电缆CB2的通信接口电连接至显示设备410。该配置使远程控制设备420能够将左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP传送至显示设备410。
在本示例中，远程控制设备420与显示设备410之间的通信接口为HDMI(高清多媒体接口)。远程控制设备420与显示设备410之间的通信接口决不局限于HDMI，还可以为任意其它通信接口。另外，远程控制设备420与显示设备410之间的通信决不局限于有线通信，还可以为短程无线通信。
存储部422包含RAM等易失性存储器以及闪速存储器等非易失性存储器。易失性存储器例如由控制部421用作在执行各种计算和其它处理中所需的作业存储器。非易失性存储器预加载(预安装)有软件，包括来自外部资源(例如，存储介质或互联网服务器)的计算机程序。
远程控制设备420还包括通信部423，通信部423用来与作业机端110中的图像处理设备320的通信部323进行无线通信(在本示例中，为短程无线通信)。
由远程控制设备420的通信部423进行的无线通信与由图像处理设备320的通信部323进行的无线通信相同；由此，这里不再给出进一步的细节。
在本示例中，远程控制设备420为平板计算机，也可以是任意其它移动终端设备，例如笔记本计算机、多功能移动手持电话(“智能电话”)、手表式终端设备或可穿戴设备(能够附在衣服上的终端设备)。远程控制设备420可以设置在显示设备410中。远程控制设备420决不局限于移动终端设备，还可以为台式计算机。操作员500在远程控制作业机200期间可以站着或坐着。
更具体地，远程控制设备420将所接收的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP暂时存储在存储部422中，并且同时将它们传送至显示设备410。
远程控制端120中的显示设备410从远程控制设备420接收左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP，并且同时将其显示。更具体地，显示设备410进行流重放，其中显示设备410同时接收并再现(显示)从远程控制设备420实时传送的左眼和右眼全景图像(全景影像)PI和PI的部分全景图像PIP和PIP。
该配置使显示设备410能够实现实时(直播)三维显示(“3D图像”或“立体图像”)。可以使用任意公知的常规技术来在显示设备410上实现三维显示；由此，这里不再给出进一步的细节。
在本示例中，显示设备410(参见图1)安装在操作员500的头部510上(具体地，在眼睛前方)。更具体地，显示设备410为HMD(头戴式显示器)。显示设备410决不局限于头戴式显示器(HMD)，还可以为台式显示设备(监视器)或视频投影仪。
远程控制端120中的部件400还包括视线检测部411(参见图1和5)，视线检测部411用来检测操作员500视线的移动。在本示例中，视线检测部411为姿态检测部，用来检测操作员500的头部510的姿态(参见图1)。
视线检测部411如图1所示，安装在操作员500的头部510上，并且能够使用头部510的参考姿态(例如，操作员500正在沿着水平方向观察时头部510的姿态)作为参考，检测关于操作员500的头部510的绕沿着垂直方向延伸的y轴的偏航角θy、关于操作员500的头部510的绕沿着前/后方向延伸的r轴的滚转角θr以及关于操作员500的头部510的绕沿着左/右方向延伸的p轴的俯仰角θp。在检测操作员500的头部510的姿态之前，可以指定参考姿态的参考值。
视线检测部411当其在当前示例中为姿态检测部时，可以例如为包括三维陀螺仪传感器、三维重力加速度传感器、旋转编码器和电位计在内的各种传感器中的一种。视线检测部411可以为公知的常规类型；由此，这里不再给出进一步的细节。
视线检测部411(参见图5)向远程控制设备420传送有关所检测出的操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)。
在本实施例中，视线检测部411设置在显示设备410中。换句话说，显示设备410包括视线检测部411，使用视线检测部411检测操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)，并且向远程控制设备420传送由视线检测部411检测出的关于操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)。
从视线检测部411(在本示例中，为显示设备410)向远程控制设备420传送操作员500的头部510的移动可以通过与远程控制设备420和显示设备410之间的通信类似的通信来进行。从视线检测部411(在本示例中，为显示设备410)向远程控制设备420传送操作员500的头部510的移动决不必须通过有线通信来进行，还可以通过短程无线通信来进行。
远程控制设备420通过无线通信将从视线检测部411(在本示例中，为显示设备410)传送来的有关操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)传送至作业机端110中的图像处理设备320。
作业机端110中的图像处理设备320从远程控制设备420接收有关操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)，并且根据所接收的操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)调整将要传送至显示设备410的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP。
图6为示出其中图像处理设备320根据操作员500的头部510的移动调整全景图像PI和PI的部分全景图像PIP和PIP的调整处理的图。左眼和右眼全景图像PI和PI实际上具有相同的配置。图6没有在左眼和右眼全景图像PI和PI之间进行区分，而示出共同用于左眼和右眼图像两者的调整处理。
如图6所示，如果操作员500的头部510位于全景图像PI和PI全方位或者基本上全方位(在本示例中，基本上全方位)布置在其内侧的中空球体的中央处，则将更容易理解图像处理设备320根据操作员500的头部510的移动调整全景图像PI和PI的部分全景图像PIP和PIP的调整处理。
对于每个全景图像PI和PI，图像处理设备320都通过所接收的操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)计算偏离预定参考点α(例如，作业机200的前向偏航参考角φy、滚转参考角φr或俯仰参考角φp)的相对参考点Δα(例如，针对在作业机200前部的参考点的相对偏航参考角φy+θy、相对滚转参考角φr+θr和相对俯仰参考角φp+θp)。
图像处理设备320裁剪出调整后的全景图像PI和PI的部分全景图像PIP和PIP。更具体地，图像处理设备320通过使用所计算出的相对参考点Δα作为参考，以与操作员500的视角对应的裁剪角(β和γ)从全景图像PI和PI中裁剪出部分全景图像PIP和PIP。
在本示例中，视线检测部411为姿态检测部，其检测操作员500的头部510的姿态，也可以是检测操作员500的视线(眼球移动)的视线检测部。在后面的情况中，如果视线检测部对于操作员500视线的改变响应太快，则图像处理设备320可以通过延迟视线检测部的响应来实施调整处理或裁剪处理。
图7为描绘由第一实施例的显示系统100实施的示例性控制操作的流程图。
在由第一实施例的显示系统100实施的控制操作中，如图7所示，作业机端110中的图像处理设备320首先从由相机单元310-310拍摄的多个图像IM-IM和IM-IM中生成全景图像PI和PI(步骤S101)。
接下来，图像处理设备320实施裁剪处理以裁剪出所生成的全景图像PI和PI的部分全景图像PIP和PIP(步骤S102)。
接下来，图像处理设备320通过无线通信将所裁剪出的全景图像PI和PI的部分全景图像PIP和PIP传送至远程控制端120中的远程控制设备420(步骤S103)。
接下来，远程控制端120中的远程控制设备420从作业机端110中的图像处理设备320接收全景图像PI和PI的部分全景图像PIP和PIP，并且同时将上述部分全景图像传送至显示设备410(步骤S104)。
接下来，显示设备410同时接收并且显示从远程控制设备420传送来的全景图像PI和PI的部分全景图像PIP和PIP(步骤S105)。
接下来，显示设备410检测操作员500的头部510的移动，并且同时将该移动传送至远程控制设备420(步骤S106)。
接下来，远程控制设备420从显示设备410接收操作员500的头部510的移动，并且同时通过无线通信将该移动传送至作业机端110中的图像处理设备320(步骤S107)。
接下来，作业机端110中的图像处理设备320从远程控制端120中的远程控制设备420接收操作员500的头部510的移动，并且同时根据头部510的移动来调整全景图像PI和PI的部分全景图像PIP和PIP(步骤S108)。
然后，第一实施例的显示系统100重复上述步骤S101至S108，直到完成该处理(步骤S109)。
在上述第一实施例的显示系统100中，图像处理设备320根据从远程控制设备420传送来的操作员500的头部510的移动来调整将要传送至显示设备410的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP。显示系统100因此能够根据操作员500的头部510的移动来调整正在显示设备410上显示的三维视图，并且因此能够通过跟踪操作员500视线的移动来改变正在显示设备410上显示的图像。该配置能够改善远程控制可操作性。此外，图像处理设备320通过无线通信将全景图像PI和PI的部分全景图像PIP和PIP传送至远程控制设备420。因此，与通过无线通信将完整的全景图像PI和PI传送至远程控制设备420的情况相比，显示系统100能够降低无线通信的数据量。
当将要改变正在显示设备上显示的图像时，单个相机自身移动以在显示设备上显示图像的显示系统需要时间来移动相机。
与此相对，与显示系统配置为移动相机以在显示设备上显示图像的情况相比，因为图像处理设备320存储全景图像PI和PI(全方位图像或基本上全方位图像)，所以第一实施例的显示系统100能够消除在移动相机过程中不可避免地出现的时间延迟。
另外，在第一实施例中，相机单元310-310位于与座椅能够安装在作业机200上的位置水平对应(具体地，在前/后方向和左/右方向上对应)的安置位置处，并且使得相机单元310-310具有位于坐高处的镜头中心，该坐高与假设坐在座椅上的针对作业机200的目标市场而言具有平均体格(例如，高度和坐姿高度)的作业人员的眼睛高度对应。因此，显示设备410能够显示全景图像PI和PI中与坐在座椅上的作业人员将看到的真实视图类似的部分全景图像PIP和PIP。
第二实施例
图8为第二实施例的用于远程控制作业机200的显示系统100的示意图。
如图8所示，根据第二实施例的显示系统100与第一实施例的显示系统100的不同之处在于，远程控制端120中的远程控制设备420由多个远程控制设备420-420代替，并且显示设备410由与远程控制设备420-420分别对应的多个显示设备410-410代替。
第二实施例的显示系统100与第一实施例的显示系统100的构件中实际上相同的那些构件由相同的附图标记表示。下面将着重描述与第一实施例的显示系统100的不同之处。
作业机端110中的图像处理设备320裁剪出全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP，并且通过无线通信将全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP传送至远程控制端120中的远程控制设备420-420。作业机端110中的图像处理设备320与远程控制端120中的远程控制设备420-420之间的通信能够进行多路通信，在该多路通信中多个信号通过单条通信信道同时传送。多路通信方式没有任何限制，示例包括FDM(频分多路复用)通信、TDM(时分多路复用)通信以及其它多路复用通信。
远程控制端120中的远程控制设备420-420从图像处理设备320接收全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP，并且将所接收的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP传送至相关显示设备410-410。
远程控制端120中的显示设备410-410从相关远程控制设备420-420接收全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP，并且显示所接收的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。多个视线检测部411-411(在本示例中，多个显示设备410-410)检测相关操作员500-500的头部510-510的移动，并且将所检测出的操作员500-500的头部510-510的移动传送至相关远程控制设备420-420。远程控制设备420-420通过无线通信向图像处理设备320传送从相关视线检测设备411-411(在本示例中为显示设备410-410)传送来的操作员500-500的头部510-510的移动。
作业机端110中的图像处理设备320根据从远程控制设备420-420传送来的操作员500-500的头部510-510的移动来调整全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。
图像处理设备320从全景图像PI和PI中裁剪出调整后的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。
除了远程控制设备420由远程控制设备420-420代替，并且显示设备410由显示设备410-410代替之外，由第二实施例的显示系统100实施的处理流程实际上与图7中所示的由第一实施例的显示系统100实施的处理流程相同。由此，这里不再给出进一步的细节。
在第二实施例的显示系统100中，操作员500-500能够在他们想要的视野中同时观看正在他们各自的显示设备410-410上显示的图像。与第一实施例中单个操作员500观看正在他的/她的显示设备410上显示的图像的情况相比，该配置能够提高作业安全性。
第三实施例
第三实施例的显示系统100与第一实施例的显示系统100的不同之处在于，是远程控制端120中的远程控制设备420而不是作业机端110中的图像处理设备320对全景图像PI和PI实施裁剪处理并且对全景图像PI和PI的部分全景图像PIP和PIP实施调整处理。
第三实施例的显示系统100与第一实施例的显示系统100的构件中实际上相同的那些构件由相同的附图标记表示。下面将着重描述与第一实施例的显示系统100的不同之处。
图9为示出第三实施例的在用于远程控制作业机200的显示系统100的作业机端110中设置的图像处理设备320的系统配置的框图。图10为示出在第三实施例的显示系统100的远程控制端120中设置的远程控制设备420的系统配置的框图。
如图9所示，作业机端110中的图像处理设备320生成左眼全景图像PI(关于完整的左眼全景图像PI的数据)和右眼全景图像PI(关于完整的右眼全景图像PI的数据)并且通过无线通信将它们传送至远程控制端120中的远程控制设备420。
如图10所示，远程控制端120中的远程控制设备420从图像处理设备320接收左眼全景图像PI(关于完整的左眼全景图像PI的数据)和右眼全景图像PI(关于完整的右眼全景图像PI的数据)，并且裁剪出所接收的左眼全景图像PI的部分全景图像PIP和所接收的右眼全景图像PI的部分全景图像PIP，并且将所裁剪出的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP传送至显示设备410。
更具体地，远程控制设备420将所接收的左眼和右眼全景图像PI和PI暂时存储在存储部422中。
远程控制设备420实施裁剪处理以裁剪出存储在存储部422中的左眼全景图像PI的部分全景图像PIP和存储在存储部422中的右眼全景图像PI的部分全景图像PIP。
远程控制设备420裁剪出全景图像PI和PI的PIP和PIP的裁剪处理与图4中所示的图像处理设备320裁剪出全景图像PI和PI的部分全景图像PIP和PIP的裁剪处理类似；由此，这里不再给出进一步的细节。
远程控制设备420根据从显示设备410传送来的操作员500的头部510的移动调整将要传送至显示设备410的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP。
远程控制设备420根据操作员500的头部510的移动调整全景图像PI和PI的部分全景图像PIP和PIP的调整处理与图6中所示的图像处理设备320根据操作员500的头部510的移动调整全景图像PI和PI的PIP和PIP的调整处理类似；由此，在这里不再给出进一步的细节。
远程控制设备420从全景图像PI和PI中裁剪出调整后的全景图像PI和PI的部分全景图像PIP和PIP。
图11为描绘由第三实施例的显示系统100实施的示例性控制操作的流程图。
在由第三实施例的显示系统100实施的控制操作中，如图11所示，作业机端110中的图像处理设备320首先从由相机单元310-310拍摄的多个图像IM-IM和IM-IM生成全景图像PI和PI(步骤S201)。
接下来，图像处理设备320通过无线通信将所生成的全景图像PI和PI传送至远程控制端120中的远程控制设备420(步骤S202)。
接下来，远程控制端120中的远程控制设备420从作业机端110中的图像处理设备320接收全景图像PI和PI，并且同时实施裁剪处理以裁剪出全景图像PI和PI的部分全景图像PIP和PIP(步骤S203)。
接下来，远程控制设备420将所裁剪出的全景图像PI和PI的部分全景图像PIP和PIP传送至显示设备410(步骤S204)。
接下来，显示设备410同时接收并且显示从远程控制设备420传送的的全景图像PI和PI的部分全景图像PIP和PIP(步骤S205)。
接下来，显示设备410检测操作员500的头部510的移动，并且同时将该移动传送至远程控制设备420(步骤S206)。
接下来，远程控制设备420从显示设备410接收操作员500的头部510的移动，并且同时根据头部510的移动调整全景图像PI和PI的部分全景图像PIP和PIP(步骤S207)。
然后，第三实施例的显示系统100重复上述步骤S201至S207，直到完成该处理(步骤S208)。
在第三实施例的显示系统100中，远程控制设备420根据从显示设备410传送来的操作员500的头部510的移动来调整将要传送至显示设备410的左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP。显示系统100因此能够根据操作员500的头部510的移动来调整正在显示设备410上显示的三维视图，并且因此能够通过跟踪操作员500视线的移动来改变正在显示设备410上显示的图像。该配置能够改善远程控制可操作性。此外，远程控制端120中的远程控制设备420实施调整处理以根据操作员500的头部510的移动来调整全景图像PI和PI的部分全景图像PIP和PIP。因此，与作业机端110中的图像处理设备320实施调整处理的情况相比，显示系统100能够消除将头部510的移动从远程控制端120中的远程控制设备420传送至作业机端110中的图像处理设备320所花费的时间。
当要改变正在显示设备上显示的图像时，单个相机自身移动以在显示设备上显示图像的显示系统需要时间来移动相机。
与此相对，与显示系统配置为移动相机以在显示设备上显示图像的情况相比，因为远程控制设备420存储全景图像PI和PI(全方位图像或基本上全方位图像)，所以第三实施例的显示系统100能够消除在移动相机过程中不可避免地出现的时间延迟。
第四实施例
图12为第四实施例的用于远程控制作业机200的显示系统100的示意图。
如图12所示，第四实施例的显示系统100与第三实施例的显示系统100的不同之处在于，远程控制端120中的远程控制设备420由多个远程控制设备420-420代替，并且显示设备410由与远程控制设备420-420分别对应的多个显示设备410-410代替。
第四实施例的显示系统100与第三实施例的显示系统100的构件中实际上相同的那些构件用相同的附图标记表示。下面将着重描述与第三实施例的显示系统100的不同之处。
作业机端110中的图像处理设备320通过无线通信向远程控制端120中的远程控制设备420-420传送全景图像PI和PI(关于完整的全景图像PI和PI的数据)。作业机端110中的图像处理设备320与远程控制端120中的远程控制设备420-420之间的通信与第二实施例类似；由此，在这里不再给出进一步的细节。
远程控制端120中的远程控制设备420-420从图像处理设备320接收全景图像PI和PI，裁剪出所接收的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP，并且将所裁剪出的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP传送至相关显示设备410-410。
远程控制端120中的显示设备410-410从相关远程控制设备420-420接收全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP，并且显示所接收的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。多个视线检测部411-411(在本示例中为多个显示设备410-410)检测相关操作员500-500的头部510-510的移动，并且将所检测出的操作员500-500的头部510-510的移动传送至相关远程控制设备420-420。
远程控制端120中的远程控制设备420-420根据从相关视线检测部411-411(在本示例中为显示设备410-410)传送来的相关操作员500-500的头部510-510的移动来调整全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。
然后，远程控制设备420-420从全景图像PI和PI中裁剪出调整后的全景图像PI和PI的部分全景图像PIP-PIP和PIP-PIP。
除了远程控制设备420由远程控制设备420-420代替，并且显示设备410由显示设备410-410代替之外，由第四实施例的显示系统100实施的处理流程与由图11中所示的第三实施例的显示系统100实施的处理流程实际上相同，由此，这里不再给出进一步的细节。
在第四实施例的显示系统100中，操作员500-500能够在他们想要的视野中同时观看正在他们各自显示设备410-410上显示的图像。与第一实施例中单个操作员500观看正在他的/她的显示设备410上显示的图像的情况相比时，该配置能够提高作业安全性。
第五实施例
图13为第五实施例的用于远程控制作业机200的显示系统100的示意性侧视图。
如图13所示，第五实施例的显示系统100与第一至第四实施例的显示系统100-100的不同之处在于，设置在作业机200上的支撑构件330由能够向上/向下移动和垂直转动的支撑构件340代替。
第五实施例的显示系统100与第一至第四实施例的显示系统100-100的构件中实际上相同的那些构件由相同的附图标记表示，并且这里对于那些构件将不再给出进一步的细节。
支撑构件340包括支撑件331和支撑底座(在本示例中为支撑臂342)。支撑件331支撑相机单元310-310。支撑底座将支撑件331支撑在其上端上，并且其下端又由上主体221支撑，以将相机单元310-310保持为水平姿态。
在本示例中，支撑臂342可以将支撑件331支撑在上端上，使得支撑件331能够围绕在左/右方向上延伸的轴线(第一支轴342a)自由转动，并且下端由上主体221支撑，使得支撑臂342能够围绕在左/右方向上延伸的轴线(第二支轴342b)自由转动。更具体地，支撑臂342可以配置为：不管支撑臂342围绕在左/右方向上延伸的轴线(第二支轴342b)如何转动，第二支轴342b总是位于第一支轴342a后方。设置有多个支撑臂342-342(在本示例中为两个支撑臂342和342)。支撑臂342-342构成为在前/后方向上相互平行设置的平行连杆，以按照支撑件331能够上/下移动的方式支撑支撑件331。支撑臂342和342的第一支轴342a-342a和第二支轴342b-342b以将相机单元310-310保持为水平姿态的距离分离开来。在本示例中，支撑臂342-342的第一支轴342a-342a和第二支轴342b-342b定位在同一水平线上。支撑臂342-342的第一支轴342a-342a和第二支轴342b-342b以相等距离分离。不管支撑臂342-342围绕在左/右方向上延伸的轴线(第二支轴342b-342b)如何转动，该配置使支撑构件340都能够将相机单元310-310保持为水平姿态。如前所述，上下文中的“水平姿态”定义为当作业机200置于水平面上时作业机200的姿态。
支撑构件340包括驱动支撑臂342-342的驱动器部343。驱动器部343响应于从远程控制端120中的远程操作设备230传送来的操作指令而开动，以使支撑臂342-342转动并且上/下移动相机单元310-310。该配置使操作员500能够通过远程控制支撑臂342-342的转动来上/下移动相机单元310-310。
在本示例中，支撑构件340构成为使得相机单元310-310的镜头中心的垂直移动范围R能够覆盖坐高H，该坐高H与假设坐在座椅上的对于作业机200的目标市场而言具有平均体格(例如，高度和坐姿高度)的作业人员的眼睛高度对应。图像处理设备320可以将相机单元310-310的镜头中心的当前(垂直)高度传送至远程控制设备410，远程控制设备420又可以将当前高度传送至显示设备410，使得显示设备410能够显示当前高度，同时显示各个指示位置，例如相机单元310-310的镜头中心的最大和最小高度MAX和MIN以及坐高H。该配置使操作员500能够识别相机单元310-310的镜头中心的当前高度。
支撑构件340构成为：当相机单元310-310的镜头中心位于坐高H处时，相机单元310-310位于与座椅能够安装在作业机200上的位置水平对应(具体地，在前/后方上)的安置位置处。
支撑臂342可以构成为：按照支撑件331能够上/下移动的方式将支撑件331固定支撑在支撑臂342的上端。
在第五实施例的显示系统100中，相机单元310-310安置在能够向/下移动并且能够在垂直方向上转动的支撑构件340上。该配置使操作员500能够在必要时调整相机单元310-310的镜头中心的高度，并且因此调整操作员500的视野的高度。结果，例如，由于类似于鸟瞰图的视野，所以操作员500能够抓取作业机200的周围环境的更宽广的视野。另外，如果促动支撑构件340降低相机单元310-310的高度，则作业机200能够很容易进入位于坑中或具有低顶棚的作业现场。此外，当操作员500正在通过直接观看周围环境(通过直接检查周围环境)来控制作业机200时，能够通过按照相机单元310-310能够回撤到作业机200中的方式促动支撑构件340来使得相机单元310-310能够回撤到作业机200中。另外，支撑臂342-342能够构成为使得第二支轴342b-342b总是位于第一支轴342a-342a后方。该配置使相机单元310-310能够可靠地拍摄位于第一支轴342a-342a前方的部分作业部件220的图像。
第六实施例
第六实施例的显示系统100与第一至第五实施例的显示系统100-100的不同之处在于：在相机单元310-310的周边(相邻或紧靠)附加设置有照明设备350-350和350-350。
图14为针对第六实施例的用于远程控制作业机200的显示系统100，当从前方观察构成相机单元310的一对相机311和312以及安置在一对相机311和312上的示例性照明设备350和350时的示意图。安置在相机单元310-310上的所有照明设备350-350和350-350都具有相同的结构；图14示出作为示例安置在相机单元310-310的一个上的照明设备350和350。
如图14所示，照明设备350和350按照发光侧面向目标侧的方式安置在一对相机311和312的镜头311a和312a周边的至少一部分(在本示例中，在整个周边上)。在本示例中，照明设备350和350包括安置在一对相机311和312的镜头311a和312a的整个周边上的多个(在本示例中为八个)发光元件351-351和351-351(具体地，为发光二极管)。发光元件351-351和351-351彼此等距离或基本上等距离分离地安置在镜头311a和312a周围。
在根据第六实施例的显示系统100中，照明设备350-350和350-350安置在相机单元310-310的周边。因此，由照明设备350-350和350-350发出的光能够有效防止相机单元310-310拍摄所拍摄图像中的阴影。
第七实施例
为了改进与作业相关的问题，例如作业效率和安全性，在作业现场中，操作员500在启动工程之前了解作业计划(例如，关于挖掘的大致长度、宽度和深度)、作业部件220的转动范围(具体地，上主体221的转动范围以及吊杆222、机械臂223和挖斗224的摆动范围)或者天然气管道、水管以及其它地下管道的位置是及其重要的。
从这个角度出发，第七实施例的显示系统100与第一至第六实施例的显示系统100-100的不同之处在于：前者通过按照部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP相关联的方式在显示设备410上将该部分作业辅助信息Q1和Q1和全景图像PI和PI的部分全景图像PIP和PIP一起显示，来提供AR(增强现实)，其中，该部分作业辅助信息Q1和Q1是作业辅助信息Q和Q(各种各样的补充信息，包括作业计划、作业部件220的转动范围以及天然气管道、水管和其它地下管道的位置)中与全景图像PI和PI的部分全景图像PIP和PIP对应的辅助信息。增强现实是利用与真实环境相关的视觉信息来增强与真实环境有关的信息的技术，或者更具体地，是这样一种技术：其按照由计算机产生的视频随着由相机单元310-310拍摄的视频的改变而改变的方式，将由相机单元310-310拍摄的真实环境的视频与由计算机产生的与真实环境相关联的视频实时组合，以产生合成视频。
图15为第七实施例的用于远程控制作业机200的显示系统100的显示设备410上的示例性显示屏D和D的示意图，显示屏D和D以作业辅助信息Q和Q的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一致的方式，将该作业辅助信息Q和Q的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一起显示，其中，该作业辅助信息Q和Q的部分作业辅助信息Q1和Q1是与全景图像PI和PI的部分全景图像PIP和PIP相关的信息。图15基于地面G和G下面的管道网络图示出作为作业辅助信息Q和Q的示例性地下管道，例如天然气管道和水管(作业辅助信息Q和Q的部分作业辅助信息Q1和Q1)。左眼全景图像PI的部分全景图像PIP和右眼全景图像PI的部分全景图像PIP实际上具有相同的结构。图15在左眼和右眼全景图像PI和PI的部分全景图像PIP和PIP之间没有进行区分，而示出共同用于两个部分全景图像的增强现实的处理。
基于显示系统100中提前准备的数据库(例如，提前存储在远程控制设备420的存储部422中或存储在图像处理设备320的存储部322中的数据库)或位于与显示系统100不同的位置处的数据库(例如，从互联网服务器下载的数据库)，第一和第三实施例的远程控制设备420和420以及第一实施例的图像处理设备320按照作业辅助信息Q和Q的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一致的方式向所裁剪出的全景图像PI和PI的部分全景图像PIP和PIP添加作业辅助信息Q和Q的部分作业辅助信息Q1和Q1，其中，作业辅助信息Q和Q的部分作业辅助信息Q1和Q1是作业辅助信息Q和Q中与所裁剪出的全景图像PI和PI的部分全景图像PIP和PIP对应的信息。
也可以是，基于显示系统100中提前准备的数据库(例如，提前存储在远程控制设备420的存储部422中或存储在图像处理设备320的存储部322中的数据库)或位于与显示系统100不同的位置处的数据库(例如，从互联网服务器下载的数据库)，第一和第三实施例的图像处理设备320和320和第三实施例的远程控制设备420按照作业辅助信息Q和Q与全景图像PI和PI一致的方式向未裁剪的全景图像PI和PI添加与未裁剪的全景图像PI和PI对应的作业辅助信息Q和Q。在裁剪出全景图像PI和PI的部分全景图像PIP和PIP的裁剪处理中，也裁剪出作业辅助信息Q和Q中对应的部分作业辅助信息Q1和Q1。
数据库可以例如为按照CAD(计算机辅助设计)模型建立的数据库。全景图像PI和PI包含例如能够利用GNNS(全球导航卫星系统)获得的作业机200的位置信息(纬度和经度)。作业辅助信息Q和Q为例如构成包含与全景图像PI和PI的位置信息(纬度和经度)对应的位置信息(纬度和经度)的全景图像的辅助信息。
显示设备410按照作业辅助信息Q和Q的部分作业信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一致的方式将作业辅助信息Q和Q的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一起显示，其中，该作业辅助信息Q和Q的部分作业信息Q1和Q1是作业辅助信息Q和Q中与全景图像PI和PI的部分全景图像PIP和PIP对应的辅助信息。
该配置使操作员500能够提前了解作业辅助信息Q和Q。例如，操作员500能够知道作业部件220的转动位置(具体地，上主体221的转动位置以及吊杆222、机械臂223和挖斗224的摆动位置)是否已经达到作业计划中规定的预定参考水平(例如，已经超过参考作业深度或预定参考作业范围)、是否已经达到作业现场中的作业范围(例如，将与作业现场的顶棚接触)、或者是否已经达到作业现场中的地下物体(例如，将要与天然气管道、水管和其它地下管道Q1接触)。
可以采用公知的常规技术来实现这种增强现实；由此，这里不再给出进一步的细节。
在第七实施例的显示系统100中，基于显示系统100中提前准备的数据库或位于与显示系统100不同的位置处的数据库，显示设备410按照作业辅助信息的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一致的方式将作业辅助信息Q和Q的部分作业辅助信息Q1和Q1与全景图像PI和PI的部分全景图像PIP和PIP一起显示，其中，该作业辅助信息的部分作业辅助信息Q1和Q1是作业辅助信息Q和Q中与全景图像PI和PI的部分全景图像PIP和PIP对应的辅助信息。这种配置使操作员500能够知道作业辅助信息Q和Q(各种各样的补充信息，包括作业计划、作业部件的转动范围或者天然气管道、水管和其它地下管道的位置)。这又能够改善与作业相关的问题，例如作业效率和安全性。
本发明决不局限于上述实施例和示例，还可以按照其它各种各样的方式实施。因此，这些实施例在每个方面仅仅用于举例说明的目的，并且不应该受到任意限制性解释的约束。本发明的范围仅由权利要求书限定，而不受到说明书的约束。可以带来所要求保护的要素的等同方案的那些变形和变化都包含在本发明的范围内。
产业上的可利用性
本发明涉及远程控制作业机用显示系统，并且尤其适用于跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。
附图标记列表
100 显示系统
110 作业机端
120 远程控制端
200 作业机
210 行进主体
220 作业部件
221 上主体
222 吊杆
223 机械臂
224 挖斗
230 远程操作设备
231 操作部
300 作业机端中的部件
310 相机单元
311 左眼相机
311a 镜头
312 右眼相机
312a 镜头
320 图像处理设备
321 控制部
322 存储部
323 通信部
330 支撑构件
331 支撑件
331a 紧固构件
332 支柱
340 支撑构件
342 支撑臂
342a 第一支轴
342b 第二支轴
343 驱动器部
350 照明设备
351 发光元件
400 远程控制端中的部件
410 显示设备
411 视线检测部
420 远程控制设备
421 控制部
422 存储部
423 通信部
500 操作员
510 头部
CB1 连接电缆
CB2 连接电缆
D 显示屏
G 地面
H 坐高
IM 图像
MAX 最大高度
MIN 最小高度
PI 全景图像
PIP 部分全景图像
Q 作业辅助信息
Q1 部分作业辅助信息R移动范围
d 距离
Δα 相对参考点
α 参考点
β 水平裁剪角度
γ 垂直裁剪角度
θp 俯仰角
θr 滚转角
θy 偏航角
φp 俯仰参考角
φr 滚转参考角
φy 偏航参考角

Claims (6)

1.一种远程控制作业机用显示系统，包括：
多个相机单元，该多个相机单元附加于作业机，所述作业机具有能够水平转动和垂直摆动的作业部件；
图像处理设备，该图像处理设备设置于所述作业机，基于由所述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的所述全景图像的部分全景图像；
显示设备，该显示设备位于所述显示系统的远程控制端；以及
远程控制设备，该远程控制设备从所述图像处理设备接收所述部分全景图像，并且将所接收的所述部分全景图像传送至所述显示设备，
其中，
每个相机单元都包括左眼相机和右眼相机这一对相机，
所述图像处理设备分别基于由所述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的所述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至所述远程控制设备，
所述远程控制设备从所述图像处理设备接收所述部分左眼全景图像和右眼全景图像，并且将所接收的所述部分左眼全景图像和右眼全景图像传送至所述显示设备，
所述显示设备被设计为安装在操作员头部，从所述远程控制设备接收所述部分左眼全景图像和右眼全景图像，并显示所接收的所述部分左眼全景图像和右眼全景图像，并且检测所述操作员头部的移动，并将所检测出的所述操作员头部的移动传送至所述远程控制设备，
所述远程控制设备通过无线通信将从所述显示设备传送来的所述操作员头部的移动传送至所述图像处理设备，
所述图像处理设备根据从所述远程控制设备传送来的所述操作员头部的移动来调整将要传送至所述显示设备的所述部分左眼全景图像和右眼全景图像。
2.根据权利要求1所述的显示系统，其中，所述多个相机单元位于与座椅能够安装在所述作业机上的位置水平对应的安置位置处，使得所述多个相机单元具有位于坐高处的镜头中心，所述坐高与假设坐在所述座椅上的对于所述作业机的目标市场而言具有平均体格的作业人员的眼睛高度相对应。
3.根据权利要求1或2所述的显示系统，其中，所述多个相机单元设置在能够向上/向下移动和垂直转动的支撑构件上。
4.根据权利要求1至3中任一项所述的显示系统，其中，所述显示系统还包括位于所述多个相机单元的周边的照明设备。
5.根据权利要求1至4中任一项所述的显示系统，其中，所述显示设备基于在所述显示系统中提前准备的数据库或位于与所述显示系统不同的位置处的数据库，按照部分作业辅助信息与所述部分左眼全景图像和右眼全景图像一致的方式将所述部分作业辅助信息与所述部分左眼全景图像和右眼全景图像一起显示，该部分作业辅助信息是作业辅助信息中与所述部分左眼全景图像和右眼全景图像对应的辅助信息。
6.一种远程控制作业机用显示系统，包括：
多个相机单元，该多个相机单元附加于作业机，所述作业机具有能够水平转动和垂直摆动的作业部件；
图像处理设备，该图像处理设备设置于所述作业机，基于由所述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的所述全景图像；
显示设备，该显示设备位于所述显示系统的远程控制端；以及
远程控制设备，该远程控制设备从所述图像处理设备接收所述全景图像，并且将所接收的所述全景图像的部分全景图像传送至所述显示设备，
其中，
每个相机单元都包括左眼相机和右眼相机这一对相机，
所述图像处理设备分别基于由所述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的所述左眼全景图像和右眼全景图像传送至所述远程控制设备，
所述远程控制设备从所述图像处理设备接收所述左眼全景图像和右眼全景图像，并且将所接收的所述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至所述显示设备，
所述显示设备被设计为安装在操作员的头部，从所述远程控制设备接收所述部分左眼全景图像和右眼全景图像，并显示所接收的所述部分左眼全景图像和右眼全景图像，并且检测所述操作员头部的移动，并将所检测出的所述操作员头部的移动传送至所述远程控制设备，
所述远程控制设备根据从所述显示设备传送来的所述操作员头部的移动来调整将要传送至所述显示设备的所述部分左眼全景图像和右眼全景图像。
CN201480082777.5A 2014-11-17 2014-11-17 远程控制作业机用显示系统 Expired - Fee Related CN107111928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010638589.3A CN111754750B (zh) 2014-11-17 2014-11-17 远程控制作业机用显示设备、显示系统以及作业机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/002551 WO2016079557A1 (en) 2014-11-17 2014-11-17 Display system for remote control of working machine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010638589.3A Division CN111754750B (zh) 2014-11-17 2014-11-17 远程控制作业机用显示设备、显示系统以及作业机

Publications (2)

Publication Number Publication Date
CN107111928A true CN107111928A (zh) 2017-08-29
CN107111928B CN107111928B (zh) 2020-07-31

Family

ID=52774284

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480082777.5A Expired - Fee Related CN107111928B (zh) 2014-11-17 2014-11-17 远程控制作业机用显示系统
CN202010638589.3A Active CN111754750B (zh) 2014-11-17 2014-11-17 远程控制作业机用显示设备、显示系统以及作业机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010638589.3A Active CN111754750B (zh) 2014-11-17 2014-11-17 远程控制作业机用显示设备、显示系统以及作业机

Country Status (5)

Country Link
US (1) US10474228B2 (zh)
EP (1) EP3222042B1 (zh)
JP (1) JP6612865B2 (zh)
CN (2) CN107111928B (zh)
WO (1) WO2016079557A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837382A (zh) * 2018-03-29 2020-10-27 神钢建机株式会社 工程机械的远程操作系统
CN113614317A (zh) * 2019-03-27 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
CN113615164A (zh) * 2019-03-26 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
US11434623B2 (en) * 2018-09-25 2022-09-06 Hitachi Construction Machinery Co., Ltd. Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine
CN115088251A (zh) * 2020-02-18 2022-09-20 神钢建机株式会社 远程操作装置、远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
EP4116041A4 (en) * 2020-05-13 2023-08-23 Kobelco Construction Machinery Co., Ltd. REMOTE MANEUVERING ASSIST DEVICE AND REMOTE MANEUVERING ASSIST METHOD

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432590A4 (en) * 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
EP3594416B1 (en) * 2017-03-07 2022-07-27 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
CN110382793B (zh) 2017-03-07 2022-04-12 住友重机械工业株式会社 挖土机及施工机械的作业支援系统
JP6929674B2 (ja) * 2017-03-22 2021-09-01 株式会社東京エネシス 環境画像表示システム及び環境画像表示方法
CN108933920B (zh) * 2017-05-25 2023-02-17 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
TWI697692B (zh) 2017-08-01 2020-07-01 緯創資通股份有限公司 近眼顯示系統及其操作方法
US11010975B1 (en) 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7000957B2 (ja) 2018-03-29 2022-01-19 コベルコ建機株式会社 作業機械操縦装置
AU2019371691A1 (en) 2018-10-31 2021-02-25 Komatsu Ltd. Display control system and display control method
JP7296713B2 (ja) 2018-10-31 2023-06-23 株式会社小松製作所 表示制御システム、表示制御方法および遠隔操作システム
JP7151392B2 (ja) * 2018-11-07 2022-10-12 コベルコ建機株式会社 建設機械の遠隔操作装置
SE1851590A1 (sv) 2018-12-14 2020-06-15 Brokk Ab Fjärrstyrd demoleringsrobot med förbättrat användningsområde och ett förfarande för att åstadkomma en sådan demoteringsrobot.
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
US11200654B2 (en) 2019-08-14 2021-12-14 Cnh Industrial America Llc System and method for determining field characteristics based on a displayed light pattern
JP7244197B2 (ja) * 2019-12-04 2023-03-22 株式会社三井Ｅ＆Ｓマシナリー カメラ視野移動機構
JP7508815B2 (ja) * 2020-03-13 2024-07-02 コベルコ建機株式会社 作業支援サーバ、作業支援方法
US11505919B2 (en) * 2020-07-27 2022-11-22 Caterpillar Inc. Method for remote operation of machines using a mobile device
EP4033035A1 (en) * 2021-01-20 2022-07-27 Volvo Construction Equipment AB A system and method therein for remote operation of a working machine comprising a tool

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2005308282A (ja) * 2004-04-20 2005-11-04 Komatsu Ltd 火器装置
CN1912682A (zh) * 2005-08-10 2007-02-14 精工爱普生株式会社 显示装置、游戏机及显示装置的控制方法
US20070126863A1 (en) * 2005-04-07 2007-06-07 Prechtl Eric F Stereoscopic wide field of view imaging system
JP2008111269A (ja) * 2006-10-30 2008-05-15 Komatsu Ltd 画像表示システム
JP2010256534A (ja) * 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
CN202334770U (zh) * 2011-12-04 2012-07-11 长安大学 工程机械用全景监控系统
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0556925A (ja) * 1991-09-02 1993-03-09 A T R Tsushin Syst Kenkyusho:Kk 視線情報制御装置
JP3146080B2 (ja) * 1993-01-08 2001-03-12 株式会社間組 掘削機運転装置
JPH08292394A (ja) * 1995-01-24 1996-11-05 Matsushita Electric Ind Co Ltd 頭部搭載型画像表示装置
JP3604443B2 (ja) * 1995-02-28 2004-12-22 株式会社島津製作所 テレビジョンシステム
JP2973867B2 (ja) * 1995-05-26 1999-11-08 日本電気株式会社 視点追従型立体表示装置および視点追従方法
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6665003B1 (en) 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US6831677B2 (en) 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US7477284B2 (en) 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US6795109B2 (en) 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
DE60037040T2 (de) 1999-12-31 2008-08-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Panoramische stereokamera-anordungen zur aufnahme panoramischer bilder für einpanoramisches stereobild-paar
WO2001080545A2 (en) 2000-04-19 2001-10-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
JP2002345058A (ja) 2001-05-14 2002-11-29 Komatsu Ltd 作業機械の遠隔操作装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP4517336B2 (ja) * 2004-02-24 2010-08-04 マツダ株式会社 シミュレーション装置及びその方法
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20060103723A1 (en) 2004-11-18 2006-05-18 Advanced Fuel Research, Inc. Panoramic stereoscopic video system
US20070002131A1 (en) 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
US9344612B2 (en) 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US20100045773A1 (en) 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
JP2008144379A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の画像処理システム
JP2009117990A (ja) * 2007-11-02 2009-05-28 Sony Corp 情報提示装置及び情報提示方法
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP5393301B2 (ja) * 2009-07-06 2014-01-22 住友建機株式会社 建設機械のモニター装置
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
CN102880292A (zh) * 2012-09-11 2013-01-16 上海摩软通讯技术有限公司 移动终端及其操控方法
US9715008B1 (en) * 2013-03-20 2017-07-25 Bentley Systems, Incorporated Visualization of 3-D GPR data in augmented reality
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN103345305B (zh) * 2013-07-22 2016-08-31 百度在线网络技术（北京）有限公司 用于移动终端输入法的候选词控制方法、装置和移动终端
CN103472915B (zh) * 2013-08-30 2017-09-05 深圳Tcl新技术有限公司 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN103869977B (zh) * 2014-02-19 2016-06-08 小米科技有限责任公司 图像显示方法、装置和电子设备
KR102250821B1 (ko) * 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2005308282A (ja) * 2004-04-20 2005-11-04 Komatsu Ltd 火器装置
US20070126863A1 (en) * 2005-04-07 2007-06-07 Prechtl Eric F Stereoscopic wide field of view imaging system
CN1912682A (zh) * 2005-08-10 2007-02-14 精工爱普生株式会社 显示装置、游戏机及显示装置的控制方法
JP2008111269A (ja) * 2006-10-30 2008-05-15 Komatsu Ltd 画像表示システム
JP2010256534A (ja) * 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
CN202334770U (zh) * 2011-12-04 2012-07-11 长安大学 工程机械用全景监控系统
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837382A (zh) * 2018-03-29 2020-10-27 神钢建机株式会社 工程机械的远程操作系统
CN111837382B (zh) * 2018-03-29 2022-06-10 神钢建机株式会社 工程机械的远程操作系统
US11434623B2 (en) * 2018-09-25 2022-09-06 Hitachi Construction Machinery Co., Ltd. Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine
CN113615164A (zh) * 2019-03-26 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
CN113615164B (zh) * 2019-03-26 2024-06-07 神钢建机株式会社 远程操作系统以及远程操作服务器
CN113614317A (zh) * 2019-03-27 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
CN113614317B (zh) * 2019-03-27 2022-12-09 神钢建机株式会社 远程操作系统以及远程操作服务器
CN115088251A (zh) * 2020-02-18 2022-09-20 神钢建机株式会社 远程操作装置、远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
EP4116041A4 (en) * 2020-05-13 2023-08-23 Kobelco Construction Machinery Co., Ltd. REMOTE MANEUVERING ASSIST DEVICE AND REMOTE MANEUVERING ASSIST METHOD

Also Published As

Publication number Publication date
JP2018501684A (ja) 2018-01-18
US10474228B2 (en) 2019-11-12
WO2016079557A1 (en) 2016-05-26
JP6612865B2 (ja) 2019-11-27
EP3222042A1 (en) 2017-09-27
US20170322624A1 (en) 2017-11-09
CN111754750A (zh) 2020-10-09
CN107111928B (zh) 2020-07-31
CN111754750B (zh) 2022-03-01
EP3222042B1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
CN107111928B (zh) 远程控制作业机用显示系统
EP3379525B1 (en) Image processing device and image generation method
US9479732B1 (en) Immersive video teleconferencing robot
AU2007252840B2 (en) Methods and system for communication and displaying points-of-interest
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
JP2020005146A (ja) 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
CA2950822A1 (en) System and method for remote monitoring at least one observation area
JP2022105568A (ja) ３ｄツアーの比較表示システム及び方法
JP6482855B2 (ja) 監視システム
CN113467731B (zh) 显示系统、信息处理装置和显示系统的显示控制方法
JP6482856B2 (ja) 監視システム
US20230033706A1 (en) Work support server and work support method
EP3430591A1 (en) System for georeferenced, geo-oriented real time video streams
JP6857701B2 (ja) 作業機、表示装置および作業機の遠隔操作のための表示システム
WO2016208539A1 (ja) 双眼立体視画像の提供方法、観察装置及びカメラユニット
JP2019083370A (ja) 建設機械の視覚拡張システム
JP2018056845A (ja) 作業支援装置、システム、方法及びプログラム
JP2022053421A (ja) 遠隔操作のための表示システム、表示方法およびプログラム
JP6929674B2 (ja) 環境画像表示システム及び環境画像表示方法
JP2012244311A (ja) カメラ遠隔制御装置およびカメラ遠隔制御方法
WO2019038885A1 (ja) 情報処理装置および画像出力方法
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
JP2014071723A (ja) 衛星観察情報提供システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Osaka Prefecture, Japan

Applicant after: Yangma Power Technology Co.,Ltd.

Address before: Osaka Prefecture, Japan

Applicant before: YANMAR Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200731

CF01 Termination of patent right due to non-payment of annual fee