CN115118873A - 拍摄功能控制系统及拍摄功能控制方法 - Google Patents

拍摄功能控制系统及拍摄功能控制方法 Download PDF

Info

Publication number
CN115118873A
CN115118873A CN202210249238.2A CN202210249238A CN115118873A CN 115118873 A CN115118873 A CN 115118873A CN 202210249238 A CN202210249238 A CN 202210249238A CN 115118873 A CN115118873 A CN 115118873A
Authority
CN
China
Prior art keywords
function
state
zoom
imaging
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210249238.2A
Other languages
English (en)
Inventor
石田大辉
羽马凉太
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115118873A publication Critical patent/CN115118873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明提供一种拍摄功能控制系统及拍摄功能控制方法。利用该远程操作辅助系统等，能够鉴于作业机械的状态以适当的方式让操作员掌握该作业机械的环境。在作业机械(40)处于第一状态(可被操作的状态)的情况下，仅在输出至远程输出接口(220)的拍摄图像(环境图像)的显示倍率在指定显示倍率以下的范围内对该显示倍率进行控制、或者将该显示倍率固定为指定显示倍率以下的值。另一方面，在作业机械(40)处于第二状态(不可被操作的状态)的情况下，实机拍摄装置(412)的变焦功能对应于操作员通过远程输入接口(210)输入的变焦操作而发挥作用。

Description

拍摄功能控制系统及拍摄功能控制方法
技术领域
本发明涉及用于辅助操作员对液压挖掘机等作业机械进行远程操作的技术。
背景技术
提出有以下一种技术：操作员一边参照表示作业机械的作业状况的远程图像，一边使用远程操作装置操作作业机械(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1日本特开2018-021395号公报
专利文献2日本特开2017-021517号公报
发明内容
发明要解决的课题
与实际搭乘在作业机械上的情况相比，在进行远程操作的情况下，不容易确认到作业状况。因此，期望能够显示特定部位(ATT和/或施工对象物)的放大详细图像。所以，操作员通过改变相机的显示倍率、朝向，进行对准特定部位来显示放大详细图像的操作。
此外，要求进行远程操作的操作员在进行作业时更准确地掌握周围的状况。因此，操作员在确认作业状况后，解除增大了相机的显示倍率的设定而使显示倍率恢复到最小(初始)显示倍率后，进行使显示装置上显示尽可能宽的视野的图像的操作。
然而，如果操作员忘记解除增大了相机的显示倍率的设定、或者相机的显示倍率未完全恢复到最小(初始)显示倍率，则在对周围的状况的掌握上构成妨碍，进行作业所需的周围的状况的掌握变得不充分。
如专利文献2所公开的，若想要同时显示驾驶用图像和注意用图像，则操作员难以掌握注意用图像位于驾驶用图像的哪个位置，另外，无法让注意用图像完全充满画面，因而会对周围的状况的确认构成妨碍。
因此，本发明的目的在于提供一种鉴于作业机械的状态以适当的方式让操作员掌握该作业机械的环境的系统等。
用于解决课题的手段
本发明的拍摄功能控制系统是对实机拍摄装置的拍摄功能进行控制的系统，所述拍摄装置搭载于根据通过输入接口输入的操作而动作的作业机械，并用于取得输出至输出接口的拍摄图像，
所述拍摄功能控制系统的特征在于，具备：
第一拍摄功能控制元件，在所述作业机械处于可被操作的状态或者所述作业机械正在作业的状态即第一状态下，该第一拍摄功能控制元件利用作为所述实机拍摄装置的拍摄功能的变焦功能将变焦倍率控制为指定倍率以下，和
第二拍摄功能控制元件，在所述作业机械处于不可被操作的状态或者所述作业机械处于停止作业的状态即第二状态下，该第二拍摄功能控制元件利用作为所述实机拍摄装置的拍摄功能的变焦功能，根据通过所述输入接口输入的变焦操作来控制变焦倍率。
根据具有该结构的拍摄功能控制系统，在第一状态下，能够使操作员通过输出至输出接口的拍摄图像以俯瞰的方式掌握作业机械的环境，并且通过输入接口来操作该作业机械。另一方面，在第二状态下，根据操作员通过输入接口输入的变焦操作，通过实机拍摄装置的变焦功能发挥作用，并通过输出接口输出任意的显示倍率的拍摄图像，能够让操作员以其所期望的方式掌握作业机械的环境。
附图说明
图1是关于远程操作辅助系统的结构的说明图。
图2是关于远程操作装置的结构的说明图。
图3是与作业机械的结构相关的说明图。
图4是关于远程操作辅助系统(拍摄功能控制系统)的功能的说明图。
图5是关于作业环境图像的说明图。
图6是关于实机拍摄装置的变焦功能的控制方式的说明图。
附图标记说明
10:远程操作辅助服务器；20：远程操作装置；40：作业机械；102：数据库；121：第一辅助处理元件；122：第二辅助处理元件(第一拍摄功能控制元件、第二拍摄功能控制元件)；200：远程控制装置；210：远程输入接口；211：远程操作机构；220：远程输出接口；221：远程图像输出装置；222：远程音响输出装置；400：实机控制装置；41：实机输入接口；42：实机输出接口；424：驾驶室(司机室)；440：作业机构；445：铲斗(作业部)；SW+：变焦放大(Zoom in)开关；SW－：变焦缩小(Zoom out)开关。
具体实施方式
(远程操作辅助系统的结构)
图1所示的远程操作辅助系统由远程操作辅助服务器10和用于对作业机械40进行远程操作的远程操作装置20构成。远程操作辅助服务器10、远程操作装置20以及作业机械40构成为能够相互进行网络通信。远程操作辅助服务器10以及远程操作装置20的相互通信网络、和远程操作辅助服务器10与作业机械40的相互通信网络可以采用相同的通信网络也可以采用不同的通信网络。
(远程操作辅助服务器的配置)
远程操作辅助服务器10具备数据库102、第一辅助处理元件121、第二辅助处理元件122。数据库102存储并保存拍摄图像数据等。数据库102也可以由相对于远程操作辅助服务器10独立的数据库服务器构成。各辅助处理元件由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的后述的运算处理。在本实施方式中，远程操作辅助服务器10构成“拍摄功能控制系统”，第二辅助处理元件122构成“第一拍摄功能控制元件”和“第二拍摄功能控制元件”。
(远程操作装置的结构)
远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。
远程输入接口210具备远程操作机构211。远程输出接口220具备远程图像输出装置221、远程音响输出装置222和远程无线通信设备224。
远程操作机构211包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410移动而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转马达运动而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
如图2所示，构成远程操作机构211的各操作杆例如配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形式等操作者能够就座的任意形式的就座部。
在座椅St的前方左右排列地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多个操作杆。例如，在图2所示的座椅St的左侧框体的前方的左侧操作杆2111沿前后方向操作的情况下作为臂杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，在对图2所示的座椅St的右侧框体的前方的右侧操作杆2112沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。
在左侧操作杆2111和右侧操作杆2112的各自受操作员把持的部位上，分别设置有如后述的用于调节实机拍摄装置412的变焦放大角度和变焦缩小角度的变焦放大(Zoomin)开关SW+和变焦缩小(Zoom out)开关SW-。
例如图2所示，远程图像输出装置221由具有大致矩形形状的画面的中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212构成。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212分别配置在座椅St的前方、左斜前方及右斜前方。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212各自的画面(图像显示区域)的形状和尺寸可以相同也可以不同。
如图2所示，以中央远程图像输出装置2210的画面和左侧远程图像输出装置2211的画面形成倾斜角度θ1(例如，120°≤θ1≤150°)的方式，左侧远程图像输出装置2211的右侧边缘与中央远程图像输出装置2210的左侧边缘相邻。如图2所示，以中央远程图像输出装置2210的画面和右侧远程图像输出装置2212的画面形成倾斜角度θ2(例如，120°≤θ2≤150°)的方式，右侧远程图像输出装置2212的左侧边缘与中央远程图像输出装置2210的右侧边缘相邻。该倾斜角度θ1和θ2可以是相同的角度，也可以是不同的角度。
中央远程图像输出装置2210、左侧远程图像输出装置2211和右侧远程图像输出装置2212各自的画面可以相对于铅直方向平行，也可以相对于铅直方向倾斜。中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212中的至少一个图像输出装置也可以由被分割成多个的图像输出装置构成。例如，中央远程图像输出装置2210也可以由具有大致矩形形状的画面的上下相邻的一对图像输出装置构成。
远程音响输出装置222由一个或多个扬声器构成。例如如图2所示，远程音响输出装置222由分别配置在座椅St的后方、左扶手后部和右扶手后部的中央音响输出装置2220、左侧音响输出装置2221及右侧音响输出装置2222构成。中央音响输出装置2220、左侧音响输出装置2221及右侧音响输出装置2222各自的规格可以相同也可以不同。
(作业机械的结构)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42以及作业机构440。实机控制装置400具备图像处理装置30。图像处理装置30包括状态检测元件31、图像预测元件32和图像压缩元件34。实机控制装置400及图像处理装置30的构成元件分别由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，并以该数据为对象执行依照该软件的运算处理。
作业机械40例如是履带式挖掘机(工程机械)，如图3所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411、实机拍摄装置412以及定位装置414。实机操作机构411在配置于驾驶室424的内部的座椅的周围具备与远程操作机构211同样地配置的多个操作杆。接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆移动的驱动机构或机器人设置于驾驶室424。实机拍摄装置412例如设置于驾驶室424的内部，透过前窗及左右一对侧窗对包含至少一部分作业机构440的环境进行拍摄。该环境也可以省略前窗及侧窗中的一部分或者全部窗。定位装置414由GPS、以及根据需要由陀螺仪传感器等构成。
实机输出接口42具备实机无线通信设备422。
如图3所示，作为作业机构的作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的顶端；铲斗445，可转动地连结于斗杆443的顶端。在作业机构440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(功能)
使用图4所示的流程图对具有上述结构的远程操作辅助系统以及拍摄功能控制系统的功能进行说明。在该流程图中，“C●”这一区块是为了简化记载而使用的符号，是指数据的发送及/或接收，也指以该数据的发送及/或接收为条件而执行分支方向的处理的条件分支。
在远程操作装置20中，判定是否由操作员经由远程输入接口210输入了指定操作(图4/步骤210(STEP210))。“指定操作”例如是操作员用于指定想要进行远程操作的作业机械40而在远程输入界面210上的点击等操作。在该判定结果为否定的情况下(图4/步骤210：否)，结束一系列处理。另一方面，在该判定结果为肯定的情况下(图4/步骤210：是)，通过远程无线通信设备224对远程操作辅助服务器10发送环境确认请求(图4/步骤210)。
在远程操作辅助服务器10中，在接收到环境确认请求的情况下，通过第一辅助处理元件121对该环境确认请求所对应的作业机械40发送该环境确认请求(图4/C10)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C40)，实机控制装置400通过实机拍摄装置412取得拍摄图像，并且，通过实机无线通信设备422对远程操作辅助服务器10发送实施了图像处理的拍摄图像数据(图4/步骤410)。
在远程操作辅助服务器10中，在第一辅助处理元件121接收到拍摄图像数据的情况下(图4/C11)，第二辅助处理元件122对远程操作装置20发送与拍摄图像对应的环境图像数据(图4/步骤110)。环境图像数据除了是拍摄图像数据本身之外，还是表示基于拍摄图像生成的模拟的环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备224接收到了环境图像数据的情况下(图4/C21)，远程控制装置200将与环境图像数据对应的环境图像输出到远程图像输出装置221(图4/步骤212)。
由此，例如如图5所示，通过划定驾驶室424的窗框，在驾驶室424的前方映入有作为作业机构440的一部分的动臂441、斗杆443以及(作为铲斗445的作业对象的)瓦砾或砂土的土堆的环境图像被输出于远程图像输出装置221。
在远程操作装置20中，远程控制装置200识别远程操作机构211的变焦操作方式，并且，通过远程无线通信设备224，对远程操作辅助服务器10发送与该变焦操作方式对应的变焦指令(图4/步骤214)。根据设置在左侧操作杆2111和右侧操作杆2112各自的把持部位上的变焦放大开关SW+和变焦缩小开关SW－各自的操作姿势来确定变焦操作方式(参照图2)。通过持续按下变焦放大开关SW+，实机拍摄装置412的变焦倍率γ逐渐上升或阶段性地上升。通过持续按下变焦缩小开关SW－，实机拍摄装置412的变焦倍率γ逐渐降低或阶段性地降低。
在远程操作辅助服务器10中，在接收到变焦指令的情况下(图4/C12)，第二辅助处理元件122基于与作业机械40的通信结果，判定该作业机械40的状态(图4/步骤120)。“第一状态”是指作业机械40可被操作的状态(或者作业机械40正在作业的状态)。“第二状态”是指作业机械40不可被操作的状态(或者作业机械40停止作业的状态)。例如，可以根据构成作业机械40的实机操作机构411的操作切断杆是否处于规定姿势，来判别该作业机械40正处于第一状态还是第二状态。另外，也可以根据作为远程输入接口的模仿了液压切断杆的远程液压切断杆是否处于规定姿势，来判别该作业机械40正处于第一状态还是第二状态。
在判定为作业机械40处于第一状态的情况下(图4/步骤120…1)，第二辅助处理元件122(第一拍摄功能控制元件)对作业机械40发送第一变焦指令(图4/步骤121)。另一方面，在判定为作业机械40处于第二状态的情况下(图4/步骤120…2)，通过第二辅助处理元件122(第二拍摄功能控制元件)，对作业机械40发送第二变焦指令(图4/步骤122)。
在作业机械40中，在通过实机无线通信设备422接收到第二变焦指令的情况下(图4/C42)，实机控制装置400根据变焦放大开关SW+和/或变焦缩小开关SW－的操作方式按照通常的方式控制实机拍摄装置412的变焦功能，来调节其变焦倍率γ(图4/步骤412)。
例如，在变焦操作量以图6中实线所示的方式变化时，以如图6中的双点划线所示的方式，以与该变焦操作量成比例(比例系数＝增益系数)的方式调节变焦倍率。变焦操作量在变焦放大开关SW+被操作的情况下增加，变焦操作量在变焦缩小开关SW－被操作的情况下减少。由此，通过实机拍摄装置412取得的拍摄图像、进而是在被输出于远程图像输出装置221上的环境图像中所映入的实际空间区域的宽窄发生变化(参照图4/步骤410→…→步骤212、图5)。例如，在变焦倍率γ因实机拍摄装置412的变焦放大而增大的情况下，映入至环境图像中的实际空间区域变得比之前更小或者变得比之前更窄。另外，在变焦倍率γ因实机拍摄装置412的变焦缩小而降低的情况下，映入至环境图像中的实际空间区域比之前更大或者变得比之前更宽。
另一方面，在作业机械40中，在通过实机无线通信设备422接收到第一变焦指令的情况下(图4/C41)，实机控制装置400根据变焦放大开关SW+和/或变焦缩小开关SW－的操作方式来控制实机拍摄装置412的变焦倍率，但是是按照与通常方式相比是限制性的方式进行控制(图4/步骤411)。
例如，在变焦操作量以图6中实线所示的方式变化时，以如图6中单点划线所示的方式，在变焦操作量是变焦指定倍率γ0以下的状态下，以与该变焦操作量成比例的方式调节变焦倍率，但是在通常是超过变焦指定倍率γ0的状态(时刻t1至时刻t2的期间)下，与变焦操作量的变化无关地将变焦倍率γ维持在变焦指定倍率γ0。其他，如图6中的虚线所示，实机拍摄装置412的变焦倍率γ也可以被控制为指定倍率γ0以下的值(例如，恒定值)。并且，也可以不依赖于变焦放大开关SW+和/或变焦缩小开关SW－的操作方式，停止变焦功能而将实机拍摄装置412的变焦倍率固定为最小倍率或与其接近的倍率。
在远程操作装置20中，通过远程控制装置200识别远程操作机构211的操作方式，并且，通过远程无线通信设备224，对远程操作辅助服务器10发送与该操作方式对应的远程操作指令(图4/步骤220)。
在远程操作辅助服务器10中，在第二辅助处理元件122接收到了该远程操作指令的情况下，通过第一辅助处理元件121向作业机械40发送该远程操作指令(图4/C14)。
在作业机械40中，实机控制装置400通过实机无线通信设备422接收到了操作指令的情况下(图4/C44)，控制作业机构440等的动作(图4/步骤420)。例如，执行由铲斗445铲起作业机械40的前方的土、并在使上部回转体420回转后从铲斗445将土倒落的作业。
(作用效果)
根据构成具有上述结构的远程操作辅助系统的拍摄功能控制系统，在作业机械40处于第一状态的情况下，仅在输出到远程输出接口220的拍摄图像(环境图像)的显示倍率(变焦倍率γ)在指定显示倍率以下的范围内对该显示倍率进行控制、或者将该显示倍率固定为指定显示倍率以下的值(参照图4/步骤120…1→步骤121→C41→步骤411、图6的单点划线和虚线)。由此，操作员能够在通过输出于远程输出接口220(远程图像输出装置221)的拍摄图像(环境图像)以俯瞰的方式掌握作业机械40的环境的基础上，通过远程输入接口210(远程操作机构211)操作该作业机械40。
另一方面，在作业机械40处于第二状态的情况下，根据操作员经由远程输入接口210(变焦放大开关SW+及变焦缩小开关SW－)的变焦操作，发挥实机拍摄装置412的变焦功能(参照图4/步骤120…2→STEP122→C42→STEP412、图6的双点划线)。由此，能够通过远程输出接口220输出任意显示倍率的拍摄图像(环境图像)，从而能够让操作员以其所期望的方式掌握作业机械40的环境。
(本发明的其他实施方式)
在上述实施方式中，由远程操作辅助服务器10构成拍摄功能控制系统，并且由第二辅助处理元件122构成第一拍摄功能控制元件和第二拍摄功能控制元件。但是作为其他实施方式，也可以由作业机械40和/或远程操作装置20构成拍摄功能控制系统，并且由实机控制装置400和/或远程控制装置200构成第一拍摄功能控制元件和/或第二拍摄功能控制元件。
在作业机械40处于第二状态的情况下，也可以使实机拍摄装置412的拍摄功能的变焦倍率γ的变化速度对应于作业机械40的作业进展状况发生变化。例如，在作业机械40使用作业机构440进行挖掘图5所示的瓦砾或砂土的土堆的作业时(第一状态)，当操作员想在挖掘过程中确认挖掘面时，有时会暂时中断作业(第二状态)来进行通过远程输入接口210(变焦放大开关SW+及变焦缩小开关SW－)的变焦操作，也可以使变焦倍率γ伴随该变焦操作的变化速度高于通常时的速度。在挖掘面随着作业进展而变深的情况下，也可以进一步提高变焦倍率γ伴随变焦操作的变化速度。
根据具有该结构的拍摄功能控制系统，在第二状态下，根据作业机械的作业进展状况的不同来调节变焦放大和/或变焦缩小的速度，因此，能够实现提高让操作员掌握作业机械的环境时的便利性。特别是，在作业过程中中断作业来进行作业对象的确认的情况下，能够缩短中断该作业的时间，从而提高作业效率。
也可以由第二辅助处理元件122(第一拍摄功能控制元件)将“第一抖动校正指令”与第一变焦指令一起发送到作业机械40(参照图4/步骤121)，停止作为实机拍摄装置412的拍摄功能的抖动校正功能，由第二辅助处理元件122(第二拍摄功能控制元件)将“第二抖动校正指令”与第二变焦指令一起发送到作业机械40(参照图4/步骤122)，发挥作为实机拍摄装置412的拍摄功能的抖动校正指令。
根据具有该结构的拍摄功能控制系统，在第一状态下，通过停止实机拍摄装置412的抖动校正功能，能够防止拍摄图像的图像处理成本增加。因此，避免了从实机拍摄装置412向远程输出接口220(远程图像输出装置221)的传送延迟、进而避免该远程输出接口220上的拍摄图像(环境图像)的输出延迟(参照图4/步骤410→C11→步骤110→C21→步骤212、图5)。其结果，能够避免操作员在对作业机械40的环境的掌握中、进而相应地在通过远程输入接口210(远程操作机构211)对作业机械40进行的操作中产生障碍的事态。
另一方面，在第二状态下，通过发挥实机拍摄装置412的抖动校正功能，能够通过输出于远程输出接口220的抖动校正后的拍摄图像(环境图像)，容易且准确地掌握作业机械40的环境(参照图5)。
在上述实施方式中，在作业机械40处于第一状态的情况下，仅在显示倍率是指定显示倍率以下的范围内控制向远程输出接口220输出的拍摄图像(环境图像)的该显示倍率，但是也可以仅在作业机械40刚成为第一状态之后进行对这种显示倍率进行限制的控制。其结果，即使作业机械40处于第一状态下，也能够通过远程输出接口220输出任意显示倍率的拍摄图像(环境图像)，让操作员以其所期望的方式掌握作业机械40的环境，并且，在作业机械40刚成为第一状态之后，能够避免操作员在对作业机械40的环境掌握中、进而相应地在通过远程输入接口210(远程操作机构211)对作业机械40进行的操作中产生障碍的事态。
在具有上述结构的拍摄功能控制系统中，优选的是，在所述第一状态下，所述第一拍摄功能控制元件使作为所述实机拍摄装置的拍摄功能的变焦功能停止。
根据具有该结构的拍摄功能控制系统，在第一状态下，输出至输出接口的拍摄图像的显示倍率被固定为指定显示倍率以下的倍率，因此能够让操作员以俯瞰的方式掌握作业机械的环境的基础上，通过输入接口对该作业机械进行操作。
在具有所述结构的拍摄功能控制系统中，优选的是，在所述第二状态下，所述第二拍摄功能控制元件根据所述作业机械的作业进展状况，使作为所述实机拍摄装置的拍摄功能的变焦功能中的所述拍摄图像的显示倍率的变化速度发生变化。
根据具有该结构的拍摄功能控制系统，在第二状态下，根据作业机械的作业进展状况的不同对变焦放大和/或变焦缩小的速度进行调节，因此，能够提高操作员掌握作业机械的环境时的便利性。
在具有所述结构的拍摄功能控制系统中，优选的是，在所述第一状态下，所述第一拍摄功能控制元件使作为所述实机拍摄装置的拍摄功能的抖动校正功能停止；在所述第二状态下，所述第二拍摄功能控制元件发挥作为所述实机拍摄装置的拍摄功能的抖动校正功能。
根据具有该结构的拍摄功能控制系统，在第一状态下，通过停止实机拍摄装置的抖动校正功能，能够防止拍摄图像的图像处理成本增加。因此，避免了从实机拍摄装置向输出接口的传送延迟，进而避免了该输出接口中的拍摄图像的输出延迟。其结果，能够避免操作员在对作业机械的环境的掌握中、进而相应地在通过输入接口的作业机械的操作中产生障碍的事态。另一方面，在第二状态下，通过发挥实机拍摄装置的抖动校正功能，能够通过输出至输出接口的抖动校正后的拍摄图像，让操作员容易且准确地掌握作业机械的环境。

Claims (5)

1.一种拍摄功能控制系统，该拍摄功能控制系统是对实机拍摄装置的拍摄功能进行控制的系统，其中，所述实机拍摄装置搭载于根据通过输入接口输入的操作而动作的作业机械，并用于取得输出至输出接口的拍摄图像，
所述拍摄功能控制系统的特征在于，具备：
第一拍摄功能控制元件，在所述作业机械处于可被操作的状态或者所述作业机械正在作业的状态即第一状态下，该第一拍摄功能控制元件利用作为所述实机拍摄装置的拍摄功能的变焦功能将变焦倍率控制为指定倍率以下；和
第二拍摄功能控制元件，在所述作业机械处于不可被操作的状态或者所述作业机械处于停止作业的状态即第二状态下，该第二拍摄功能控制元件利用作为所述实机拍摄装置的拍摄功能的变焦功能，根据通过所述输入接口输入的变焦操作来控制变焦倍率。
2.根据权利要求1所述的拍摄功能控制系统，其特征在于，
在所述第一状态下，所述第一拍摄功能控制元件使作为所述实机拍摄装置的拍摄功能的变焦功能停止。
3.根据权利要求1所述的拍摄功能控制系统，其特征在于，
在所述第二状态下，所述第二拍摄功能控制元件根据所述作业机械的作业进展状况，使作为所述实机拍摄装置的拍摄功能的变焦功能中的所述拍摄图像的显示倍率的变化速度发生变化。
4.根据权利要求1所述的拍摄功能控制系统，其特征在于，
在所述第一状态下，所述第一拍摄功能控制元件使作为所述实机拍摄装置的拍摄功能的抖动校正功能停止；
在所述第二状态下，所述第二拍摄功能控制元件发挥作为所述实机拍摄装置的拍摄功能的抖动校正功能。
5.一种拍摄功能控制方法，该拍摄功能控制方法是对实机拍摄装置的拍摄功能进行控制的方法，其中，所述实机拍摄装置搭载于根据通过输入接口输入的操作而动作的作业机械，并用于取得输出至输出接口的拍摄图像，
所述拍摄功能控制方法的特征在于，包括第一拍摄控制处理和第二拍摄控制处理作为运算处理装置所执行的工序，
在所述第一拍摄控制处理中，在所述作业机械处于可被操作的状态或者所述作业机械正在作业的状态即第一状态下，利用作为所述实机拍摄装置的拍摄功能的变焦功能将变焦倍率控制为指定倍率以下，
在所述第二拍摄控制处理中，在所述作业机械处于不可被操作的状态或者所述作业机械处于停止作业的状态即第二状态下，利用作为所述实机拍摄装置的拍摄功能的变焦功能，根据通过所述输入接口输入的变焦操作来控制变焦倍率。
CN202210249238.2A 2021-03-19 2022-03-14 拍摄功能控制系统及拍摄功能控制方法 Pending CN115118873A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-045536 2021-03-19
JP2021045536A JP2022144495A (ja) 2021-03-19 2021-03-19 遠隔操作支援システムおよび遠隔操作支援方法

Publications (1)

Publication Number Publication Date
CN115118873A true CN115118873A (zh) 2022-09-27

Family

ID=80448488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210249238.2A Pending CN115118873A (zh) 2021-03-19 2022-03-14 拍摄功能控制系统及拍摄功能控制方法

Country Status (4)

Country Link
US (1) US20220298748A1 (zh)
EP (1) EP4060129B1 (zh)
JP (1) JP2022144495A (zh)
CN (1) CN115118873A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614607B2 (ja) 2015-07-09 2019-12-04 株式会社Ｉｈｉエアロスペース 遠隔操縦システムと方法
JP6706171B2 (ja) 2016-08-04 2020-06-03 日立建機株式会社 建設機械の遠隔操作システム
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
JP6885212B2 (ja) * 2017-06-20 2021-06-09 コベルコ建機株式会社 建設機械遠隔操作システム
JP6947101B2 (ja) * 2018-03-28 2021-10-13 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP2020037767A (ja) * 2018-08-31 2020-03-12 株式会社小松製作所 バケット高さ通知装置およびバケット高さ通知方法

Also Published As

Publication number Publication date
EP4060129A1 (en) 2022-09-21
JP2022144495A (ja) 2022-10-03
US20220298748A1 (en) 2022-09-22
EP4060129B1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN113994052A (zh) 远程操作系统及远程操作服务器
WO2021230093A1 (ja) 画像処理装置および画像処理方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
WO2020250557A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
CN115118873A (zh) 拍摄功能控制系统及拍摄功能控制方法
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
CN115118874A (zh) 拍摄功能控制系统和拍摄功能控制方法
EP4130400A1 (en) Remote operation assistance device and remote operation assistance method
WO2021181916A1 (ja) 作業支援サーバ、作業支援方法
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
US20240141616A1 (en) Remote operation assistance server and remote operation asistance system
AU2020322381B2 (en) Display system, remote operation system, and display method
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7283283B2 (ja) 作業機械
JP2022121138A (ja) 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
CN114787453A (zh) 远程操作装置及远程操作系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination