JP2020036275A - Industrial vehicle remote operation system - Google Patents

Industrial vehicle remote operation system Download PDF

Info

Publication number
JP2020036275A
JP2020036275A JP2018163147A JP2018163147A JP2020036275A JP 2020036275 A JP2020036275 A JP 2020036275A JP 2018163147 A JP2018163147 A JP 2018163147A JP 2018163147 A JP2018163147 A JP 2018163147A JP 2020036275 A JP2020036275 A JP 2020036275A
Authority
JP
Japan
Prior art keywords
camera
image
vehicle
infrastructure
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018163147A
Other languages
Japanese (ja)
Other versions
JP6965852B2 (en
Inventor
琢磨 小野
Takuma Ono
琢磨 小野
浩伸 岡本
Hironobu Okamoto
浩伸 岡本
孝治 比嘉
Koji Higa
孝治 比嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2018163147A priority Critical patent/JP6965852B2/en
Publication of JP2020036275A publication Critical patent/JP2020036275A/en
Application granted granted Critical
Publication of JP6965852B2 publication Critical patent/JP6965852B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Forklifts And Lifting Vehicles (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

To provide an industrial vehicle remote operation system for making it difficult to generate a time difference between an on-vehicle camera image and an infrastructure camera image to be displayed.SOLUTION: An industrial vehicle remote operation system includes: a reach type forklift truck 20; a remote operation device 40; an on-vehicle camera 71; an infrastructure camera 72; a lighting device 55 for adding time information to imaging areas of the cameras; display sections 63, 64 arranged in the remote operation device 40 so as to display an image captured by the on-vehicle camera 71 and an image captured by the infrastructure camera 72; and a microcomputer 61a for obtaining a time difference between an image acquired by the on-vehicle camera 71 and including time information and an image acquired by the infrastructure camera 72 and including time information, and processing one of the images captured by the on-vehicle camera 71 and captured by the infrastructure camera 72 to be displayed by the display sections 63, 64 on the basis of a time difference.SELECTED DRAWING: Figure 1

Description

本発明は、産業車両用遠隔操作システムに関するものである。   The present invention relates to a remote control system for an industrial vehicle.

フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている(例えば、特許文献1)。   2. Description of the Related Art A forklift is equipped with a camera to grasp the surrounding environment (for example, Patent Document 1).

特開2014−11518号公報JP 2014-11518 A

ところで、産業車両用遠隔操作システムにおいて、産業車両にカメラを搭載して画面を見て操作することになるが、車載カメラとインフラカメラは画像の伝送経路が異なるため、表示する画像に時間差が生じる。   By the way, in a remote control system for industrial vehicles, a user mounts a camera on an industrial vehicle and operates while looking at a screen. However, since an in-vehicle camera and an infrastructure camera have different image transmission paths, a time lag occurs between displayed images. .

本発明の目的は、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる産業車両用遠隔操作システムを提供することにある。   An object of the present invention is to provide a remote control system for an industrial vehicle, which can make a time difference between an in-vehicle camera image and an infrastructure camera image to be hardly generated.

請求項1に記載の発明では、車両通信部を有する産業車両と、前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、を備えた産業車両用遠隔操作システムであって、前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、を備えることを要旨とする。   According to the first aspect of the present invention, there is provided an industrial vehicle having a vehicle communication unit, a remote operation device having an operation device communication unit for performing wireless communication with the vehicle communication unit, and used for remotely operating the industrial vehicle. A remote control system for an industrial vehicle, comprising: a vehicle-mounted camera mounted on the industrial vehicle, wherein an image obtained by capturing an image around the industrial vehicle is transmitted to the remote control device by wireless communication; An infrastructure camera installed on the traveling infrastructure side and transmitting an image of the work area of the industrial vehicle to the remote control device; and time information addition for adding time information to the imaging area of the vehicle-mounted camera or the infrastructure camera. A display unit provided on the remote control device for displaying an image captured by the vehicle-mounted camera and an image captured by the infrastructure camera; An image captured by the on-board camera displayed on the display unit based on the time difference between the image containing the time information acquired by the camera and the image containing the time information acquired by the infra camera, based on the time difference. And an image processing unit that processes any of the images captured by the infrastructure camera.

請求項1に記載の発明によれば、時間情報付加部により、車載カメラ又はインフラカメラの撮像領域に時間情報が付加される。画像加工部により、車載カメラにより取得した時間情報を含む画像とインフラカメラにより取得した時間情報を含む画像とから時間差が求められ、時間差に基づいて、表示部で表示させる車載カメラにて撮像された画像及びインフラカメラにて撮像された画像のいずれかが加工される。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。   According to the first aspect of the invention, the time information adding unit adds the time information to the imaging area of the vehicle-mounted camera or the infrastructure camera. The image processing unit calculates a time difference from the image including the time information acquired by the vehicle-mounted camera and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image is captured by the vehicle-mounted camera displayed on the display unit. Either the image or the image captured by the infrastructure camera is processed. Therefore, it is possible to reduce a time difference between the vehicle-mounted camera image and the infrastructure camera image to be displayed.

請求項2に記載のように、請求項1に記載の産業車両用遠隔操作システムにおいて、前記インフラカメラによる画像は有線にて前記遠隔操作装置に伝送されるとよい。
請求項3に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に光を照射する照明であり、前記時間情報は前記照明の色彩の変化または照明の輝度の変化であるとよい。
According to a second aspect of the present invention, in the industrial vehicle remote operation system according to the first aspect, it is preferable that an image obtained by the infrastructure camera is transmitted to the remote operation device via a cable.
As described in claim 3, in the remote control system for an industrial vehicle according to claim 1 or 2, the time information adding unit is illumination that irradiates light to an imaging area of the vehicle-mounted camera or the infrastructure camera, The time information may be a change in color of the illumination or a change in luminance of the illumination.

請求項4に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に数字またはパターンを投影する投影機であり、前記時間情報は時刻を表す数字または時刻に応じたパターンであるとよい。   As set forth in claim 4, in the remote control system for an industrial vehicle according to claim 1 or 2, the time information adding unit projects a number or a pattern on an imaging area of the on-board camera or the infrastructure camera. The time information may be a number representing a time or a pattern corresponding to the time.

請求項5に記載のように、請求項1〜4のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差に応じて蓄積しておいた前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が少ない方を遅らせて表示させるとよい。   As set forth in claim 5, in the remote control system for an industrial vehicle according to any one of claims 1 to 4, the image processing unit is configured to control the on-vehicle camera stored in accordance with the time difference. It is preferable that, of the image captured by the infra camera and the image captured by the infrastructure camera, the one with a smaller transmission delay to the remote control device is displayed with a delay.

請求項6に記載のように、請求項1〜5のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差と操作量に応じた前記産業車両の仮想位置を前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が多い方に重畳表示させるとよい。   As set forth in claim 6, in the remote control system for an industrial vehicle according to any one of claims 1 to 5, the image processing unit includes a virtual position of the industrial vehicle according to the time difference and an operation amount. May be superimposed on an image captured by the on-vehicle camera and an image captured by the infrastructure camera, whichever has a longer transmission delay to the remote control device.

本発明によれば、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。   ADVANTAGE OF THE INVENTION According to this invention, it can make it hard to produce a time difference between a vehicle-mounted camera image and an infrastructure camera image to be displayed.

産業車両用遠隔操作システムの電気的構成を示すブロック図。FIG. 1 is a block diagram showing an electrical configuration of a remote control system for an industrial vehicle. リーチ式フォークリフトの概略側面図。The schematic side view of a reach type forklift. リーチ式フォークリフトの概略平面図。The schematic plan view of a reach type forklift. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。The schematic side view for explaining the reach type forklift and infrastructure in a work place. 表示部での表示内容を説明するための図。FIG. 4 is a diagram for explaining display contents on a display unit. 表示部での表示内容を説明するための図。FIG. 4 is a diagram for explaining display contents on a display unit. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。The schematic side view for explaining the reach type forklift and infrastructure in a work place. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。The schematic side view for explaining the reach type forklift and infrastructure in a work place. カメラ画像を説明するための図。FIG. 3 is a diagram for explaining a camera image. 別例の作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。The schematic side view for demonstrating the reach type forklift and infrastructure in the workplace of another example. 別例を説明するためのパターンを示す図。The figure which shows the pattern for demonstrating another example. 別例の表示部での表示内容を説明するための図。The figure for demonstrating the display content on the display part of another example.

以下、本発明を具体化した一実施形態を図面に従って説明する。
図1に示すように、産業車両用遠隔操作システム10は、産業車両としてのリーチ式フォークリフト20と、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。リーチ式フォークリフト20は作業場に配置される。そして、遠隔操作装置40を用いて操作室から作業場のリーチ式フォークリフト20を遠隔操作することができるようになっている、
図4に示すように、作業場においては、棚T1が設置されている。棚T1は2段にわたりパレット80及び荷物Wを配置することができる。つまり、下の段においてパレット80に荷物Wが配置されるとともに、その上の段においてパレット80に荷物Wが配置される。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して荷物を取りに行く。
An embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the remote control system 10 for an industrial vehicle includes a reach-type forklift 20 as an industrial vehicle, and a remote control device 40 used to remotely operate the reach-type forklift 20. The reach type forklift 20 is arranged in a work place. Then, the reach type forklift 20 in the workplace can be remotely controlled from the operation room using the remote control device 40.
As shown in FIG. 4, a shelf T1 is installed in the workplace. On the shelf T1, the pallet 80 and the load W can be arranged in two stages. That is, the load W is arranged on the pallet 80 in the lower stage, and the load W is arranged on the pallet 80 in the upper stage. From this state, the operator remotely operates the reach-type forklift 20 to pick up luggage.

図4において、各パレット80にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図2に示すように、リーチ式フォークリフト20の機台21には荷役装置22が設けられている。荷役装置22は前方へ延出している一対のリーチレグ23を備える。各リーチレグ23にはそれぞれ前輪24が設けられている。つまり、機台21の前側に左右一対の前輪24が設けられている。また、機台21の後ろ側には後輪25が設けられている。本実施形態では、後輪25が、操舵輪及び駆動輪となる。
In FIG. 4, fork insertion holes are formed in each pallet 80, and forks are inserted into these fork insertion holes.
As shown in FIG. 2, a cargo handling device 22 is provided on a machine base 21 of the reach type forklift 20. The cargo handling device 22 includes a pair of reach legs 23 extending forward. Each reach leg 23 is provided with a front wheel 24. That is, a pair of left and right front wheels 24 is provided on the front side of the machine base 21. A rear wheel 25 is provided on the rear side of the machine base 21. In the present embodiment, the rear wheels 25 are steering wheels and drive wheels.

荷役装置22は、2段式のマスト26を備える。マスト26は、アウタマスト27と、インナマスト28とを備える。
荷役装置22は、一対のフォーク31と、フォーク31をマスト26に固定するリフトブラケット32とを備える。フォーク31及びリフトブラケット32は、インナマスト28の昇降とともに昇降する。
The cargo handling device 22 includes a two-stage mast 26. The mast 26 includes an outer mast 27 and an inner mast 28.
The cargo handling device 22 includes a pair of forks 31 and a lift bracket 32 for fixing the forks 31 to the mast 26. The fork 31 and the lift bracket 32 move up and down as the inner mast 28 moves up and down.

リーチ式フォークリフト20には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとしての後輪25を駆動させる走行モータ33、昇降用アクチュエータとしてのインナマスト28に連結されたリフトシリンダ29、リーチ用アクチュエータとしてのマスト26に連結されたリーチシリンダ30等が挙げられる。インナマスト28は、リフトシリンダ29への作動油の給排によって昇降する。マスト26は、リーチシリンダ30への作動油の給排によってリーチレグ23に沿って移動する。   The reach type forklift 20 is provided with various actuators. Specifically, for example, a traveling motor 33 for driving the rear wheel 25 as a traveling actuator, a lift cylinder 29 connected to an inner mast 28 as an elevating actuator, and a reach cylinder 30 connected to a mast 26 as a reach actuator And the like. The inner mast 28 moves up and down by supplying and discharging hydraulic oil to and from the lift cylinder 29. The mast 26 moves along the reach leg 23 by supplying and discharging hydraulic oil to and from the reach cylinder 30.

図1に示すように、リーチ式フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像信号処理部53と、車両通信部としての無線機54と、車載カメラ71を有する。   As shown in FIG. 1, the reach type forklift 20 includes a controller 51 as a forklift mounted device 50, a wireless unit 52 as a vehicle communication unit, an image signal processing unit 53, and a wireless device 54 as a vehicle communication unit. It has a vehicle-mounted camera 71.

遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63,64と、操作装置通信部としての無線機65,66を有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部(モニタ)63,64を備える。   The remote operation device 40 includes a controller 61, an operation unit 62, display units (monitors) 63 and 64, and wireless devices 65 and 66 as operation device communication units. The remote control device 40 includes a controller 61, an operation unit 62, and display units (monitors) 63 and 64 as operation room side devices 60.

遠隔操作装置40の無線機65は作業場に配置されている。また、遠隔操作装置40の無線機66は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機65と接続されている。コントローラ61は有線L2により作業場に配置した無線機66と接続されている。   The wireless device 65 of the remote control device 40 is arranged at the work place. Further, the wireless device 66 of the remote control device 40 is arranged at the work place. The controller 61 arranged in the operation room is connected to the wireless device 65 arranged in the work place by a wire L1. The controller 61 is connected by a wire L2 to a wireless device 66 arranged in the work place.

作業場において、遠隔操作装置40の無線機65とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54から遠隔操作装置40の無線機66に無線で通信できる。   At the work place, the wireless device 65 of the remote control device 40 and the wireless unit 52 of the forklift mounted device 50 can perform two-way wireless communication. In the workplace, the wireless device 54 of the forklift-equipped device 50 can wirelessly communicate with the wireless device 66 of the remote control device 40.

このようにして、リーチ式フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機65,66を有する。   Thus, the reach type forklift 20 has the wireless unit 52 and the wireless device 54, and the remote control device 40 has the wireless devices 65 and 66 that perform wireless communication with the wireless unit 52 and the wireless device 54.

遠隔操作装置40のコントローラ61は操作部62及び表示部(モニタ)63,64と接続されている。操作部62は、操作者によりリーチ式フォークリフト20を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト20の操作内容(リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等)がコントローラ61に送られる。コントローラ61は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線機65を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。   The controller 61 of the remote operation device 40 is connected to an operation unit 62 and display units (monitors) 63 and 64. The operation unit 62 is for remotely controlling the reach type forklift 20 by an operator, and the operation contents of the reach type forklift 20 (lift, reach, tilt operation command values, speed, acceleration, steering, etc.) Angle operation command value, etc.) is sent to the controller 61. The controller 61 wirelessly transmits vehicle control signals such as lift, reach, and tilt operation command values, and speed, acceleration, and steering angle operation command values to the wireless unit 52 of the forklift-mounted device 50 via the wireless device 65. I do.

フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像信号処理部53とは、それぞれ相互に通信(例えばCAN通信)可能に接続されている。コントローラ51は遠隔操作装置40側からの指示により走行系アクチュエータ(走行モータ33、図示しない操舵モータ等)及び荷役系アクチュエータ(リフトシリンダ29、リーチシリンダ30、図示しないティルトシリンダ等)を駆動することができる。   In the forklift mounted device 50, the controller 51, the wireless unit 52, and the image signal processing unit 53 are connected so as to be able to communicate with each other (for example, CAN communication). The controller 51 can drive a travel system actuator (the travel motor 33, a steering motor (not shown)) and a cargo handling actuator (the lift cylinder 29, the reach cylinder 30, a tilt cylinder (not shown), etc.) according to an instruction from the remote control device 40 side. it can.

無線ユニット52は、リーチ式フォークリフト20の車速等の車両情報、異常情報(障害物検知情報等)を、無線機65を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機65、無線ユニット52及びコントローラ51を介してリーチ式フォークリフト20の走行及び荷役装置22による荷役を遠隔操作することができるようになっている。
The wireless unit 52 wirelessly transmits vehicle information such as the vehicle speed of the reach type forklift 20 and abnormal information (obstacle detection information and the like) to the controller 61 via the wireless device 65.
In FIG. 1, the controller 61 can remotely control the traveling of the reach type forklift 20 and the cargo handling by the cargo handling device 22 via the wireless device 65, the wireless unit 52, and the controller 51.

そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機65を介してリーチ式フォークリフト20側に送られる。リーチ式フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。   In the remote control device 40, when the operator performs a desired operation using the operation unit 62, the operation content is sent to the reach type forklift 20 side by the controller 61 via the wireless device 65. In the reach type forklift 20, the operation content from the remote control device 40 is received by the wireless unit 52, and the controller 51 drives the actuator unit to execute a desired operation.

図2及び図3に示すように、リーチ式フォークリフト20において機台21に車載カメラ71が前方を向くように取り付けられており、車載カメラ71は、リーチ式フォークリフト20の周囲を撮像する。具体的には、車載カメラ71は、リーチ式フォークリフト20の進行方向前方を撮像する。   As shown in FIGS. 2 and 3, an in-vehicle camera 71 is attached to the machine base 21 of the reach-type forklift 20 so as to face forward, and the in-vehicle camera 71 captures an image around the reach-type forklift 20. Specifically, the on-vehicle camera 71 captures an image of the front of the reach type forklift 20 in the traveling direction.

リーチ式フォークリフト20において、車載カメラ71により撮像された画像はコントローラ51により画像信号処理部53及び無線機54を介して遠隔操作装置40側に送られる。つまり、リーチ式フォークリフト20に搭載された車載カメラ71の画像は無線通信により遠隔操作装置40に伝送される。遠隔操作装置40において、無線機66でリーチ式フォークリフト20からの車載カメラ画像が受信されてコントローラ61により表示部63で表示される。図5には表示部63の画面を示す。図5において表示部63はディスクトップ型ディスプレイであって、表示画面63aを有する。   In the reach-type forklift 20, an image captured by the on-vehicle camera 71 is sent by the controller 51 to the remote control device 40 via the image signal processing unit 53 and the wireless device 54. That is, the image of the vehicle-mounted camera 71 mounted on the reach-type forklift 20 is transmitted to the remote control device 40 by wireless communication. In the remote control device 40, the in-vehicle camera image from the reach type forklift 20 is received by the wireless device 66 and displayed on the display unit 63 by the controller 61. FIG. 5 shows a screen of the display unit 63. In FIG. 5, the display unit 63 is a desktop display and has a display screen 63a.

図4に示すように、リーチ式フォークリフト20が走行するインフラ側にはインフラカメラ72が設置されている。具体的には、棚T1の上部にはインフラカメラ72が固定されている。インフラカメラ72は棚T1の前方の床面を向くように取り付けられており、インフラカメラ72は、リーチ式フォークリフト20の作業領域、即ち、棚T1の前方領域を撮像することができる。図1に示すように、インフラカメラ72は有線L3により遠隔操作装置40のコントローラ61と接続されている。インフラカメラ72により撮像した画像は有線L3にて遠隔操作装置40に伝送されて、コントローラ61により表示部64で表示される。図6には表示部64の画面を示す。図6において表示部64はディスクトップ型ディスプレイであって、表示画面64aを有する。   As shown in FIG. 4, an infrastructure camera 72 is installed on the infrastructure side on which the reach type forklift 20 travels. Specifically, an infrastructure camera 72 is fixed above the shelf T1. The infrastructure camera 72 is attached so as to face the floor in front of the shelf T1, and can capture an image of a work area of the reach type forklift 20, that is, an area in front of the shelf T1. As shown in FIG. 1, the infrastructure camera 72 is connected to the controller 61 of the remote operation device 40 by a wire L3. The image captured by the infrastructure camera 72 is transmitted to the remote control device 40 via the wired L3, and displayed on the display unit 64 by the controller 61. FIG. 6 shows a screen of the display unit 64. In FIG. 6, the display unit 64 is a desktop display and has a display screen 64a.

インフラカメラ72の視野にリーチ式フォークリフト20が入ってくることにより同じ撮像対象に対して異なるカメラ(車載カメラ71、インフラカメラ72)で撮像しており、遠隔操作装置40に設けられた表示部63において、車載カメラ71にて撮像された画像が表示される。また、遠隔操作装置40に設けられた表示部64において、インフラカメラ72にて撮像された画像が表示される。操作者は表示部63,64における車載カメラ画像及びインフラカメラ画像を見ながら操作することになる。   When the reach type forklift 20 enters the field of view of the infrastructure camera 72, the same imaging target is imaged by different cameras (the on-board camera 71 and the infrastructure camera 72), and the display unit 63 provided in the remote control device 40. In, the image captured by the on-board camera 71 is displayed. Further, an image captured by the infrastructure camera 72 is displayed on the display unit 64 provided in the remote operation device 40. The operator operates while viewing the vehicle-mounted camera image and the infrastructure camera image on the display units 63 and 64.

図2に示すように、リーチ式フォークリフト20の機台21には照明(ライト)55が取り付けられている。照明55は、リーチ式フォークリフト20の進行方向前方に光を照射できるようになっている。照射範囲は車載カメラ71の撮像領域、インフラカメラ72の撮像領域を含んでいる。照明55は、図1に示すように、赤色光源55aと緑色光源55bを備えており、照明55から赤色光または緑色光を発射することができる。具体的には、無線ユニット52により、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射する。   As shown in FIG. 2, a lighting (light) 55 is attached to the machine base 21 of the reach type forklift 20. The illumination 55 can emit light forward in the traveling direction of the reach type forklift 20. The irradiation range includes an imaging area of the vehicle-mounted camera 71 and an imaging area of the infrastructure camera 72. As shown in FIG. 1, the illumination 55 includes a red light source 55 a and a green light source 55 b, and can emit red light or green light from the illumination 55. Specifically, the wireless unit 52 emits red light and green light from the illumination 55 alternately in the form of red light, green light, red light, green light, and so on.

これにより、車載カメラ71による画像は、照明の色彩の変化である時間情報を含むことになる。また、インフラカメラ72による画像は、照明の色彩の変化である時間情報を含むことになる。つまり、車載カメラ画像とインフラカメラ画像とで同期をとるためのトリガとして交互に出力される赤色光/緑色光を用いて時間情報がカメラ画像に含まれるようになっている。   As a result, the image obtained by the on-vehicle camera 71 includes time information indicating a change in the color of the illumination. Further, the image obtained by the infra camera 72 includes time information indicating a change in the color of the illumination. That is, the time information is included in the camera image using the red light / green light alternately output as a trigger for synchronizing the in-vehicle camera image and the infrastructure camera image.

このように、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55を有し、照明55は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する。時間情報は照明の色彩の変化である。   As described above, the illumination 55 as the time information adding unit that adds the time information to the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72 is provided, and the illumination 55 illuminates the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72 with light. . The time information is a change in the color of the lighting.

コントローラ61は、画像加工部としてのマイコン61aと、時間情報を含む画像データが記憶されるメモリ61bを有する。
次に、作用について説明する。
The controller 61 has a microcomputer 61a as an image processing unit and a memory 61b in which image data including time information is stored.
Next, the operation will be described.

車載カメラ画像とインフラカメラ画像では遠隔操作装置40への伝送遅れ量が状況によって変わってくるので随時同期をとる必要がある。
リーチ式フォークリフト20は走行しながら、無線ユニット52が、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射させる。
Since the amount of delay in transmission to the remote control device 40 changes depending on the situation between the in-vehicle camera image and the infrastructure camera image, it is necessary to synchronize at any time.
While the reach-type forklift 20 is traveling, the wireless unit 52 emits red light and green light from the illumination 55 alternately in the form of red light, green light, red light, green light, and so on.

つまり、図7に示すように、車載の照明55から赤色光RLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の赤色光RLが捉えられる。また、図8に示すように、車載の照明55から緑色光GLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の緑色光GLが捉えられる。   That is, as shown in FIG. 7, red light RL is emitted from the vehicle-mounted illumination 55 to the front floor surface. Then, the in-vehicle camera 71 and the infrastructure camera 72 capture the red light RL of the illumination 55 in the captured image. As shown in FIG. 8, green light GL is emitted from a vehicle-mounted illumination 55 to the front floor surface. The in-vehicle camera 71 and the infrastructure camera 72 capture the green light GL of the illumination 55 in the captured image.

車載カメラ71による画像は無線にて遠隔操作装置40に伝送される。インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される。
図9に示すように、コントローラ61のマイコン61aは、時間情報(照明の色彩の変化)を含む車載カメラ71による画像と、時間情報(照明の色彩の変化)を含むインフラカメラ72による画像を入力する。そして、画像加工部としてのコントローラ61のマイコン61aは、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する。
Images from the on-board camera 71 are transmitted to the remote control device 40 wirelessly. The image from the infrastructure camera 72 is transmitted to the remote control device 40 via the wired L3.
As shown in FIG. 9, the microcomputer 61 a of the controller 61 inputs an image from the on-board camera 71 including time information (change in lighting color) and an image from the infra camera 72 including time information (change in lighting color). I do. Then, the microcomputer 61a of the controller 61 as an image processing unit obtains a time difference from the image including the time information acquired by the on-board camera 71 and the image including the time information acquired by the infra camera 72, and displays the display unit based on the time difference. Either the image captured by the in-vehicle camera 71 or the image captured by the infrastructure camera 72 to be displayed on 63 or 64 is processed.

このように車載カメラ71の画像とインフラカメラ72の画像とが時間差の少ない画像となるように(詳しくは同期するように)調整することにより、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。   In this way, by adjusting the image of the in-vehicle camera 71 and the image of the infrastructure camera 72 so that the image has a small time difference (in detail, synchronized), a time difference is generated between the vehicle-mounted camera image and the infrastructure camera image to be displayed. Can be difficult.

以下、詳しく説明する。
遠隔操作システムにおいて、車載カメラ71で進行方向を撮像して表示することにより進行方向を確認し、インフラカメラ72でリーチ式フォークリフトの周辺を撮像して表示することによりリーチ式フォークリフトの周辺の安全確認を行い、操作性を確保する。ここで、車載カメラ71の画像は無線で無線機66に伝送されて表示部63で表示される。一方、インフラカメラ72の画像は有線L3で遠隔操作装置40に伝送されて表示部64で表示される。車載カメラ71とインフラカメラ72は、画像の伝送経路が異なるため、表示する画像に時間差τが生じる。画像の時間差τにより、視認性と操作性が低下する。つまり、車載カメラ71の画像とインフラカメラ72の画像とでは、時間差τがある画像となってしまい操作がしにくい。
The details will be described below.
In the remote control system, the traveling direction is confirmed by capturing and displaying the traveling direction with the on-board camera 71, and the periphery of the reach type forklift is confirmed by capturing and displaying the periphery of the reach type forklift with the infrastructure camera 72. And ensure operability. Here, the image of the in-vehicle camera 71 is wirelessly transmitted to the wireless device 66 and displayed on the display unit 63. On the other hand, the image of the infrastructure camera 72 is transmitted to the remote control device 40 via the cable L3 and displayed on the display unit 64. Since the vehicle-mounted camera 71 and the infrastructure camera 72 have different image transmission paths, a time difference τ occurs in the displayed image. Visibility and operability decrease due to the time difference τ between images. That is, the image of the in-vehicle camera 71 and the image of the infrastructure camera 72 have an image having a time difference τ, and the operation is difficult.

本実施形態では、車載カメラ71から時間情報を含む画像を取得するとともにインフラカメラ72から時間情報を含む画像を取得して、時間差の無い画像に加工する。そのために、リーチ式フォークリフトの機台に照明(ライト)55を設置して、照明(ライト)55の光源は、一定間隔で色を変化させる。車載カメラ71とインフラカメラ72の画像について、それぞれで光源の色を検出し、画像データをメモリ61bに格納する。そして、色情報の変化を基準としてタイミングを合わせて格納した画像データを表示する。つまり、色情報の変化を基準に、図9での色情報の時間差τを無くすべくタイミングを合わせて画像を表示する。   In the present embodiment, an image including time information is acquired from the in-vehicle camera 71 and an image including time information is acquired from the infrastructure camera 72, and is processed into an image having no time difference. For this purpose, an illumination (light) 55 is installed on the machine frame of the reach type forklift, and the light source of the illumination (light) 55 changes color at regular intervals. For the images of the in-vehicle camera 71 and the infrastructure camera 72, the color of the light source is detected for each, and the image data is stored in the memory 61b. Then, the stored image data is displayed at a timing based on the change in the color information. That is, based on the change in the color information, the image is displayed at the same timing so as to eliminate the time difference τ of the color information in FIG.

即ち、図9ではインフラカメラ画像に比べ車載カメラ画像が遅れて遠隔操作装置40に伝送されるのでインフラカメラ画像をメモリ61bにバッファリング(保存)しておき、画像の色の変化を判定しながら車載カメラ画像とインフラカメラ画像を同期させた状態で送出して表示部63,64で表示させる。つまり、マイコン61aは、時間差τに応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方(図9ではインフラカメラ画像)を遅らせて表示させる。   That is, in FIG. 9, since the in-vehicle camera image is transmitted to the remote control device 40 with a delay compared to the infra camera image, the infra camera image is buffered (saved) in the memory 61b, and the color change of the image is determined. The in-vehicle camera image and the infrastructure camera image are transmitted in a synchronized state and displayed on the display units 63 and 64. In other words, the microcomputer 61a determines which of the image captured by the in-vehicle camera 71 and the image captured by the infrastructure camera 72 stored in accordance with the time difference τ has a smaller transmission delay amount to the remote control device 40 ( In FIG. 9, the infrastructure camera image) is displayed with a delay.

その結果、表示する車載カメラ画像とインフラカメラ画像の時間差がなくなり、操作性が向上する。
上記実施形態によれば、以下のような効果を得ることができる。
As a result, there is no time difference between the in-vehicle camera image and the infrastructure camera image to be displayed, and the operability is improved.
According to the above embodiment, the following effects can be obtained.

(1)産業車両用遠隔操作システム10の構成として、車両通信部としての無線ユニット52及び無線機54を有する産業車両としてのリーチ式フォークリフト20と、車両通信部としての無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機65,66を有し、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備える。リーチ式フォークリフト20に搭載され、リーチ式フォークリフト20の周囲を撮像した画像が無線通信により遠隔操作装置40に伝送される車載カメラ71と、リーチ式フォークリフト20が走行するインフラ側に設置され、リーチ式フォークリフト20の作業領域を撮像した画像が遠隔操作装置40に伝送されるインフラカメラ72と、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55と、遠隔操作装置40に設けられ、車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像を表示するための表示部63,64と、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する画像加工部としてのマイコン61aと、を備える。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。   (1) As a configuration of the remote control system 10 for an industrial vehicle, a reach type forklift 20 as an industrial vehicle having a wireless unit 52 and a wireless device 54 as a vehicle communication unit, and a wireless unit 52 and a wireless device 54 as a vehicle communication unit And a remote control device 40 that has wireless devices 65 and 66 as operating device communication units that perform wireless communication with the device and that is used to remotely control the reach type forklift 20. A vehicle-mounted camera 71 mounted on the reach-type forklift 20 and transmitting an image of the periphery of the reach-type forklift 20 to the remote control device 40 by wireless communication, and an in-vehicle camera 71 installed on the infrastructure side where the reach-type forklift 20 travels, An infra camera 72 for transmitting an image obtained by capturing an image of the work area of the forklift 20 to the remote control device 40; a lighting 55 as a time information adding unit for adding time information to the in-vehicle camera 71 or the imaging area of the infra camera 72; Display units 63 and 64 provided on the operation device 40 for displaying an image captured by the in-vehicle camera 71 and an image captured by the infrastructure camera 72; and an image including time information acquired by the in-vehicle camera 71. The time difference is obtained from the image including the time information acquired by the infrastructure camera 72, and the time difference is calculated. Based on, and a microcomputer 61a as an image processing unit for processing the one of the captured images in the image and infrastructure camera 72 captured by the vehicle-mounted camera 71 to be displayed on the display unit 63 and 64. Therefore, it is possible to reduce a time difference between the vehicle-mounted camera image and the infrastructure camera image to be displayed.

(2)インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される場合に有用である。
(3)時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明55であり、時間情報は照明の色彩の変化であるので、時間情報を含むカメラ画像を得ることができる。
(2) The image obtained by the infrastructure camera 72 is useful when the image is transmitted to the remote control device 40 via the cable L3.
(3) The time information adding unit is the illumination 55 that irradiates light to the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72. Since the time information is a change in the color of the illumination, a camera image including the time information can be obtained. it can.

(4)画像加工部としてのマイコン61aは、時間差に応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方を遅らせて表示させるので、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。   (4) The microcomputer 61a as the image processing unit transmits a delay between the image captured by the in-vehicle camera 71 and the image captured by the infrastructure camera 72 to the remote control device 40, which is stored according to the time difference. Since the display with the smaller amount is delayed, it is possible to make it difficult for a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○ 照明の色彩の変化により時間情報を含むカメラ画像を得るようにしたが、これに代わり、一色の照明を用いて照明のオン/オフにより時間情報を含むカメラ画像を得るようにしてもよい。
The embodiment is not limited to the above, and may be embodied as follows, for example.
The camera image including the time information is obtained by changing the color of the illumination. Alternatively, a camera image including the time information may be obtained by turning on / off the illumination using one-color illumination.

○ 時間情報は照明の色彩の変化であったが、これに代わり、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明であり、時間情報は照明の輝度の変化であってもよい。例えば白色光を用いて輝度を変化させてもよい。   ○ The time information is a change in the color of the lighting. Instead, the time information adding unit is a light that irradiates the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72 with light, and the time information is a change in the luminance of the lighting. It may be. For example, the luminance may be changed using white light.

○ 図7,8に代わり図10に示すように、投影機56を用いて時刻を表す数字を床面に投影して車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識により時刻を読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい(同期させてもよい)。このように、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に数字を投影する投影機56であり、時間情報は時刻を表す数字であってもよい。   As shown in FIG. 10 instead of FIGS. 7 and 8, a number representing the time is projected on the floor using the projector 56, photographed by the in-vehicle camera 71 and the infrastructure camera 72, and the microcomputer 61a recognizes the time by image recognition. A time difference may be hardly generated between the in-vehicle camera image and the infra camera image that are read and displayed (they may be synchronized). As described above, the time information adding unit is the projector 56 that projects a number on the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72, and the time information may be a number representing time.

○ 他にも、投影機を用いて床面に図11に示すような時刻に応じたパターンを投影して、これを車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識によりパターンを読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい。詳しくは、図11においては、長方形の全体部分100を4つの長方形のブロック101,102,103,104に分割して所定時間毎に(図11では1秒毎に)、ブロック101→ブロック102→ブロック103→ブロック104→ブロック101→・・・を順に投影していく。このようにして、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域にパターンを投影する投影機であり、時間情報は時刻に応じたパターンであってもよい。   ○ In addition, a pattern corresponding to the time as shown in FIG. 11 is projected on the floor using a projector, and this is photographed by the in-vehicle camera 71 and the infrastructure camera 72, and the microcomputer 61a recognizes the pattern by image recognition. A time difference may be hardly generated between the in-vehicle camera image and the infrastructure camera image that are read and displayed. More specifically, in FIG. 11, the whole rectangular portion 100 is divided into four rectangular blocks 101, 102, 103, and 104, and at predetermined time intervals (every second in FIG. 11), blocks 101 → blocks 102 → Block 103 → Block 104 → Block 101 →... In this way, the time information adding unit is a projector that projects a pattern on the imaging area of the vehicle-mounted camera 71 or the infrastructure camera 72, and the time information may be a pattern corresponding to time.

○ カメラ画像から画像認識により時間情報を読み取った後の表示のしかたとして、車載カメラ画像については最新の画像に対し予想されるフォーク位置での画像も重ねて表示するようにしてもよい。   As a display method after the time information is read from the camera image by image recognition, the in-vehicle camera image may be displayed so that the image at the expected fork position is superimposed on the latest image.

例えば、マイコン61aにおいて車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像から時間差(ずれ)τを求めて最新の車載カメラ画像に対し、操作量に応じて予測されるフォークの画像を重ね合わせる。そして、表示画面において、図12に示すように、画像加工部としてのマイコン61aは、時間差τと操作量に応じたリーチ式フォークリフト20の仮想位置(フォークの予想位置)を車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が多い方に重畳表示させる。詳しくは、前のタイミングで撮像したフォーク31aを有するカメラ画像に対し、予想されるフォーク31bの画像を出力し、オーバーレイ画像にする。より詳しくは、時間差からフォークの位置を推定し、カメラ画像にオーバーレイ表示する。具体的には、図12においては、リーチ動作における前後のフォークが重なるように表示する。   For example, in the microcomputer 61a, a time difference (shift) τ is obtained from an image including the time information acquired by the vehicle-mounted camera 71 and an image including the time information acquired by the infrastructure camera 72, and the latest vehicle-mounted camera image is determined according to the operation amount. Overlay the image of the predicted fork. Then, on the display screen, as shown in FIG. 12, the microcomputer 61a as the image processing unit captures the virtual position of the reach-type forklift 20 (the expected position of the fork) according to the time difference τ and the operation amount with the on-board camera 71. The superimposed display is performed on the image with the larger transmission delay amount to the remote operation device 40, of the image obtained and the image captured by the infrastructure camera 72. More specifically, an expected image of the fork 31b is output with respect to the camera image having the fork 31a captured at the previous timing, and is used as an overlay image. More specifically, the position of the fork is estimated from the time difference, and is overlaid on the camera image. Specifically, in FIG. 12, the forks before and after the reach operation are displayed so as to overlap.

このように、オーバーレイ方式を用いて、車載カメラについてはフォークの位置を予測して重畳することとし、そのための加工方法として同期がとれた後において、時間情報からの遅れ(τ)と操作量から予測したフォークも重ねて表示するようにしてもよい。   In this way, the overlay method is used to predict and superimpose the position of the fork for the on-vehicle camera, and as a processing method for that purpose, after synchronization, the delay (τ) from the time information and the operation amount are used. The predicted fork may be displayed in an overlapping manner.

○ 照明55は車両側に設置したが(リーチ式フォークリフトに搭載したが)、インフラ側に設置してもよい。
○ 車載カメラの台数は問わない。
The lighting 55 is installed on the vehicle side (although it is mounted on a reach-type forklift), but may be installed on the infrastructure side.
○ The number of in-vehicle cameras does not matter.

○ インフラカメラの台数は問わない。
○ 車載カメラ71は画像を無線通信により遠隔操作装置40に伝送するとともにインフラカメラ72は有線により画像を遠隔操作装置40に伝送したが、これに限るものではない。例えば、インフラカメラ72は無線により画像を遠隔操作装置40に伝送するシステム構成とした場合に適用してもよい。つまり、有線と無線以外にも無線と無線でも画像伝送に遅れが生じるのでインフラカメラ画像も無線で伝送する場合に適用してもよい。また、伝送長さや方式や使用環境が異なる場合にも画像伝送に遅れが生じるのでその場合に適用してもよい。
○ The number of infrastructure cameras does not matter.
The in-vehicle camera 71 transmits the image to the remote operation device 40 by wireless communication, and the infra camera 72 transmits the image to the remote operation device 40 by wire, but the present invention is not limited to this. For example, the infrastructure camera 72 may be applied to a system configuration in which an image is wirelessly transmitted to the remote operation device 40. In other words, image transmission is delayed in wireless and wireless as well as wired and wireless, so that the present invention may be applied to wireless transmission of infra camera images. Further, even when the transmission length, the method, and the use environment are different, a delay occurs in the image transmission, so that the present invention may be applied to such a case.

○ 産業車両はリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外の産業車両であってもよい。例えば牽引車等でもよい。   ○ The industrial vehicle was a reach-type forklift, but is not limited to this, and may be an industrial vehicle other than the reach-type forklift. For example, a towing vehicle may be used.

10…産業車両用遠隔操作システム、20…リーチ式フォークリフト、40…遠隔操作装置、52…無線ユニット、54…無線機、55…照明、61a…マイコン、63,64…表示部、65,66…無線機、71…車載カメラ、72…インフラカメラ、L3…有線。   DESCRIPTION OF SYMBOLS 10 ... Remote control system for industrial vehicles, 20 ... Reach type forklift, 40 ... Remote control device, 52 ... Wireless unit, 54 ... Wireless device, 55 ... Lighting, 61a ... Microcomputer, 63, 64 ... Display part, 65, 66 ... Wireless device, 71: In-vehicle camera, 72: Infrastructure camera, L3: Wired.

Claims (6)

車両通信部を有する産業車両と、
前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、
を備えた産業車両用遠隔操作システムであって、
前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、
前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、
前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、
前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、
前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、
を備えることを特徴とする産業車両用遠隔操作システム。
An industrial vehicle having a vehicle communication unit;
An operation device communication unit that performs wireless communication with the vehicle communication unit, a remote operation device used to remotely control the industrial vehicle,
An industrial vehicle remote control system comprising:
An in-vehicle camera mounted on the industrial vehicle and transmitting an image of the periphery of the industrial vehicle to the remote control device by wireless communication,
An infrastructure camera installed on the infrastructure side on which the industrial vehicle travels, and an image obtained by capturing an image of a work area of the industrial vehicle is transmitted to the remote control device.
A time information addition unit that adds time information to the imaging area of the vehicle-mounted camera or the infrastructure camera,
A display unit provided in the remote control device for displaying an image captured by the vehicle-mounted camera and an image captured by the infrastructure camera,
A time difference is obtained from an image containing the time information acquired by the vehicle-mounted camera and an image containing the time information acquired by the infra-camera, and based on the time difference, the image is captured by the vehicle-mounted camera displayed on the display unit. Image processing unit that processes any of the images captured by the infra camera and
A remote control system for an industrial vehicle, comprising:
前記インフラカメラによる画像は有線にて前記遠隔操作装置に伝送されることを特徴とする請求項1に記載の産業車両用遠隔操作システム。   The remote control system for an industrial vehicle according to claim 1, wherein the image from the infrastructure camera is transmitted to the remote control device via a wire. 前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に光を照射する照明であり、前記時間情報は前記照明の色彩の変化または照明の輝度の変化であることを特徴とする請求項1または2に記載の産業車両用遠隔操作システム。   The said time information addition part is illumination which irradiates light to the imaging area of the said in-vehicle camera or the said infra camera, and the said time information is a change of the color of the said illumination, or a change of the brightness of an illumination, The Claims characterized by the above-mentioned. 3. The remote control system for an industrial vehicle according to 1 or 2. 前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に数字またはパターンを投影する投影機であり、前記時間情報は時刻を表す数字または時刻に応じたパターンであることを特徴とする請求項1または2に記載の産業車両用遠隔操作システム。   The said time information addition part is a projector which projects a number or a pattern on the imaging area of the said in-vehicle camera or the said infra camera, and the said time information is the number showing a time or the pattern according to the time, The claim characterized by the above-mentioned. Item 3. An industrial vehicle remote control system according to item 1 or 2. 前記画像加工部は、前記時間差に応じて蓄積しておいた前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が少ない方を遅らせて表示させることを特徴とする請求項1〜4のいずれか1項に記載の産業車両用遠隔操作システム。   The image processing unit determines which of the images captured by the on-vehicle camera and the images captured by the infrastructure camera, which have been accumulated according to the time difference, has a smaller transmission delay to the remote operation device. The remote control system for an industrial vehicle according to any one of claims 1 to 4, wherein the display is delayed. 前記画像加工部は、前記時間差と操作量に応じた前記産業車両の仮想位置を前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が多い方に重畳表示させることを特徴とする請求項1〜5のいずれか1項に記載の産業車両用遠隔操作システム。
The image processing unit is configured to delay transmission of the virtual position of the industrial vehicle according to the time difference and the operation amount among the image captured by the on-board camera and the image captured by the infrastructure camera to the remote operation device. The remote control system for an industrial vehicle according to any one of claims 1 to 5, wherein the display is superimposed and displayed on a larger amount.
JP2018163147A 2018-08-31 2018-08-31 Remote control system for industrial vehicles Active JP6965852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018163147A JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163147A JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Publications (2)

Publication Number Publication Date
JP2020036275A true JP2020036275A (en) 2020-03-05
JP6965852B2 JP6965852B2 (en) 2021-11-10

Family

ID=69668837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163147A Active JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Country Status (1)

Country Link
JP (1) JP6965852B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179688A (en) * 2020-05-11 2021-11-18 株式会社Mobility Technologies Computer program, remote control device, and remote control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010053609A (en) * 2008-08-29 2010-03-11 Nippon Oil Corp Wireless remote operation system for heavy machine
JP2014126742A (en) * 2012-12-27 2014-07-07 Daiichikosho Co Ltd Singing moving image generation system
US20140240506A1 (en) * 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines
JP2016072727A (en) * 2014-09-29 2016-05-09 日立建機株式会社 Video transmission system for remote control of construction machine
JP2017022433A (en) * 2015-07-07 2017-01-26 日立建機株式会社 Remote control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010053609A (en) * 2008-08-29 2010-03-11 Nippon Oil Corp Wireless remote operation system for heavy machine
JP2014126742A (en) * 2012-12-27 2014-07-07 Daiichikosho Co Ltd Singing moving image generation system
US20140240506A1 (en) * 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines
JP2016072727A (en) * 2014-09-29 2016-05-09 日立建機株式会社 Video transmission system for remote control of construction machine
JP2017022433A (en) * 2015-07-07 2017-01-26 日立建機株式会社 Remote control system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021179688A (en) * 2020-05-11 2021-11-18 株式会社Mobility Technologies Computer program, remote control device, and remote control method
JP7438017B2 (en) 2020-05-11 2024-02-26 Go株式会社 Computer program, remote control device, and remote control method

Also Published As

Publication number Publication date
JP6965852B2 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US10336192B2 (en) Projection type display device and operation assistance method
WO2020137752A1 (en) Work vehicle
US20160227098A1 (en) Information Presentation System
JP4522880B2 (en) Vehicle steering system
WO2013118705A1 (en) Periphery monitoring device for transportation vehicle
WO2018008061A1 (en) Display control method and display control device
JP2017022433A (en) Remote control system
CN107852481B (en) Image display control device
WO2017014325A1 (en) Bulldozer
WO2019163378A1 (en) Forklift image processing device and control program
CA2987558A1 (en) Information presentation system
KR102390021B1 (en) Forklift safety system using AI and radar
JP2019202877A (en) Remote control system for industrial vehicle
WO2017038123A1 (en) Device for monitoring area around vehicle
JP2017163206A (en) Image processor and program
JP6965852B2 (en) Remote control system for industrial vehicles
CN111052734B (en) Working vehicle
JP2005236493A (en) Operation assisting system
JP7107078B2 (en) Cargo handling support device for reach-type forklifts
WO2019208174A1 (en) Industrial vehicle remote system, industrial vehicle, remote device, industrial vehicle remote program, and industrial vehicle remote method
JP6958216B2 (en) Work vehicle
JP2020001863A (en) Remote operation system for industrial vehicle
JP6959532B2 (en) Remote control system for industrial vehicles
WO2016051846A1 (en) Projection display device and method for controlling light source thereof
WO2019208266A1 (en) Industrial vehicle remote operation system, industrial vehicle, industrial vehicle remote operation program, industrial vehicle remote operation method, and remote operation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201109

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R151 Written notification of patent or utility model registration

Ref document number: 6965852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151