JP2019071592A - Remote construction management system and remote construction management method - Google Patents

Remote construction management system and remote construction management method Download PDF

Info

Publication number
JP2019071592A
JP2019071592A JP2017197914A JP2017197914A JP2019071592A JP 2019071592 A JP2019071592 A JP 2019071592A JP 2017197914 A JP2017197914 A JP 2017197914A JP 2017197914 A JP2017197914 A JP 2017197914A JP 2019071592 A JP2019071592 A JP 2019071592A
Authority
JP
Japan
Prior art keywords
display
caisson
work
construction management
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017197914A
Other languages
Japanese (ja)
Other versions
JP7162421B2 (en
Inventor
聖二 小林
Seiji Kobayashi
聖二 小林
遠藤 和雄
Kazuo Endo
和雄 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2017197914A priority Critical patent/JP7162421B2/en
Publication of JP2019071592A publication Critical patent/JP2019071592A/en
Application granted granted Critical
Publication of JP7162421B2 publication Critical patent/JP7162421B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a remote construction management system which makes it easy for even a remote operator to grasp a real site environment.SOLUTION: A system comprises: an imaging unit for taking an image of the inside of an operation room of a caisson; a display device which is used outside the operation room, is wearable by a user, and displays the taken image; and a display control unit which in response to a posture of the user, changes the position of a region to be displayed in the operation room, and displays the image on a head set.SELECTED DRAWING: Figure 1

Description

本発明は、遠隔施工管理システム、遠隔施工管理方法に関する。   The present invention relates to a remote construction management system and a remote construction management method.

ケーソン工事には、オープンケーソン工法とニューマチックケーソン工法がある。ニューマチックケーソン工法は、ケーソンの本体下部に作業室を設け、その中に圧縮空気を送って高気圧状態にし、掘削作業が行なわれる。この高気圧作業室は、高気圧状態であるため、作業員が立ち入ることができる時間が制限されている。そのためニューマチックケーソン工法において、水中や高気圧下の工事においては、作業効率の向上や作業環境の安全性の観点から、地上からの遠隔操作によって施工を行なう無人化施工が採用されている。
このような無人化施工では、高気圧作業室内に設けられた監視カメラによって撮影された高気圧作業室内の作業状況の画像を、高気圧作業室から離れた陸上の安全な遠隔作業室の机等に設置されたモニターに表示し、オペレータがこの画面を見ながら掘削機等の作業機械を遠隔操作し、施工を行なっている。
一方で、ARを用いた施工管理システムがある(特許文献1)。この施工管理システムでは、トンネル掘削工事において、シースルータイプのヘッドマウントディスプレイを装着した作業員がトンネル内においてトンネル内周面をみると、現実空間におけるトンネル内周面に重ね合わせるようにして仮想立体映像や施工管理情報が表示される。
There are open caisson method and pneumatic caisson method for caisson construction. In the pneumatic caisson method, a working room is provided in the lower part of the caisson main body, and compressed air is sent therein to make it into a high pressure state, and a drilling operation is performed. Since the high pressure work room is in a high pressure state, the time that workers can enter is limited. Therefore, in the pneumatic caisson construction method, in construction under water or high pressure, unmanned construction in which construction is performed by remote control from the ground is adopted from the viewpoint of improvement of work efficiency and safety of work environment.
In such unmanned construction, an image of the working conditions in the high pressure work room taken by the surveillance camera provided in the high pressure work room is installed on a desk of a safe remote work room on land away from the high pressure work room. The operator displays on a monitor, and remotely controls a working machine such as an excavator while looking at this screen to perform construction.
On the other hand, there is a construction management system using AR (Patent Document 1). In this construction management system, in tunnel excavation work, when a worker wearing a see-through type head mount display looks at the inner circumferential surface of the tunnel, the virtual three-dimensional image is superimposed on the inner circumferential surface of the tunnel in real space. And construction management information is displayed.

特開2000−155855号公報JP 2000-155855 A

しかしながら、上述した遠隔作業においては、監視カメラが所定の位置に設置され特定領域を撮像するように画角が固定された固定点カメラであるため、このような監視カメラと視点移動から得られる作業現場の状況には限界があり、実現場環境を把握しづらいといった問題点がある。また、別の画角から作業現場を確認する場合は、複数の監視カメラを設け、いずれの監視カメラの映像を表示するかを切替える手間がかかる。
また、特許文献1の施工管理システムでは、作業員がトンネル内に入った上で、視認されるトンネル内周面に対して各種映像が表示されるものであるため、作業者が高気圧作業室等の作業室に入らずに遠隔から作業を行なうためのものではない。
However, in the remote work described above, since the surveillance camera is a fixed point camera installed at a predetermined position and having a fixed angle of view so as to image a specific area, the work obtained from such surveillance camera and viewpoint movement There is a limit to the situation on the site, and there is a problem that it is difficult to grasp the realization site environment. Further, in the case of confirming the work site from another angle of view, it takes time and effort to provide a plurality of surveillance cameras and switch which video of the surveillance camera is displayed.
Further, in the construction management system of Patent Document 1, after the worker enters the tunnel, various images are displayed on the inner circumferential surface of the tunnel to be visually recognized. It is not intended to work remotely without entering the work room.

本発明は、このような事情に鑑みてなされたもので、その目的は、遠隔にいる作業者であっても実現場環境を把握しやすい遠隔施工管理システム、遠隔施工管理方法を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a remote construction management system and a remote construction management method which make it easy to grasp an actual place environment even by a remote worker. is there.

上述した課題を解決するために、本発明は、ケーソンの作業室内を撮像する撮像部と、前記作業室外において用いられ利用者が装着可能であり前記撮像された画像を表示する表示装置と、前記利用者の姿勢に応じて、前記作業室内における表示対象となる領域の位置を変更して前記表示装置に表示させる表示制御部とを有する。   In order to solve the problems described above, according to the present invention, there is provided an imaging unit for imaging a working room of a caisson, a display device for use by the user outside the working room and mountable by a user and displaying the imaged image. And a display control unit configured to change the position of the area to be displayed in the work room according to the posture of the user and to cause the display device to display the changed area.

また、本発明は、撮像部が、ケーソンの作業室内を撮像し、表示装置が、前記作業室外において用いられ利用者が装着可能であり前記撮像された画像を表示し、表示制御部が、前記利用者の姿勢に応じて、前記作業室内における表示対象となる領域の位置を変更して前記表示装置に表示させる。   Further, according to the present invention, the imaging unit captures an image of the caisson work room, the display device is used outside the work room and can be worn by the user, and the captured image is displayed, and the display control unit The position of the area to be displayed in the work room is changed according to the posture of the user and displayed on the display device.

以上説明したように、この発明によれば、遠隔にいる作業者であっても実現場環境を把握しやすい遠隔施工管理システムを提供することができる。
また、オペレータがあたかも実現場にいるような感覚で、安全な遠隔操作室から作業することができる。
As described above, according to the present invention, it is possible to provide a remote construction management system in which even a remote worker can easily grasp the actual environment.
Also, it is possible to work from a safe remote control room as if the operator were in the realization site.

この発明の一実施形態によるケーソンに遠隔施工管理システムが用いられた構成を説明する概念図である。It is a conceptual diagram explaining the composition by which the remote construction management system was used for the caisson by one embodiment of this invention. ケーソン1から遠隔にあるオペレータ室に設けられる遠隔施工管理システムに含まれる機器を説明する概略構成図である。It is a schematic block diagram explaining the apparatus contained in the remote construction management system provided in the operator room remote from the caisson 1. 遠隔施工管理システムの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a remote construction management system. 制御装置24によって抽出された表示対象カメラ画像の一例を示す図である。It is a figure which shows an example of the display object camera image extracted by the control apparatus. 表示対象カメラ画像に対して各合成画像が合成されて表示された場合の一例を表す図である。It is a figure showing an example at the time of each synthetic picture being compounded and displayed on a display object camera picture.

以下、本発明の一実施形態による遠隔施工管理システムについて図面を参照して説明する。
図1は、この発明の一実施形態によるケーソンに遠隔施工管理システムが用いられた構成を説明する概念図である。この図においては、ケーソン1が、ニューマチックケーソン工法によって水中または地中に設置された状態であって側方側からみた断面を表している。ケーソン1は、ニューマチックケーソン工法によって水中または地中に設置される。作業室2は、ケーソン1の下部に形成されており、より具体的には、ケーソン1の底版1aと土砂10との間に形成される。レール3は、ケーソン1の底版1aの下面側(作業室2の天井に対応する面)に設けられる。ケーソンショベル4は、走行部4aを有しており、この走行部4aを駆動することによってレール3に沿って移動可能であり、作業室外からの操作指示を受信し、その操作指示に応じてレールに沿って移動したり、作業室2下部の土砂10を掘削する。土砂10が掘削されることにより、ケーソン1が沈下する。
Hereinafter, a remote construction management system according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a conceptual view illustrating a configuration in which a remote construction management system is used in a caisson according to an embodiment of the present invention. In this figure, the caisson 1 is in a state of being installed in water or in the ground by the pneumatic caisson method, and shows a cross section viewed from the side. The caisson 1 is installed underwater or in the ground by the pneumatic caisson method. The working room 2 is formed in the lower part of the caisson 1, and more specifically, is formed between the bottom plate 1 a of the caisson 1 and the soil 10. The rails 3 are provided on the lower surface side of the bottom plate 1 a of the caisson 1 (a surface corresponding to the ceiling of the work room 2). The caisson shovel 4 has a traveling unit 4a, is movable along the rail 3 by driving the traveling unit 4a, receives an operation instruction from the outside of the operation room, and responds to the operation instruction. Move along or excavate earth and sand 10 in the lower part of the working room 2. As the soil 10 is excavated, the caisson 1 sinks.

レーダ5は、ケーソンショベル4の基部に設けられ、ケーソンショベル4がレール3に沿って移動することに伴ってレーダ5も移動する。レーダ5は、自身の位置を基準として、作業室2内における被測定物までの距離を測定する。レーダ5が距離を測定可能な範囲は、自身の位置を基準とした周囲の所定範囲であり、その測定方向と距離とに基づいて、3次元での計測が可能である。例えば、レーダ5は、自身の位置を基準として、周囲の土砂10の掘削形状や、作業室2内に設置された作業機器、作業用器具等までの距離を測定することができる。レーダ5は、ケーソンショベル4が移動することに伴って移動するため、ケーソンショベル4の移動に応じて被測定物を測定する基準位置も変わる。
レーダ5は、例えば、レーザレーダ、ミリ波レーダ、赤外線レーダ、超音波レーダを用いることができる。放射方向と距離とを3次元で記録することにより、土砂10の形状を測定することができる。
The radar 5 is provided at the base of the caisson shovel 4 and moves along with the movement of the caisson shovel 4 along the rail 3. The radar 5 measures the distance to the object in the working room 2 based on its own position. The range in which the radar 5 can measure the distance is a predetermined range around the position of the radar 5 itself, and three-dimensional measurement is possible based on the measurement direction and the distance. For example, the radar 5 can measure the excavating shape of the surrounding soil 10, the distance to the work device installed in the work chamber 2, the work tool, and the like based on its own position. Since the radar 5 moves along with the movement of the caisson shovel 4, the reference position for measuring the object to be measured also changes according to the movement of the caisson shovel 4.
The radar 5 can use, for example, a laser radar, a millimeter wave radar, an infrared radar, and an ultrasonic radar. The shape of the earth and sand 10 can be measured by recording the radiation direction and the distance in three dimensions.

全天球カメラ6は、ケーソンショベル4の基部に設けられ、作業室2内を撮像する。全天球カメラ6は、自身の位置を基準として全周囲を撮像することができる。また、全天球カメラ6は、ケーソンショベル4がレール3に沿って移動することに伴って全天球カメラ6も移動する。なお、通常、作業室2内には照明が複数箇所に設けられているため、外光が届かない場合であっても作業室2内における被撮像物を認識可能な状態で撮像することができる。傾斜計7は、ケーソン1全体の傾斜量を測定する。傾斜計7は、ケーソン1の傾斜を測定できる場所であれば設置場所は任意であるが、例えば、ケーソン1の底版1aの上面側に設けられる。刃口反力計8は、ケーソン1の刃口1bの下面にケーソン外周部に沿って複数設置される。集音部9は、ケーソンショベル4の基部に設けられ、作業室2内の音を集音する。   The omnidirectional camera 6 is provided at the base of the caisson shovel 4 and images the inside of the working room 2. The omnidirectional camera 6 can capture the entire circumference based on its own position. In addition, the omnidirectional camera 6 also moves as the caisson shovel 4 moves along the rail 3. In addition, since illumination is normally provided in multiple places in the work room 2, even if it is a case where external light does not reach, it can be imaged in the state which can recognize the to-be-imaged thing in the work room 2 . The inclinometer 7 measures the amount of inclination of the entire caisson 1. The installation position of the inclinometer 7 is arbitrary as long as the inclination of the caisson 1 can be measured. For example, the inclinometer 7 is provided on the upper surface side of the bottom plate 1 a of the caisson 1. A plurality of blade-to-mouth reaction force meters 8 are installed on the lower surface of the blade 1 b of the caisson 1 along the outer periphery of the caisson. The sound collecting unit 9 is provided at the base of the caisson shovel 4 and collects the sound in the working room 2.

図2は、ケーソン1から遠隔にあるオペレータ室に設けられる遠隔施工管理システムに含まれる機器を説明する概略構成図である。
遠隔施工管理システムを構成する一部については、作業室2の外部であって遠隔の場にあるオペレータ室に設けられ、ヘッドセット20、操作基盤21、回転台座22、振動装置23、制御装置24を含んで構成される。
FIG. 2 is a schematic configuration diagram for explaining equipment included in the remote construction management system provided in the operator's room remote from the caisson 1.
A part of the remote construction management system is provided in an operator room outside the work room 2 and at a remote place, and the headset 20, the operation base 21, the rotary base 22, the vibration device 23, the control device 24. It is comprised including.

ヘッドセット20は、オペレータの頭部に装着される。ヘッドセット20は、外において用いられ利用者が装着可能であり全天球カメラ6によって撮像された画像を表示するヘッドマウントディスプレイと、集音部9によって集音された音を放音するヘッドフォンと、ヘッドセット20が装着されたオペレータの頭部の姿勢を測定し、その測定された姿勢に応じて、作業室2内における表示対象となる領域の位置を変更してヘッドマウントディスプレイに表示させる表示制御部を含んで構成される。   The headset 20 is attached to the head of the operator. The headset 20 is a head mounted display that can be used externally and can be worn by the user and displays an image captured by the omnidirectional camera 6, and headphones that emit sound collected by the sound collecting unit 9. A display for measuring the posture of the head of the operator on which the headset 20 is mounted, changing the position of the area to be displayed in the work room 2 according to the measured posture, and displaying it on the head mount display It comprises a control part.

操作基盤21は、作業室2外に設けられており、作業機器(例えば、ケーソンショベル4)の姿勢を変更する操作入力を利用者から受付ける。オペレータは、この操作基盤21を操作することで、遠隔からケーソンショベル4を操作することができ、土砂の掘削等を行なうことができる。   The operation base 21 is provided outside the work room 2 and receives from the user an operation input for changing the posture of the work device (for example, the caisson shovel 4). The operator can operate the caisson shovel 4 remotely by operating the operation base 21, and can excavate soil and the like.

回転台座22は、オペレータが着席可能な着座部が設けられており、操作基盤21を介してケーソンショベル4に対する操作入力されると、その操作内容に応じて水平方向において回転する。例えば、ケーソンショベル4を右旋回または左旋回させる操作入力がなされた場合には、その旋回操作に応じて着座部とともに右旋回または左旋回する。これによりオペレータは、ケーソンショベル4に対する旋回操作を行なうことに応じて、オペレータ自身が着座している着座部が床面に対して旋回する。そのため、重機(ケーソンショベル4)に搭乗していなくても、実際に重機に搭乗しているような感覚でケーソンショベル4を遠隔から操作することができる。   The rotary pedestal 22 is provided with a seating portion capable of being seated by the operator, and when the operation input is made to the caisson shovel 4 via the operation base 21, the rotary pedestal 22 rotates in the horizontal direction according to the content of the operation. For example, when an operation input for turning the caisson shovel 4 right or left is made, the seat portion is turned right or left according to the turning operation. As a result, in response to the operator performing a turning operation on the caisson shovel 4, the seating portion on which the operator itself is sitting turns relative to the floor surface. Therefore, even if the heavy machine (the caisson shovel 4) is not boarded, the caisson shovel 4 can be remotely operated as if it is actually a heavy machine.

振動装置23は、回転台座22を介して着座部に対して振動を与える。例えば、ケーソンショベル4によって土砂を掘削したときにケーソンショベル4が受ける振動や衝撃等に応じた振動を着座部に対して与える。これにより、オペレータに対し、実際に重機(ケーソンショベル4)に搭乗して掘削工事等を行なっている感覚を与えることができる。
制御装置24は、作業室2内に設けられた各部(ケーソンショベル4、レーダ5、全天球カメラ6、傾斜計7、刃口反力計8、集音部9等)と、オペレータ室に設けられた各部(ヘッドセット20、操作基盤21、回転台座22、振動装置23)との間を、無線や有線等が用いられた通信回線を介して接続し、これらの各部の間において各種情報を送受信する。制御装置24は、作業室2内に設けられた各部とオペレータ室に設けられた各部との間において送受信される情報について、送信対象となる機器を制御内容に応じて振り分けて受け渡す。例えば、制御装置24は、全天球カメラ6から得られる撮像データをヘッドセット20に送信したり、操作基盤21から送信される操作内容を表す操作データをケーソンショベル4の駆動制御部に送信する等、必要な受け渡し先の機器に振り分けて送信したりする。この制御装置24は、例えばコンピュータである。
The vibrating device 23 vibrates the seating portion via the rotary pedestal 22. For example, when the earth and sand are excavated by the caisson shovel 4, a vibration corresponding to a vibration, an impact and the like that the caisson shovel 4 receives is given to the seating portion. As a result, it is possible to give the operator a feeling that he / she is actually carrying on a heavy machine (the caisson shovel 4) and performing excavation work and the like.
The control device 24 is provided in the operator's room with the respective units (the caisson shovel 4, the radar 5, the omnidirectional camera 6, the inclinometer 7, the blade opening reaction force meter 8, the sound collecting unit 9 etc. The respective units (headset 20, operation base 21, rotary pedestal 22, vibration device 23) provided are connected via a communication line using wireless or wire, etc., and various information is provided between these units. Send and receive The control device 24 distributes and delivers devices to be transmitted according to the control content, with respect to information transmitted / received between each part provided in the work room 2 and each part provided in the operator room. For example, the control device 24 transmits imaging data obtained from the omnidirectional camera 6 to the headset 20, and transmits operation data representing an operation content transmitted from the operation base 21 to the drive control unit of the caisson shovel 4. Etc., it distributes to the necessary delivery destination devices and transmits. The control device 24 is, for example, a computer.

また、制御装置24は、ヘッドセット20において表示する表示画面の合成処理を行なう。この合成処理は、ヘッドセット20が行なうようにしてもよい。制御装置24は、ケーソンショベル4に設置された、周囲360°を対象として撮影が可能な全天球カメラ6によって撮像された画像に対して、VR(Virtual Reality)技術を適用し各種画像を合成して表示することで、オペレータがオペレータ室(遠隔操作室)にいながら、あたかもその作業室2内に実在するかのような直感的な操作で、現場を上下左右前後の全範囲を見渡す事が可能となり、ケーソンショベル4を操作して掘削等の作業を行なうことができる。   Further, the control device 24 performs composition processing of display screens to be displayed on the headset 20. This combination process may be performed by the headset 20. The control device 24 applies VR (Virtual Reality) technology to an image captured by the omnidirectional camera 6 installed on the caisson shovel 4 and capable of capturing an image of 360 ° around, and synthesizes various images. In this way, the operator is in the operator's room (remote control room) and intuitively operates as if it were present in the work room 2 to look over the entire area of the site in the vertical and horizontal directions. The caisson shovel 4 can be operated to perform work such as digging.

図3は、遠隔施工管理システムの動作を説明するフローチャートである。
遠隔施工管理システムが起動されると、レーダ5、全天球カメラ6、傾斜計7、刃口反力計8、集音部9等は、それぞれ測定・計測を行ない、その結果を通信回線を介してオペレータ室の各装置に送信する。オペレータ室のコンピュータは、作業室2内の各部から送信された情報を受信し(ステップS101)、送信対象の機器に振り分けて送信する。
制御装置24は、傾斜計7から受信した傾斜量を表すデータに基づいて、傾斜量を表す画像を画面上に表示するための合成画像を生成する(ステップS102)。
FIG. 3 is a flowchart for explaining the operation of the remote construction management system.
When the remote construction management system is activated, the radar 5, the omnidirectional camera 6, the inclinometer 7, the blade opening reaction force meter 8, the sound collector 9 and the like each perform measurement and measurement, and the result is used as a communication line. It transmits to each apparatus of the operator room via The computer of the operator room receives the information transmitted from each part in the work room 2 (step S101), and distributes the information to the transmission target equipment for transmission.
The control device 24 generates a composite image for displaying an image representing the amount of inclination on the screen based on the data representing the amount of inclination received from the inclinometer 7 (step S102).

次に、制御装置24は、レーダ5から受信した距離を測定した測定結果に基づいて、作業室2の土砂の起伏を表す画像を画面上に表示するための合成画像を生成する(ステップS103)。ここでは、レーダ5が設置された位置すなわちレール3上におけるケーソンショベル4を基準として周囲の土砂や他の作業機器等までの距離と方向に基づいて、コンター図を表示するための合成画像を生成する。ここでは、レーダ5の測定範囲は、レーダ5を基準として全方位(360°)としてもよいし、土砂の起伏を把握することができればよいので、レーダ5が設置された位置よりも低い領域を測定対象としてもよい。また、ここでは、土砂以外の物体について、土砂ではないものとして識別できる場合には、その物体の起伏ではなく、その物体が無かった場合の土砂の起伏を推定して表示するようにしてもよい。土砂以外の物体の識別方法としては、例えば、作業機器等に予めマーカ(例えば特定の図形)を付しておき、そのマーカを全天球カメラ6で撮像された画像から検出した場合には、そのマーカが付された物体の輪郭を抽出することでその物体を特定することができる。また、物体の部分の起伏については、輪郭内周側に、物体の輪郭部分どうしを結ぶような起伏として推定してもよい。   Next, based on the measurement result of measuring the distance received from the radar 5, the control device 24 generates a composite image for displaying an image representing the relief of the earth and sand of the work room 2 on the screen (step S103). . Here, a composite image for displaying a contour map is generated based on the position where the radar 5 is installed, that is, the distance and direction to surrounding soil, other working equipment, etc. on the basis of the caisson shovel 4 on the rail 3 Do. Here, the measurement range of the radar 5 may be all directions (360 °) with reference to the radar 5, or it may be possible to grasp the ups and downs of the soil, so an area lower than the position where the radar 5 is installed It may be a measurement target. Furthermore, here, when it is possible to identify an object other than earth and sand as being not earth and sand, it is possible to estimate and display the unevenness of earth and sand when there is no object, not the unevenness of the object. . As a method of identifying an object other than earth and sand, for example, a marker (for example, a specific figure) is attached in advance to a work device or the like, and the marker is detected from an image captured by the omnidirectional camera 6 The object can be identified by extracting the outline of the object to which the marker is attached. Further, the relief of the portion of the object may be estimated as a relief connecting the contour portions of the object on the inner side of the contour.

次に、制御装置24は、刃口反力計8から受信した反力を測定した測定結果に基づいて、ケーソン1の刃口における反力を表す画像を画面上に合成して表示するための合成画像を生成する(ステップS104)。刃口反力計8は、遠隔施工管理システムにおいて複数有しており、ケーソン1の刃口に沿うようにして、所定の間隔をあけるようにして複数箇所に設けられている。また、刃口反力計8は、それぞれ識別番号が割り当てられており、検出された検出値と刃口反力計8の自身に割り当てられた識別番号とともに制御装置24に送信する。制御装置24は、ケーソン1の施工図データに基づく刃口における位置と、刃口反力計8に割り当てられた識別番号とを対応付けする刃口反力計位置情報を予め記憶しており、刃口反力計8から測定結果と識別番号を受信し、この刃口反力計位置情報を参照することで、ケーソン1の刃口のどの部分にどの程度の反力が生じているかを把握できるようになっている。そして、制御装置24は、全天球カメラ6の現在位置(レール3上におけるケーソンショベル4の現在位置)と、ケーソン1の施工図データと、刃口反力計位置情報とに基づいて、全天球カメラ6の位置を基準とし、水平方向における刃口の反力を表す合成画像を生成する。例えば、合成画像としては、コンター図である。   Next, the control device 24 combines and displays on the screen an image representing the reaction force at the cutting edge of the caisson 1 based on the measurement result obtained by measuring the reaction force received from the cutting force reaction force meter 8. A composite image is generated (step S104). In the remote construction management system, a plurality of blade / counterforce gauges 8 are provided, and provided along a blade port of the caisson 1 at a plurality of places so as to have a predetermined interval. In addition, the blade and mouth reaction force meter 8 is assigned an identification number, and transmits it to the control device 24 together with the detected value detected and the identification number assigned to itself of the blade and mouth reaction force meter 8. The control device 24 stores in advance blade-tip reaction force position information correlating the position at the blade opening based on the construction drawing data of the caisson 1 with the identification number assigned to the blade-opening reaction force meter 8, By receiving measurement results and identification numbers from the blade-port reaction force meter 8 and referring to the blade-port reaction force meter position information, it is possible to grasp what level of reaction force is generated in which part of the blade port of the caisson 1 It can be done. Then, the control device 24 is all based on the current position of the omnidirectional camera 6 (the current position of the caisson shovel 4 on the rail 3), the construction drawing data of the caisson 1, and the blade opening reaction force position information. With the position of the celestial camera 6 as a reference, a composite image representing the reaction force of the blade in the horizontal direction is generated. For example, a composite image is a contour diagram.

次に、制御装置24は、全天球カメラ6から受信した撮像画像から、認識対象の物体を抽出し、他とは異なる態様で表示するための合成画像を生成する(ステップS105)。ここで、認識対象の物体の認識は、上述したマーカを用いて物体の画像を抽出する処理にて行なうようにしてもよい。その場合、マーカは、認識対象となる物体に対して予め付される。また、制御装置24は、認識対象の物体を撮像した画像データを複数記憶しておき、その画像データと、全天球カメラ6に撮像された画像とのマッチングを行なうことで、認識対象の物体があるか否かを判定することで、認識対象の物体を抽出するようにしてもよい。他とは異なる態様としては、例えば、認識対象の物体に対して、半透明の所定の色または模様を認識対象の物体に対応する画像に重ねて表示することで、他とは異なる態様で表示する。ここでは、半透明の色等を重ねて表示することで、認識対象の物体の画像を視認可能な状態で、所定の色等が重ねて表示されるため、オペレータにとって認識すべき物体が画像上のいずれであるかを簡単に把握できるとともに、認識対象の物体の画像が視認可能な状態となっているため、どのような物体であるかを把握できる。   Next, the control device 24 extracts an object to be recognized from the captured image received from the omnidirectional camera 6, and generates a composite image to be displayed in a mode different from the other (step S105). Here, the recognition of the object to be recognized may be performed by the process of extracting the image of the object using the above-described marker. In that case, the marker is attached in advance to the object to be recognized. Further, the control device 24 stores a plurality of image data obtained by capturing an object to be recognized, and performs matching between the image data and an image captured by the omnidirectional camera 6 to obtain an object to be recognized. An object to be recognized may be extracted by determining whether there is As an aspect different from the other, for example, with respect to an object to be recognized, a predetermined translucent color or pattern is superimposed on an image corresponding to the object to be recognized to be displayed in an aspect different from the other Do. Here, by superimposing and displaying a semi-transparent color or the like, a predetermined color or the like is superimposed and displayed in a state in which the image of the object to be recognized can be viewed. Since it is possible to visually recognize the image of the object to be recognized, it is possible to grasp what kind of object it is.

次に、制御装置24は、全天球カメラ6から得られる画像のうち、表示対象とする領域を、ヘッドセット20が装着された頭部の姿勢に応じて抽出する(ステップS106)。ここでは、ヘッドセット20の姿勢を検出することで、ヘッドセット20を装着したオペレータの頭部に姿勢を検出する。例えば、この姿勢の検出は、ヘッドセット20に設けられるジャイロセンサや加速度センサなどによって検出することができる。検出される姿勢としては、ヘッドセット20の向き(オペレータの顔が向いている方向)である。全天球カメラ6によって得られた全天球カメラ6の位置を基準とした全周の画像のうち、検出された姿勢に従い、ヘッドセット20の向きにおける所定のサイズの画像を抽出する。これにより、例えば、ヘッドセット20を装着したオペレータが北の方角において水平方向を向いた場合には、全天球カメラ6から得られた画像のうち、北側の水平方向における画像をヘッドセット20の表示装置の画面サイズに応じた範囲において抽出する。例えば、オペレータが北向きであってやや下方を向いた場合には、全天球カメラ6から得られた画像のうち、北側の水平方向であって、オペレータが下方を向いたときの俯角に応じた下方側における画像をヘッドセット20の表示装置の画面サイズに応じた範囲において抽出する。制御装置24は、この抽出された画像を表示対象カメラ画像として用いる。   Next, the control device 24 extracts an area to be displayed among the images obtained from the omnidirectional camera 6 according to the posture of the head on which the headset 20 is mounted (step S106). Here, by detecting the attitude of the headset 20, the attitude is detected on the head of the operator wearing the headset 20. For example, the detection of the posture can be detected by a gyro sensor, an acceleration sensor or the like provided in the headset 20. The detected posture is the direction of the headset 20 (the direction in which the face of the operator is facing). Among the images of the entire circumference based on the position of the omnidirectional camera 6 obtained by the omnidirectional camera 6, an image of a predetermined size in the direction of the headset 20 is extracted according to the detected posture. Thus, for example, when the operator wearing the headset 20 faces in the horizontal direction in the north direction, the image in the horizontal direction on the north side among the images obtained from the omnidirectional camera 6 is displayed on the headset 20 It extracts in the range according to the screen size of the device. For example, when the operator faces north and faces a little downward, the image is obtained from the omnidirectional camera 6 in the horizontal direction on the north side according to the depression angle when the operator faces downward. The image on the lower side is extracted in a range corresponding to the screen size of the display device of the headset 20. The control device 24 uses this extracted image as a display target camera image.

次に、制御装置24は、ステップS106において抽出された表示対象カメラ画像に対して、各合成画像を重ね合わせた合成後カメラ画像をヘッドセット20の表示装置に表示する(ステップS107)。さらに、制御装置24は、集音部9によって得られた音をヘッドセット20のヘッドフォンから放音する(ステップS108)。次に、制御装置24は、ヘッドセット20の姿勢の検出結果を再度取得し、前回取得したヘッドセット20の姿勢の検出結果と比較することで姿勢の変化があったか否かを判定する(ステップS109)。すなわち、オペレータの顔の向きに変化があったか否かを判定する。   Next, the control device 24 displays the combined camera image obtained by superimposing each composite image on the display target camera image extracted in step S106 on the display device of the headset 20 (step S107). Furthermore, the control device 24 emits the sound obtained by the sound collection unit 9 from the headphones of the headset 20 (step S108). Next, the control device 24 acquires the detection result of the attitude of the headset 20 again, and compares it with the detection result of the attitude of the headset 20 acquired last time to determine whether or not there is a change in the attitude (step S109). ). That is, it is determined whether or not the direction of the face of the operator has changed.

ヘッドセット20の姿勢の変化があった場合には(ステップS109−YES)、全天球カメラ6から得られる画像のうち、表示対象とする領域を、現在の姿勢に応じて抽出し、抽出された表示対象カメラ画像に対して、各合成画像を重ね合わせた合成後カメラ画像をヘッドセット20の表示装置に表示する(ステップS110)。一方、ヘッドセット20の姿勢の変化がない場合には(ステップS109−NO)、表示対象カメラ画像として得られた領域のまま表示される。   If there is a change in the attitude of the headset 20 (YES in step S109), an area to be displayed is extracted from the image obtained from the omnidirectional camera 6 according to the current attitude and extracted. The combined camera image obtained by superimposing each composite image on the display target camera image is displayed on the display device of the headset 20 (step S110). On the other hand, if there is no change in the attitude of the headset 20 (step S109-NO), the area obtained as the display target camera image is displayed as it is.

次に、制御装置24は、操作基盤21から操作入力がなされたか否かを判定する(ステップS111)。オペレータによって操作基盤21が操作されることで、操作基盤21から操作入力がなされると、制御装置24は、操作内容に応じてケーソンショベル4を動作させるための駆動信号をケーソンショベル4に送信する(ステップS112)。これにより、ケーソンショベル4は、駆動信号に応じて、レールに沿った走行、左右の旋回、ブームの上げ下げ、アームの曲げ伸ばし、バケットの掘削と開放の動作を行なう。これにより、掘削等の作業を遠隔から行なうことができる。   Next, the control device 24 determines whether or not an operation input has been made from the operation base 21 (step S111). When the operator inputs an operation input from the operation base 21 by operating the operation base 21, the control device 24 transmits a driving signal for operating the caisson shovel 4 to the caisson shovel 4 according to the operation content. (Step S112). As a result, the caisson shovel 4 travels along the rails, turns left and right, raises and lowers the boom, bends and extends the arm, and digs and opens the bucket according to the drive signal. Thereby, the work such as excavation can be performed remotely.

次に、制御装置24は、駆動状況に応じて回転台座や振動装置を駆動する。例えば、操作基盤21に対してケーソンショベル4を旋回させる操作入力がなされた場合には、その操作入力に応じて回転台座も回転(旋回)させる。これにより、遠隔にいる場合であっても、現場で作業を行なっている感覚に近い状態で掘削等の工事を行なうことができる。また、制御装置24は、振動装置23を駆動することによって、回転台座22を介して着座部に対して振動を与える。例えば、ケーソンショベル4がレール3に沿って走行する場合や、掘削等を行なう際にケーソンショベル4が受ける振動や衝撃等に応じた振動を着座部に対して与える。走行に伴う振動を与える場合、制御装置24は、操作基盤21から入力される走行させる速度や移動方向を元に与える振動を決定し、振動装置23に対して駆動信号を出力する。ケーソンショベル4が受ける振動や衝撃等に応じた振動を与える場合、例えば、ケーソンショベル4の所定の位置(例えばアーム等)に振動センサを予め設けておき、制御装置24は、この振動センサによって検出される振動に応じて、与える振動を決定し、決定された振動に応じた駆動振動を振動装置23に供給することで、振動装置23を振動させる。
一方、操作基盤21から操作入力がない場合には、ステップS112、ステップS113の処理をスキップする。
なお、図3に示すフローチャートに基づく処理は、遠隔施工管理システムの運転が停止されるまで、所定時間毎に繰り返して行なわれる。
Next, the control device 24 drives the rotary base and the vibration device according to the driving condition. For example, when the operation input for turning the caisson shovel 4 is performed on the operation base 21, the rotary base is also rotated (turned) according to the operation input. Thereby, even when being at a remote location, it is possible to carry out construction such as excavation in a state close to the feeling of working at the site. Further, the control device 24 vibrates the seating portion via the rotary pedestal 22 by driving the vibration device 23. For example, when the caisson shovel 4 travels along the rails 3, or when digging or the like, a vibration corresponding to the vibration, impact or the like the caisson shovel 4 receives is given to the seating portion. In the case of applying the vibration accompanying traveling, the control device 24 determines the vibration to be applied based on the traveling speed and the moving direction input from the operation board 21, and outputs a drive signal to the vibrating device 23. In the case where the caisson shovel 4 receives a vibration or a shock according to an impact, for example, a vibration sensor is provided in advance at a predetermined position (for example, an arm) of the caisson shovel 4 and the control device 24 detects the vibration sensor The vibration to be applied is determined according to the vibration to be generated, and the vibration generated by the determined vibration is supplied to the vibration device 23, thereby vibrating the vibration device 23.
On the other hand, when there is no operation input from the operation base 21, the processes of steps S112 and S113 are skipped.
In addition, the process based on the flowchart shown in FIG. 3 is repeatedly performed for every predetermined time until the driving | operation of a remote construction management system is stopped.

図4は、制御装置24によって抽出された表示対象カメラ画像の一例を示す図である。この図に示すように、表示対象カメラ画像は、作業室2内が撮像された画像であり、作業室内の作業状況が把握できるようになっている。また、この表示対象カメラ画像は、全天球カメラ6によって得られた全周の画像のうち、ヘッドセット20の姿勢に応じた方向において所定の領域が抽出された画像である。   FIG. 4 is a view showing an example of a display target camera image extracted by the control device 24. As shown in FIG. As shown in this figure, the display target camera image is an image obtained by imaging the inside of the work room 2, and the work situation in the work room can be grasped. Further, the display target camera image is an image in which a predetermined region is extracted in the direction according to the attitude of the headset 20 among the images of the entire circumference obtained by the omnidirectional camera 6.

図5は、表示対象カメラ画像に対して各合成画像が合成されて表示された場合の一例を表す図である。
このように、全天球カメラ6によって撮像された画像に対して、各種センサ等によって得られた情報を利用して各種画像を合成して表示することで、オペレータがオペレータ室にいながら、あたかもその作業室2内に実在するかのような直感的な操作で、現場を上下左右前後の全範囲を見渡しつつ、ケーソンショベル4を操作して掘削等の作業を行なうことができる。本実施形態のように、遠隔施工管理システムをニューマチックケーソン工法によるケーソン設置工事に用いることで、ニューマチックケーソン無人化施工を実現することができる。
この画面の上部には、ケーソン1の傾斜量を表す表示バーが表示される(符号100)。この傾斜量は例えば図3ステップS102において合成画像として生成された画像である。この表示バーは、現在のヘッドセット20の姿勢(オペレータが向く正面側方向)を基準として、ケーソン1の左右の水平方向に対する傾斜量に応じて、表示バーに対して所定のマークが表示される。例えば、左右方向に傾斜している値(単位はmm)に従い、表示バーに所定のマークが表示される。
FIG. 5 is a diagram illustrating an example in which each composite image is combined with a display target camera image and displayed.
As described above, by combining various images with images obtained by the omnidirectional camera 6 using information obtained by various sensors etc. and displaying them, it is as if the operator were in the operator's room. The intuitive operation as if existing in the working room 2 makes it possible to operate the caisson shovel 4 and perform work such as excavation while looking over the entire range of the site in the upper, lower, left and right, front and back directions. As in the present embodiment, by using the remote construction management system for caisson installation work by the pneumatic caisson method, it is possible to realize pneumatic caisson unmanned construction.
At the upper part of this screen, a display bar representing the amount of inclination of the caisson 1 is displayed (reference numeral 100). This inclination amount is, for example, an image generated as a composite image in step S102 in FIG. The display bar displays a predetermined mark on the display bar according to the amount of inclination of the caisson 1 with respect to the horizontal direction with respect to the current attitude of the headset 20 (front side direction to which the operator faces). . For example, a predetermined mark is displayed on the display bar according to a value (unit: mm) inclined in the left-right direction.

また、この画面の左側には、ケーソン1が画面に向かって奥行方向に傾斜している傾斜量を表す表示バーが表示される(符号110)。この傾斜量は例えば図3ステップS102において合成画像として生成された画像である。この表示バーは、現在のヘッドセット20の姿勢(オペレータが向く正面側方向)を基準とした奥行き方向に対する傾斜量に応じて、表示バーに対して所定のマークが表示される。例えば、奥行きまたは手前方向に傾斜している値(単位はmm)に従い、表示バーに所定のマークが表示される。
また、この画面において、認識対象の物体の画像は、他のとは異なる表示態様で表示される(符号120、121等)。この傾斜量は例えば図3ステップS105において合成画像として生成された画像である。例えば、ここでは、認識対象の物体として、他の作業機器や資材を対象として、所定の色が重ねられた画像が表示される。そのため、オペレータは、掘削対象の土砂やケーソン1の側版等と他の物体とを簡単に識別することができる。また、このような認識対象の物体の画像に対する表示は、オペレータが操作しているケーソンショベル4を基準として近接障害物(所定距離内にある認識対象の物体)を対象として表示することもできる。近接しているか否かは、レーダ5によって得られた距離を元に、所定距離以内であるか否かを判断することで検知することができる。
In addition, on the left side of the screen, a display bar is displayed that represents the amount of inclination of the caisson 1 in the depth direction toward the screen (reference numeral 110). This inclination amount is, for example, an image generated as a composite image in step S102 in FIG. In this display bar, predetermined marks are displayed on the display bar according to the amount of inclination with respect to the depth direction based on the current attitude of the headset 20 (the front side direction to which the operator faces). For example, a predetermined mark is displayed on the display bar according to a value (in mm) inclined to the depth or the front direction.
Further, on this screen, the image of the object to be recognized is displayed in a display mode different from the other (reference numerals 120, 121, etc.). The amount of tilt is, for example, an image generated as a composite image in step S105 of FIG. For example, here, as an object to be recognized, an image in which predetermined colors are superimposed is displayed for another work device or material. Therefore, the operator can easily identify the earth and sand to be excavated, the side plate of the caisson 1 and the like, and other objects. Further, such display on the image of the object to be recognized can be displayed for a proximity obstacle (object to be recognized within a predetermined distance) based on the caisson shovel 4 operated by the operator. Whether they are close to each other can be detected based on the distance obtained by the radar 5 by judging whether the distance is within a predetermined distance.

また、この画面の右上には、ケーソンショベル4の現在位置を基準としてケーソン刃口反力の大小を示すコンター図が表示される(符号130)。ケーソンショベル4の周囲にはケーソン1の側版に連なる刃口があり、その刃口に設けられる複数の刃口反力計8の計測結果が表示される。これにより、ケーソンショベル4の現在位置を基準とした同心円が表示され、この同心円の内側において、周囲の刃口の反力の大小に応じた色が表示される。これにより、直感的に刃口反力を把握することができる。例えば、特定箇所の刃口において反力が他の刃口と比べて極端に下がってしまわないように確認しながら掘削作業を行なうことができる。   Further, on the upper right of this screen, a contour diagram indicating the magnitude of the caisson blade-opening reaction force with reference to the current position of the caisson shovel 4 is displayed (reference numeral 130). Around the caisson shovel 4 is a cutting edge connected to the side plate of the caisson 1, and the measurement results of a plurality of cutting force counterforce gauges 8 provided at the cutting edge are displayed. Thereby, the concentric circle on the basis of the present position of caisson shovel 4 is displayed, and the color according to the size of the reaction force of the surrounding blade mouth is displayed inside this concentric circle. Thereby, it is possible to intuitively grasp the blade-opening reaction force. For example, the digging operation can be performed while confirming that the reaction force does not drop extremely at the edge of a specific part compared to the other edge.

次に、この画面の土砂に対応する領域には、地表面(土砂)の凹凸に応じて地表高さがコンター表示される(符号140)。このコンター表示が行なわれることで、地表面高さ(凹凸)状態が把握し易くなるため、オペレータは、カメラ画像のみの場合と比べて掘削箇所を容易に把握することができる。ここでは、AR(Augmented Reality)技術を用い、コンター表示をバーチャルCG(Computer Graphics)等を用いて画面上の視界に投影することで、地盤面の高低差を視認しやすくすることができ、オペレータが掘削位置を把握し易くなる。
このように、ニューマチックケーソン工法での無人化施工の場合、ケーソン刃先の反力値や傾斜(凹凸)をヘッドセット20の画面を通じて視界に投影させることで、オペレータは、掘削位置や掘削状況を容易に把握することが可能となる。
Next, in the area corresponding to the earth and sand of this screen, the ground height is displayed as a contour according to the unevenness of the earth surface (earth and sand) (reference numeral 140). By performing this contour display, the ground surface height (concave and convex) state can be easily grasped, so that the operator can easily grasp the excavated location compared with the case of only the camera image. Here, using AR (Augmented Reality) technology and projecting the contour display on the field of view on the screen using virtual CG (Computer Graphics) etc., it is possible to make the height difference of the ground surface easy to visually recognize, the operator Makes it easy to grasp the drilling position.
As described above, in the case of unmanned construction with the pneumatic caisson method, the operator projects the digging position and the digging condition by projecting the reaction force value and inclination (concave and convex) of the caisson blade edge into the view through the screen of the headset 20. It becomes possible to grasp easily.

また、ヘッドセット20は、上述の画面を表示するとともに、収集部9によって集音された音をヘッドフォンから放音する。これにより、オペレータは、上述の画面を視認しながら、作業室2内の音(作業音等)を聴覚を通じて認識することができる。さらに、オペレータは、振動装置23によって作業内容(ケーソンショベル4の動作)に応じた振動が与えられる。これによりオペレータは、オペレータ室にいるにも関わらず、遠隔施工管理システムから与えられる視覚、聴覚、触覚(振動)を通じて、作業室2内にいるかのような感覚で作業することができ、没入感を感じながら作業することができる。   In addition, the headset 20 displays the above-described screen and emits the sound collected by the collection unit 9 from the headphones. Thereby, the operator can recognize sounds (work sounds etc.) in the work room 2 through hearing while visually recognizing the above-mentioned screen. Further, the operator is given vibration according to the work content (operation of the caisson shovel 4) by the vibration device 23. As a result, the operator can work in the sense of being in the working room 2 through the sense of sight, hearing and tactile sense (vibration) given from the remote construction management system despite being in the operator's room. You can work while feeling

また、上述した傾斜量、刃口反力の値、認識対象の物体に対する表示、地表面の凹凸表示、ヘッドフォンからの放音、振動装置23による振動、回転台座22による旋回等については、個別にオンオフの切替えをすることができる。これにより、どのような情報が必要であるかに応じてオペレータが選択することができる。   In addition, the amount of inclination, the value of the blade reaction force, the display for the object to be recognized, the unevenness display on the ground surface, the sound emission from headphones, the vibration by the vibration device 23, the turning by the rotation pedestal 22, etc. It is possible to switch on and off. This allows the operator to select according to what information is required.

以上説明した実施形態において、遠隔施工管理システムをニューマチックケーソン工法におけるケーソン設置工事に用いる場合について説明したが、遠隔施工管理システムは、トンネル内における掘削工事の他に、屋外において遠隔で施工する工事等に用いることができる。
また、上述した実施形態において、制御装置24とヘッドセット20とが別の装置として構成される場合について説明したが、制御装置24のうち少なくとも1つの機能をヘッドセット20が有するようにしてもよい。例えば、図3ステップS102から110の処理をヘッドセット20が行なうようにしてもよい。
In the embodiment described above, the remote construction management system is used for caisson installation work in the pneumatic caisson method, but the remote construction management system is a construction for remote construction outside in addition to the excavation work in the tunnel. Etc. can be used.
In the embodiment described above, although the case where the control device 24 and the headset 20 are configured as separate devices has been described, the headset 20 may have at least one function of the control device 24. . For example, the headset 20 may perform the process of steps S102 to S110 in FIG.

また、作業室2内の状況を把握するためにカメラの画角を変えたい場合であっても、オペレータは、左右や上下方向のいずれかに顔を向けることによって、作業室2内における領域のうちヘッドセット20の表示画面に表示される領域を、頭部の姿勢に応じて変更することができるため、複数の監視カメラからの映像を切替えるような操作を行なう必要がなく、情報を収集する手間が省け、作業員の判断が効率化できる。また、ヘッドセット20の表示画面に表示される画像を直感的な操作をすることで、作業室2内における視認できる領域を変更することができる。
また、上述の遠隔施工管理システムは、実際のニューマチックケーソン工法における現場の作業室2内において用いる場合について説明したが、現場の3次元モデル(作業室内や土砂、ケーソンショベル等)を予め作成し、事前にCG(Computer Graphics)を利用して模擬作業を行う事で、現場作業をシミュレーションすることが可能となり、作業環境を把握したり、事前に練習することができる。
In addition, even when it is desired to change the angle of view of the camera in order to understand the situation in the working room 2, the operator can turn the face to either the left or right or up or down direction to Since the area displayed on the display screen of the headset 20 can be changed according to the posture of the head, it is not necessary to perform an operation to switch images from a plurality of surveillance cameras, and information is collected. It saves time and effort and streamlines the judgment of workers. Further, by intuitively operating the image displayed on the display screen of the headset 20, it is possible to change the visible area in the work room 2.
In addition, although the above-mentioned remote construction management system has been described as being used in the working room 2 of the field in an actual pneumatic caisson method, a three-dimensional model (working room, soil, caisson shovel, etc.) of the site is prepared in advance. By performing simulation work using CG (Computer Graphics) in advance, it becomes possible to simulate work on site, and it is possible to grasp the work environment and to practice in advance.

上述した実施形態における制御装置24やヘッドセット20のそれぞれの機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。   The respective functions of the control device 24 and the headset 20 in the above-described embodiment may be realized by a computer. In that case, a program for realizing this function may be recorded in a computer readable recording medium, and the program recorded in the recording medium may be read and executed by a computer system. Here, the “computer system” includes an OS and hardware such as peripheral devices. The term "computer-readable recording medium" refers to a storage medium such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include one that holds a program for a certain period of time, such as volatile memory in a computer system that becomes a server or client in that case. Further, the program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system. It may be realized using a programmable logic device such as an FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within the scope of the present invention.

1…ケーソン、1a…底版、1b…刃口、2…作業室、3…レール、4…ケーソンショベル、4a…走行部、5…レーダ、6…全天球カメラ、7…傾斜計、8…刃口反力計、9…集音部、10…土砂、20…ヘッドセット、21…操作基盤、22…回転台座、23…振動装置、24…制御装置   DESCRIPTION OF SYMBOLS 1 ... caisson, 1a ... bottom version, 1b ... blade mouth, 2 ... working chamber, 3 ... rail, 4 ... caisson shovel, 4a ... running part, 5 ... radar, 6 ... all-sky camera, 7 ... inclinometer, 8 ... Blade-to-tail force meter 9: sound collecting part 10: earth and sand 20: headset 21: operation base 22: rotation base 23: vibration device 24: control device

Claims (8)

ケーソンの作業室内を撮像する撮像部と、
前記作業室外において用いられ利用者が装着可能であり前記撮像された画像を表示する表示装置と、
前記利用者の姿勢に応じて、前記作業室内における表示対象となる領域の位置を変更して前記表示装置に表示させる表示制御部と
を有する遠隔施工管理システム。
An imaging unit for imaging the caisson work room;
A display device which is used outside of the work room and can be worn by the user and displays the captured image;
And a display control unit configured to change the position of an area to be displayed in the work room according to the posture of the user and display the position on the display device.
前記ケーソンの傾斜量を測定する傾斜センサを有し、
前記表示制御部は、前記傾斜センサの測定結果を前記表示装置に表示させる
請求項1に記載の遠隔施工管理システム。
It has an inclination sensor which measures the amount of inclination of the above-mentioned caisson,
The remote construction management system according to claim 1, wherein the display control unit causes the display device to display the measurement result of the tilt sensor.
前記撮像された画像に基づいて、認識対象の物体を抽出する抽出部を有し、
前記表示制御部は、抽出された物体を他の物体とは異なる表示態様で前記表示装置に表示させる
請求項1または請求項2に記載の遠隔施工管理システム。
An extraction unit for extracting an object to be recognized based on the captured image;
The remote construction management system according to claim 1 or 2, wherein the display control unit causes the display device to display the extracted object in a display mode different from that of the other objects.
前記ケーソンの刃先における地盤から反力を測定する刃先反力計とを有し、
前記表示制御部は、前記撮像部が撮像を行なう位置を基準として前記反力が測定された刃先の位置と反力とを前記表示装置に表示させる
請求項1から請求項3のうちいずれか1項に記載の遠隔施工管理システム。
A cutting edge reaction force gauge for measuring a reaction force from the ground at the cutting edge of the caisson,
The display control unit causes the display device to display the position of the blade with the reaction force measured based on the position at which the imaging unit performs imaging, and the reaction force. Remote construction management system described in Section.
前記作業室内に設けられ、当該設けられた位置から前記作業室内における被測定物までの距離を測定する距離測定部と、
前記表示制御部は、前記測定された距離に基づいて、前記作業室内における起伏を表す画像を前記表示装置に表示させる
請求項1から請求項4のうちいずれか1項に記載の遠隔施工管理システム。
A distance measuring unit provided in the work chamber and measuring a distance from the provided position to an object in the work chamber;
The remote construction management system according to any one of claims 1 to 4, wherein the display control unit causes the display device to display an image representing unevenness in the work room based on the measured distance. .
前記作業室内における音を集音する集音部と、
前記作業室外に設けられ前記集音された音を放音する放音部と
を有する請求項1から請求項5のうちいずれか1項に記載の遠隔施工管理システム。
A sound collection unit that collects sound in the work room;
The remote construction management system according to any one of claims 1 to 5, further comprising: a sound emitting unit provided outside the work room and emitting the collected sound.
前記撮像部は、前記作業室内に設けられた作業機器に取付けられており、
前記遠隔施工管理システムは、
前記作業室外に設けられ作業機器の姿勢を変更する操作入力を前記利用者から受付ける操作部と
を有する請求項1から請求項6のうちいずれか1項に記載の遠隔施工管理システム。
The imaging unit is attached to a work device provided in the work room,
The remote construction management system
The remote construction management system according to any one of claims 1 to 6, further comprising: an operation unit provided outside the work room and receiving an operation input for changing a posture of a work device from the user.
撮像部が、ケーソンの作業室内を撮像し、
表示装置が、前記作業室外において用いられ利用者が装着可能であり前記撮像された画像を表示し、
表示制御部が、前記利用者の姿勢に応じて、前記作業室内における表示対象となる領域の位置を変更して前記表示装置に表示させる
遠隔施工管理方法。
The imaging unit captures an image of the caisson work room.
A display device is used outside the work room and can be worn by a user to display the captured image;
The display control unit changes the position of the area to be displayed in the work room according to the posture of the user and causes the display device to display the position.
JP2017197914A 2017-10-11 2017-10-11 REMOTE CONSTRUCTION MANAGEMENT SYSTEM, REMOTE CONSTRUCTION MANAGEMENT METHOD Active JP7162421B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017197914A JP7162421B2 (en) 2017-10-11 2017-10-11 REMOTE CONSTRUCTION MANAGEMENT SYSTEM, REMOTE CONSTRUCTION MANAGEMENT METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017197914A JP7162421B2 (en) 2017-10-11 2017-10-11 REMOTE CONSTRUCTION MANAGEMENT SYSTEM, REMOTE CONSTRUCTION MANAGEMENT METHOD

Publications (2)

Publication Number Publication Date
JP2019071592A true JP2019071592A (en) 2019-05-09
JP7162421B2 JP7162421B2 (en) 2022-10-28

Family

ID=66441422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017197914A Active JP7162421B2 (en) 2017-10-11 2017-10-11 REMOTE CONSTRUCTION MANAGEMENT SYSTEM, REMOTE CONSTRUCTION MANAGEMENT METHOD

Country Status (1)

Country Link
JP (1) JP7162421B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021025231A (en) * 2019-07-31 2021-02-22 清水建設株式会社 Excavation management device and method
JP2021025238A (en) * 2019-07-31 2021-02-22 株式会社小松製作所 Display system, remote control system, and display method
JP2021114757A (en) * 2020-01-21 2021-08-05 株式会社小松製作所 Work machine remote control system and work machine remote control method
JP2021153222A (en) * 2020-03-24 2021-09-30 大成建設株式会社 Monitor system
JP7014930B1 (en) 2021-11-10 2022-02-01 オリエンタル白石株式会社 Earth bucket recognition system and program
CN114708557A (en) * 2022-04-19 2022-07-05 国网湖北省电力有限公司黄石供电公司 Electric power construction monitoring method and system based on air-ground communication
WO2022202855A1 (en) * 2021-03-22 2022-09-29 住友建機株式会社 Construction machine and construction machine assisting method
JP7342294B1 (en) * 2023-03-23 2023-09-11 オリエンタル白石株式会社 Caisson point cloud extraction system and program
JP7512087B2 (en) 2020-05-28 2024-07-08 清水建設株式会社 Method and device for managing construction of pneumatic caisson

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06317090A (en) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd Three-dimensional display device
JPH09261623A (en) * 1996-03-21 1997-10-03 Sony Corp Remote supervisory equipment
US6463801B1 (en) * 1998-12-02 2002-10-15 Marsco, Inc. Apparatus, method and system for measurement of sea-floor soil characteristics
JP2003261944A (en) * 2002-03-08 2003-09-19 Daiho Constr Co Ltd Underground movement controlling system
JP2005226387A (en) * 2004-02-16 2005-08-25 Ohmoto Gumi Co Ltd Cableless excavator for pneumatic caisson
JP2015229826A (en) * 2014-06-03 2015-12-21 清水建設株式会社 Caisson immersion management system and caisson immersion management method
JP2016201686A (en) * 2015-04-10 2016-12-01 キヤノン株式会社 Image processing device, image processing method, program, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06317090A (en) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd Three-dimensional display device
JPH09261623A (en) * 1996-03-21 1997-10-03 Sony Corp Remote supervisory equipment
US6463801B1 (en) * 1998-12-02 2002-10-15 Marsco, Inc. Apparatus, method and system for measurement of sea-floor soil characteristics
JP2003261944A (en) * 2002-03-08 2003-09-19 Daiho Constr Co Ltd Underground movement controlling system
JP2005226387A (en) * 2004-02-16 2005-08-25 Ohmoto Gumi Co Ltd Cableless excavator for pneumatic caisson
JP2015229826A (en) * 2014-06-03 2015-12-21 清水建設株式会社 Caisson immersion management system and caisson immersion management method
JP2016201686A (en) * 2015-04-10 2016-12-01 キヤノン株式会社 Image processing device, image processing method, program, and storage medium

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7330008B2 (en) 2019-07-31 2023-08-21 清水建設株式会社 Excavation management apparatus and method
JP2021025238A (en) * 2019-07-31 2021-02-22 株式会社小松製作所 Display system, remote control system, and display method
JP2021025231A (en) * 2019-07-31 2021-02-22 清水建設株式会社 Excavation management device and method
JP7458155B2 (en) 2019-07-31 2024-03-29 株式会社小松製作所 Display system, remote control system, and display method
JP2021114757A (en) * 2020-01-21 2021-08-05 株式会社小松製作所 Work machine remote control system and work machine remote control method
JP2021153222A (en) * 2020-03-24 2021-09-30 大成建設株式会社 Monitor system
JP7461766B2 (en) 2020-03-24 2024-04-04 大成建設株式会社 Monitoring system
JP7512087B2 (en) 2020-05-28 2024-07-08 清水建設株式会社 Method and device for managing construction of pneumatic caisson
WO2022202855A1 (en) * 2021-03-22 2022-09-29 住友建機株式会社 Construction machine and construction machine assisting method
JP2023070965A (en) * 2021-11-10 2023-05-22 オリエンタル白石株式会社 Earth bucket recognition system and program
JP7014930B1 (en) 2021-11-10 2022-02-01 オリエンタル白石株式会社 Earth bucket recognition system and program
CN114708557A (en) * 2022-04-19 2022-07-05 国网湖北省电力有限公司黄石供电公司 Electric power construction monitoring method and system based on air-ground communication
JP7342294B1 (en) * 2023-03-23 2023-09-11 オリエンタル白石株式会社 Caisson point cloud extraction system and program

Also Published As

Publication number Publication date
JP7162421B2 (en) 2022-10-28

Similar Documents

Publication Publication Date Title
JP7162421B2 (en) REMOTE CONSTRUCTION MANAGEMENT SYSTEM, REMOTE CONSTRUCTION MANAGEMENT METHOD
US10829911B2 (en) Visual assistance and control system for a work machine
JP4671317B2 (en) Terrain shape measuring device and guidance device
JP5667638B2 (en) Work machine periphery monitoring device
CN111433561A (en) Displaying virtual images of building information models
US20140100744A1 (en) Display system of excavating machine and excavating machine
WO2020003631A1 (en) Display control device and display control method
US10635258B2 (en) User interface and earth-moving machine
EP3499405A1 (en) Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time
US20170323480A1 (en) Visualization Technique for Ground-Penetrating Radar
WO2015106799A1 (en) Mine vehicle, mine control system and mapping method
US20060034535A1 (en) Method and apparatus for enhancing visibility to a machine operator
JP7420733B2 (en) Display control system and display control method
JP2012255286A (en) Construction machine control system
JP7372029B2 (en) Display control device, display control system, and display control method
JP2008144379A (en) Image processing system of remote controlled working machine
JP7080750B2 (en) Display control system, remote control system, display control device, and display control method
JP6746250B2 (en) Drilling system
JP2019173379A (en) Remote control system and main operating device
KR102252607B1 (en) System for preventing damage of underground facilties from excavating in construction field using gpas-ar technology
US20230029071A1 (en) Excavation level detection device
CN108779985B (en) Construction management system
WO2017188230A1 (en) Construction machine
WO2020121933A1 (en) Construction machinery management system, construction machinery management program, construction machinery management method, construction machinery, and external management device for construction machinery
US20230291989A1 (en) Display control device and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221018

R150 Certificate of patent or registration of utility model

Ref document number: 7162421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150