JP2023131366A - Work machine and electronic apparatus - Google Patents

Work machine and electronic apparatus Download PDF

Info

Publication number
JP2023131366A
JP2023131366A JP2022036078A JP2022036078A JP2023131366A JP 2023131366 A JP2023131366 A JP 2023131366A JP 2022036078 A JP2022036078 A JP 2022036078A JP 2022036078 A JP2022036078 A JP 2022036078A JP 2023131366 A JP2023131366 A JP 2023131366A
Authority
JP
Japan
Prior art keywords
person
function
excavator
gesture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022036078A
Other languages
Japanese (ja)
Inventor
裕一 綾戸
Yuichi Ayato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2022036078A priority Critical patent/JP2023131366A/en
Priority to PCT/JP2023/008849 priority patent/WO2023171711A1/en
Publication of JP2023131366A publication Critical patent/JP2023131366A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

To provide a technique capable of further properly securing safety and security of an apparatus.SOLUTION: A shovel 100 related to one embodiment of the present disclosure comprises: an imaging device 40 acquiring information related to an object around the shovel 100; a gesture recognizing part 303 recognizing a gesture of a person around the shovel 100 on the basis of output of the imaging deice 40; and a recognizing part 304 recognizing a person when a first gesture of the person around the shovel 100 is recognized by the gesture recognizing part 303 and then a second gesture of the same person is recognized by the gesture recognizing part 303.SELECTED DRAWING: Figure 8

Description

本開示は、作業機械等に関する。 The present disclosure relates to work machines and the like.

従来、外部からの人のジェスチャによって各種の機器を操作可能な技術が知られている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a technique has been known that allows various devices to be operated by a gesture from an external person (for example, see Patent Document 1).

特許文献１では、周辺の作業者を認識し、その作業者からの所定のジェスチャによって操作可能に構成されるショベルが開示されている。これにより、ユーザの利便性を向上させることができる。 Patent Document 1 discloses a shovel that recognizes a nearby worker and can be operated by a predetermined gesture from the worker. Thereby, user convenience can be improved.

国際公開第２０２０／０３２２６７号International Publication No. 2020/032267

しかしながら、例えば、複数の人が機器により認識されると、特定の操作者とは異なる人からの所定のジェスチャが認識され、その人の意思とは関係なく、機器が動作してしまう可能性がある。また、例えば、偶然、所定のジェスチャで操作可能であることを知り得た悪意の第三者により、ジェスチャによる操作機能を悪用される可能性もある。 However, for example, if multiple people are recognized by the device, there is a possibility that a predetermined gesture from a person other than the specific operator will be recognized and the device will operate regardless of the person's intention. be. Further, for example, there is a possibility that the gesture-based operation function may be misused by a malicious third party who happens to know that the device can be operated using a predetermined gesture.

そこで、上記課題に鑑み、機器の安全性やセキュリティ性をより適切に確保することが可能な技術を提供することを目的とする。 Therefore, in view of the above problems, the present invention aims to provide a technology that can more appropriately ensure the safety and security of devices.

上記目的を達成するため、本開示の一実施形態では、
作業機械の周辺、又はキャビンの内部の物体に関する情報を取得する第１のセンサと、
前記第１のセンサの出力に基づき、作業機械の周辺、又は前記キャビンの内部の人のジェスチャを認識する認識部と、
前記認識部により作業機械の周辺の人の第１のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第２のジェスチャが認識される場合、その人を認証する認証部と、を備える、
作業機械が提供される。 To achieve the above object, in one embodiment of the present disclosure,
a first sensor that acquires information about objects around the work machine or inside the cabin;
a recognition unit that recognizes a gesture of a person around the work machine or inside the cabin based on the output of the first sensor;
an authentication unit that authenticates the person when the recognition unit recognizes a first gesture of a person around the work machine and then the recognition unit recognizes a second gesture of the same person; prepare,
Working machinery is provided.

また、本開示の他の実施形態では、
電子機器の周辺の物体に関する情報を取得する第１のセンサと、
前記第１のセンサの出力に基づき、電子機器の周辺の人のジェスチャを認識する認識部と、
前記認識部により電子機器の周辺の人の第１のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第２のジェスチャが認識される場合、その人を認証する認証部と、を備える、
電子機器が提供される。 Additionally, in other embodiments of the present disclosure,
a first sensor that acquires information about objects around the electronic device;
a recognition unit that recognizes gestures of people around the electronic device based on the output of the first sensor;
an authentication section that authenticates the person when the recognition section recognizes a first gesture of a person near the electronic device and then the recognition section recognizes a second gesture of the same person; prepare,
Electronic equipment provided.

上述の実施形態によれば、機器の安全性やセキュリティ性をより適切に確保することができる。 According to the above-described embodiment, the safety and security of the device can be more appropriately ensured.

ショベルの遠隔操作システムの一例を示す図である。FIG. 1 is a diagram showing an example of a remote control system for an excavator. ショベルの一例を示す上面図である。It is a top view showing an example of a shovel. 作業機械の他の例を示す図である。It is a figure showing other examples of a work machine. ショベルのハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of an excavator. 遠隔操作支援装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of a remote operation support device. ショベルの周辺監視機能に関する機能構成の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram showing an example of a functional configuration related to a peripheral monitoring function of an excavator. ショベルの周辺の人（遠隔操作のオペレータ）の認証処理の一例を概略的に示すフローチャートである。2 is a flowchart schematically showing an example of an authentication process for a person (remote operator) around the excavator. ショベルのセキュリティシステムの一例を示す図である。FIG. 1 is a diagram showing an example of a security system for an excavator. ショベルのハードウェア構成の他の例を示すブロック図である。FIG. 3 is a block diagram showing another example of the hardware configuration of the shovel. ショベルのセキュリティ機能に関する構成の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram showing an example of a configuration related to a security function of the excavator.

以下、図面を参照して実施形態について説明する。 Embodiments will be described below with reference to the drawings.

［遠隔操作システムの概要］
まず、図１～図３を参照して、本実施形態に係るショベル１００の遠隔操作システムＳＹＳ１の概要について説明をする。 [Outline of remote control system]
First, an overview of the remote control system SYS1 for the excavator 100 according to the present embodiment will be explained with reference to FIGS. 1 to 3.

図１は、ショベル１００の遠隔操作システムＳＹＳ１の一例を示す図である。図１において、ショベル１００は、左側面図が示される。図２は、ショベル１００の一例を示す上面図である。図３は、作業機械の他の例を示す図である。 FIG. 1 is a diagram showing an example of a remote control system SYS1 for the excavator 100. In FIG. 1, the excavator 100 is shown in a left side view. FIG. 2 is a top view showing an example of the shovel 100. FIG. 3 is a diagram showing another example of the working machine.

図１に示すように、遠隔操作システムＳＹＳ１は、ショベル１００と、遠隔操作支援装置２００とを含む。 As shown in FIG. 1, remote control system SYS1 includes a shovel 100 and a remote control support device 200.

遠隔操作システムＳＹＳ１は、遠隔操作支援装置２００を用いて、ユーザによるショベル１００の遠隔操作（リモート操作）を実現する。以下、遠隔操作支援装置２００を用いて、ショベル１００の遠隔操作を行うユーザを便宜的に「遠隔操作のオペレータ」と称する場合がある。 The remote control system SYS1 uses the remote control support device 200 to allow a user to remotely control the excavator 100 (remote control). Hereinafter, a user who remotely controls the excavator 100 using the remote control support device 200 may be referred to as a "remote control operator" for convenience.

ショベル１００は、遠隔操作の対象の作業機械である。 The excavator 100 is a work machine that is to be remotely controlled.

尚、遠隔操作システムＳＹＳ１における遠隔操作の対象は、ショベル１００とは異なる他の作業機械であってもよい。例えば、図３に示すように、遠隔操作システムＳＹＳ１は、遠隔操作の対象として、クローラクレーン３００を含んでもよい。後述のセキュリティシステムＳＹＳ２におけるセキュリティ性の確保の対象の作業機械についても同様であってよい。 Note that the object of remote control in the remote control system SYS1 may be another working machine other than the excavator 100. For example, as shown in FIG. 3, the remote control system SYS1 may include a crawler crane 300 as a target for remote control. The same may apply to work machines whose security is to be ensured in the security system SYS2, which will be described later.

図１、図２に示すように、ショベル１００は、下部走行体１と、上部旋回体３と、ブーム４、アーム５、及び、バケット６を含むアタッチメントＡＴと、キャビン１０とを備える。 As shown in FIGS. 1 and 2, the excavator 100 includes a lower traveling body 1, an upper rotating body 3, an attachment AT including a boom 4, an arm 5, and a bucket 6, and a cabin 10.

下部走行体１は、例えば、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含み、クローラ１ＣＬ，１ＣＲがそれぞれに対応する走行油圧モータ１Ｍで油圧駆動されることにより、自走する。 The lower traveling body 1 includes, for example, a left crawler 1CL and a right crawler 1CR, and the crawlers 1CL and 1CR are hydraulically driven by respective corresponding travel hydraulic motors 1M, thereby self-propelled.

上部旋回体３は、旋回機構２を介して下部走行体１に旋回可能に搭載される。例えば、上部旋回体３は、旋回油圧モータ２Ｍで旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。 The upper rotating body 3 is rotatably mounted on the lower traveling body 1 via the rotating mechanism 2 . For example, the upper rotating structure 3 turns with respect to the lower traveling structure 1 by hydraulically driving the turning mechanism 2 by the turning hydraulic motor 2M.

ブーム４は、左右方向の回転軸を中心として俯仰可能なように、上部旋回体３の前部中央に取り付けられる。アーム５は、左右方向の回転軸を中心として回転可能なように、ブーム４の先端に取り付けられる。バケット６は、左右方向の回転軸を中心として回転可能なように、アーム５の先端に取り付けられる。 The boom 4 is attached to the center of the front part of the upper revolving body 3 so as to be able to move up and down about a rotation axis in the left and right direction. The arm 5 is attached to the tip of the boom 4 so as to be rotatable about a rotation axis in the left-right direction. The bucket 6 is attached to the tip of the arm 5 so as to be rotatable about a rotation axis in the left-right direction.

バケット６は、エンドアタッチメントの一例であり、ショベル１００の作業内容に応じて、適宜交換可能な態様で、アーム５の先端に取り付けられている。つまり、アーム５の先端には、バケット６に代えて、バケット６とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム５の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。 The bucket 6 is an example of an end attachment, and is attached to the tip of the arm 5 in a manner that can be replaced as appropriate depending on the work content of the shovel 100. That is, instead of the bucket 6, a bucket of a different type than the bucket 6, such as a relatively large bucket, a slope bucket, a dredging bucket, etc., may be attached to the tip of the arm 5. Further, an end attachment of a type other than the bucket, such as an agitator, a breaker, a crusher, etc., may be attached to the tip of the arm 5. Furthermore, a preliminary attachment such as a quick coupling or a tiltrotator may be provided between the arm 5 and the end attachment.

ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。 The boom 4, arm 5, and bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.

キャビン１０は、オペレータが搭乗し、ショベル１００を操作するための操縦室であり、例えば、上部旋回体３の前部左側に搭載される。 The cabin 10 is a control room for an operator to board and operate the shovel 100, and is mounted, for example, on the front left side of the upper revolving structure 3.

ショベル１００は、上述の如く、遠隔操作支援装置２００からの遠隔操作が可能に構成される。具体的には、ショベル１００は、遠隔操作支援装置２００から受信される、遠隔操作のオペレータの操作内容に応じて、下部走行体１（即ち、左右のクローラ一対のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させる。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。 As described above, the excavator 100 is configured to be remotely controllable from the remote control support device 200. Specifically, the excavator 100 moves the lower traveling structure 1 (that is, the pair of left and right crawlers 1C) and the upper revolving structure 3 according to the operation details of the remote operator received from the remote operation support device 200. , the boom 4, the arm 5, the bucket 6, and other driven elements. When the excavator 100 is remotely controlled, the interior of the cabin 10 may be unmanned.

また、ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（即ち、左右のクローラ一対のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させることが可能に構成されてもよい。以下、遠隔操作のオペレータの操作、及びキャビン１０のオペレータの操作を包括的に「オペレータの操作」と称する場合がある。 In addition, the excavator 100 operates the lower traveling body 1 (that is, the pair of left and right crawlers 1C), the upper rotating body 3, the boom 4, the arm 5, the bucket 6, etc. The driven element may be configured to be operable. Hereinafter, the operation of the remote operator and the operation of the operator of the cabin 10 may be collectively referred to as "operator operation."

尚、ショベル１００の遠隔操作のみが可能な場合、キャビン１０は省略されてもよい。 Note that if only remote control of the excavator 100 is possible, the cabin 10 may be omitted.

遠隔操作支援装置２００は、ユーザ（遠隔操作のオペレータ）からのショベル１００の操作に関する入力を受け付け、その操作内容を表す信号（以下、「遠隔操作信号」）をショベル１００に送信することで、ショベル１００の遠隔操作を支援する。 The remote operation support device 200 receives input from the user (remote operator) regarding the operation of the excavator 100, and transmits a signal representing the operation details (hereinafter referred to as a "remote operation signal") to the excavator 100. Supports 100 remote operations.

遠隔操作支援装置２００は、例えば、ユーザが形態可能な可搬型の端末装置（即ち、携帯端末）である。これにより、ショベル１００の作業現場において、ユーザは、ショベル１００及びショベル１００の作業対象の場所を視認しながら、遠隔操作支援装置２００を用いて、ショベル１００を遠隔操作することができる。 The remote operation support device 200 is, for example, a portable terminal device (ie, a mobile terminal) that can be configured by a user. Thereby, at the work site of the shovel 100, the user can remotely control the shovel 100 using the remote control support device 200 while visually checking the shovel 100 and the location where the shovel 100 is to work.

遠隔操作支援装置２００は、ショベル１００の遠隔操作に専用の携帯端末であってもよいし、例えば、スマートフォンやタブレット端末等の汎用の携帯端末であってもよい。後者の場合、ショベル１００と連携して動作可能な専用のアプリケーションが予めインストールされていてもよい。 The remote operation support device 200 may be a mobile terminal dedicated to remote control of the excavator 100, or may be a general-purpose mobile terminal such as a smartphone or a tablet terminal. In the latter case, a dedicated application that can operate in conjunction with excavator 100 may be installed in advance.

［遠隔操作システムのハードウェア構成］
次に、図１、図２に加えて、図４、図５を参照して、遠隔操作システムＳＹＳ１のハードウェア構成について説明する。 [Hardware configuration of remote control system]
Next, the hardware configuration of the remote control system SYS1 will be described with reference to FIGS. 4 and 5 in addition to FIGS. 1 and 2.

＜ショベルのハードウェア構成＞
図４は、ショベル１００のハードウェア構成の一例を示す図である。 <Excavator hardware configuration>
FIG. 4 is a diagram showing an example of the hardware configuration of the shovel 100.

尚、図４では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。 In Figure 4, the path through which mechanical power is transmitted is a double line, the path through which high-pressure hydraulic oil that drives the hydraulic actuator flows is a solid line, the path through which pilot pressure is transmitted is a broken line, and the path through which electrical signals are transmitted is shown. Each route is indicated by a dotted line.

≪油圧駆動系≫
図４に示すように、ショベル１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。 ≪Hydraulic drive system≫
As shown in FIG. 4, the hydraulic drive system of the excavator 100 includes hydraulic pressure for hydraulically driving each of the driven elements such as the lower traveling body 1 (left and right crawlers 1C), the upper rotating body 3, and the attachment AT, as described above. Includes actuator HA. Further, the hydraulic drive system of the excavator 100 according to the present embodiment includes an engine 11, a regulator 13, a main pump 14, and a control valve 17.

油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。 The hydraulic actuator HA includes travel hydraulic motors 1ML and 1MR, a swing hydraulic motor 2M, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and the like.

尚、ショベル１００は、油圧アクチュエータＨＡの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。 Note that in the excavator 100, part or all of the hydraulic actuator HA may be replaced with an electric actuator. In other words, the excavator 100 may be a hybrid excavator or an electric excavator.

エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。 The engine 11 is the prime mover of the excavator 100 and is the main power source in the hydraulic drive system. The engine 11 is, for example, a diesel engine that uses light oil as fuel. The engine 11 is mounted, for example, at the rear of the upper revolving structure 3. The engine 11 rotates at a predetermined target rotation speed under direct or indirect control by a controller 30, which will be described later, and drives the main pump 14 and the pilot pump 15.

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。 Note that in place of or in addition to the engine 11, another prime mover (for example, an electric motor) or the like may be mounted on the excavator 100.

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。 The regulator 13 controls (adjusts) the discharge amount of the main pump 14 under the control of the controller 30 . For example, the regulator 13 adjusts the angle of the swash plate (hereinafter referred to as "tilt angle") of the main pump 14 in accordance with a control command from the controller 30.

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。 The main pump 14 supplies hydraulic oil to the control valve 17 through a high pressure hydraulic line. The main pump 14 is, for example, mounted at the rear of the upper revolving structure 3, like the engine 11. The main pump 14 is driven by the engine 11 as described above. The main pump 14 is, for example, a variable displacement hydraulic pump, and as described above, the stroke length of the piston is adjusted by adjusting the tilt angle of the swash plate by the regulator 13 under the control of the controller 30, and the stroke length of the piston is adjusted. The flow rate and discharge pressure are controlled.

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。 The control valve 17 is a hydraulic control device that controls the hydraulic actuator HA according to the contents of the operator's operation on the operating device 26 or remote control. The control valve 17 is mounted, for example, in the center of the upper revolving body 3. As described above, the control valve 17 is connected to the main pump 14 via a high-pressure hydraulic line, and selectively supplies hydraulic oil supplied from the main pump 14 to each hydraulic actuator according to an operation by an operator. . Specifically, the control valve 17 includes a plurality of control valves (also referred to as "direction switching valves") that control the flow rate and flow direction of the hydraulic oil supplied from the main pump 14 to each of the hydraulic actuators HA.

≪操作系≫
図４に示すように、ショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。 ≪Operation system≫
As shown in FIG. 4, the operating system of the excavator 100 includes a pilot pump 15, an operating device 26, a hydraulic control valve 31, a shuttle valve 32, and a hydraulic control valve 33.

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。 The pilot pump 15 supplies pilot pressure to various hydraulic devices via a pilot line 25. The pilot pump 15 is, for example, mounted at the rear of the upper revolving structure 3, like the engine 11. The pilot pump 15 is, for example, a fixed capacity hydraulic pump, and is driven by the engine 11 as described above.

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。 Note that the pilot pump 15 may be omitted. In this case, the relatively high pressure hydraulic oil discharged from the main pump 14 may be reduced in pressure by a predetermined pressure reducing valve, and then the relatively low pressure hydraulic oil may be supplied as pilot pressure to various hydraulic devices.

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられ、その結果として、油圧アクチュエータＨＡの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。 The operating device 26 is provided near the cockpit of the cabin 10 and is used by an operator to operate various driven elements. Specifically, the operating device 26 is used for an operator to operate the hydraulic actuator HA that drives each driven element, and as a result, the operator operates the driven element to be driven by the hydraulic actuator HA. can be realized. The operating device 26 includes a pedal device and a lever device for operating each driven element (hydraulic actuator HA).

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐するパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータＨＡ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。 For example, as shown in FIG. 4, the operating device 26 is of a hydraulic pilot type. Specifically, the operating device 26 utilizes hydraulic oil supplied from the pilot pump 15 through the pilot line 25 and a pilot line 25A branching from the pilot line 25, and applies pilot pressure according to the operation content to the pilot line 27A on the secondary side. Output to. Pilot line 27A is connected to one inlet port of shuttle valve 32 and connected to control valve 17 via pilot line 27, which is connected to an outlet port of shuttle valve 32. Thereby, a pilot pressure can be input to the control valve 17 via the shuttle valve 32 in accordance with the operation contents regarding various driven elements (hydraulic actuator HA) in the operating device 26. Therefore, the control valve 17 can drive each hydraulic actuator HA according to the operation performed on the operating device 26 by an operator or the like.

尚、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータＨＡを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、上述の如く、油圧アクチュエータＨＡの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ３０は、操作装置２６の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル１００の遠隔操作が可能であることから、操作装置２６は省略されてもよい。 Note that the operating device 26 may be electrical. In this case, the pilot line 27A, shuttle valve 32, and hydraulic control valve 33 are omitted. Specifically, the operating device 26 outputs an electrical signal (hereinafter referred to as an "operating signal") according to the content of the operation, and the operating signal is taken into the controller 30. Then, the controller 30 outputs a control command according to the content of the operation signal, that is, a control signal according to the content of the operation on the operating device 26 to the hydraulic control valve 31. As a result, pilot pressure corresponding to the operation details of the operating device 26 is inputted from the hydraulic control valve 31 to the control valve 17, and the control valve 17 drives each hydraulic actuator HA according to the operation details of the operating device 26. be able to. Furthermore, the control valves (directional switching valves) built into the control valve 17 and driving the respective hydraulic actuators HA may be of an electromagnetic solenoid type. In this case, the operation signal output from the operation device 26 may be directly input to the control valve 17, that is, to an electromagnetic solenoid type control valve. Further, as described above, part or all of the hydraulic actuator HA may be replaced with an electric actuator. In this case, the controller 30 may output a control command according to the operation content of the operating device 26 or the remote control content specified by the remote control signal to the electric actuator or a driver driving the electric actuator. Furthermore, since the shovel 100 can be remotely controlled, the operating device 26 may be omitted.

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。つまり、複動式である油圧アクチュエータＨＡごとに、２つの油圧制御弁３１が設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。 The hydraulic control valve 31 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 and for each drive direction of the driven element (hydraulic actuator HA) (for example, the raising direction and lowering direction of the boom 4). . That is, two hydraulic control valves 31 are provided for each double-acting hydraulic actuator HA. The hydraulic control valve 31 is provided, for example, in the pilot line 25B between the pilot pump 15 and the control valve 17, and is configured to be able to change its flow path area (that is, the cross-sectional area through which hydraulic oil can flow). good. Thereby, the hydraulic control valve 31 can output a predetermined pilot pressure to the secondary side pilot line 27B using the hydraulic oil of the pilot pump 15 supplied through the pilot line 25B. Therefore, as shown in FIG. 4, the hydraulic control valve 31 indirectly applies a predetermined pilot pressure according to a control signal from the controller 30 to the control valve through the shuttle valve 32 between the pilot line 27B and the pilot line 27. 17. Therefore, the controller 30 can cause the hydraulic control valve 31 to supply pilot pressure to the control valve 17 according to the operation content of the electric operating device 26, and can realize the operation of the shovel 100 based on the operator's operation.

また、コントローラ３０は、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現することができる。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。 Furthermore, the controller 30 can control the hydraulic control valve 31 and realize remote control of the excavator 100. Specifically, the controller 30 outputs to the hydraulic control valve 31, through the communication device 60, a control signal corresponding to the content of the remote operation specified by the remote operation signal received from the remote operation support device 200. Thereby, the controller 30 can cause the hydraulic control valve 31 to supply pilot pressure corresponding to the content of the remote control to the control valve 17, and realize the operation of the shovel 100 based on the operator's remote control.

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、ショベル１００の遠隔操作機能を実現することができる。 The shuttle valve 32 has two inlet ports and one outlet port, and outputs hydraulic fluid having a higher pilot pressure of the pilot pressures input to the two inlet ports to the outlet port. The shuttle valve 32 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 and for each drive direction of the driven element (hydraulic actuator HA). One of the two inlet ports of the shuttle valve 32 is connected to the pilot line 27A on the secondary side of the operating device 26 (specifically, the above-mentioned lever device or pedal device included in the operating device 26), and the other is It is connected to the pilot line 27B on the secondary side of the hydraulic control valve 31. The outlet port of shuttle valve 32 is connected to the pilot port of the corresponding control valve of control valve 17 through pilot line 27 . The corresponding control valve is a control valve that drives a hydraulic actuator that is operated by the above-mentioned lever device or pedal device connected to one inlet port of the shuttle valve 32. Therefore, these shuttle valves 32 each control the higher of the pilot pressure in the pilot line 27A on the secondary side of the operating device 26 and the pilot pressure on the pilot line 27B on the secondary side of the hydraulic control valve 31, respectively. It can act on the pilot port of the control valve. In other words, the controller 30 controls the corresponding control valve by causing the hydraulic control valve 31 to output a pilot pressure higher than the pilot pressure on the secondary side of the operating device 26, regardless of the operator's operation on the operating device 26. be able to. Therefore, the controller 30 controls the operation of the driven elements (the lower traveling body 1, the upper revolving body 3, and the attachment AT) regardless of the operation state of the operating device 26 by the operator, and realizes the remote control function of the excavator 100. be able to.

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の遠隔操作機能をより適切に実現することができる。 The hydraulic control valve 33 is provided in the pilot line 27A that connects the operating device 26 and the shuttle valve 32. The hydraulic control valve 33 is configured to be able to change its flow path area, for example. The hydraulic control valve 33 operates according to a control signal input from the controller 30. Thereby, the controller 30 can forcibly reduce the pilot pressure output from the operating device 26 when the operating device 26 is being operated by the operator. Therefore, even when the operating device 26 is being operated, the controller 30 can forcibly suppress or stop the operation of the hydraulic actuator corresponding to the operation of the operating device 26. Further, the controller 30 can reduce the pilot pressure output from the operating device 26 to be lower than the pilot pressure output from the hydraulic control valve 31, for example, even when the operating device 26 is being operated. I can do it. Therefore, by controlling the hydraulic control valve 31 and the hydraulic control valve 33, the controller 30 applies a desired pilot pressure to the pilot port of the control valve in the control valve 17, for example, regardless of the operation details of the operating device 26. It can be made to work reliably. Therefore, the controller 30 can more appropriately realize the remote control function of the excavator 100 by controlling the hydraulic control valve 33 in addition to the hydraulic control valve 31, for example.

≪ユーザインタフェース系≫
図４に示すように、ショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。 ≪User interface system≫
As shown in FIG. 4, the user interface system of excavator 100 includes an operating device 26, an output device 50, and an input device 52.

出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータや外部の遠隔操作のオペレータ）やショベル１００の周辺の人（例えば、作業者や作業車両の運転者）等に向けて各種情報を出力する。 The output device 50 outputs various information to the user of the excavator 100 (for example, the operator in the cabin 10 or an external remote control operator) and the people around the excavator 100 (for example, a worker or a driver of a work vehicle). Output.

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置等を含む。照明機器は、例えば、警告灯等である。表示装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。例えば、図２に示すように、出力装置５０としての照明機器や表示装置は、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の遠隔操作のオペレータや作業者等に視覚的な方法で各種情報を出力してもよい。 For example, the output device 50 includes lighting equipment, a display device, and the like that output various information in a visual manner. The lighting equipment is, for example, a warning light or the like. The display device is, for example, a liquid crystal display or an organic EL display. For example, as shown in FIG. 2, a lighting device or a display device as the output device 50 may be provided inside the cabin 10 and output various information visually to an operator inside the cabin 10. Further, the lighting device and the display device may be provided, for example, on the side surface of the revolving upper structure 3, and output various information visually to remote operators, workers, etc. around the excavator 100.

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（遠隔操作のオペレータや作業者等）に聴覚的な方法で各種情報を出力してよい。 Further, for example, the output device 50 includes a sound output device that outputs various information in an auditory manner. The sound output device includes, for example, a buzzer, a speaker, and the like. The sound output device is, for example, provided inside or outside the cabin 10 and provides various audible signals to the operator inside the cabin 10 and the people around the excavator 100 (remote control operators, workers, etc.). Information may be output.

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。 Further, for example, the output device 50 may include a device that outputs various information using a tactile method such as vibration of the cockpit.

入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。 The input device 52 accepts various inputs from the user of the excavator 100, and signals corresponding to the accepted inputs are taken into the controller 30. The input device 52 is provided inside the cabin 10 , for example, and receives input from an operator inside the cabin 10 . Further, the input device 52 may be provided, for example, on a side surface of the revolving upper structure 3, and may receive input from a worker or the like around the excavator 100.

例えば、入力装置５２は、操作入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。 For example, the input device 52 includes an operation input device that accepts operation input. The operation input device may include a touch panel mounted on the display device, a touch pad installed around the display device, a button switch, a lever, a toggle, a knob switch provided on the operation device 26 (lever device), etc. .

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。 Furthermore, for example, the input device 52 may include a voice input device that accepts a user's voice input. The audio input device includes, for example, a microphone.

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。 Furthermore, for example, the input device 52 may include a gesture input device that accepts gesture input from the user. The gesture input device includes, for example, an imaging device that captures an image of a gesture performed by a user.

また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。 Furthermore, for example, the input device 52 may include a biometric input device that receives biometric input from the user. The biometric input includes, for example, input of biometric information such as a user's fingerprint or iris.

≪通信系≫
図４に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。 ≪Communication system≫
As shown in FIG. 4, the communication system of the excavator 100 according to this embodiment includes a communication device 60.

通信装置６０は、外部の通信回線に接続し、ショベル１００と別に設けられる装置と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによってキャビン１０に持ち込まれる可搬型の端末装置（携帯端末）が含まれてもよい。通信装置６０は、例えば、４Ｇ（4th Generation）や５Ｇ（5th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。また、通信装置６０は、接続対象の通信回線に合わせて、複数の通信装置を含んでもよい。 The communication device 60 is connected to an external communication line and communicates with a device provided separately from the excavator 100. Devices provided separately from the excavator 100 may include devices external to the excavator 100 as well as portable terminal devices (portable terminals) brought into the cabin 10 by the user of the excavator 100. The communication device 60 may include, for example, a mobile communication module that complies with standards such as 4G ( 4th Generation) and 5G ( 5th Generation). Further, the communication device 60 may include, for example, a satellite communication module. Further, the communication device 60 may include, for example, a WiFi communication module, a Bluetooth (registered trademark) communication module, or the like. Furthermore, the communication device 60 may include a plurality of communication devices depending on the communication lines to be connected.

例えば、通信装置６０は、ショベル１００の作業現場における局所的な通信回線や近距離通信回線等を通じて、遠隔操作支援装置２００と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な５Ｇ（いわゆるローカル５Ｇ）による移動体通信回線やＷｉＦｉ６によるローカルネットワーク（ＬＡＮ：Local Area Network）である。 For example, the communication device 60 communicates with the remote operation support device 200 through a local communication line or a short-distance communication line at the work site of the excavator 100. The local communication line is, for example, a local 5G (so-called local 5G) mobile communication line built at a work site or a WiFi 6 local network (LAN: Local Area Network).

≪制御系≫
図４に示すように、ショベル１００の制御系は、コントローラ３０を含む。また、ショベル１００の制御系は、操作圧センサ２９と、撮像装置４０とを含む。 ≪Control system≫
As shown in FIG. 4, the control system of excavator 100 includes a controller 30. Further, the control system of the excavator 100 includes an operation pressure sensor 29 and an imaging device 40.

コントローラ３０は、ショベル１００に関する各種制御を行う。 The controller 30 performs various controls regarding the shovel 100.

コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図４に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ３０Ｃ、及びインタフェース装置３０Ｄを含む。 The functions of the controller 30 may be realized by arbitrary hardware or a combination of arbitrary hardware and software. For example, as shown in FIG. 4, the controller 30 includes an auxiliary storage device 30A, a memory device 30B, a CPU 30C, and an interface device 30D, which are connected by a bus B1.

補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリ等である。 The auxiliary storage device 30A is a non-volatile storage means, and stores installed programs as well as necessary files, data, and the like. The auxiliary storage device 30A is, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory) or a flash memory.

メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。 For example, when there is an instruction to start a program, the memory device 30B loads the program in the auxiliary storage device 30A so that the CPU 30C can read the program. The memory device 30B is, for example, an SRAM (Static Random Access Memory).

ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。 For example, the CPU 30C executes a program loaded into the memory device 30B, and implements various functions of the controller 30 according to instructions of the program.

インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。 The interface device 30D functions as a communication interface for connecting to a communication line inside the excavator 100, for example. The interface device 30D may include a plurality of different types of communication interfaces depending on the type of communication line to be connected.

また、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ３０の補助記憶装置３０Ａにインストールされうる。また、プログラムは、通信装置６０を通じて、ショベル１００の外部の他のコンピュータからダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。 Further, the interface device 30D functions as an external interface for reading data from and writing data to the recording medium. The recording medium is, for example, a dedicated tool that is connected to a connector installed inside the cabin 10 with a detachable cable. Further, the recording medium may be a general-purpose recording medium such as an SD memory card or a USB (Universal Serial Bus) memory. Thereby, programs for realizing various functions of the controller 30 can be provided by, for example, a portable recording medium and installed in the auxiliary storage device 30A of the controller 30. Further, the program may be downloaded from another computer outside the excavator 100 through the communication device 60 and installed in the auxiliary storage device 30A.

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。 Note that some of the functions of the controller 30 may be realized by another controller (control device). That is, the functions of the controller 30 may be realized in a distributed manner by a plurality of controllers.

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。 The operating pressure sensor 29 detects the pilot pressure on the secondary side (pilot line 27A) of the hydraulic pilot type operating device 26, that is, the pilot pressure corresponding to the operating state of each driven element (hydraulic actuator) in the operating device 26. To detect. A detection signal of pilot pressure corresponding to the operating state of each driven element (hydraulic actuator HA) in the operating device 26 by the operating pressure sensor 29 is taken into the controller 30.

尚、操作装置２６が電気式である場合やショベル１００が遠隔操作のみを対象とし、操作装置２６自体が省略される場合、操作圧センサ２９は省略される。 Note that if the operating device 26 is electrical, or if the shovel 100 is intended only for remote control and the operating device 26 itself is omitted, the operating pressure sensor 29 is omitted.

撮像装置４０は、ショベル１００の周辺の画像を取得する。また、撮像装置４０は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（以下、単に「物体の三次元データ」）を取得（生成）してもよい。ショベル１００の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。 The imaging device 40 acquires images around the excavator 100. The imaging device 40 also generates three-dimensional data (hereinafter simply referred to as "the object's three-dimensional shape") representing the position and external shape of the object around the shovel 100 within the imaging range (angle of view) based on the acquired image and distance-related data described below. "original data") may be obtained (generated). The three-dimensional data of objects around the shovel 100 is, for example, coordinate information data of a point group representing the surface of the object, distance image data, and the like.

例えば、図２に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、撮像装置４０は、ショベル１００の上面視において、ショベル１００を中心とする全周、即ち３６０度の角度方向に亘る範囲を撮像することができる。また、オペレータは、出力装置５０や遠隔操作支援装置２００を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作支援装置２００を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、上部旋回体３の前方の様子を確認することができる。そのため、オペレータは、バケット６を含むアタッチメントＡＴの動作を自身の作業現場での位置とは異なる視点から確認しながら、ショベル１００を遠隔操作することができる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、或いは、個別に、「カメラ４０Ｘ」と称する場合がある。 For example, as shown in FIG. 2, the imaging device 40 includes a camera 40F that images the front of the upper revolving structure 3, a camera 40B that images the rear of the upper revolving structure 3, and a camera 40L that images the left side of the upper revolving structure 3. , and a camera 40R that images the right side of the upper rotating body 3. Thereby, the imaging device 40 can image the entire circumference of the excavator 100, that is, the range covering the angular direction of 360 degrees, when the excavator 100 is viewed from above. In addition, the operator visually recognizes peripheral images such as images captured by the cameras 40B, 40L, and 40R and processed images generated based on the captured images through the output device 50 and the remote operation support device 200. You can check the front, right side, and rear view. In addition, the operator can check the situation in front of the upper rotating body 3 by visually checking peripheral images such as images captured by the camera 40F and processed images generated based on the captured images through the remote operation support device 200. I can do it. Therefore, the operator can remotely control the excavator 100 while checking the operation of the attachment AT including the bucket 6 from a different viewpoint than the operator's own position at the work site. Hereinafter, the cameras 40F, 40B, 40L, and 40R may be collectively or individually referred to as "camera 40X."

カメラ４０Ｘは、例えば、単眼カメラである。また、カメラ４０Ｘは、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）カメラ等（以下、包括的に「３Ｄカメラ」）のように、二次元の画像に加えて、距離（深度）に関するデータを取得可能であってもよい。 Camera 40X is, for example, a monocular camera. In addition, the camera 40X acquires data regarding distance (depth) in addition to two-dimensional images, such as a stereo camera, a TOF (Time Of Flight) camera, etc. (hereinafter collectively referred to as a "3D camera"). It may be possible.

撮像装置４０（カメラ４０Ｘ）の出力データ（例えば、画像データやショベル１００の周辺の物体の三次元データ等）は、一対一の通信線や車載ネットワークを通じて、コントローラ３０に取り込まれる。これにより、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺環境を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘ（カメラ４０Ｆ）の出力データに基づき、撮像画像に映るアタッチメントＡＴの姿勢状態を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体を基準として、ショベル１００の機体（上部旋回体３）の姿勢状態を判断することができる。 Output data (for example, image data, three-dimensional data of objects around the excavator 100, etc.) from the imaging device 40 (camera 40X) is taken into the controller 30 through a one-to-one communication line or an in-vehicle network. Thereby, for example, the controller 30 can monitor objects around the excavator 100 based on the output data of the camera 40X. Further, for example, the controller 30 can determine the surrounding environment of the excavator 100 based on the output data of the camera 40X. Further, for example, the controller 30 can determine the posture state of the attachment AT shown in the captured image based on the output data of the camera 40X (camera 40F). Further, for example, the controller 30 can determine the attitude state of the body of the excavator 100 (the upper revolving body 3) based on the output data of the camera 40X, with reference to objects around the excavator 100.

尚、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの一部が省略されてもよい。また、撮像装置４０（カメラ４０Ｘ）に代えて、或いは、加えて、距離センサが上部旋回体３に設けられてもよい。距離センサは、例えば、上部旋回体３の上部に取り付けられ、ショベル１００を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル１００の周辺の物体の三次元データ（例えば、点群の座標情報のデータ）を取得（生成）してもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detection and Ranging）である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。 Note that some of the cameras 40F, 40B, 40L, and 40R may be omitted. Further, instead of or in addition to the imaging device 40 (camera 40X), a distance sensor may be provided in the upper revolving body 3. The distance sensor is attached to the upper part of the upper revolving body 3, for example, and acquires data regarding the distance and direction of surrounding objects with respect to the shovel 100 as a reference. Further, the distance sensor may acquire (generate) three-dimensional data (for example, coordinate information data of a point group) of objects around the shovel 100 within the sensing range based on the acquired data. The distance sensor is, for example, LIDAR (Light Detection and Ranging). Further, for example, the distance sensor may be, for example, a millimeter wave radar, an ultrasonic sensor, an infrared sensor, or the like.

＜遠隔操作支援装置のハードウェア構成＞
図５は、遠隔操作支援装置２００のハードウェア構成の一例を示す図である。 <Hardware configuration of remote operation support device>
FIG. 5 is a diagram showing an example of the hardware configuration of the remote operation support device 200.

遠隔操作支援装置２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、遠隔操作支援装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、通信インタフェース２０６、入力装置２０７、及び表示装置２０８を含む。 The functions of the remote operation support device 200 are realized by arbitrary hardware or a combination of arbitrary hardware and software. For example, as shown in FIG. 5, the remote operation support device 200 includes an external interface 201, an auxiliary storage device 202, a memory device 203, a CPU 204, a communication interface 206, an input device 207, and a display device 208, which are connected via a bus B2. including.

外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、遠隔操作支援装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。 The external interface 201 functions as an interface for reading data from and writing data to the recording medium 201A. The recording medium 201A includes, for example, a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), an SD memory card, a USB memory, and the like. Thereby, the remote operation support device 200 can read various data used in processing through the recording medium 201A, store it in the auxiliary storage device 202, and install programs that implement various functions.

尚、遠隔操作支援装置２００は、通信インタフェース２０６を通じて、外部装置から各種データやプログラムを取得してもよい。 Note that the remote operation support device 200 may obtain various data and programs from an external device through the communication interface 206.

補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）やフラッシュメモリ等を含む。 The auxiliary storage device 202 stores various installed programs, as well as files, data, etc. necessary for various processes. The auxiliary storage device 202 includes, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), a flash memory, and the like.

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭを含む。 The memory device 203 reads the program from the auxiliary storage device 202 and stores it when there is an instruction to start the program. The memory device 203 includes, for example, DRAM (Dynamic Random Access Memory) and SRAM.

ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って遠隔操作支援装置２００に関する各種機能を実現する。 The CPU 204 executes various programs loaded into the memory device 203 from the auxiliary storage device 202, and implements various functions related to the remote operation support device 200 according to the programs.

通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、遠隔操作支援装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。 The communication interface 206 is used as an interface for communicably connecting to an external device. Thereby, the remote operation support device 200 can communicate with an external device such as the excavator 100, for example, through the communication interface 206. Furthermore, the communication interface 206 may have a plurality of types of communication interfaces depending on the communication method with the connected device.

入力装置２０７は、ユーザから各種入力を受け付ける。例えば、入力装置２０７には、オペレータが遠隔操作を行うための入力装置、即ち、遠隔操作用の操作装置が含まれる。 The input device 207 receives various inputs from the user. For example, the input device 207 includes an input device for an operator to perform remote control, that is, an operating device for remote control.

入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。 Input device 207 includes, for example, an operation input device that accepts mechanical operation input from a user. The operation input device includes, for example, a button, a toggle, a lever, and the like. Further, the operation input device includes, for example, a touch panel mounted on the display device 208, a touch pad provided separately from the display device 208, and the like.

また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。 Furthermore, the input device 207 includes, for example, a voice input device that can accept voice input from a user. The voice input device includes, for example, a microphone that can collect the user's voice.

また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。 Furthermore, the input device 207 includes, for example, a gesture input device that can accept gesture input from a user. The gesture input device includes, for example, a camera that can capture images of the user's gestures.

また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。 Furthermore, the input device 207 includes, for example, a biometric input device that can accept biometric input from a user. The biometric input device includes, for example, a camera that can acquire image data that includes information about a user's fingerprint or iris.

表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置２０８には、上述の遠隔操作用表示装置が含まれる。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。 The display device 208 displays information screens and operation screens for the user. For example, display device 208 includes the above-mentioned remote control display device. The display device 208 is, for example, a liquid crystal display, an organic EL (Electroluminescence) display, or the like.

［ショベルの周辺監視機能に関する機能構成］
次に、図６を参照して、ショベル１００の周辺監視機能に関する機能構成について説明する。 [Functional configuration related to excavator peripheral monitoring function]
Next, with reference to FIG. 6, the functional configuration regarding the surrounding monitoring function of the excavator 100 will be described.

図６は、ショベル１００の周辺監視機能に関する機能構成の一例を示すブロック図である。 FIG. 6 is a block diagram showing an example of a functional configuration regarding the surrounding monitoring function of the excavator 100.

コントローラ３０は、物体検知部３０１と、位置推定部３０２と、ジェスチャ認識部３０３と、認証部３０４と、追跡部３０５と、安全制御部３０６とを含む。 The controller 30 includes an object detection section 301, a position estimation section 302, a gesture recognition section 303, an authentication section 304, a tracking section 305, and a safety control section 306.

物体検知部３０１は、ショベル１００の周辺の監視対象の障害物（以下、単に「監視物体」）を検知する。具体的には、物体検知部３０１は、所定の処理周期ごとに、ショベル１００の周辺の監視物体を検知するための処理を行ってよい。監視物体には、例えば、作業者等の人が含まれる。また、監視物体には、例えば、他の作業機械や作業車両等が含まれてもよい。監視物体には、例えば、電柱、柵、三角コーン等の作業現場の特定の定置型の物体が含まれてもよい。また、監視物体には、例えば、溝、穴等の作業現場の特定の地形形状が含まれてもよい。 The object detection unit 301 detects obstacles to be monitored around the excavator 100 (hereinafter simply referred to as "monitored objects"). Specifically, the object detection unit 301 may perform processing for detecting monitoring objects around the shovel 100 at every predetermined processing cycle. The monitored object includes, for example, a person such as a worker. Furthermore, the monitored objects may include, for example, other work machines, work vehicles, and the like. Monitored objects may include, for example, certain stationary objects at the work site, such as utility poles, fences, cones, and the like. Monitored objects may also include, for example, specific topographic features of the work site, such as trenches, holes, and the like.

物体検知部３０１は、例えば、ショベル１００の撮像装置４０（第２のセンサの一例）や距離センサ（第２のセンサの一例）の出力データ（撮像画像）に基づき、既知の方法を用いて、ショベル１００の周辺の監視物体を検知する。また、撮像装置４０及び距離センサの双方がショベル１００に搭載される場合、物体検知部３０１は、撮像装置４０及び距離センサの出力データに対してセンサフュージョンの技術を適用して、ショベル１００の周辺の物体を検知してもよい。 The object detection unit 301 uses a known method, for example, based on the output data (captured image) of the imaging device 40 (an example of a second sensor) or the distance sensor (an example of a second sensor) of the excavator 100. Monitoring objects around the excavator 100 are detected. Further, when both the imaging device 40 and the distance sensor are mounted on the excavator 100, the object detection unit 301 applies sensor fusion technology to the output data of the imaging device 40 and the distance sensor to detect the surroundings of the excavator 100. objects may be detected.

位置推定部３０２は、物体検知部３０１により検知された監視物体のショベル１００から見た実際に存在する位置（以下、「実在位置」）を推定する。具体的には、位置推定部３０２は、物体検知部３０１により監視物体が検知されると、その監視物体の実在位置を推定する処理を行ってよい。また、物体検知部３０１により複数の監視物体が検知されている場合、位置推定部３０２は、複数の監視物体のそれぞれの実在位置を推定してよい。 The position estimating unit 302 estimates the actual position of the monitoring object detected by the object detecting unit 301 as seen from the excavator 100 (hereinafter referred to as “actual position”). Specifically, when a monitoring object is detected by the object detection unit 301, the position estimating unit 302 may perform a process of estimating the actual position of the monitoring object. Further, when a plurality of monitoring objects are detected by the object detection unit 301, the position estimating unit 302 may estimate the actual position of each of the plurality of monitoring objects.

例えば、位置推定部３０２は、カメラ４０Ｘの画像の中の検知された監視物体に相当する部分領域の位置及び大きさに基づき、検知された監視物体の実在位置を特定する。また、位置推定部３０２は、カメラ４０Ｘが３Ｄカメラである場合、カメラ４０Ｘの画像の中の検知された監視物体に相当する部分領域（画素群）の自機を基準とする座標情報に基づき、検知された監視物体の実在位置を推定してもよい。また、カメラ４０Ｘ及び距離センサの双方がショベル１００に搭載される場合、位置推定部３０２は、カメラ４０Ｘ及び距離センサの出力データについて、センサフュージョンの技術を適用することにより、３Ｄカメラの場合と同様の方法で、検知された監視物体の実在位置を推定してもよい。また、位置推定部３０２は、距離センサの出力データから生成された自機の周辺の物体の三次元データの中の検知された監視物体の部分の座標情報に基づき、検知された監視物体の実在位置を推定してもよい。 For example, the position estimation unit 302 identifies the actual position of the detected monitoring object based on the position and size of a partial area corresponding to the detected monitoring object in the image of the camera 40X. Furthermore, when the camera 40X is a 3D camera, the position estimating unit 302 calculates, based on the coordinate information of a partial area (pixel group) corresponding to the detected monitoring object in the image of the camera 40X, based on the own camera, The actual position of the detected monitoring object may be estimated. Furthermore, when both the camera 40X and the distance sensor are mounted on the excavator 100, the position estimating unit 302 applies sensor fusion technology to the output data of the camera 40X and the distance sensor, similar to the case of the 3D camera. The actual position of the detected monitoring object may be estimated using the following method. Furthermore, the position estimating unit 302 calculates the existence of the detected monitoring object based on the coordinate information of the part of the detected monitoring object in the three-dimensional data of objects around the own aircraft generated from the output data of the distance sensor. The location may also be estimated.

ジェスチャ認識部３０３（認識部の一例）は、撮像装置４０（第１のセンサの一例）の出力データに基づき、ショベル１００の周辺の人が行っている所定のジェスチャを認識する。また、ジェスチャ認識部３０３は、距離センサ（第１のセンサの一例）の出力データ（例えば、点群データ）に基づき、ショベル１００の周辺の人が行っている所定のジェスチャを認識してもよい。所定のジェスチャには、例えば、所定の身振りや手振りを含まれる。また、所定のジェスチャには、人の移動等の人の動作全般が含まれてもよい。 The gesture recognition unit 303 (an example of a recognition unit) recognizes predetermined gestures performed by people around the excavator 100 based on output data from the imaging device 40 (an example of a first sensor). Further, the gesture recognition unit 303 may recognize a predetermined gesture performed by a person around the excavator 100 based on output data (for example, point cloud data) of a distance sensor (an example of a first sensor). . The predetermined gesture includes, for example, a predetermined gesture or hand gesture. Further, the predetermined gesture may include general human movements such as movement of the person.

認証部３０４は、ショベル１００の周辺の特定の人を認証する。特定の人は、例えば、ショベル１００の周辺で遠隔操作支援装置２００を用いてショベル１００の遠隔操作を行うオペレータやショベル１００の作業現場の管理者や監督者等である。これにより、コントローラ３０は、ショベル１００の周辺の人について、認証済みの特定の人とそれ以外の人とを区別して周辺監視機能に関する制御を行うことができる（図７参照）。 Authentication unit 304 authenticates a specific person around shovel 100. The specific person is, for example, an operator who remotely controls the shovel 100 using the remote control support device 200 in the vicinity of the shovel 100, or a manager or supervisor at the work site of the shovel 100. Thereby, the controller 30 can perform control regarding the surrounding monitoring function by distinguishing between authenticated specific persons and other persons in the vicinity of the excavator 100 (see FIG. 7).

具体的には、認証部３０４は、ジェスチャ認識部３０３により所定のジェスチャが認識される場合にその所定のジェスチャを行う人の認証を行う。認証部３０４は、位置推定部３０２の場合と同様の方法で、所定のジェスチャを行う人の実在位置を推定し、認証済みの人の位置情報を出力する。詳細は、後述する（図７参照）。 Specifically, when a predetermined gesture is recognized by the gesture recognition unit 303, the authentication unit 304 authenticates the person who performs the predetermined gesture. The authentication unit 304 estimates the actual position of the person making a predetermined gesture using a method similar to that of the position estimation unit 302, and outputs position information of the authenticated person. Details will be described later (see FIG. 7).

追跡部３０５は、認証部３０４により認証済みの人の実在位置を追跡する。これにより、コントローラ３０は、物体検知部３０１により検知されている人の中から、認証部３０４により認証済みの人を判別することができる。 The tracking unit 305 tracks the actual location of the person who has been authenticated by the authentication unit 304. Thereby, the controller 30 can determine, from among the people detected by the object detection unit 301, those who have been authenticated by the authentication unit 304.

例えば、追跡部３０５は、認証部３０４により特定の人の認証が完了すると、認証部３０４により認証済みの人の位置情報と、位置推定部３０２により推定されたショベル１００の周辺の物体の位置情報及びその物体の種別とを比較する。追跡部３０５は、その比較結果に基づき、物体検知部３０１により検知されている物体の中から認証済みの人を特定する。そして、追跡部３０５は、所定の処理周期ごとの物体検知部３０１の検知結果、及び位置推定部３０２の推定結果に基づき、認証部３０４により認証済みの人の実在位置を追跡する。 For example, when the authentication unit 304 completes authentication of a specific person, the tracking unit 305 collects the position information of the person who has been authenticated by the authentication unit 304 and the position information of objects around the excavator 100 estimated by the position estimation unit 302. and the type of the object. The tracking unit 305 identifies the authenticated person from among the objects detected by the object detection unit 301 based on the comparison result. Then, the tracking unit 305 tracks the actual location of the person who has been authenticated by the authentication unit 304 based on the detection result of the object detection unit 301 and the estimation result of the position estimation unit 302 at each predetermined processing cycle.

安全制御部３０６（第１の制御部の一例）は、ショベル１００の機能安全に関する制御を行う。 The safety control unit 306 (an example of a first control unit) performs control related to functional safety of the excavator 100.

安全制御部３０６は、例えば、物体検知部３０１によって、ショベル１００（自機）の周辺の所定範囲内で監視物体が検知される場合に、安全機能を作動させる。具体的には、安全制御部３０６は、位置推定部３０２により特定される、監視物体の実在位置がショベル１００の周辺の所定範囲内である場合に、安全機能を作動させてよい。 The safety control unit 306 activates a safety function when, for example, the object detection unit 301 detects a monitoring object within a predetermined range around the excavator 100 (self machine). Specifically, the safety control unit 306 may activate the safety function when the actual position of the monitoring object specified by the position estimation unit 302 is within a predetermined range around the excavator 100.

安全機能には、例えば、キャビン１０の内部、キャビン１０の外部、及びショベル１００の遠隔のオペレータの少なくとも一つに対する警報等を出力し、監視物体の検知を報知する報知機能が含まれてよい。これにより、キャビン１０の内部のオペレータ、ショベル１００の周辺の作業者、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周辺の監視エリア内に監視物体が存在していることに関する注意を促すことができる。以下、キャビン１０の内部（オペレータ等）への報知機能を「内部報知機能」、ショベル１００の外部（作業者等）への報知機能を「外部報知機能」、及びショベル１００の遠隔操作を行うオペレータへの報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。 The safety function may include, for example, a notification function that outputs a warning to at least one of the inside of the cabin 10, the outside of the cabin 10, and a remote operator of the excavator 100, and notifies the detection of a monitoring object. As a result, the operator inside the cabin 10, the worker near the shovel 100, and the operator remotely controlling the shovel 100 are alerted to the presence of a monitoring object in the monitoring area around the shovel 100. can be encouraged. Hereinafter, the notification function to the inside of the cabin 10 (to the operator, etc.) will be referred to as the "internal notification function", the notification function to the outside of the excavator 100 (to the operator, etc.) will be referred to as the "external notification function", and the operator who remotely controls the excavator 100. The notification function for remote notification is sometimes referred to as a "remote notification function" to distinguish between them.

また、安全機能には、例えば、操作装置２６の操作や遠隔操作に対するショベル１００の動作を制限する動作制限機能が含まれてよい。これにより、ショベル１００の動作を強制的に制限し、ショベル１００と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置２６の操作や遠隔操作に対するショベル１００の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置２６の操作や遠隔操作の有無に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。 Further, the safety functions may include, for example, an operation restriction function that restricts the operation of the shovel 100 in response to the operation of the operating device 26 or remote control. Thereby, the operation of the shovel 100 can be forcibly restricted, and the possibility of the shovel 100 approaching or coming into contact with surrounding objects can be reduced. The operation restriction function may include an operation deceleration function that makes the operation speed of the shovel 100 slower than usual in response to the operation of the operating device 26 or remote control. Further, the operation restriction function may include an operation stop function that stops the operation of the excavator 100 and maintains the stopped state regardless of whether or not the operating device 26 is operated or remotely controlled.

安全制御部３０６は、例えば、物体検知部３０１によって、ショベル１００の周辺の所定範囲（以下、「報知範囲」）で監視物体が検知される場合に、報知機能を作動させる。報知範囲は、例えば、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ１以下の範囲である。ショベル１００の所定の部位は、例えば、上部旋回体３である。また、ショベル１００の所定の部位は、例えば、アタッチメントＡＴの先端部のバケット６やフックであってもよい。閾値Ｄｔｈ１は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。 For example, the safety control unit 306 activates the notification function when the object detection unit 301 detects a monitoring object in a predetermined range around the excavator 100 (hereinafter referred to as “notification range”). The notification range is, for example, a range in which the distance D from a predetermined part of the excavator 100 is less than or equal to the threshold value Dth1. The predetermined portion of the excavator 100 is, for example, the upper revolving body 3. Further, the predetermined portion of the shovel 100 may be, for example, the bucket 6 or the hook at the tip of the attachment AT. The threshold value Dth1 may be constant regardless of the direction viewed from the predetermined portion of the shovel 100, or may vary depending on the direction viewed from the predetermined portion of the shovel 100.

安全制御部３０６は、例えば、出力装置５０（音出力装置）を制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による内部報知機能や外部報知機能を作動させる。このとき、安全制御部３０６は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。 For example, the safety control unit 306 controls the output device 50 (sound output device) to perform an internal notification function and an external notification function using sound (i.e., an auditory method) for at least one of the inside and outside of the cabin 10. Activate. At this time, the safety control unit 306 may vary the pitch, sound pressure, timbre of the output sound, the blowing cycle when periodically blowing the sound, the content of the sound, etc., depending on various conditions. .

また、安全制御部３０６は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部３０６は、キャビン１０の内部の出力装置５０（表示装置）を制御することにより、出力装置５０に周辺画像と共に、監視物体が検知されていることを表す画像を表示させてよい。また、安全制御部３０６は、キャビン１０の内部の出力装置５０（表示装置）に表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部３０６は、キャビン１０の内部の出力装置５０に表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、出力装置５０は、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部３０６は、キャビン１０の内部の警告灯や照明装置等を用いて、監視物体が検知されていることをキャビン１０の内部のオペレータ等に対して報知してもよい。 Furthermore, the safety control unit 306 operates an internal notification function using a visual method, for example. Specifically, the safety control unit 306 controls the output device 50 (display device) inside the cabin 10 to display on the output device 50 an image indicating that the monitoring object is detected, along with a surrounding image. You can let me. The safety control unit 306 also emphasizes the monitoring object shown in the surrounding image displayed on the output device 50 (display device) inside the cabin 10 and the position on the surrounding image corresponding to the detected monitoring object. It's okay. More specifically, the safety control unit 306 superimposes and displays a frame surrounding the detected monitoring object on the peripheral image displayed on the output device 50 inside the cabin 10, or A marker may be superimposed and displayed at a position on the surrounding image that corresponds to the actual position of the monitoring object. Thereby, the output device 50 can realize a visual notification function for the operator. Furthermore, the safety control unit 306 may use a warning light, a lighting device, or the like inside the cabin 10 to notify an operator inside the cabin 10 that the monitoring object has been detected.

また、安全制御部３０６は、例えば、上部旋回体３のハウス部の側面等に設けられる出力装置５０（例えば、前照灯等の照明装置や表示装置）を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部３０６は、例えば、作業現場の作業者、監督者、管理者等のショベル１００の周辺の人が所持する端末装置（携帯端末）に報知機能の作動を示す指令信号を送信することにより、外部報知機能を作動させてもよい。作業現場の作業者、監督者、管理者等が所持する端末装置は、例えば、スマートフォンやタブレット端末等の汎用の携帯端末である。また、作業現場の作業者、監督者、管理者等が所持する端末装置は、ウェアラブル端末であってもよい。ウェアラブル端末は、例えば、スマートグラスである。また、安全制御部３０６は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータやショベル１００の周辺の作業者及び監督者等に対して、ショベル１００の周辺の相対的に近い場所に監視物体（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、ショベル１００の周辺の安全状況の確認を促したり、監視エリア内の作業者等に対して、監視エリアからの退避を促したりすることができる。 In addition, the safety control unit 306 can provide a visual method by controlling an output device 50 (for example, a lighting device such as a headlamp or a display device) provided on the side surface of the house portion of the upper revolving structure 3, for example. An external notification function may also be activated. Further, the safety control unit 306 transmits a command signal indicating the activation of the notification function to a terminal device (mobile terminal) owned by a person around the excavator 100, such as a worker, supervisor, or manager at the work site, for example. Accordingly, an external notification function may be activated. Terminal devices owned by workers, supervisors, managers, and the like at a work site are, for example, general-purpose mobile terminals such as smartphones and tablet terminals. Further, the terminal device owned by a worker, supervisor, manager, etc. at a work site may be a wearable terminal. The wearable terminal is, for example, smart glasses. Further, the safety control unit 306 may operate the internal notification function in a tactile manner, for example, by controlling a vibration generator that vibrates the cockpit where the operator is seated. This allows the controller 30 to notify the operator, workers and supervisors around the shovel 100 that there is a monitoring object (for example, a person such as a worker) in a relatively close location around the shovel 100. can be recognized. Therefore, the controller 30 can prompt the operator to check the safety situation around the excavator 100, and can urge the workers and the like in the monitoring area to evacuate from the monitoring area.

また、安全制御部３０６は、例えば、通信装置６０を通じて、報知機能の作動を示す指令信号を遠隔操作支援装置２００に送信することにより、遠隔報知機能を作動させてもよい。この場合、遠隔操作支援装置２００は、ショベル１００から指令信号を受信すると、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、ショベル１００の遠隔操作を行うオペレータは、外部報知機能による警報に加え、遠隔操作支援装置２００を通じた遠隔報知機能による警報によって、ショベル１００の周辺の報知範囲内に監視物体が進入したことを把握することができる。 Further, the safety control unit 306 may activate the remote notification function, for example, by transmitting a command signal indicating activation of the notification function to the remote operation support device 200 through the communication device 60. In this case, upon receiving the command signal from the excavator 100, the remote operation support device 200 may output a visual or auditory warning. As a result, the operator who remotely controls the excavator 100 can receive a warning from the remote notification function via the remote operation support device 200, in addition to the warning from the external notification function, when a monitored object has entered the notification range around the shovel 100. can be understood.

尚、安全制御部３０６の遠隔報知機能は、遠隔操作支援装置２００に移管されてもよい。この場合、遠隔操作支援装置２００は、ショベル１００から物体検知部３０１による監視物体の検知状況や位置推定部３０２による監視物体の実在位置の特定結果に関する情報を受信する。そして、遠隔操作支援装置２００は、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、遠隔報知機能を作動させる。 Note that the remote notification function of the safety control unit 306 may be transferred to the remote operation support device 200. In this case, the remote operation support device 200 receives information from the excavator 100 regarding the detection status of the monitoring object by the object detection unit 301 and the identification result of the actual position of the monitoring object by the position estimation unit 302. Then, the remote operation support device 200 determines whether a monitoring object has entered the notification range based on the received information, and activates the remote notification function if the monitoring object is present within the notification range.

また、安全制御部３０６は、報知範囲内で検知されている監視物体と、上部旋回体３との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。 Further, the safety control unit 306 may change the notification mode (that is, the method of notification) depending on the positional relationship between the monitoring object detected within the notification range and the rotating upper structure 3.

例えば、安全制御部３０６は、物体検知部３０１により報知範囲内で検知された監視物体がショベル１００の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報（以下、「注意レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部３０６は、物体検知部３０１により報知範囲内で検知された監視物体がショベル１００の所定の部位に対して相対的に近い位置に存在する場合、監視物体がショベル１００の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報（以下、「警戒レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。 For example, if the monitoring object detected within the notification range by the object detection unit 301 is located at a relatively far position with respect to a predetermined portion of the excavator 100, the safety control unit 306 may issue a warning to the monitoring object. An alarm with a relatively low degree of urgency (hereinafter referred to as a "caution level alarm") may be output. Hereinafter, a range within the notification range in which the distance to a predetermined part of the excavator 100 is relatively long, that is, a range corresponding to a caution level warning may be referred to as a "caution notification range" for convenience. On the other hand, if the monitoring object detected within the notification range by the object detection unit 301 is located at a position relatively close to a predetermined part of the excavator 100, the safety control unit 306 controls the safety control unit 306 to An alarm with a relatively high degree of urgency (hereinafter referred to as a "warning level alarm") may be output to notify that the danger level is increasing due to approaching the body part. Hereinafter, a range within the notification range in which the distance to a predetermined part of the excavator 100 is relatively close, that is, a range corresponding to a warning level warning may be referred to as a "warning notification range."

この場合、安全制御部３０６は、注意レベルの警報と警戒レベルの警報との間で、出力装置５０（音出力装置）から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部３０６は、注意レベルの警報と警戒レベルの警報との間で、出力装置５０（表示装置）に表示される監視物体が検知されていることを表す画像や、出力装置５０に表示される周辺画像上の監視物体或いは監視物体の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、出力装置５０から出力される報知音（警報音）や出力装置５０に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体のショベル１００の所定の部位に対する接近度を把握させることができる。 In this case, the safety control unit 306 may change the pitch, sound pressure, tone, blowing period, etc. of the sound output from the output device 50 (sound output device) between the warning level warning and the warning level warning. You can let me. The safety control unit 306 also displays an image indicating that a monitoring object has been detected, which is displayed on the output device 50 (display device), between the warning level warning and the warning level warning. The color, shape, size, presence or absence of blinking, blinking cycle, etc. of the monitored object on the displayed peripheral image or an image (for example, a frame or marker) that emphasizes the position of the monitored object may be varied. As a result, the controller 30 determines the level of urgency of the excavator 100 of the monitored object by determining the level of urgency for the operator, etc., based on the difference between the notification sound (alarm sound) output from the output device 50 and the notification image displayed on the output device 50. It is possible to grasp the degree of proximity to a predetermined region.

安全制御部３０６は、報知機能の作動開始後、物体検知部３０１により検知されていた監視物体が報知範囲内で検知されなくなった場合、報知機能を停止させてよい。また、安全制御部３０６は、報知機能の作動開始後、入力装置５２を通じて、報知機能の作動を解除する所定の入力が受け付けられた場合に、報知機能を停止させてもよい。 The safety control unit 306 may stop the notification function if the monitoring object detected by the object detection unit 301 is no longer detected within the notification range after the notification function starts operating. Further, the safety control unit 306 may stop the notification function when a predetermined input for canceling the operation of the notification function is received through the input device 52 after the activation of the notification function is started.

また、安全制御部３０６は、例えば、物体検知部３０１によりショベル１００の周辺の所定範囲（以下、「動作制限範囲」）内で監視物体が検知される場合に、動作制限機能を作動させる。動作制限範囲は、例えば、上述の報知範囲と同じに設定される。また、動作制限範囲は、例えば、報知範囲よりもその外縁がショベル１００の所定の部位に相対的に近くなるような範囲に設定されてもよい。これにより、安全制御部３０６は、例えば、監視物体が外側から報知範囲に進入すると、まず、報知機能を作動させ、その後に、監視物体が内側の動作制限範囲に進入すると、更に、動作制限機能を作動させることができる。そのため、コントローラ３０は、監視物体の監視エリア内での内側への移動に合わせて、段階的に、報知機能及び動作制限機能を作動させることができる。 Further, the safety control unit 306 activates the operation restriction function, for example, when the object detection unit 301 detects a monitoring object within a predetermined range around the excavator 100 (hereinafter referred to as “operation restriction range”). The operation restriction range is set, for example, to be the same as the above-mentioned notification range. Further, the operation restriction range may be set, for example, to a range whose outer edge is relatively closer to a predetermined portion of the shovel 100 than the notification range. As a result, the safety control unit 306 first activates the notification function when the monitoring object enters the notification range from the outside, and then activates the operation restriction function when the monitoring object enters the inside movement restriction range. can be operated. Therefore, the controller 30 can operate the notification function and the operation restriction function in stages according to the movement of the monitoring object inward within the monitoring area.

具体的には、安全制御部３０６は、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ２（≦Ｄｔｈ１）以内の動作制限範囲内で監視物体が検知されると、動作制限機能を作動させてよい。閾値Ｄｔｈ２は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。 Specifically, the safety control unit 306 activates the operation restriction function when a monitoring object is detected within the operation restriction range where the distance D from a predetermined part of the excavator 100 is within the threshold value Dth2 (≦Dth1). good. The threshold value Dth2 may be constant regardless of the direction viewed from the predetermined portion of the shovel 100, or may vary depending on the direction viewed from the predetermined portion of the shovel 100.

また、動作制限範囲には、操作装置２６の操作や遠隔操作に対するショベル１００の動作速度を通常よりも遅くする動作減速範囲、及び操作装置２６の操作や遠隔操作の有無に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、動作制限範囲のうちのショベル１００の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。 In addition, the operation restriction range includes an operation deceleration range in which the operating speed of the shovel 100 is made slower than normal in response to the operation of the operating device 26 or remote control, and an operation deceleration range in which the operating speed of the shovel 100 is made slower than usual in response to the operation of the operating device 26 or remote control, and the range in which the operating speed of the shovel 100 is At least one of the operation stop ranges in which the operation is stopped and the stopped state is maintained are included. For example, when the operation restriction range includes both the operation deceleration range and the operation stop range, the operation stop range is a range that is close to a predetermined portion of the shovel 100 within the operation restriction range. The operation deceleration range is a range set outside the operation stop range of the operation restriction range.

安全制御部３０６は、油圧制御弁３１を制御することにより、ショベル１００の動作を制限する動作制限機能を作動させる。この場合、安全制御部３０６は、全ての被駆動要素（即ち、対応する油圧アクチュエータ）の動作を制限してもよいし、一部の被駆動要素（油圧アクチュエータ）の動作を制限してもよい。これにより、コントローラ３０は、ショベル１００の周辺に監視物体が存在する場合に、ショベル１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、ショベル１００の周辺の監視物体とショベル１００や吊り荷との接触の発生を抑制することができる。また、安全制御部３０６は、パイロットライン２５の最上流の電磁切換弁２５Ｖ（図１０参照）を制御し、パイロットライン２５を遮断することにより、動作制限機能（動作停止機能）を作動させてもよい。 The safety control unit 306 operates an operation restriction function that restricts the operation of the excavator 100 by controlling the hydraulic control valve 31. In this case, the safety control unit 306 may restrict the operation of all driven elements (that is, the corresponding hydraulic actuators), or may restrict the operation of some driven elements (hydraulic actuators). . Thereby, the controller 30 can decelerate or stop the operation of the shovel 100 when a monitoring object exists around the shovel 100. Therefore, the controller 30 can suppress the occurrence of contact between the monitoring object around the shovel 100 and the shovel 100 or the suspended load. Furthermore, the safety control unit 306 controls the most upstream electromagnetic switching valve 25V (see FIG. 10) of the pilot line 25 to shut off the pilot line 25, even if the operation restriction function (operation stop function) is activated. good.

また、安全制御部３０６は、動作制限機能の作動開始後、物体検知部３０１により検知されていた監視物体が動作制限範囲内で検知されなくなった場合、動作制限機能を停止させてよい。また、安全制御部３０６は、動作制限機能の作動開始後、入力装置５２を通じて、動作制限機能の作動を解除する所定の入力が受け付けられた場合に、動作制限機能を停止させてもよい。入力装置５２に対する報知機能の作動解除のための入力の内容と、動作制限機能の作動解除のための入力の内容とは、同じであってもよいし、異なっていてもよい。 Further, the safety control unit 306 may stop the operation restriction function if the monitoring object detected by the object detection unit 301 is no longer detected within the operation restriction range after the operation of the operation restriction function is started. Further, the safety control unit 306 may stop the operation restriction function when a predetermined input for canceling the operation of the operation restriction function is received through the input device 52 after the operation of the operation restriction function has started. The contents of the input to the input device 52 for deactivating the notification function and the contents of the input for deactivating the operation restriction function may be the same or different.

また、安全制御部３０６は、物体検知部３０１により検知されている物体のうち、認証部３０４により認証済みの人と、それ以外の物体とで、安全機能の作動に関する制御を異ならせてもよい。 Furthermore, the safety control unit 306 may control the operation of the safety function differently for a person who has been authenticated by the authentication unit 304 and for other objects among the objects detected by the object detection unit 301. .

例えば、安全制御部３０６は、認証部３０４により認証済みの人の場合、それ以外の物体の場合とは異なり、安全機能の作動を禁止（解除）する。これにより、例えば、認証部３０４により認証済みの遠隔操作のオペレータは、報知機能や動作制限機能の作動を考慮することなく、ショベル１００に近づき、ショベル１００の状況やショベル１００の作業対象の地面の状況等を確認することができる。 For example, the safety control unit 306 prohibits (cancels) the operation of the safety function in the case of a person who has been authenticated by the authentication unit 304, unlike in the case of other objects. As a result, for example, a remote operator who has been authenticated by the authentication unit 304 can approach the excavator 100 without considering the activation of the notification function or the operation restriction function, and check the status of the excavator 100 and the ground on which the excavator 100 is working. You can check the status etc.

尚、その遠隔操作が一時的に停止されれば、基本的に、ショベル１００が動作することはない。そのため、遠隔操作のオペレータがショベル１００にある程度近づいても、ショベル１００の安全性の低下は限定的である。 Note that if the remote control is temporarily stopped, the excavator 100 basically does not operate. Therefore, even if a remote operator approaches the excavator 100 to some extent, the safety of the excavator 100 is only reduced to a limited extent.

また、安全制御部３０６は、安全機能のうちの一部のみを禁止（解除）してもよい。 Further, the safety control unit 306 may prohibit (cancel) only some of the safety functions.

例えば、安全制御部３０６は、報知機能を禁止（解除）する一方、動作制限機能を継続させる。これにより、動作制限機能によって、遠隔操作によるショベル１００の動作を減速させたり、遠隔操作を禁止し、ショベル１００の動作を停止させたりすることができ、ショベル１００の安全性をより向上させることができる。 For example, the safety control unit 306 prohibits (cancels) the notification function while continuing the operation restriction function. As a result, the operation restriction function can slow down the operation of the excavator 100 by remote control, prohibit remote control, and stop the operation of the excavator 100, thereby further improving the safety of the excavator 100. can.

また、安全制御部３０６は、動作制限機能の一部の機能のみを禁止（解除）し、残りの機能を継続してもよい。具体的には、安全制御部３０６は、複数の被駆動要素の動作制限機能のうちの一部の被駆動要素の動作制限機能のみを禁止し、残りの被駆動要素の動作制限機能を継続させてもよい。例えば、安全制御部３０６は、認証部３０４により認証済みの人のショベル１００に対する位置（方向）に応じて、被駆動要素ごとの動作制限機能を禁止するか継続させるかを判断する。具体的には、安全制御部３０６は、認証部３０４により認証済みの人の場合、上部旋回体３の動作制限機能を継続し、下部走行体１やアタッチメントＡＴ（ブーム４、アーム５、及びバケット６）の動作制限機能をその人の位置に応じて禁止するか判断してよい。上部旋回体３が旋回すると、ショベル１００から見てどの方向の存在する人とでも接近する可能がある一方、下部走行体１やアタッチメントＡＴの動作する方向は決まっており、人の位置によっては、動作させても安全性の低下は限定的だからである。これにより、例えば、上部旋回体３の側方から接近する認証済みの人に対して、上部旋回体３の動作制限機能を継続させ、ショベル１００の安全性を維持しつつ、アタッチメントＡＴの動作制限を禁止し、ショベル１００の作業効率の低下を抑制することができる。 Furthermore, the safety control unit 306 may prohibit (cancel) only some of the operation restriction functions and continue the remaining functions. Specifically, the safety control unit 306 prohibits only the operation restriction functions of some of the plurality of driven elements among the operation restriction functions of the plurality of driven elements, and continues the operation restriction functions of the remaining driven elements. It's okay. For example, the safety control unit 306 determines whether to prohibit or continue the operation restriction function for each driven element, depending on the position (direction) of the person who has been authenticated by the authentication unit 304 with respect to the excavator 100. Specifically, in the case of a person who has been authenticated by the authentication unit 304, the safety control unit 306 continues the operation restriction function of the upper rotating body 3, and prevents the lower traveling body 1 and the attachment AT (boom 4, arm 5, and bucket It may be determined whether to prohibit the operation restriction function 6) depending on the location of the person. When the upper rotating body 3 turns, it is possible to approach a person in any direction as seen from the excavator 100, but the direction in which the lower traveling body 1 and the attachment AT operate is fixed, and depending on the position of the person, This is because the reduction in safety is limited even if it is operated. As a result, for example, the movement restriction function of the revolving upper structure 3 is continued for an authenticated person approaching from the side of the revolving upper structure 3, and the movement of the attachment AT is restricted while maintaining the safety of the excavator 100. This makes it possible to prevent the working efficiency of the excavator 100 from decreasing.

また、安全制御部３０６は、報知機能の一部の機能のみを禁止（解除）し、残りの機能を継続させてもよい。具体的には、安全制御部３０６は、報知機能のうちの認証済みの人を対象とする報知機能を禁止し、その他の人を対象とする報知機能を継続させてもよい。例えば、認証済みの人（例えば、作業現場の作業者、監督者、管理者等）の所持する携帯端末を通じた報知機能が禁止（解除）され、警報音が無音とされる一方、他の人の所持する携帯端末を通じた報知機能が継続される。 Furthermore, the safety control unit 306 may prohibit (cancel) only some of the notification functions, and allow the remaining functions to continue. Specifically, the safety control unit 306 may prohibit the notification function targeted at authenticated persons among the notification functions, and may continue the notification function targeted at other persons. For example, the alarm function through the mobile terminal owned by an authenticated person (e.g., a worker, supervisor, manager, etc.) is prohibited (cancelled) and the alarm sound is silenced, while other people The notification function will continue through the mobile terminals owned by the government.

また、安全制御部３０６は、認証部３０４により認証済みの人の場合、それ以外の物体の場合よりもショベル１００の安全機能の作動を緩和（制限）してもよい。例えば、安全制御部３０６は、認証部３０４により認証済みの人について、聴覚的な報知機能を作動させる際に、出力される警報音の注意喚起のレベルを下げる方向に緩和する。例えば、音高や音圧を下がることによって、注意喚起のレベルを下げることができる。また、例えば、安全制御部３０６は、認証部３０４により認証済みの人について、動作制限機能を作動させる際に、ショベル１００の動作の制限度を緩和する。例えば、通常、動作停止機能を作動させる状況で、動作減速機能を作動させたり、動作減速機能の減速度合いを小さくしたりすることにより、ショベル１００の動作の制限度を緩和することができる。これにより、例えば、認証部３０４により認証済みの遠隔操作のオペレータがショベル１００の状況やショベル１００の作業対象の地面の状況等を近くで確認する必要がある場合であっても、ショベル１００の作業効率の低下を抑制することができる。 Further, the safety control unit 306 may relax (restrict) the operation of the safety function of the excavator 100 in the case of a person who has been authenticated by the authentication unit 304 than in the case of other objects. For example, when the safety control unit 306 activates the auditory notification function for a person who has been authenticated by the authentication unit 304, the safety control unit 306 reduces the alert level of the output alarm sound. For example, the alert level can be lowered by lowering the pitch or sound pressure. Further, for example, when the safety control unit 306 activates the movement restriction function for a person who has been authenticated by the authentication unit 304, the safety control unit 306 relaxes the degree of restriction on the movement of the excavator 100. For example, in a situation where the operation stop function is normally activated, the degree of restriction on the operation of the excavator 100 can be relaxed by activating the operation deceleration function or reducing the degree of deceleration of the operation deceleration function. As a result, even if, for example, a remote operator who has been authenticated by the authentication unit 304 needs to check the status of the excavator 100 or the status of the ground on which the excavator 100 is working, the operation of the excavator 100 can be done easily. Decrease in efficiency can be suppressed.

また、安全機能を禁止（解除）する場合と同様、安全制御部３０６は、安全機能のうちの一部のみの作動を緩和してもよい。 Further, as in the case of prohibiting (cancelling) the safety functions, the safety control unit 306 may relax the operation of only some of the safety functions.

また、安全制御部３０６は、認証部３０４により認証済みの人の場合、それ以外の物体の場合よりもショベル１００の作動条件を緩和してもよい。具体的には、安全制御部３０６は、認証部３０４により認証済みの人の場合、報知範囲や動作制限範囲の外縁がショベル１００の所定の部位により近づく方向に緩和されてよい。これにより、例えば、認証部３０４により認証済みの人がショベル１００へある程度近づいても安全機能を作動しにくくすることができる。そのため、例えば、認証部３０４により認証済みの遠隔操作のオペレータがショベル１００の状況やショベル１００の作業対象の地面の状況等を近くで確認する必要がある場合であっても、ショベル１００の作業効率の低下を抑制することができる。 Further, the safety control unit 306 may relax the operating conditions of the shovel 100 in the case of a person who has been authenticated by the authentication unit 304 than in the case of other objects. Specifically, in the case of a person who has been authenticated by the authentication unit 304, the safety control unit 306 may relax the outer edges of the notification range and the movement restriction range in a direction closer to a predetermined portion of the excavator 100. Thereby, for example, even if a person who has been authenticated by the authentication unit 304 approaches the excavator 100 to a certain extent, the safety function can be made difficult to activate. Therefore, for example, even if a remote operator who has been authenticated by the authentication unit 304 needs to check the status of the excavator 100 or the ground condition on which the excavator 100 is working, the operating efficiency of the excavator 100 can be improved. It is possible to suppress the decrease in

また、安全機能を禁止（解除）する場合と同様、安全制御部３０６は、安全機能のうちの一部の作業条件のみを緩和してもよい。 Furthermore, as in the case of prohibiting (cancelling) the safety functions, the safety control unit 306 may relax only some of the working conditions of the safety functions.

また、安全制御部３０６は、認証部３０４により認証済みの人が存在する場合、出力装置５０を通じて、認証済みの人に関する情報を通知してもよい。これにより、コントローラ３０は、出力装置５０を通じて、認証済みの人の存在をキャビン１０のオペレータに通知することができる。そのため、例えば、安全制御部３０６は、認証部３０４により認証済みの人の存在やその人の位置情報を出力装置５０（表示装置）に表示させる。また、安全制御部３０６は、認証済みの人に対する安全機能の解除状況や緩和状況に関する情報を出力装置５０に表示させてもよい。 Furthermore, if there is a person who has been authenticated by the authentication unit 304, the safety control unit 306 may notify information regarding the authenticated person through the output device 50. Thereby, the controller 30 can notify the operator of the cabin 10 of the presence of the authenticated person through the output device 50. Therefore, for example, the safety control unit 306 causes the output device 50 (display device) to display the presence of a person who has been authenticated by the authentication unit 304 and the position information of that person. Further, the safety control unit 306 may cause the output device 50 to display information regarding the release status and mitigation status of the safety function for the authenticated person.

同様に、安全制御部３０６は、認証部３０４により認証済みの人が存在する場合、表示装置２０８や遠隔操作支援装置２００の音出力装置を通じて、認証済みの人に関する情報を遠隔操作のオペレータに通知してもよい。また、遠隔操作のオペレータ自身が認証済みである場合、遠隔操作のオペレータに関する情報と、他の認証済みの人に関する情報とを区別可能なように、遠隔操作のオペレータに通知されてもよい。 Similarly, if there is a person who has been authenticated by the authentication unit 304, the safety control unit 306 notifies the remote operator of information about the authenticated person through the display device 208 or the sound output device of the remote operation support device 200. You may. Furthermore, if the remote operator himself or herself has been authenticated, the remote operator may be notified so that information regarding the remote operator can be distinguished from information regarding other authenticated persons.

同様に、安全制御部３０６は、作業現場の作業者、監督者、管理者等が所持する端末装置の表示装置や音出力装置を通じて、認証済みの人に関する情報を作業現場の作業者、監督者、管理者等通知してもよい。また、端末装置を所持する者が認証済みである場合、認証済みの端末装置の所持者に関する情報と、他の認証済みの人に関する情報とを区別可能なように、端末装置を所持する者（作業現場の作業者、監督者、管理者等）に通知されてもよい。 Similarly, the safety control unit 306 transmits information about the authenticated person to the worker, supervisor, manager, etc. at the work site through the display device or sound output device of a terminal device owned by the worker, supervisor, manager, etc. at the work site. , the administrator, etc. may be notified. In addition, if the person in possession of the terminal device has been authenticated, the person in possession of the terminal device ( (workers, supervisors, managers, etc.) at the work site may be notified.

また、安全制御部３０６は、入力装置５２や入力装置２０７に対するオペレータ等による所定の入力に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。 Further, the function of the safety control unit 306 may be switched between ON (valid) and OFF (invalid) in response to a predetermined input by an operator or the like to the input device 52 or the input device 207.

［ショベルの周辺の人の認証処理］
次に、ショベル１００の周辺の人、特に、遠隔操作のオペレータの認証処理について説明する。 [Authentication processing of people around the excavator]
Next, authentication processing for people around the excavator 100, particularly for a remote operator, will be described.

図７は、ショベル１００の周辺の人（遠隔操作のオペレータ）の認証処理の一例を概略的に示すフローチャートである。 FIG. 7 is a flowchart schematically showing an example of authentication processing for a person (remote operator) around the excavator 100.

図７のフローチャートは、例えば、ショベル１００の起動から停止までの間のショベル１００の稼働中に所定の処理間隔で繰り返し実行される。また、図７のフローチャートは、ショベル１００の稼働中において、安全制御部３０６の機能がＯＮ（有効）である場合に、所定の処理間隔で繰り返し実行されてもよい。 The flowchart in FIG. 7 is repeatedly executed at predetermined processing intervals, for example, during the operation of the shovel 100 from start to stop of the shovel 100. Further, the flowchart in FIG. 7 may be repeatedly executed at predetermined processing intervals when the function of the safety control unit 306 is ON (valid) while the excavator 100 is in operation.

図７に示すように、ステップＳ１０２にて、ジェスチャ認識部３０３は、撮像装置４０の出力（撮像画像）に基づき、ショベル１００の周辺の人の所定のジェスチャを認識する処理を行う。 As shown in FIG. 7, in step S102, the gesture recognition unit 303 performs a process of recognizing a predetermined gesture of a person around the excavator 100 based on the output (captured image) of the imaging device 40.

コントローラ３０は、ステップＳ１０２の処理が完了すると、ステップＳ１０４に進む。 When the process of step S102 is completed, the controller 30 proceeds to step S104.

ステップＳ１０４にて、認証部３０４は、ジェスチャ認識部３０３により認証のリクエストを表すジェスチャ（第１のジェスチャの一例）が認識されたか否かを判定する。 In step S104, the authentication unit 304 determines whether the gesture recognition unit 303 recognizes a gesture (an example of a first gesture) representing an authentication request.

認証のリクエストを表すジェスチャは、例えば、予め規定されており、コントローラ３０の補助記憶装置３０Ａ等に予め登録される。また、認証のリクエストを表すジェスチャには、ショベル１００に接近する動作が含まれてもよい。これにより、ショベル１００の周辺で作業中の作業者等が偶然に認証のリクエストを表すジェスチャに類似する動作を行っても、その動作が認証のリクエストを表すジェスチャとして認識される可能性を低くすることができる。例えば、ジェスチャ認識部３０３は、位置推定部３０２により推定される実在位置の履歴に基づき、対象の物体がショベル１００に接近する動作を行っているかどうかを判定することができる。 The gesture representing the authentication request is, for example, predefined and registered in the auxiliary storage device 30A of the controller 30, etc. in advance. Further, the gesture representing the authentication request may include an action of approaching the shovel 100. As a result, even if a worker or the like working near the excavator 100 accidentally performs an action similar to a gesture representing an authentication request, the possibility of that action being recognized as a gesture representing an authentication request is reduced. be able to. For example, the gesture recognition unit 303 can determine whether the target object is moving toward the shovel 100 based on the history of the actual position estimated by the position estimation unit 302.

認証部３０４は、ジェスチャ認識部３０３により認証のリクエストを表すジェスチャが認識された場合、ステップＳ１０６に進み、それ以外の場合、今回のフローチャートの処理を終了する。 If the gesture recognition unit 303 recognizes a gesture representing an authentication request, the authentication unit 304 proceeds to step S106, and otherwise ends the process of the current flowchart.

ステップＳ１０６にて、認証部３０４は、通信装置６０を通じて、ショベル１００の周辺の所定の端末装置に向けて、認証用のジェスチャ（第２のジェスチャの一例）の実行を要求するリクエスト信号をショベル１００の周辺に送信する。 In step S<b>106 , the authentication unit 304 sends a request signal to a predetermined terminal device around the excavator 100 to request execution of an authentication gesture (an example of a second gesture) via the communication device 60 . Send to the surrounding area.

所定の端末装置は、ショベル１００と所定の通信回線を通じて通信可能な端末装置である。所定の端末装置には、例えば、遠隔操作支援装置２００やショベル１００の作業現場の作業者、監督者、管理者等が所持する端末装置等が含まれる。例えば、コントローラ３０は、通信装置６０を用いて、ＷｉＦｉやブルートゥース等の近距離通信の通信規格に基づくペアリングを所定の端末と予め実施することで、所定の端末装置にリクエスト信号を送信することができる。 The predetermined terminal device is a terminal device that can communicate with excavator 100 through a predetermined communication line. The predetermined terminal device includes, for example, a terminal device owned by the remote operation support device 200, a worker at the work site of the excavator 100, a supervisor, a manager, and the like. For example, the controller 30 may transmit a request signal to a predetermined terminal device by performing pairing with a predetermined terminal in advance based on a communication standard for short-range communication such as WiFi or Bluetooth using the communication device 60. I can do it.

例えば、所定の端末装置は、リクエスト信号を受信すると、画面表示等の視覚的な方法や音声出力等の聴覚的な方法で認証用のジェスチャを促す通知を行う。これにより、例えば、遠隔操作のオペレータは、第１段階のジェスチャ（認証のリクエストを表すジェスチャ）がショベル１００側で認識されたことを把握し、通知に沿って、第２段階のジェスチャ（認証用のジェスチャ）を実行することができる。 For example, upon receiving the request signal, a predetermined terminal device issues a notification prompting the user to make an authentication gesture using a visual method such as screen display or an auditory method such as audio output. As a result, for example, the remote control operator understands that the first stage gesture (a gesture representing an authentication request) has been recognized by the excavator 100, and performs the second stage gesture (a gesture for authentication) in accordance with the notification. gestures).

コントローラ３０は、ステップＳ１０６の処理が完了すると、ステップＳ１０８に進む。 When the process of step S106 is completed, the controller 30 proceeds to step S108.

尚、ステップＳ１０６の処理は省略されてもよい。この場合、コントローラ３０は、上部旋回体３の側面等に設けられる出力装置５０（例えば、表示装置や照明装置）を通じて、認証のリクエストを表すジェスチャが認識済みであることと通知したり、認証用のジェスチャの実行を促したりしてもよい。 Note that the process in step S106 may be omitted. In this case, the controller 30 notifies you that the gesture representing the authentication request has been recognized through the output device 50 (for example, a display device or a lighting device) provided on the side surface of the upper revolving body 3, or notifies you that the gesture representing the authentication request has been recognized. You may also prompt the user to perform a gesture.

ステップＳ１０８にて、ジェスチャ認識部３０３は、撮像装置４０の出力（撮像画像）に基づき、ショベル１００の周辺の人の所定のジェスチャを認識する処理を行う。 In step S108, the gesture recognition unit 303 performs a process of recognizing a predetermined gesture of a person around the shovel 100 based on the output (captured image) of the imaging device 40.

コントローラ３０は、ステップＳ１０８の処理が完了すると、ステップＳ１１０に進む。 When the process of step S108 is completed, the controller 30 proceeds to step S110.

ステップＳ１１０にて、認証部３０４は、ジェスチャ認識部３０３により認証のリクエストを表すジェスチャと同じ人により行われる認証用のジェスチャが認識されたか否かを判定する。 In step S110, the authentication unit 304 determines whether the gesture recognition unit 303 recognizes an authentication gesture performed by the same person as the gesture representing the authentication request.

認証用のジェスチャは、例えば、ショベル１００の周辺の人が行っている動作（ジェスチャ）とは異なる任意のジェスチャである。また、認証用のジェスチャは、予め規定されており、コントローラ３０の補助記憶装置３０Ａ等に予め登録されていてもよい。 The gesture for authentication is, for example, any gesture that is different from the actions (gestures) performed by people around the shovel 100. Further, the authentication gesture may be predefined and registered in the auxiliary storage device 30A of the controller 30 or the like.

例えば、ジェスチャ認識部３０３は、物体検知部３０１の検知結果及び位置推定部３０２の推定結果の履歴と、認証用のジェスチャが認識された撮像画像上の位置等とに基づき、認識されたジェスチャが同じ人によって実施されたか否かを判定することができる。 For example, the gesture recognition unit 303 determines whether a recognized gesture is recognized based on the history of the detection results of the object detection unit 301 and the estimation results of the position estimation unit 302, and the position on the captured image where the authentication gesture was recognized. It is possible to determine whether or not the work was performed by the same person.

認証部３０４は、ジェスチャ認識部３０３により認証のリクエストを表すジェスチャと同じ人により行われる認証用のジェスチャが認識されない場合、ステップＳ１１２に進み、認識された場合、ステップＳ１１４に進む。 If the gesture recognition unit 303 does not recognize the gesture for authentication performed by the same person as the gesture representing the authentication request, the authentication unit 304 proceeds to step S112; if the gesture is recognized, the authentication unit 304 proceeds to step S114.

ステップＳ１１２にて、認証部３０４は、ジェスチャ認識部３０３により認証リクエストのジェスチャが認識された時点以降で設定される起算点からタイムアウトに相当する時間が経過したか否かを判定する。起算点は、例えば、ステップＳ１０４の処理の完了時であってもよいし、ステップＳ１０６の処理の完了時であってもよい。認証部３０４は、タイムアウトに相当する時間が経過していない場合、ステップＳ１０８に戻り、タイムアウトに相当する時間が経過している場合、今回のフローチャートの処理を終了する。 In step S112, the authentication unit 304 determines whether a time period corresponding to a timeout has elapsed from the starting point set after the gesture recognition unit 303 recognized the gesture of the authentication request. The starting point may be, for example, the time when the process in step S104 is completed, or the time when the process in step S106 is completed. If the time equivalent to the timeout has not elapsed, the authentication unit 304 returns to step S108, and if the time equivalent to the timeout has elapsed, the authentication unit 304 ends the processing of the current flowchart.

一方、ステップＳ１１４にて、認証部３０４は、ジェスチャ認識部３０３により認識された認証用のジェスチャを行った人の認証を完了し、認証済みの人の実在位置を表す位置情報を出力する。これにより、追跡部３０５は、認証済みの人の実在位置を追跡することができる。 On the other hand, in step S114, the authentication unit 304 completes authentication of the person who made the authentication gesture recognized by the gesture recognition unit 303, and outputs location information representing the actual location of the authenticated person. Thereby, the tracking unit 305 can track the actual location of the authenticated person.

コントローラ３０は、ステップＳ１１４の処理が完了すると、今回のフローチャートの処理を終了する。 When the process of step S114 is completed, the controller 30 ends the process of the current flowchart.

このように、コントローラ３０は、ショベル１００の周辺の特定の人によって実施される、２段階のジェスチャを認識することにより、その特定の人を認証することができる。 In this way, the controller 30 can authenticate a specific person in the vicinity of the excavator 100 by recognizing a two-step gesture performed by that person.

これにより、例えば、特定の人を画像で認識し認証する場合等よりも負荷の低い処理によって特定の人を認証することができる。また、例えば、１段階のジェスチャの認識のみで特定の人が認証される場合に比して、偶然のジェスチャによって人が認証され、ショベル１００の安全性が低下するような事態を抑制することができる。 As a result, it is possible to authenticate a specific person using a process with a lower load than when, for example, recognizing and authenticating a specific person using an image. In addition, for example, compared to a case where a specific person is authenticated by only one step of gesture recognition, it is possible to suppress a situation where a person is authenticated by an accidental gesture and the safety of the excavator 100 is reduced. can.

［ショベルのセキュリティシステムの概要］
次に、図８を参照して、ショベル１００のセキュリティシステムＳＹＳ２の概要について説明する。 [Overview of excavator security system]
Next, with reference to FIG. 8, an overview of the security system SYS2 of the excavator 100 will be described.

以下、ショベル１００について、上述の遠隔操作システムＳＹＳ１とは異なる部分を中心に説明し、遠隔操作システムＳＹＳ１の場合と同じ或いは対応する内容については説明を省略する場合がある。 Hereinafter, the excavator 100 will be described with a focus on parts that are different from the above-mentioned remote control system SYS1, and descriptions of the same or corresponding contents as those of the remote control system SYS1 may be omitted.

図８は、ショベル１００のセキュリティシステムＳＹＳ２の一例を示す図である。 FIG. 8 is a diagram showing an example of the security system SYS2 of the excavator 100.

セキュリティシステムＳＹＳ２は、ショベル１００と、端末装置４００とを含む。 Security system SYS2 includes a shovel 100 and a terminal device 400.

セキュリティシステムＳＹＳ２は、ショベル１００のセキュリティ性を確保する。ショベル１００と相互に通信可能な端末装置４００を所持する人を認証し、人が認証された状態でのショベル１００へのアクセスやショベル１００に関する操作を許可する。ショベル１００へのアクセスには、例えば、ショベル１００のキャビン１０へのアクセスや上部旋回体３の内部へのアクセスを含む。キャビン１０へのアクセスには、例えば、キャビン１０のドアの解錠や開扉等が含まれる。上部旋回体３の内部へのアクセスには、エンジン室、ラジエータ室、ポンプ室等にアクセスするために上部旋回体３の側面や上面に設けられるドアの解錠や開扉が含まれる。また、ショベル１００へのアクセスには、例えば、端末装置４００等の所定の端末を利用した、ショベル１００のコントローラ３０等への電気的なアクセスを含む。ショベル１００に関する操作には、例えば、原動機（エンジン１１）の始動操作等のショベル１００の起動のための操作、ショベル１００の被駆動要素（アクチュエータ）の操作（操作装置２６の操作）等が含まれる。また、セキュリティシステムＳＹＳ２は、認証済みの人とそれ以外の人を区別して、認証済みの人によるショベル１００へのアクセスやショベル１００の操作を許可してもよい。一方、セキュリティシステムＳＹＳ２は、人が認証されていない状態でのショベル１００へのアクセスやショベル１００への操作を抑制するように動作する。また、セキュリティシステムＳＹＳ２は、認証済みでない人によるショベル１００へのアクセスやショベル１００への操作を抑制するように動作してもよい。 Security system SYS2 ensures the security of excavator 100. A person who has a terminal device 400 that can communicate with the shovel 100 is authenticated, and the person is allowed to access the shovel 100 and operate the shovel 100 in the authenticated state. Accessing the shovel 100 includes, for example, accessing the cabin 10 of the shovel 100 and accessing the inside of the upper revolving structure 3. Accessing the cabin 10 includes, for example, unlocking and opening the door of the cabin 10. Accessing the inside of the revolving upper structure 3 includes unlocking and opening doors provided on the side and top surfaces of the revolving upper structure 3 in order to access the engine room, radiator room, pump room, and the like. Further, accessing the excavator 100 includes, for example, electrical access to the controller 30 of the excavator 100 using a predetermined terminal such as the terminal device 400. Operations related to the excavator 100 include, for example, operations for starting the excavator 100 such as starting the prime mover (engine 11), operations of driven elements (actuators) of the excavator 100 (operating the operating device 26), etc. . Furthermore, the security system SYS2 may distinguish between authenticated people and other people, and allow authenticated people to access and operate the shovel 100. On the other hand, the security system SYS2 operates to prevent unauthorized persons from accessing or operating the shovel 100. Furthermore, the security system SYS2 may operate to prevent unauthorized persons from accessing or operating the shovel 100.

ショベル１００は、セキュリティシステムＳＹＳ２によるセキュリティ性の確保の対象の作業機械である。 The excavator 100 is a work machine whose security is to be ensured by the security system SYS2.

ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（即ち、左右のクローラ一対のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させる。 The excavator 100 moves the lower traveling body 1 (that is, the pair of left and right crawlers 1C), the upper revolving body 3, the boom 4, the arm 5, the bucket 6, etc. to be driven in accordance with the operation of the operator riding in the cabin 10. Make the element work.

また、上述の遠隔操作システムＳＹＳ１の場合と同様、ショベル１００は、キャビン１０に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル１００の外部から遠隔操作（リモート操作）が可能に構成されてもよい。 Further, as in the case of the remote control system SYS1 described above, the shovel 100 is configured to be operable by an operator boarding the cabin 10, or in addition to that, the shovel 100 is configured to be operated remotely from the outside of the shovel 100 (remote control). ) may be configured to be possible.

遠隔操作には、例えば、上述の遠隔操作システムＳＹＳ１の場合のように、遠隔操作支援装置２００で行われるショベル１００のアクチュエータに関する操作入力によって、ショベル１００が操作される態様が含まれる（図１参照）。但し、上述の遠隔操作システムＳＹＳ１の場合と異なり、遠隔操作支援装置２００は、ショベル１００とはある程度離れた場所、例えば、ショベル１００の作業を作業現場の外部から管理する管理センタ等に設けられてもよい。 The remote control includes, for example, a mode in which the shovel 100 is operated by an operation input regarding the actuator of the shovel 100 performed by the remote control support device 200, as in the case of the above-mentioned remote control system SYS1 (see FIG. 1). ). However, unlike the case of the remote control system SYS1 described above, the remote control support device 200 is installed at a location a certain distance away from the shovel 100, for example, in a management center that manages the work of the shovel 100 from outside the work site. Good too.

具体的には、ショベル１００は、例えば、通信装置６０を通じて、撮像装置４０が出力する撮像画像に基づくショベル１００の前方を含む周辺の様子を表す画像（周辺画像）を遠隔操作支援装置２００に送信してよい。そして、遠隔操作支援装置２００は、ショベル１００から受信される画像（周辺画像）を表示装置２０８に表示させてよい。また、ショベル１００のキャビン１０の内部の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置２００の表示装置２０８にも表示されてよい。これにより、遠隔操作支援装置２００を利用するオペレータは、例えば、表示装置２０８に表示されるショベル１００の周辺の様子を表す画像や情報画面等の表示内容を確認することができる。そのため、遠隔操作支援装置２００を利用するオペレータは、ショベル１００の作業を直接的に視認できない場所からショベル１００を遠隔操作することができる。 Specifically, the excavator 100 transmits an image (surrounding image) representing the surroundings including the front of the excavator 100 based on the captured image output by the imaging device 40 to the remote operation support device 200, for example, through the communication device 60. You may do so. Then, the remote operation support device 200 may display the image (surrounding image) received from the excavator 100 on the display device 208. Further, various information images (information screens) displayed on the output device 50 (display device) inside the cabin 10 of the excavator 100 may be similarly displayed on the display device 208 of the remote operation support device 200. Thereby, the operator using the remote operation support device 200 can check the displayed content, such as an image or an information screen showing the surroundings of the excavator 100 displayed on the display device 208, for example. Therefore, an operator using the remote control support device 200 can remotely control the shovel 100 from a location where the operation of the shovel 100 cannot be directly observed.

また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素の少なくとも一部を自動で動作させる機能（「自動運転機能」或いは「ＭＣ（Machine Control：マシンコントロール）機能」）を実現することができる。 Furthermore, the excavator 100 may automatically operate the actuator regardless of the details of the operator's operation. As a result, the excavator 100 has a function to automatically operate at least some of the driven elements such as the lower traveling body 1, the upper revolving body 3, the boom 4, the arm 5, and the bucket 6 (“automatic operation function” or “MC (Machine Control) function).

自動運転機能には、例えば、オペレータの操作装置２６に対する操作や遠隔操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能（「半自動運機能」或いは「操作支援型ＭＣ機能」）が含まれる。また、自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作がない前提で、複数の被駆動要素（アクチュエータ）の少なくとも一部を自動で動作させる機能（「完全自動運転機能」或いは「全自動型ＭＣ機能」）が含まれてよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（アクチュエータ）の動作内容が決定される態様（「自律運転機能」）が含まれてもよい。 The automatic operation function includes, for example, a function that automatically operates a driven element (actuator) other than the driven element (actuator) to be operated in response to an operator's operation on the operating device 26 or remote control (a "semi-automatic operation function"). ” or “operation support type MC function”). Furthermore, the automatic operation function includes a function that automatically operates at least a part of a plurality of driven elements (actuators) on the premise that there is no operator operation on the operating device 26 or remote control (a "fully automatic operation function" or a "full automatic operation function"). Fully automatic MC function) may be included. In the excavator 100, when the fully automatic driving function is enabled, the interior of the cabin 10 may be unmanned. Further, the semi-automatic driving function, fully automatic driving function, etc. may include a mode in which the operation details of a driven element (actuator) that is a target of automatic driving are automatically determined according to predefined rules. In addition, for semi-automatic driving functions and fully automatic driving functions, the excavator 100 autonomously makes various judgments, and based on the judgment results, autonomously determines the operation of the driven element (actuator) that is the target of automatic driving. ("autonomous driving function") may be included.

また、ショベル１００が自動運転機能を有する場合、ショベル１００の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置２００と同様の機能を有する遠隔監視支援装置が設けられてもよい。これにより、遠隔監視支援装置をユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル１００の自動運転機能による作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル１００の自動運転機能に介入し緊急停止させることができる。 Further, when the excavator 100 has an automatic driving function, the work of the excavator 100 may be remotely monitored. In this case, a remote monitoring support device having the same functions as the remote operation support device 200 may be provided. Thereby, the supervisor who is the user of the remote monitoring support device can monitor the status of the work performed by the automatic driving function of the excavator 100 while checking the surrounding image displayed on the display device of the remote monitoring support device. For example, if the supervisor determines that it is necessary from a safety perspective, the supervisor may intervene in the automatic operation function of the excavator 100 and bring it to an emergency stop by making a predetermined input using the input device of the remote monitoring support device. be able to.

端末装置４００は、ショベル１００のユーザが所持する可搬型の端末装置、即ち、携帯端末である。 The terminal device 400 is a portable terminal device owned by the user of the excavator 100, that is, a mobile terminal.

端末装置４００は、上述の認証を受けるための専用の携帯端末であってもよいし、例えば、スマートフォンやタブレット端末等の汎用の携帯端末であってもよい。後者の場合、ショベル１００と連携して動作可能な専用のアプリケーションが予めインストールされていてもよい。 The terminal device 400 may be a dedicated mobile terminal for receiving the above-mentioned authentication, or may be a general-purpose mobile terminal such as a smartphone or a tablet terminal. In the latter case, a dedicated application that can operate in conjunction with excavator 100 may be installed in advance.

［セキュリティシステムのハードウェア構成］
次に、図８に加えて、図９を参照して、セキュリティシステムＳＹＳ２のハードウェア構成について説明する。 [Security system hardware configuration]
Next, the hardware configuration of the security system SYS2 will be described with reference to FIG. 9 in addition to FIG. 8.

尚、端末装置４００のハードウェア構成は、遠隔操作支援装置２００（図５）と同様であるため、図示及び説明を省略する。 Note that the hardware configuration of the terminal device 400 is the same as that of the remote operation support device 200 (FIG. 5), so illustration and description thereof will be omitted.

図９は、ショベル１００のハードウェア構成の他の例を示すブロック図である。 FIG. 9 is a block diagram showing another example of the hardware configuration of shovel 100.

図９に示すように、ショベル１００の制御系は、コントローラ３０を含む。また、ショベル１００の制御系は、操作圧センサ２９と、撮像装置４０と、撮像装置７０とを含む。 As shown in FIG. 9, the control system of excavator 100 includes a controller 30. Further, the control system of the excavator 100 includes an operating pressure sensor 29, an imaging device 40, and an imaging device 70.

撮像装置７０は、キャビン１０の内部に設けられ、キャビン１０の内部の様子を表す画像を取得する。 The imaging device 70 is provided inside the cabin 10 and acquires an image representing the inside of the cabin 10 .

例えば、撮像装置７０は、単眼カメラである。また、撮像装置７０は、３Ｄカメラであってもよい。 For example, the imaging device 70 is a monocular camera. Further, the imaging device 70 may be a 3D camera.

尚、撮像装置４０及び撮像装置７０の少なくとも一方が省略されてもよい。 Note that at least one of the imaging device 40 and the imaging device 70 may be omitted.

［ショベルのセキュリティ機能に関する機能構成］
次に、図１０を参照して、ショベル１００のセキュリティ機能に関する機能構成について説明する。 [Functional configuration related to excavator security functions]
Next, with reference to FIG. 10, a functional configuration related to the security function of excavator 100 will be described.

図１０は、ショベル１００のセキュリティ機能に関する機能構成の一例を示すブロック図である。 FIG. 10 is a block diagram showing an example of a functional configuration related to the security function of excavator 100.

図１０に示すように、コントローラ３０は、ジェスチャ認識部３０３と、認証部３０４と、セキュリティ制御部３０７とを含む。 As shown in FIG. 10, the controller 30 includes a gesture recognition section 303, an authentication section 304, and a security control section 307.

ジェスチャ認識部３０３は、撮像装置４０の出力データに基づき、ショベル１００の周辺の人が行っている所定のジェスチャを認識する。また、ジェスチャ認識部３０３は、撮像装置７０（第１のセンサの一例）に基づき、ショベル１００の内部の人が行っている所定のジェスチャを認識してもよい。 The gesture recognition unit 303 recognizes predetermined gestures performed by people around the excavator 100 based on the output data of the imaging device 40 . Furthermore, the gesture recognition unit 303 may recognize a predetermined gesture performed by a person inside the excavator 100 based on the imaging device 70 (an example of a first sensor).

認証部３０４は、周辺監視機能に利用される場合と同様、ショベル１００の周辺の特定の人を認証する。また、認証部３０４は、ショベル１００のキャビン１０の内部の人を認証してもよい。特定の人は、ショベル１００の正規のユーザである。ショベル１００の正規のユーザは、例えば、ショベル１００のオーナ、ショベル１００のオペレータ、ショベル１００のメンテナンスを行うサービスマン等である。 The authentication unit 304 authenticates a specific person around the excavator 100, as in the case where it is used for the surroundings monitoring function. Further, the authentication unit 304 may authenticate the person inside the cabin 10 of the excavator 100. The specific person is a regular user of excavator 100. A regular user of the shovel 100 is, for example, an owner of the shovel 100, an operator of the shovel 100, a service person who maintains the shovel 100, and the like.

具体的には、認証部３０４は、上述の如く、ジェスチャ認識部３０３により所定のジェスチャが認識される場合にその所定のジェスチャを行う人の認証を行う。より具体的には、認証部３０４は、ジェスチャ認識部３０３と連動し、上述の図７と同様の認証処理を実行することにより、ショベル１００の周辺の特定の人を認証してよい。この場合、ステップＳ１０６の処理で既出の「所定の端末装置」には、端末装置４００が含まれる。 Specifically, as described above, when a predetermined gesture is recognized by the gesture recognition unit 303, the authentication unit 304 authenticates the person who performs the predetermined gesture. More specifically, the authentication unit 304 may authenticate a specific person around the excavator 100 by performing authentication processing similar to that in FIG. 7 described above in conjunction with the gesture recognition unit 303. In this case, the previously mentioned "predetermined terminal device" in the process of step S106 includes the terminal device 400.

また、認証部３０４は、撮像装置７０の出力データ（撮像画像）に基づき、ショベル１００のキャビン１０の内部の人が行っている所定のジェスチャを認識することにより、その所定のジェスチャを行う人の認証を行う。より具体的には、認証部３０４は、ジェスチャ認識部３０３と連動し、上述の図７と同様の認証処理を実行することにより、ショベル１００の内部の特定の人を認証してよい。 Further, the authentication unit 304 recognizes a predetermined gesture performed by a person inside the cabin 10 of the excavator 100 based on the output data (captured image) of the imaging device 70, thereby recognizing the person performing the predetermined gesture. Perform authentication. More specifically, the authentication unit 304 may authenticate a specific person inside the excavator 100 by performing authentication processing similar to that in FIG. 7 described above in conjunction with the gesture recognition unit 303.

また、認証部３０４は、所定のジェスチャによる人の認証に加えて、他の方法による認証を行ってもよい。この場合、所定のジェスチャによる認証を便宜的に「第１認証」と称し、他の方法による認証を「第２認証」と称する場合がある。 Further, in addition to authenticating a person using a predetermined gesture, the authentication unit 304 may perform authentication using other methods. In this case, authentication using a predetermined gesture may be referred to as "first authentication" for convenience, and authentication using another method may be referred to as "second authentication."

セキュリティ制御部３０７（第２の制御部の一例）は、ショベル１００のセキュリティ性の確保に関する制御を行う。具体的には、セキュリティ制御部３０７は、認証部３０４による認証が済んでいない状態で、ショベル１００へのアクセスやショベル１００に関する操作が行われると、セキュリティ機能を作動させる。 The security control unit 307 (an example of a second control unit) performs control related to ensuring the security of the excavator 100. Specifically, the security control unit 307 activates the security function when access to the excavator 100 or operation regarding the excavator 100 is performed before authentication by the authentication unit 304 has been completed.

セキュリティ機能には、例えば、出力装置５０を通じて、ショベル１００の周辺にセキュリティ性の低下、つまり、ショベル１００の盗難等の可能性を報知する報知機能が含まれる。また、セキュリティ機能には、通信装置６０を通じて、ショベル１００の周辺にセキュリティ性の低下、つまり、ショベル１００の盗難等の可能性を所定の外部装置に報知する報知機能が含まれてもよい。所定の外部装置は、例えば、ショベル１００のユーザの所持する端末装置やショベル１００を外部から管理する管理センタのサーバ装置等である。 The security function includes, for example, a notification function that notifies the vicinity of the shovel 100 of a decrease in security, that is, the possibility of the shovel 100 being stolen, etc., through the output device 50. Further, the security function may include a notification function that notifies a predetermined external device of a decrease in security around the shovel 100, that is, the possibility of the shovel 100 being stolen, etc., through the communication device 60. The predetermined external device is, for example, a terminal device owned by a user of the shovel 100 or a server device of a management center that manages the shovel 100 from the outside.

また、例えば、セキュリティ機能には、各種の操作の有無に関わらず、ショベル１００の起動操作を無効にし、ショベル１００の起動不可の状態にする機能（以下、「起動無効機能」）が含まれる。 Furthermore, for example, the security function includes a function that disables the start-up operation of the shovel 100 and sets the shovel 100 in a state where the start-up is disabled regardless of the presence or absence of various operations (hereinafter referred to as "start-up disabling function").

また、例えば、セキュリティ機能には、各種の操作の有無に関わらず、パイロットライン２５の最上流の電磁切換弁２５Ｖを強制的に遮断状態に維持し、ショベル１００を動作停止状態に維持する動作停止機能が含まれる。 For example, the security function includes an operation stop that forcibly maintains the most upstream electromagnetic switching valve 25V of the pilot line 25 in a cutoff state and maintains the excavator 100 in a non-operational state regardless of the presence or absence of various operations. Features included.

また、セキュリティ制御部３０７は、認証部３０４により認証が済んだ状態で、セキュリティ機能の作動を禁止し、ショベル１００へのアクセスやショベル１００に関する操作を許可する。 Further, the security control unit 307 prohibits the operation of the security function and permits access to the excavator 100 and operations related to the excavator 100 after authentication by the authentication unit 304 has been completed.

また、認証部３０４により第１認証及び第２認証が行われる場合、セキュリティ制御部３０７は、認証部３０４により第１認証が済んだ状態で、セキュリティ機能の作動を緩和してもよい。そして、認証部３０４は、第２の認証が更に済んだ状態で、セキュリティ機能の作動を禁止し、ショベル１００へのアクセスやショベル１００に関する操作を全て許可する。例えば、セキュリティ制御部３０７は、認証部３０４により第１認証が済んだ状態で、報知機能を禁止する一方、起動無効機能や動作停止機能を作動させる態様で、セキュリティ機能の作動を緩和する。 Further, when the authentication unit 304 performs the first authentication and the second authentication, the security control unit 307 may relax the operation of the security function while the authentication unit 304 has completed the first authentication. Then, after the second authentication is further completed, the authentication unit 304 prohibits the operation of the security function and permits access to the excavator 100 and all operations related to the excavator 100. For example, after the first authentication is completed by the authentication unit 304, the security control unit 307 inhibits the notification function, while activating the activation disable function or the operation stop function, thereby relaxing the operation of the security function.

また、認証部３０４により第１認証及び第２認証が行われる場合、セキュリティ制御部３０７は、認証部３０４により第１認証が済んだ状態で、セキュリティ機能の作動条件を緩和してもよい。そして、認証部３０４は、第２の認証が更に済んだ状態で、例えば、セキュリティ制御部３０７は、セキュリティ機能の作動を禁止し、ショベル１００へのアクセスやショベル１００に関する操作を全て許可する。例えば、セキュリティ制御部３０７は、認証部３０４により第１認証が済んだ状態で、ショベル１００のキャビン１０等へのアクセスを許可する一方、ショベル１００に関する操作を禁止する態様でセキュリティ機能の作動条件を緩和する。 Furthermore, when the authentication unit 304 performs the first authentication and the second authentication, the security control unit 307 may relax the operating conditions of the security function after the authentication unit 304 has completed the first authentication. Then, in a state where the authentication unit 304 has further completed the second authentication, the security control unit 307 prohibits the operation of the security function and permits access to the excavator 100 and all operations related to the excavator 100, for example. For example, the security control unit 307 allows the excavator 100 to access the cabin 10 etc. after the first authentication is completed by the authentication unit 304, while setting the operating conditions of the security function in a manner that prohibits operations related to the excavator 100. ease.

このように、遠隔操作システムＳＹＳ１の場合と同様、コントローラ３０は、ショベル１００の周辺の特定の人によって実施される、２段階のジェスチャを認識することにより、その特定の人を認証することができる。 In this way, as in the case of the remote control system SYS1, the controller 30 can authenticate a specific person by recognizing a two-step gesture performed by the specific person around the excavator 100. .

これにより、例えば、特定の人を画像で認識し認証する場合等よりも負荷の低い処理によって特定の人を認証することができる。また、例えば、１段階のジェスチャの認識のみで特定の人が認証される場合に比して、偶然のジェスチャによって人が認証され、ショベル１００のセキュリティ性が低下するような事態を抑制することができる。 As a result, it is possible to authenticate a specific person using a process with a lower load than when, for example, recognizing and authenticating a specific person using an image. Further, for example, compared to a case where a specific person is authenticated by only one step of gesture recognition, it is possible to suppress a situation where a person is authenticated by an accidental gesture and the security of the excavator 100 is reduced. can.

［作用］
次に、本実施形態に係る作業機械（ショベル１００）の作用について説明する。 [Effect]
Next, the operation of the working machine (excavator 100) according to this embodiment will be explained.

本実施形態では、作業機械（例えば、ショベル１００）は、第１のセンサ（例えば、撮像装置４０や距離センサや撮像装置７０）と、認識部（例えば、ジェスチャ認識部３０３）と、認証部（例えば、認証部３０４）とを備える。具体的には、第１のセンサは、作業機械の周辺、或いは、キャビン（例えば、キャビン１０）の内部の物体に関する情報を取得する。認識部は、第１のセンサの出力に基づき、作業機械の周辺、或いは、キャビンの内部の人のジェスチャを認識する。そして、認証部は、認識部により作業機械の周辺、或いは、キャビン１０の内部の人の第１のジェスチャが認識され、且つ、その後、認識部により同じ人の第２のジェスチャが認識される場合、その人を認証する。 In the present embodiment, the working machine (for example, the excavator 100) includes a first sensor (for example, the imaging device 40, the distance sensor, or the imaging device 70), a recognition section (for example, the gesture recognition section 303), and an authentication section (for example, the gesture recognition section 303). For example, an authentication unit 304) is provided. Specifically, the first sensor acquires information regarding objects around the work machine or inside the cabin (eg, cabin 10). The recognition unit recognizes gestures of people around the work machine or inside the cabin based on the output of the first sensor. Then, if the recognition unit recognizes the first gesture of a person around the work machine or inside the cabin 10, and then the recognition unit recognizes a second gesture of the same person, , authenticate the person.

例えば、所定のジェスチャによって作業機械の操作が可能な場合、特定の操作者とは異なる人の所定のジェスチャが作業機械で認識され、その人の意思とは関係なく、機器が動作してしまう可能性がある。また、例えば、偶然、所定のジェスチャで操作可能であることを知り得た悪意の第三者により、ジェスチャによる操作機能を悪用される可能性もある。 For example, if a work machine can be operated with a predetermined gesture, the machine may recognize the predetermined gesture of a person other than the specific operator, causing the equipment to operate regardless of the person's intention. There is sex. Further, for example, there is a possibility that the gesture-based operation function may be misused by a malicious third party who happens to know that the device can be operated using a predetermined gesture.

これに対して、本実施形態では、作業機械（例えば、コントローラ３０）は、２段階でジェスチャによる人の認証を行うことができる。そのため、例えば、偶然に、第１のジェスチャの認識がされてしまっても、第２のジェスチャが更に必要なことから、第１のジェスチャを行った人の意思とは関係なく動作してしまうような事態を抑制できる。また、例えば、第１のジェスチャ及び第２のジェスチャの何れか一方の情報が情漏洩したとしても、他方のジェスチャが必要なことから、ジェスチャによる操作機能を悪用されるような事態を抑制できる。そのため、作業機械の安全性やセキュリティ性をより適切に確保することができる。 In contrast, in this embodiment, the work machine (for example, the controller 30) can perform human authentication using gestures in two steps. Therefore, for example, even if the first gesture is recognized by chance, the second gesture may be necessary and may be performed regardless of the intention of the person who made the first gesture. situation can be suppressed. Further, for example, even if information on either the first gesture or the second gesture is leaked, the other gesture is necessary, so it is possible to prevent the operation function using the gesture from being misused. Therefore, the safety and security of the working machine can be more appropriately ensured.

また、本実施形態では、第２のジェスチャは、作業機械の周辺、或いは、キャビン１０の内部に存在する他の人が行っている動作とは異なるジェスチャであってもよい。 Further, in the present embodiment, the second gesture may be a gesture different from an action performed by another person around the work machine or inside the cabin 10.

これにより、複数のユーザが同時に認証されてしまうような事態を抑制することができる。また、例えば、認証を受けたい作業機械のユーザは、予め規定される第１のジェスチャのみを覚えておけばよいことから、ユーザの利便性を向上させることができる。 This can prevent a situation where multiple users are authenticated at the same time. Further, for example, a user of a work machine who wants to be authenticated only needs to memorize a predefined first gesture, which can improve convenience for the user.

また、本実施形態では、第１のジェスチャには、作業機械の周辺の人が作業機械に接近する動作が含まれてもよい。 Further, in the present embodiment, the first gesture may include an action of a person around the working machine approaching the working machine.

これにより、例えば、作業機械の周辺で作業を行っている多数の作業者が存在するような状況であっても、認証を受ける意思のある人の第１のジェスチャを確実に認識することができる。 This makes it possible to reliably recognize the first gesture of a person who intends to undergo authentication, for example, even in a situation where there are many workers working near a work machine. .

また、本実施形態では、作業機械は、第２のセンサ（例えば、撮像装置４０や距離センサ）と、検知部（例えば、物体検知部３０１）と、第１の制御部（例えば、安全制御部３０６）とを備えてもよい。具体的には、第２のセンサは、作業機械の周辺の物体に関する情報を取得してよい。第２のセンサは、第１のセンサが作業機械の周辺の物体に関する情報を取得する場合、第１のセンサと同じであってもよいし、異なっていてもよい。また、検知部は、第２のセンサの出力に基づき、作業機械の周辺の人を検知してよい。また、第１の制御部は、検知部により作業機械の周辺の所定範囲内で人が検知される場合、所定の安全機能を作動させてよい。そして、第１の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動を禁止してよい。また、第１の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動を緩和してもよい。また、第１の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動条件を緩和してもよい。 Further, in the present embodiment, the working machine includes a second sensor (for example, the imaging device 40 or the distance sensor), a detection section (for example, the object detection section 301), and a first control section (for example, the safety control section). 306). Specifically, the second sensor may acquire information regarding objects around the work machine. The second sensor may be the same as or different from the first sensor when the first sensor acquires information about objects around the work machine. Further, the detection unit may detect people around the work machine based on the output of the second sensor. Further, the first control section may activate a predetermined safety function when the detection section detects a person within a predetermined range around the working machine. The first control unit may prohibit the operation of a predetermined safety function when a person authenticated by the authentication unit is detected by the detection unit. Further, the first control unit may relax the operation of a predetermined safety function when a person who has been authenticated by the authentication unit is detected by the detection unit. Further, the first control unit may relax the operating conditions of the predetermined safety function when a person authenticated by the authentication unit is detected by the detection unit.

これにより、例えば、作業機械の周辺の遠隔操作のオペレータや監督者等は、ジェスチャによる認証を受けることで、作業機械の安全機能の作動による作業効率の低下を抑制しつつ、作業機械の近くで作業状況等を確認することができる。そのため、作業機械の周辺の遠隔操作のオペレータや監督者等の利便性を向上させることができる。 As a result, for example, operators and supervisors of remote control near the work machine can receive authentication using gestures, thereby preventing a decline in work efficiency due to the activation of the work machine's safety function. You can check the work status, etc. Therefore, it is possible to improve the convenience for operators, supervisors, etc. of remote control around the work machine.

また、本実施形態では、所定の安全機能は、作業機械の所定範囲内で人が検知されたことを報知する報知機能を含んでもよい。そして、第１の制御部は、認証部により認証された人が検知部により検知された場合の報知機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行ってもよい。 Further, in this embodiment, the predetermined safety function may include a notification function that notifies that a person has been detected within a predetermined range of the work machine. The first control unit may prohibit some of the notification functions, relax the operation, or relax the operating conditions when a person authenticated by the authentication unit is detected by the detection unit. good.

これにより、作業機械の周辺の遠隔操作のオペレータや監督者等の利便性と、作業機械の安全性との両立をより適切に図ることができる。 Thereby, it is possible to more appropriately achieve both convenience for operators, supervisors, etc. who remotely control the vicinity of the work machine, and safety of the work machine.

また、本実施形態では、報知機能は、作業機械のオペレータ及び作業機械の周辺の少なくとも一方への第１の報知機能、及び検知部により検知された人への第２の報知機能を含んでもよい。そして、第１の制御部は、認証部により認証された人が検知部により検知された場合の第１の報知機能及び第２の報知機能のうちの第２の報知機能のみの禁止、作動の緩和、又は作動条件の緩和を行ってもよい。 Further, in the present embodiment, the notification function may include a first notification function to at least one of the operator of the work machine and the vicinity of the work machine, and a second notification function to a person detected by the detection unit. . The first control unit prohibits or deactivates only the second notification function of the first notification function and the second notification function when a person authenticated by the authentication unit is detected by the detection unit. Relaxation or relaxation of operating conditions may be performed.

これにより、第２の報知機能の禁止等によって、作業機械の周辺の遠隔操作のオペレータや監督者等の認証を受けた人の利便性を向上させつつ、第１の報知機能の継続によって、作業機械の安全性の確保をより適切に図ることができる。 As a result, by prohibiting the second notification function, etc., it is possible to improve the convenience of authorized persons such as remote control operators and supervisors in the vicinity of the work machine, while by continuing the first notification function, it is possible to Machine safety can be more appropriately ensured.

また、本実施形態では、所定の安全機能は、作業機械の動作を制限する動作制限機能を含んでもよい。そして、第１の制御部は、認証部により認証された人が検知部により検知された場合の動作制限機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行ってもよい。 Further, in this embodiment, the predetermined safety function may include an operation restriction function that restricts the operation of the work machine. The first control unit prohibits some of the operation restriction functions, relaxes the operation, or relaxes the operating conditions when a person authenticated by the authentication unit is detected by the detection unit. Good too.

これにより、作業機械の作業効率と、作業機械の安全性との両立をより適切に図ることができる。 Thereby, it is possible to more appropriately achieve both the work efficiency of the working machine and the safety of the working machine.

また、本実施形態では、作業機械は、下部走行体（例えば、下部走行体１）と、下部走行体に旋回自在に搭載される上部旋回体（例えば、上部旋回体３）と、上部旋回体に取り付けられるアタッチメント（例えば、アタッチメントＡＴ）と、を備えてもよい。また、動作制限機能は、上部旋回体の動作を制限する第１の動作制限機能と、アタッチメントの動作を制限する第２の動作制限機能とを含んでもよい。そして、第１の制御部は、認証部により認証された人が検知部により検知された場合の第１の動作制限機能及び第２の動作制限機能のうちの第２の動作制限機能のみの禁止、作動の緩和、又は作動条件の緩和を行ってよい。 Furthermore, in the present embodiment, the working machine includes an undercarriage (e.g., undercarriage 1), an upper revolving structure (e.g., upper revolving structure 3) rotatably mounted on the undercarriage, and an upper revolving structure. It may also include an attachment (for example, attachment AT) that is attached to. Further, the movement restriction function may include a first movement restriction function that restricts the movement of the upper revolving structure, and a second movement restriction function that restricts the movement of the attachment. The first control unit prohibits only the second operation restriction function of the first operation restriction function and the second operation restriction function when a person authenticated by the authentication unit is detected by the detection unit. , the operation may be relaxed, or the operating conditions may be relaxed.

これにより、第２の動作制限機能の禁止等によって、作業機械の作業を継続させ、作業機械の作業効率の低下を抑制しつつ、第１の動作制限機能の継続によって、作業機械の安全性の確保をより適切に図ることができる。 As a result, by prohibiting the second operation restriction function, etc., the work of the work machine is allowed to continue, suppressing a decrease in the work efficiency of the work machine, and by continuing the first movement restriction function, the safety of the work machine is improved. This allows for more appropriate security.

また、本実施形態では、作業機械は、通信装置（例えば、通信装置６０）を備えてもよい。具体的には、通信装置は、作業機械のユーザが所持する端末装置（例えば、遠隔操作支援装置２００や端末装置４００）と通信可能に構成されてよい。そして、認識部は、第１のジェスチャが認識された場合、通信装置を通じて、第２のジェスチャを要求する信号を端末装置に送信してもよい。 Further, in this embodiment, the work machine may include a communication device (for example, the communication device 60). Specifically, the communication device may be configured to be able to communicate with a terminal device (for example, remote operation support device 200 or terminal device 400) owned by a user of the work machine. Then, when the first gesture is recognized, the recognition unit may transmit a signal requesting a second gesture to the terminal device through the communication device.

これにより、作業機械のユーザは、第２のジェスチャの実行タイミングをより適切に把握することができる。 Thereby, the user of the work machine can more appropriately grasp the timing for performing the second gesture.

また、本実施形態では、作業機械は、端末装置（例えば、遠隔操作支援装置２００）からの信号に応じて、その動作がリモート操作されてもよい。 Further, in this embodiment, the operation of the working machine may be remotely controlled in response to a signal from a terminal device (for example, the remote operation support device 200).

これにより、作業機械の周辺において、端末装置を用いて作業機械を遠隔操作するオペレータは、作業機械の安全機能の作動による作業効率の低下を抑制しつつ、作業機械に接近することができる。そのため、作業機械の作業状況や作業機械の状況等をより適切に確認することができる。よって、遠隔操作のオペレータは、より適切に作業機械の遠隔操作をより適切に行うことができる。 Thereby, an operator who remotely controls the work machine using a terminal device in the vicinity of the work machine can approach the work machine while suppressing a decrease in work efficiency due to activation of the safety function of the work machine. Therefore, the working status of the working machine, the status of the working machine, etc. can be confirmed more appropriately. Therefore, the remote control operator can more appropriately remotely control the work machine.

また、本実施形態では、作業機械は、第２の制御部（例えば、セキュリティ制御部３０７）を備えてもよい。具体的には、第２の制御部は、作業機械へのアクセス或いは操作に対して所定のセキュリティ機能を作動させてよい。そして、第２の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動を禁止してよい。また、第２の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動を緩和してもよい。また、第２の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動条件を緩和してもよい。 Further, in this embodiment, the work machine may include a second control unit (for example, security control unit 307). Specifically, the second control unit may activate a predetermined security function for accessing or operating the work machine. The second control unit may prohibit activation of a predetermined security function with respect to access to or operation of the work machine by a person authenticated by the authentication unit. Further, the second control unit may relax the operation of a predetermined security function with respect to access to or operation of the working machine by a person who is authenticated by the authentication unit. Further, the second control unit may relax the operating conditions of a predetermined security function with respect to access to or operation of the work machine by a person authenticated by the authentication unit.

これにより、例えば、作業機械のユーザは、ジェスチャによる認証によって、セキュリティ機能を解除したり、緩和したりすることができる。そのため、作業機械のセキュリティ性を確保しつつ、作業機械のユーザの利便性を向上させることができる。 Thereby, for example, the user of the work machine can cancel or relax the security function through gesture authentication. Therefore, it is possible to improve the convenience for the user of the working machine while ensuring the security of the working machine.

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments have been described in detail above, the present disclosure is not limited to such specific embodiments, and various modifications and changes can be made within the scope of the gist described in the claims.

例えば、ショベル１００の撮像装置４０，７０や距離センサと同様のハードウェア、及びショベル１００の認証部３０４と同様の機能は、利用する人の認証が必要な各種の機器に搭載されてもよい。各種の機器には、電子機器、産業機械、自動車等が含まれる。電子機器には、例えば、端末装置、サーバ装置等の情報処理装置が含まれる。 For example, hardware similar to the imaging devices 40 and 70 and the distance sensor of the excavator 100, and a function similar to the authentication unit 304 of the excavator 100 may be installed in various devices that require user authentication. Various types of equipment include electronic equipment, industrial machinery, automobiles, etc. Electronic devices include, for example, information processing devices such as terminal devices and server devices.

１ 下部走行体
１Ｃ クローラ
１Ｍ，１ＭＬ，１ＭＲ 走行油圧モータ
２ 旋回機構
２Ｍ 旋回油圧モータ
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１０ キャビン
１１ エンジン
１３ レギュレータ
１４ メインポンプ
１５ パイロットポンプ
１７ コントロールバルブ
２５Ｖ 電磁切換弁
２６ 操作装置
３０ コントローラ
３１ 油圧制御弁
４０ 撮像装置
４０Ｂ，４０Ｆ，４０Ｌ，４０Ｒ カメラ
５０ 出力装置
５２ 入力装置
６０ 通信装置
７０ 撮像装置
１００ ショベル
２００ 遠隔操作支援装置
３００ クローラクレーン
３０１ 物体検知部
３０２ 位置推定部
３０３ ジェスチャ認識部
３０４ 認証部
３０５ 追跡部
３０６ 安全制御部
３０７ セキュリティ制御部
４００ 端末装置
ＡＴ アタッチメント
ＨＡ 油圧アクチュエータ
ＳＹＳ１ 遠隔操作システム
ＳＹＳ２ セキュリティシステム 1 Lower traveling body 1C Crawler 1M, 1ML, 1MR Travel hydraulic motor 2 Swing mechanism 2M Swing hydraulic motor 3 Upper rotating body 4 Boom 5 Arm 6 Bucket 7 Boom cylinder 8 Arm cylinder 9 Bucket cylinder 10 Cabin 11 Engine 13 Regulator 14 Main pump 15 Pilot pump 17 Control valve 25V Solenoid switching valve 26 Operating device 30 Controller 31 Hydraulic control valve 40 Imaging device 40B, 40F, 40L, 40R Camera 50 Output device 52 Input device 60 Communication device 70 Imaging device 100 Excavator 200 Remote operation support device 300 Crawler Crane 301 Object detection unit 302 Position estimation unit 303 Gesture recognition unit 304 Authentication unit 305 Tracking unit 306 Safety control unit 307 Security control unit 400 Terminal device AT Attachment HA Hydraulic actuator SYS1 Remote control system SYS2 Security system

Claims (12)

作業機械の周辺、又はキャビンの内部の物体に関する情報を取得する第１のセンサと、
前記第１のセンサの出力に基づき、作業機械の周辺、又は前記キャビンの内部の人のジェスチャを認識する認識部と、
前記認識部により作業機械の周辺の人の第１のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第２のジェスチャが認識される場合、その人を認証する認証部と、を備える、
作業機械。 a first sensor that acquires information about objects around the work machine or inside the cabin;
a recognition unit that recognizes a gesture of a person around the work machine or inside the cabin based on the output of the first sensor;
an authentication unit that authenticates the person when the recognition unit recognizes a first gesture of a person around the work machine and then the recognition unit recognizes a second gesture of the same person; prepare,
working machine. 前記第２のジェスチャは、作業機械の周辺、又は前記キャビンの内部に存在する他の人が行っている動作とは異なるジェスチャである、
請求項１に記載の作業機械。 The second gesture is a gesture different from an operation performed by another person around the work machine or inside the cabin,
The working machine according to claim 1. 前記第１のジェスチャには、作業機械の周辺の人が作業機械に接近する動作が含まれる、
請求項１又は２に記載の作業機械。 The first gesture includes an action of a person near the work machine approaching the work machine;
A working machine according to claim 1 or 2. 作業機械の周辺の物体に関する情報を取得する第２のセンサと、
前記第２のセンサの出力に基づき、作業機械の周辺の人を検知する検知部と、
前記検知部により作業機械の周辺の所定範囲内で人が検知される場合、所定の安全機能を作動させる第１の制御部と、を備え、
前記第１の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動を禁止する、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動を緩和する、又は、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動条件を緩和する、
請求項１乃至３の何れか一項に記載の作業機械。 a second sensor that acquires information about objects around the work machine;
a detection unit that detects people around the work machine based on the output of the second sensor;
a first control unit that activates a predetermined safety function when a person is detected within a predetermined range around the work machine by the detection unit;
The first control unit prohibits the operation of the predetermined safety function when a person authenticated by the authentication unit is detected by the detection unit; Relaxing the activation of the predetermined safety function when detected, or relaxing the activation conditions of the predetermined safety function when a person authenticated by the authentication unit is detected by the detection unit;
A working machine according to any one of claims 1 to 3. 前記所定の安全機能は、前記所定範囲内で人が検知されたことを報知する報知機能を含み、
前記第１の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記報知機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行う、
請求項４に記載の作業機械。 The predetermined safety function includes a notification function that notifies that a person has been detected within the predetermined range,
The first control unit inhibits some of the notification functions, relaxes the operation, or relaxes the operating conditions when a person authenticated by the authentication unit is detected by the detection unit. ,
The working machine according to claim 4. 前記所定の安全機能は、作業機械のオペレータ及び作業機械の周辺の少なくとも一方への第１の報知機能、及び前記検知部により検知された人への第２の報知機能を含み、
前記第１の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記第１の報知機能及び前記第２の報知機能のうちの前記第２の報知機能のみの禁止、作動の緩和、又は作動条件の緩和を行う、
請求項５に記載の作業機械。 The predetermined safety function includes a first notification function to at least one of an operator of the work machine and a person around the work machine, and a second notification function to a person detected by the detection unit,
The first control unit controls only the second notification function of the first notification function and the second notification function when a person authenticated by the authentication unit is detected by the detection unit. Prohibiting, easing operation, or easing operating conditions;
A working machine according to claim 5. 前記所定の報知機能は、作業機械の動作を制限する動作制限機能を含み、
前記第１の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記動作制限機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行う、
請求項４乃至６の何れか一項に記載の作業機械。 The predetermined notification function includes an operation restriction function that restricts the operation of the working machine,
The first control unit prohibits some of the operation restriction functions, relaxes the operation, or relaxes the operation conditions when a person authenticated by the authentication unit is detected by the detection unit. conduct,
A working machine according to any one of claims 4 to 6. 下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、を備え、
前記動作制限機能は、前記上部旋回体の動作を制限する第１の動作制限機能と、前記アタッチメントの動作を制限する第２の動作制限機能とを含み、
前記第１の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記第１の動作制限機能及び前記第２の動作制限機能のうちの前記第２の動作制限機能のみの禁止、作動の緩和、又は作動条件の緩和を行う、
請求項７に記載の作業機械。 a lower running body;
an upper rotating body rotatably mounted on the lower traveling body;
an attachment attached to the upper revolving body,
The movement restriction function includes a first movement restriction function that restricts the movement of the revolving upper structure, and a second movement restriction function that restricts the movement of the attachment,
The first control unit controls the second operation restriction of the first operation restriction function and the second operation restriction function when a person authenticated by the authentication unit is detected by the detection unit. prohibiting only a function, relaxing its operation, or relaxing its operating conditions;
The working machine according to claim 7. 作業機械のユーザが所持する端末装置と通信可能な通信装置を備え、
前記認識部は、前記第１のジェスチャが認識された場合、前記通信装置を通じて、前記第２のジェスチャを要求する信号を端末装置に送信する、
請求項１乃至８の何れか一項に記載の作業機械。 Equipped with a communication device that can communicate with a terminal device owned by the user of the work machine,
The recognition unit transmits a signal requesting the second gesture to a terminal device through the communication device when the first gesture is recognized.
A working machine according to any one of claims 1 to 8. 前記端末装置からの信号に応じて、その動作がリモート操作される、
請求項９に記載の作業機械。 The operation is remotely controlled in response to a signal from the terminal device.
The working machine according to claim 9. 作業機械へのアクセス又は操作に対して所定のセキュリティ機能を作動させる第２の制御部を備え、
前記第２の制御部は、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動を禁止する、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動を緩和する、又は、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動条件を緩和する、
請求項１乃至１０の何れか一項に記載の作業機械。 comprising a second control unit that activates a predetermined security function for accessing or operating the work machine;
The second control unit is configured to prevent the operation of the predetermined security function from accessing or operating the working machine of the person authenticated by the authentication unit. or relaxing the operation conditions of the predetermined security function with respect to access or operation of the work machine by a person authenticated by the authentication unit;
A working machine according to any one of claims 1 to 10. 電子機器の周辺の物体に関する情報を取得する第１のセンサと、
前記第１のセンサの出力に基づき、電子機器の周辺の人のジェスチャを認識する認識部と、
前記認識部により電子機器の周辺の人の第１のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第２のジェスチャが認識される場合、その人を認証する認証部と、を備える、
電子機器。 a first sensor that acquires information about objects around the electronic device;
a recognition unit that recognizes gestures of people around the electronic device based on the output of the first sensor;
an authentication section that authenticates the person when the recognition section recognizes a first gesture of a person near the electronic device and then the recognition section recognizes a second gesture of the same person; prepare,
Electronics.
JP2022036078A 2022-03-09 2022-03-09 Work machine and electronic apparatus Pending JP2023131366A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022036078A JP2023131366A (en) 2022-03-09 2022-03-09 Work machine and electronic apparatus
PCT/JP2023/008849 WO2023171711A1 (en) 2022-03-09 2023-03-08 Operation assistance device, work machine, remote operation assistance device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022036078A JP2023131366A (en) 2022-03-09 2022-03-09 Work machine and electronic apparatus

Publications (1)

Publication Number Publication Date
JP2023131366A true JP2023131366A (en) 2023-09-22

Family

ID=88065680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036078A Pending JP2023131366A (en) 2022-03-09 2022-03-09 Work machine and electronic apparatus

Country Status (1)

Country Link
JP (1) JP2023131366A (en)

Similar Documents

Publication Publication Date Title
JP7407178B2 (en) excavator
KR20200090761A (en) Peripheral monitoring device, information processing terminal, information processing device, information processing program
US20220074171A1 (en) Display device, shovel, and information processing apparatus
WO2021025123A1 (en) Excavator and information processing device
US20220042282A1 (en) Shovel, and safety equipment confirmation system at worksite
JP7387718B2 (en) Construction machinery, support systems
US20210262196A1 (en) Excavator and control apparatus for excavator
US20210270013A1 (en) Shovel, controller for shovel, and method of managing worksite
CN113631776B (en) Excavator and construction system
JP7358070B2 (en) excavator
US20220042283A1 (en) Shovel
EP3733982B1 (en) Shovel and output device of shovel
WO2023171711A1 (en) Operation assistance device, work machine, remote operation assistance device, and program
JP2023131366A (en) Work machine and electronic apparatus
WO2021149775A1 (en) Work machine and information processing device
JP2022157923A (en) Excavator
JP7479156B2 (en) Work machines, data processing devices
WO2023132321A1 (en) Surrounding-area monitoring system and work machine
JP2020183622A (en) Shovel and series of shovel
WO2023190323A1 (en) Work machine and remote control system for work machine
JP2023149157A (en) Operation support device, work machine, remote control support device, and program
JP2023150081A (en) Work machine and information processing unit
WO2023190843A1 (en) Assistance device, work machine, and program