JP2020181434A - 自律走行作業装置および自律走行作業システム - Google Patents

自律走行作業装置および自律走行作業システム Download PDF

Info

Publication number
JP2020181434A
JP2020181434A JP2019084973A JP2019084973A JP2020181434A JP 2020181434 A JP2020181434 A JP 2020181434A JP 2019084973 A JP2019084973 A JP 2019084973A JP 2019084973 A JP2019084973 A JP 2019084973A JP 2020181434 A JP2020181434 A JP 2020181434A
Authority
JP
Japan
Prior art keywords
information
cleaning
unit
autonomous driving
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019084973A
Other languages
English (en)
Inventor
祐美子 下郡
Yumiko Shimogoori
祐美子 下郡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amano Corp
Original Assignee
Amano Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amano Corp filed Critical Amano Corp
Priority to JP2019084973A priority Critical patent/JP2020181434A/ja
Publication of JP2020181434A publication Critical patent/JP2020181434A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】自動走行作業において、作業者等の安全や周囲状況に配慮すると共に作業の効率を落とすことのない自律的な動作を判断する。【解決手段】事前に記憶した清掃プランに基づいて自律的に走行し自動で清掃する自動走行清掃を実行可能な自律走行作業装置1は、周囲情報入力部44によって、自動走行清掃の実行中に1以上の周囲情報を入力し、代替動作生成部45によって、1以上の周囲情報の入力タイミングおよび/または組合せからなる入力パターンに応じて、清掃プランに基づく走行および/または清掃に代わる代替動作を生成して実行する。【選択図】図2

Description

本発明は、自律的に走行、作業する自動走行作業を実行可能な自律走行作業装置および自律走行作業システムに関する。
従来、自律走行作業装置は、工場、ショッピングモール、空港、鉄道駅、ホテルロビー等の広大な面積の床面の清掃作業を行うために用いられている。
自律走行清掃装置等の自律走行作業装置は、手動モード、学習モードおよび自動モードを切り替えて動作する、所謂ティーチング・プレイバック方式で構成される。学習モードで動作する自律走行作業装置は、手動操作に応じて走行および作業(清掃)を行いながら、作業エリア(清掃エリア)の環境地図や走行データおよび作業データ(清掃データ)を含む作業プラン(清掃プラン)を記憶する。また、自動モードで動作する自律走行作業装置は、記憶した作業プランの走行データおよび作業データに従って、作業プランを再現するように自動走行および自動作業(自動清掃)を制御する。なお、手動モードで動作する自律走行作業装置は、走行データや作業データを記憶することなく、手動操作に応じて走行および作業を行う。
このような、ティーチング・プレイバック方式の自律走行作業装置では、予め地図情報等の作業プランをプログラミングして自動走行作業を実行させる方式の装置に比べて、通常の作業者の手動操作による走行および作業を行うことで、容易に作業プランを学習させることができる。ティーチング・プレイバック方式の自律走行作業装置(自律走行清掃装置)は、一旦記憶させた作業プランの自動走行作業(自動走行清掃)を何度でも正確に再現することができるので、広大な面積の床面を自動走行清掃する場合に特に効果が発揮され、清掃作業の自動化による人手不足の解消に大いに寄与することが期待されている。
一方で、広大な面積の床面の大部分を自律走行清掃装置によって自動清掃している間に、自律走行清掃装置の進入ができない狭い箇所等の床面の他の部分を、作業者によって手動清掃(掃き掃除、モップ掛けや他の小型清掃機を用いた清掃作業等)を行うことがある。このように、自律走行清掃装置と作業者とが清掃現場で協働しながら清掃作業を実施する作業方式を採用する場合が多い。
また、自律走行清掃装置による清掃作業を、オフィスや工場において就業時間中に行うことがある。この場合、自律走行清掃装置とオフィスワーカーや工場の作業者とが、清掃現場に共存することになる。
上記したように、自律走行清掃装置による自動清掃作業の最中に清掃現場に作業者等が存在する場合には、自律走行清掃装置は、往来する作業者等に配慮して予め危険を回避するように、立入禁止エリア等を臨機応変に清掃プランに設定可能にすることが望ましい。
例えば、特許文献1では、予め記憶された走行経路情報を変更することなく、清掃不要エリアへの進入を未然に防止するために、清掃ロボットの自律走行システムは、清掃途中において光検出センサにより予め配設された既存の照明灯による所定照度以上の光検出に基づいて清掃不要エリアを判断し、隣接する清掃エリアにおける走行経路に変更して走行して清掃する。
また、特許文献2では、人との接触防止を確実にすると共に、壁際ギリギリまでの作業を可能にし、作業性能の向上を実現するために、作業ロボットは、障害物までの距離を測定する距離測定手段と、障害物が移動物体か静止物体かを判別する判別手段と、走行を停止すべき障害物までの距離の閾値を算出する閾値算出手段と、距離測定手段により測定された距離計測値が閾値に達した時に走行を停止させる走行制御手段と、を備える。閾値算出手段は判別手段による判別の結果に基づいて、障害物が移動物体であると判別された場合に閾値を減少させ、一方、障害物が静止物体であると判別された場合に閾値を増大させて、閾値を算出する。
特開2010−157101号公報 特開2006−293662号公報
ところが、上記した特許文献1の技術では、所定照度以上の光が検出されるエリアを清掃不要エリアとしていて、即ち、暗所のみを清掃する設定としているが、清掃ロボットと清掃作業者等の人との協働による清掃の場合等は考慮されず、清掃エリアでの作業者等の安全性の向上に寄与するものではない。
また、特許文献2の技術では、障害物が移動物体か静止物体かを判別して、それぞれの場合に走行を停止すべき距離計測値の閾値を変化させ、障害物が人であった場合には、音声メッセージを発することもあるが、作業者等の人に配慮した迂回動作等を自律的に判断することはできない。
本発明は、上述したような問題に鑑みなされたものであり、本発明の課題は、自動走行作業において、作業者等の安全や周囲状況に配慮すると共に作業の効率を落とすことのない自律的な動作を判断する自律走行作業装置および自律走行作業システムを提供することにある。
上記課題を解決するために、本発明の第1の自律走行作業装置は、事前に記憶した作業プランに基づいて自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置であって、前記自動走行作業の実行中に1以上の周囲情報を入力し、前記1以上の周囲情報の入力タイミングおよび/または組合せからなる入力パターンに応じて、前記作業プランに基づく走行および/または作業に代わる代替動作を生成して実行することを特徴とする。
本発明の第1の自律走行作業装置によれば、自律走行作業装置の周囲情報の入力パターンに応じて、自律走行作業装置が自身で代替動作を生成するので、入力パターン毎に多岐に亘って走行データや作業データを設定する必要がない。また、作業現場の状況に応じて柔軟に対処して代替動作を生成することができ、自動走行作業中に、周囲情報の入力パターンの内容次第で代替動作の条件等を変化させることができる。そのため、自律走行作業装置が周囲の人と協働作業等をする場合に、安全性を向上することができる。このように、自動走行作業において、作業者等の安全や周囲状況に配慮すると共に、作業の効率を落とすことなく、自律的な代替動作を判断することが可能となる。
上記課題を解決するために、本発明の第2の自律走行作業装置は、前記1以上の周囲情報として、画像情報、音情報、気体成分情報、触感情報、振動情報、磁気情報、通信情報、電磁波情報およびアクティブセンサ情報のうち、少なくとも1つを入力するとよい。
本発明の第2の自律走行作業装置によれば、様々な周囲情報の組合せや入力タイミング(発生タイミング)の入力パターンを活用して、自律走行作業装置の代替動作を生成できるので、自律走行作業装置と周囲の人との協働作業等において安全性を向上することができる。
上記課題を解決するために、本発明の第3の自律走行作業装置は、前記画像情報として、前記代替動作を識別するコード情報、文字情報またはジェスチャー情報を入力するとよい。
本発明の第3の自律走行作業装置によれば、自律走行作業装置は、周囲情報の発生源と離間した状態で、周囲情報を取得できるので、代替動作を指示する作業者や作業関係者等は、動作中の自律走行作業装置を追いかけて操作するようなことがなく、安全性をより向上することができる。
上記課題を解決するために、本発明の第4の自律走行作業装置は、前記自動走行作業の実行中に、前記代替動作の生成に先立ち、前記周囲情報を取得するための事前動作として情報確認動作を行うとよい。
本発明の第4の自律走行作業装置によれば、代替動作を生成して実行する前に、周囲情報を取得し易くなり、入力パターンをより適切に判定することができるので、代替動作生成の精度が向上し、安全性をより向上することができる。
上記課題を解決するために、本発明の第5の自律走行作業装置は、前記自動走行作業の実行中に、前記1以上の周囲情報に基づいて、前記作業プランに基づく作業エリア内に障害物を認識した場合、前記情報確認動作として前記自動走行作業を停止して待機状態となり、前記待機状態で入力した前記1以上の周囲情報からなる前記入力パターンに応じて前記代替動作を生成するとよい。
本発明の第5の自律走行作業装置によれば、自動走行作業を停止することで、周囲情報を取得し易くなり、入力パターンをより適切に判定することができるので、代替動作生成の精度が向上し、安全性をより向上することができる。
上記課題を解決するために、本発明の第6の自律走行作業装置は、前記障害物が人か否かを識別し、前記障害物が人の場合には、前記情報確認動作として前記待機状態で前記人に向けて所定の音声または/および表示による通知を出力した後、入力した前記1以上の周囲情報からなる前記入力パターンに応じて前記代替動作を生成し、前記障害物が前記人でない場合には、前記障害物を迂回する前記代替動作を生成するとよい。
本発明の第6の自律走行作業装置によれば、障害物が人の場合に、情報確認動作として、その人に音声または/および表示による通知を出力することで、その人に自律走行作業装置を気付かせる(注意喚起する)ことができる。また、音声または/および表示による通知を出力後に周囲情報を取得することで、その人の反応を確認することができ、安全性をより向上することができる。
上記課題を解決するために、本発明の第7の自律走行作業装置は、前記周囲情報の画像情報として、前記人が位置を変えずに手足または所持物を動作させるジェスチャー情報を入力するとよい。
本発明の第7の自律走行作業装置によれば、障害物が人の場合に、その人のジェスチャーに基づいて代替動作を生成するので、作業者等は、自律走行作業装置から離間した位置でジェスチャーによって自律走行作業装置の代替動作を指示できるので、安全性をより向上することができる。
上記課題を解決するために、本発明の第8の自律走行作業装置は、前記情報確認動作として、前記人の全身の前記画像情報を得られる位置に移動するとよい。
本発明の第8の自律走行作業装置によれば、カメラにパン・チルト・ズーム機能が備わっていない場合でも、人の全身の画像情報を得ることによって、作業者等のジェスチャーを確実に認識することができ、ジェスチャー情報に基づく代替動作をより正確に指示することができるので、安全性をより向上することができる。
上記課題を解決するために、本発明の第9の自律走行作業装置は、前記音情報として、前記代替動作を識別するトーン、メロディおよびリズムのうちの何れか若しくはこれらのうちの何れか2つ以上の組合せ、または音声情報を入力するとよい。
本発明の第9の自律走行作業装置によれば、音情報を取得したタイミングで代替動作を生成して実行することができるので、周囲情報の発生原と安全に配慮すべき対象との距離や方向を限定することがなく、安全に配慮すべき対象が作業者以外の場合でも、安全性を向上することができる。
上記課題を解決するために、本発明の第10の自律走行作業装置は、前記音情報として、所定の就業音を入力すると、前記代替動作として、作業を中止して予め設定された保管場所に移動する作業終了動作を生成するとよい。
本発明の第10の自律走行作業装置によれば、就業音を取得したタイミングで代替動作を生成して実行することができるので、就業開始後に作業エリアに立ち入る人が多くなる前に、自動走行作業を中止して保管場所に退避するので、人と衝突する可能性を低減し、安全性を向上することができる。
上記課題を解決するために、本発明の第11の自律走行作業装置は、前記音情報として、火災警報、緊急地震速報または他の警報音を入力すると、前記代替動作として、作業を中止してその場に停止する作業緊急停止動作を生成するとよい。
本発明の第11の自律走行作業装置によれば、警報音を取得したタイミングで代替動作を生成して実行することができるので、火災や地震による被害が進行する前に、自動走行作業を中止するので、自律走行作業装置が暴走する可能性や人と衝突する可能性を低減し、安全性を向上することができる。
上記課題を解決するために、本発明の第12の自律走行作業装置は、前記入力パターンおよび該入力パターンに対応する前記代替動作を関連付けて記憶し、記憶した前記入力パターンおよび前記代替動作を用いた機械学習によって、前記入力パターンの判定および/または前記代替動作の生成に用いられる学習モデルを生成するとよい。
本発明の第12の自律走行作業装置によれば、周囲情報の入力パターンや、入力パターンに対応する代替動作を蓄積する程、様々な入力パターンを判定できるようになり、様々な入力パターンに基づいて代替動作を精度良く生成および実行できるようになるので、安全性を向上することができる。
上記課題を解決するために、本発明の自律走行作業システムは、上記の自律走行作業装置を備える自律走行作業システムであって、複数の前記自律走行作業装置と、複数の前記自律走行作業装置とネットワークを介して通信可能に接続された管理装置と、を備え、複数の前記自律走行作業装置のそれぞれは、前記学習モデルを前記管理装置へ送信し、前記管理装置は、複数の前記自律走行作業装置から前記学習モデルを受信して記憶し、一の前記自律走行作業装置に対して、他の前記自律走行作業装置で構築された前記学習モデルを送信し、一の前記自律走行作業装置は、該自律走行作業装置が生成した前記学習モデルおよび他の前記自律走行作業装置が生成した前記学習モデルを用いて前記入力パターンの判定および/または前記代替動作の生成を行うことを特徴とする。
本発明の自律走行作業システムによれば、複数の自律走行作業装置の周囲情報を共有して、様々なケースに対応して様々な入力パターンを判定できるようになり、様々な入力パターンに基づいて代替動作を精度良く生成および実行できるようになるので、安全性を向上することができる。
本発明によれば、動作モードに拘らず、自動走行作業において、作業者等の安全や周囲状況に配慮すると共に作業の効率を落とすことのない自律的な動作を判断する自律走行作業装置および自律走行作業システムを提供することができる。
本発明の実施形態に係る自律走行作業装置の外観を示す斜視図である。 本発明の実施形態に係る自律走行作業装置の構成を示すブロック図である。 本発明の実施形態に係る自律走行作業装置において、情報看板の画像情報に基づいて自動走行清掃の代替動作を生成する例を示す平面図である。 本発明の実施形態に係る自律走行作業装置において、清掃エリアに配置されて周囲情報の発生源となる情報看板の例を示す斜視図である。 本発明の実施形態に係る自律走行作業装置において、人のジェスチャー情報を取得する例を示す平面図である。 本発明の実施形態に係る自律走行作業装置において、人のジェスチャー情報を取得するための情報確認動作の例を示す平面図である。 本発明の実施形態に係る自律走行作業装置において、情報確認動作および代替動作の例を示す平面図である。 本発明の実施形態に係る自律走行作業装置において、機械学習に適用されるニューラルネットワークの例を示す構造図である。 本発明の実施形態に係る自律走行作業装置において、機械学習に適用される入力パラメータの例を示す表である。 本発明の実施形態に係る自律走行作業装置において、機械学習で入力パターンを記憶する稼働履歴DB、並びに入力パターンモデルおよび代替動作モデルの例を示すブロック図である。 本発明の実施形態に係る自律走行作業装置の動作例を示すフローチャートである。 本発明の実施形態に係る自律走行作業装置の機械学習の例を示すフローチャートである。 本発明の実施形態に係る自律走行作業装置の機械学習の例を示すフローチャートである。 本発明の実施形態に係る自律走行作業システムの構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。以下の実施形態は、本発明の好適な具体例であって、種々の好ましい技術を開示しているが、本発明の技術範囲はこれらの態様に限定されるものではない。
本発明の実施形態による自律走行作業装置1について説明する。図1に示すように、自律走行作業装置1は、各部を収容するための装置本体2と、装置本体2を走行させる走行部3と、走行部3の手動操作を受け付ける走行操作部4とを備える。自律走行作業装置1は、所定の作業を実行する作業部として、装置本体2の下方の床面の清掃作業を実行する清掃部5を備えて、自律走行清掃装置として機能する。自律走行作業装置1は、例えば、工場、ショッピングモール等の商業施設、空港、鉄道駅、ホテル、オフィス、病院、学校等の全部または一部の領域を清掃エリア(作業エリア)として、清掃エリアの床面を清掃の対象とする。
自律走行作業装置1は、装置本体2と装置本体2の周囲の壁や障害物等の非作業対象との位置関係を計測する計測部6を備える。また、自律走行作業装置1は、図2に示すように、自律走行作業装置1の各種機能の操作や表示のためのタッチパネル(図示せず)からなる操作表示部7と、自律走行作業装置1の各部に電力を供給し、バッテリー(図示せず)の残量監視や充電を制御するための電源部8とを備える。更に、自律走行作業装置1は、図2に示すように、自律走行作業装置1の各部および各種機能(走行部3による走行、清掃部5による清掃作業、計測部6による計測等)を統括制御する制御部10と、走行部3の走行データや清掃部5の清掃データ(作業データ)からなる清掃プラン(作業プラン)を記憶する記憶部11とを備える。
なお、自律走行作業装置1は、障害物等に衝突した際に損傷することを防止するためのバンパ2a、周囲の静止画像や動画像を撮像するカメラ12、周囲の音を集音するマイク13、自律走行作業装置1の周囲を照らしたり、周囲に自律走行作業装置1の稼働を知らせたりするための照明灯2b、周囲に自律走行作業装置1の稼働等を知らせるための方向指示灯2cやスピーカ14、その他の機器を備えていてよい。
次に、自律走行作業装置1の動作の概要を説明する。自律走行作業装置1は、手動操作による走行および自動操作による自律的な走行が可能な車両であって、手動モード、学習モードおよび自動モードの何れかの動作モードに切り替えられて動作する。
自律走行作業装置1は、学習モードおよび手動モードでは、学習走行清掃(学習走行作業)および手動走行清掃(手動走行作業)をそれぞれ行って、作業者による走行操作部4や操作表示部7の手動操作に応じて手動走行や手動清掃(手動作業)を行う。学習走行清掃では、更に、手動走行に伴って清掃エリアの環境地図を作成し、手動走行時の走行経路や走行状態を示す走行データと、手動清掃時の清掃状態を示す清掃データとを取得して、環境地図や走行データおよび清掃データを含む清掃プランを記憶部11に記憶する。
自律走行作業装置1は、自動モードでは、自動走行清掃(自動走行作業)を行って、学習走行清掃で記憶した清掃プランに基づいて、この清掃プランを再現するように、制御部10による自動操作に応じて自動走行および自動清掃(自動作業)を行う。清掃プランは、例えば、所定の時間間隔や所定の距離間隔のステップ毎に走行データおよび清掃データを関連付けて記憶する。
走行データは、例えば、自律走行作業装置1の環境地図上の自己位置(X座標およびY座標)や基準方向(例えば、開始位置の向き)に対する角度、進行方向への走行速度を含み、図3(1)や図3(2)に示すように、走行データに基づいて走行経路を図化することができる。また、走行データは、走行操作部4のハンドル23の操作量である揺動角度や揺動速度、走行部3の操舵角や操舵速度、自律走行作業装置1(走行部3)の旋回速度を含んでよい。
清掃データは、例えば、清掃部5の洗浄パッド30による床面洗浄の動作状態(稼働/停止、回転速度、パッド圧)、清掃部5の供給水ポンプ34による洗浄液散布の動作状態(稼働/停止、供給水量)、清掃部5の吸引ブロア38による汚水回収の動作状態(稼働/停止、吸引量)を含む。パッド圧は、洗浄パッド30を床面に押し付ける力であり、供給水量は、床面に散布される洗浄液を供給水ポンプ34によって供給する量であり、吸引量は、床面から洗浄後の汚水を回収するために吸引を行う吸引ブロア38の吸引強度である。
次に、自律走行作業装置1の各部を説明する。
走行部3は、図1に示すように、装置本体2の下部に設けられていて、駆動輪として1つの前輪20と、従動輪として一対の後輪21と、前輪20を操舵する操舵部22とを備える。
前輪20は、進行方向(前後方向)前側で幅方向(左右方向)中央に設けられ、前輪20の回転軸に対して、駆動モータ20aが設けられる。走行部3は、制御部10からの制御信号に応じて駆動モータ20aを回転駆動して前輪20を正転させることで装置本体2を前進させ、前輪20の回転を停止させることで装置本体2を停止させる。駆動モータ20aの回転量を制御して前輪20の回転速度を制御することで、自律走行作業装置1(走行部3)の走行速度が調整(加減速)される。なお、走行部3は、駆動モータ20aが前輪20を逆転させることで装置本体2を後退させてもよい。
一対の後輪21は、進行方向中央で幅方向に間隔を空けて設けられ、各後輪21に対して、それぞれの回転量を検出する駆動エンコーダ21aが設けられる。一対の後輪21は、前輪20の駆動による装置本体2の移動に応じて従動回転する。各後輪21の各駆動エンコーダ21aは、検出した各後輪21の回転量を制御部10へ送信し、各後輪21の回転量に基づいて、前輪20の駆動モータ20aの回転量と装置本体2の進行方向が算出される。なお、本実施形態では、走行部3が駆動輪の前輪20と従動輪の後輪21とを備える一例を説明したが、本発明はこの例に限定されず、例えば、他の実施形態では、走行部3が従動輪の前輪20と駆動輪の一対の後輪21とを備えて構成されてもよい。
操舵部22は、図2に示すように、操舵モータ22aおよび操舵センサ22bを備える。操舵部22は、制御部10からの制御信号に応じて操舵モータ22aを回転駆動して前輪20を水平方向に回動させることで、前輪20(走行部3)の操舵角を変えて走行部3を操舵する。前輪20の操舵角を変えながら前輪20を回転させることで、自律走行作業装置1(走行部3)を左折(左旋回)や右折(右旋回)させる。
操舵モータ22aの回転量を制御することで、前輪20の操舵角が調整される。例えば、前輪20の操舵角を最大操舵角(例えば、±90度)にして、自律走行作業装置1(走行部3)を180度旋回させると、自律走行作業装置1は、左右一対の後輪21の間の中央位置をピボット回転中心として、ピボット回転(その場旋回)する。操舵センサ22bは、前輪20のホームポジション(進行方向に対して前輪20の操舵角が0度となる走行部3の中立位置)や前輪20のホームポジションからの操舵角を検出する。
走行部3は、動作モードが学習モードまたは手動モードに設定されている場合、作業者による走行操作部4の手動操作に応じて動作する。また、走行部3は、動作モードが自動モードに設定されている場合、基本的には、清掃プランの走行データに基づく制御部10の制御に応じて動作し、必要に応じて、作業者による走行操作部4の手動操作に応じて動作する。
走行操作部4は、装置本体2の後側に設けられ、ハンドル23およびアクセルレバー24を備え、ハンドル23およびアクセルレバー24の手動操作によって前輪20の操舵駆動および回転駆動がそれぞれ操作される。なお、走行部3および走行操作部4は、走行操作部4の操作状態を機械的に走行部3に伝達するものではなく、走行操作部4の操作入力に応じた電気信号を制御部10へ送信し、制御部10がこの電気信号に基づく制御信号を走行部3へ送信して、この制御信号に応じて前輪20の回転駆動および操舵駆動を電気的に制御する。
ハンドル23は、装置本体2の後側に揺動可能(回動可能)に取り付けられ、左側または右側に揺動するように構成される。アクセルレバー24は、ハンドル23のハンドルバーの一端側に回転可能に取り付けられる。ハンドル23のハンドルバーが装置本体2の幅方向に平行になる状態が、ハンドル23の中立状態(ホームポジション)であり、このとき、ハンドル23の揺動角度は、進行方向を基準として0度である。
走行操作部4は、図2に示すように、ハンドル23の揺動方向および揺動角度を検出するハンドルセンサ23aと、アクセルレバー24の回転方向および回転角度(開度)を検出するアクセルセンサ24aとを備える。
ハンドルセンサ23aが、検出したハンドル23の揺動方向および揺動角度(操作量)に基づく電気信号を制御部10へ送信すると、ハンドルセンサ23aからの電気信号に応じて、操舵モータ22aの駆動を制御する制御信号が制御部10から操舵モータ22aへ送信される。これにより、ハンドル23の揺動方向および揺動角度に基づいて、操舵モータ22aの駆動、即ち、前輪20の操舵駆動が制御される。
また、アクセルセンサ24aが、検出したアクセルレバー24の回転方向および回転角度(操作量)に基づく電気信号を制御部10へ送信すると、アクセルセンサ24aからの電気信号に応じて、駆動モータ20aの駆動を制御する制御信号が制御部10から駆動モータ20aへ送信される。これにより、アクセルレバー24の回転方向および回転角度に基づいて、駆動モータ20aの駆動、即ち、前輪20の回転駆動が制御され、例えば、作業者がアクセルレバー24を上に捻ると前進し、下に捻ると後退する。
走行操作部4は、自律走行作業装置1の動作モードが手動モードや学習モードに設定されている間は、作業者による手動操作を受け付けるが、自動モードに設定されている間は、緊急操作(緊急停止ボタン7aの操作や緊急ハンドル操作)以外の作業者による手動操作を基本的に受け付けない。
清掃部5は、清掃設定に従って床面を清掃するように構成され、清掃設定は、初期設定されてもよく、操作表示部7を介して手動で設定されてもよく、または記憶部11に記憶された清掃プランの清掃データに基づいて自動で設定されてもよい。清掃部5は、例えば、洗浄液を用いて床面を清掃する湿式の清掃機構であり、一対の洗浄パッド30と、パッドモータ31と、パッドシリンダ32と、洗浄液タンク33と、供給水ポンプ34と、スキージ35と、スキージシリンダ36と、汚水タンク37と、吸引ブロア38とを備える。なお、清掃部5は、洗浄液タンク33や汚水タンク37の水量を検知する水量センサ39を備えてもよい。
一対の洗浄パッド30は、床面を清掃する清掃部材であり、装置本体2の下面に回転可能に取り付けられ、洗浄液が散布された床面に接触すると共に回転することで床面を洗浄する。また、洗浄パッド30は、装置本体2に対して着脱可能であり、即ち、交換可能な部材である。なお、本実施形態では、清掃部5が清掃部材として洗浄パッド30を備える一例を説明したが、本発明はこの例に限定されず、例えば、他の実施形態では、清掃部5が清掃部材として他のパッドやブラシを備えてもよい。
また、一対の洗浄パッド30は、一対の洗浄パッド30の中間点を、幅方向において中央よりも一方側(右側)にずらした状態で、装置本体2の下部に取り付けられる。更に、一対の洗浄パッド30は、幅方向(左右方向)に並べた状態に対して前後にオフセット配置される。一対の洗浄パッド30を幅方向の直線上に並べた場合には、一対の洗浄パッド30の間の僅かな隙間に清掃ムラが残ることがあるが、本実施形態のように、幅方向の直線に対して傾斜した直線上にオフセット配置された一対の洗浄パッド30は、その隙間に清掃ムラを残すことなく清掃を行うことができる。
なお、本実施形態では、一対の洗浄パッド30が右側にずらして配置されている自律走行作業装置1の一例について説明するが、本発明はこの例に限定されず、他の例では、一対の洗浄パッド30は、左側にずらして配置されてもよく、この場合、走行制御部41は、右側にずらした一対の洗浄パッド30の一例とは、左右を逆転させるように制御を行う。また、一対の洗浄パッド30に代えて、3つ以上の洗浄パッド30を多角形状に配置してもよい。
パッドモータ31は、各洗浄パッド30を回転させる駆動源であり、装置本体2内で各洗浄パッド30の上方に設けられる。パッドモータ31は、一対の洗浄パッド30のそれぞれを別個に駆動する一対のモータで構成されてもよく、あるいは、ギアを介して一対の洗浄パッド30を同時に駆動する1つのモータで構成されてもよい。清掃部5は、制御部10からの制御信号に応じてパッドモータ31を回転駆動して各洗浄パッド30を回転させることで床面を洗浄する。パッドモータ31の回転速度を制御することで、各洗浄パッド30の回転速度(清掃強度)が調整される。
また、パッドモータ31は、一対の洗浄パッド30をそれぞれ異なる方向に回転させ、具体的には、左側の洗浄パッド30を上方視時計回りに回転させ、右側の洗浄パッド30を上方視反時計回りに回転させる。これにより、一対の洗浄パッド30は、幅方向中央側で前方から後方へ向かうように回転するので、一対の洗浄パッド30の前方の汚水を幅方向中央側に収集しつつ後方へ排出する。
パッドシリンダ32は、一対の洗浄パッド30を上下に移動させる部材であり、装置本体2内で各洗浄パッド30の上方に設けられる。パッドシリンダ32は、各洗浄パッド30に取り付けられたロッドを上下に移動させることで、各洗浄パッド30を交換のために上方に退避させ、また、洗浄すべき床面に各洗浄パッド30を接触させるために下方に付勢させる。清掃部5は、制御部10からの制御信号に応じてパッドシリンダ32を駆動して各洗浄パッド30を上下に移動させる。パッドシリンダ32の移動量を制御することで、各洗浄パッド30のパッド圧(清掃強度)が調整される。
洗浄液タンク33は、洗浄液を収容する容器であり、装置本体2内に設けられ、外部から洗浄液を補充できるように構成される。供給水ポンプ34は、装置本体2内に設けられ、洗浄液を洗浄液タンク33から給水パイプ(図示せず)を介して供給して床面に散布する部材である。清掃部5は、制御部10からの制御信号に応じて供給水ポンプ34を駆動して洗浄液タンク33から洗浄液を供給し、供給水ポンプ34の駆動を制御することで、床面に散布される洗浄液の供給水量が調整される。
スキージ35は、幅方向に長い部材であり、装置本体2の下面において各洗浄パッド30よりも後方に設けられ、床面に接触して各洗浄パッド30からの洗浄後の汚水を装置本体2の後方に逃がすことなく回収する。上記したように一対の洗浄パッド30が幅方向中央側から汚水を後方に排出するので、スキージ35は、汚水を床面に残すことなく回収する。なお、スキージ35は、一対の洗浄パッド30の配置に合わせて、スキージ35の幅方向の中心が、装置本体2の幅方向の中心よりも一方側(例えば、右側)にずれた状態で、装置本体2に取り付けられる。
スキージシリンダ36は、スキージ35を上下に移動させる部材であり、装置本体2内でスキージ35の上方に設けられる。清掃部5は、制御部10からの制御信号に応じてスキージシリンダ36を駆動してスキージ35を上下に移動させる。
汚水タンク37は、洗浄後の汚水を収容する容器であり、装置本体2内に設けられ、汚水を外部に排出できるように構成される。吸引ブロア38は、装置本体2内に設けられ、スキージ35で回収された床面上の汚水を、床面から吸引パイプ35aを介して汚水タンク37へ吸引する部材である。清掃部5は、制御部10からの制御信号に応じて吸引ブロア38を駆動して汚水を汚水タンク37へ吸引する。吸引ブロア38の駆動を制御することで、床面から汚水を回収するための吸引量が調整される。
計測部6は、装置本体2と周囲の壁や障害物等の非作業対象との位置情報(例えば、装置本体2の進行方向に対する角度や距離)を計測するレーザーレンジファインダ(LRF:Laser Range Finder)6aや、装置本体2から所定距離内の壁や障害物の有無を検知する超音波センサ6bを備える。例えば、LRF6aは、装置本体2の前面に設けられ、超音波センサ6bは、装置本体2の側面に設けられる。なお、図1では、超音波センサ6bが装置本体2の左面に複数設けられる例を図示しているが、超音波センサ6bは、装置本体2の左面だけでなく右面にも設けられる。
操作表示部7は、装置本体2の後上側で走行操作部4の近傍に設けられ、キースイッチ(図示せず)と、緊急停止ボタン7aと、タッチパネルとを備え、操作表示部7の各部は、制御部10に接続されている。キースイッチの操作に応じて、自律走行作業装置1の電源のON/OFFが切り替えられる。緊急停止ボタン7aが操作されると、緊急停止命令を制御部10に送信し、自律走行作業装置1の各部の動作(特に、走行部3および清掃部5による自動走行清掃)を強制的に停止(制動)する。
操作表示部7は、装置本体2に取り付けられる操作表示パネル等で構成されてもよく、装置本体2に対して着脱可能に装着されるタブレット端末等で構成されてもよい。なお、タブレット端末等で構成される操作表示部7は、通信部15から無線通信を介して制御部10に接続されて、自律走行作業装置1を遠隔操作可能となる。
例えば、操作表示部7のタッチパネルには、動作モードを選択操作するための動作モード選択画面(図示せず)が表示される。作業者は、動作モード選択画面の操作に応じて、手動モード、学習モードおよび自動モードから何れかの動作モードを選択することができる。
また、操作表示部7のタッチパネルには、手動モードまたは学習モードで手動走行清掃または学習走行清掃を行う場合に、清掃部5の各種清掃設定を操作入力するためのデータ設定画面(図示せず)が表示される。データ設定画面で操作入力可能な清掃設定は、例えば、清掃部5の洗浄パッド30による床面洗浄の動作状態(稼働/停止、回転速度、パッド圧)、清掃部5の供給水ポンプ34による洗浄液散布の動作状態(稼働/停止、供給水量)、清掃部5の吸引ブロア38による汚水回収の動作状態(稼働/停止、吸引量)である。作業者は、データ設定画面の操作に応じて、清掃部5の各種清掃設定を入力することができ、データ設定画面に操作入力された清掃設定は、制御部10に送信され、記憶部11に記憶される。
更に、操作表示部7のタッチパネルには、自動モードで自動走行清掃を行う清掃プランを選択操作するための清掃プラン選択画面(図示せず)が表示される。作業者は、清掃プラン選択画面の操作に応じて、自動走行清掃を行うべき清掃プランを選択することができ、清掃プラン選択画面で選択された清掃プランが、記憶部11から読み出されて、自動走行清掃を制御する制御部10によって実行される。
電源部8は、装置本体2内部に搭載されたバッテリー(電源)および充電回路を備え、外部電源に接続することでバッテリーが充電され、また、自律走行作業装置1の各部へと電力を供給する。電源部8は、バッテリーの残量を示す信号を制御部10へと出力してもよい。
次に、自律走行作業装置1の電気的構成を図2を参照しながら説明する。制御部10は、CPU(Central Processing Unit)等で構成され、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリ等からなる記憶部11に、バス10aを介して接続される。バス10aは、更にインタフェース10bに接続されていて、制御部10は、バス10aおよびインタフェース10bを介して、上記の走行部3、走行操作部4、清掃部5、計測部6、操作表示部7、電源部8、カメラ12、マイク13およびスピーカ14等の自律走行作業装置1の各部に接続されている。
また、制御部10は、通信部15を介して外部機器と通信可能に接続される。通信部15は、タブレット端末等の操作表示部7や外部機器と、Wi−Fi等の無線LANやBluetooth(登録商標)等の通信規格によって無線通信を行う。
記憶部11は、自律走行作業装置1の各部および各種機能を制御するためのプログラムやデータを記憶し、制御部10が、記憶部11に記憶されたプログラムやデータに基づいて演算処理を実行することにより、各部および各種機能を統括制御する。
例えば、制御部10は、記憶部11に記憶されたプログラムを実行することにより、地図作成部40、走行制御部41、清掃制御部42(作業制御部)、清掃プラン作成部43、周囲情報入力部44、代替動作生成部45、情報確認動作実行部46および機械学習実行部47として動作する。これにより、自律走行作業装置1は、事前に記憶されたプログラムに従って自律的に走行し自動で作業することができる。
また、制御部10は、カメラ12で撮像した画像の画像認識機能、マイク13で集音した音の音認識機能、スピーカ14によって周囲に自律走行作業装置1の稼働等を報知するための音出力機能、照明灯2bや他の表示部による表示出力機能、通信部15を介した外部機器との外部通信機能やその他の機能を有していてよい。
記憶部11は、後述するように、周囲情報入力部44で入力される周囲情報の入力パターンと代替動作生成部45で生成される代替動作とを関連付けて記憶し、例えば、図10に示すように、稼働履歴DBに記憶する。また、記憶部11は、これらの入力パターンおよび代替動作について機械学習実行部47で生成された入力パターンモデルや代替動作モデル等の学習モデルを記憶する。
地図作成部40は、学習モードにおいて学習走行清掃が行われる間、または自動モードにおいて自動走行清掃が行われる間に、SLAM(Simultaneous Localization and Mapping)等の技術を用いて、リアルタイムで自己位置の推定と環境地図の作成とを行う。
具体的には、地図作成部40は、計測部6の計測結果である装置本体2と非作業対象との位置情報に基づいて、装置本体2の周囲の局所地図を作成する。また、地図作成部40は、局所地図と走行部3の各エンコーダによる検出結果(走行部3の移動量)とに基づいて、局所地図中の自律走行作業装置1の自己位置(座標)を推定する。学習モードでは、学習走行清掃を完了する際に、地図作成部40は、各局所地図をつなぎ合わせる(合成する)ことで清掃エリアの環境地図を作成し、各局所地図上の自己位置の位置情報をつなぎ合わせる(合成する)ことで走行経路を作成する(図3(1)や図3(2)参照)。
なお、自動モードでは、所定の清掃プランに基づく自動走行清掃が行われる場合、地図作成部40は、この清掃プランに関連付けられた環境地図を記憶部11から読み出し、読み出した環境地図と作成した局所地図とを比較(マッチング)することで、より正確な自己位置を推定する。自動走行清掃では、地図作成部40によって環境地図上の自己位置を推定しながら、走行制御部41および清掃制御部42によって走行部3および清掃部5をそれぞれ制御する。例えば、清掃プランの走行データの自己位置に、環境地図上で推定される自己位置を合わせて走行部3を制御しつつ、清掃部5の清掃データに基づいてステップ毎に清掃作業を制御する。
走行制御部41は、手動モードにおいて手動走行清掃が行われる間、または学習モードにおいて学習走行清掃が行われる間に、作業者による走行操作部4の操作入力に応じた電気信号を受信し、この電気信号に基づく制御信号を生成して走行部3へ送信することで、走行部3の前輪20の回転駆動および操舵駆動を電気的に制御する。
具体的には、走行制御部41は、走行操作部4のアクセルレバー24の操作量に基づく電気信号をアクセルセンサ24aから受信し、アクセルレバー24の操作量に対応する前輪20の回転速度を算出する。なお、走行制御部41は、アクセルレバー24の操作量に対応する走行部3の走行速度を算出して、走行部3の走行速度を前輪20の回転速度に換算してもよい。そして、走行制御部41は、算出した回転速度で前輪20が回転するように前輪20の駆動モータ20aの回転駆動を制御する制御信号を生成して、駆動モータ20aへ送信する。
また、走行制御部41は、走行操作部4のハンドル23の操作量に基づく電気信号をハンドルセンサ23aから受信し、ハンドル23の操作量に対応する前輪20の操舵角を算出する。そして、走行制御部41は、算出した操舵角に前輪20が操舵されるように前輪20の操舵駆動、即ち、操舵部22の操舵モータ22aの回転駆動を制御する制御信号を生成して、操舵モータ22aへ送信する。
また、走行制御部41は、自動モードにおいて所定の清掃プランに基づいて自動走行清掃が行われる間に、この清掃プランの走行データに基づく制御信号を生成して走行部3へ送信することで、走行部3の前輪20の回転駆動および操舵駆動を走行データに基づいて電気的に制御する。
清掃制御部42は、手動モードにおいて手動走行清掃が行われる間、または学習モードにおいて学習走行清掃が行われる間に、作業者による操作表示部7のデータ設定画面の操作入力に応じた電気信号を受信し、この電気信号に基づく制御信号を生成して清掃部5へ送信することで、清掃部5の各部を電気的に制御する。
具体的には、清掃制御部42は、予め設定された初期値に基づいて、またはデータ設定画面の操作入力に基づいて、清掃部5の洗浄パッド30による床面洗浄の動作状態、清掃部5の供給水ポンプ34による洗浄液散布の動作状態、および清掃部5の吸引ブロア38による汚水回収の動作状態をそれぞれ示す電気信号を操作表示部7から受信する。そして、清掃制御部42は、各電気信号の示す動作状態で、洗浄パッド30、供給水ポンプ34および吸引ブロア38が動作するように、洗浄パッド30のパッドシリンダ32、供給水ポンプ34および吸引ブロア38の駆動を制御する制御信号を生成して、パッドシリンダ32、供給水ポンプ34および吸引ブロア38へ送信する。
また、清掃制御部42は、自動モードにおいて所定の清掃プランに基づいて自動走行清掃が行われる間に、この清掃プランの清掃データに基づく制御信号を生成して清掃部5へ送信することで、洗浄パッド30のパッドシリンダ32、供給水ポンプ34および吸引ブロア38を清掃データに基づいて電気的に制御する。
清掃プラン作成部43は、学習走行モードにおいて学習走行清掃が開始されると、清掃プランの作成を開始する。例えば、操作表示部7のタッチパネルに表示される画面を介して、学習開始が操作入力されると学習走行清掃が開始される。そして、清掃プラン作成部43は、学習走行清掃が行われる間、清掃プランのステップ間隔毎に、走行部3の走行データおよび清掃部5の清掃データを取得して記憶部11に記憶する。
清掃プラン作成部43は、例えば、走行データとして、計測部6が計測した位置情報に基づいて自己位置(X座標およびY座標、角度)を取得する。また、走行部3の一対の後輪21の各駆動エンコーダ21aによって、各後輪21の回転量を検出し、その検出結果に基づいて前輪20の回転速度または走行部3の走行速度と進行方向を取得する。更に、走行操作部4のハンドル23のハンドルセンサ23aの検出結果に基づいて、ハンドル23の揺動角度や揺動速度を取得し、操舵部22の操舵センサ22bの検出結果に基づいて、走行部3の操舵角や操舵速度、自律走行作業装置1(走行部3)の旋回速度を取得する。
また、清掃プラン作成部43は、例えば、清掃データとして、データ設定画面にそれぞれ設定された各種清掃設定(清掃部5の洗浄パッド30による床面洗浄の動作状態、清掃部5の供給水ポンプ34による洗浄液散布の動作状態、清掃部5の吸引ブロア38による汚水回収の動作状態)を取得する。
清掃プラン作成部43は、学習走行清掃が完了すると、清掃プランの作成を完了する。例えば、操作表示部7のタッチパネルに表示される画面を介して、学習完了が操作入力されると学習走行清掃が完了する。そして、清掃プラン作成部43は、走行データおよび清掃データの取得を停止し、記憶部11に記憶していた走行データおよび清掃データをステップ毎に関連付けて、地図作成部40が作成した環境地図と合わせて清掃プランを作成して記憶部11に記憶する。
周囲情報入力部44は、自動モードにおいて所定の清掃プランに基づいて自動走行清掃が行われる間に、自律走行作業装置1の周囲の状況を示す周囲情報を入力(取得)する。周囲情報入力部44は、周囲情報として、例えば、画像情報、音情報、気体成分情報、触感情報、振動情報、磁気情報、通信情報、電磁波情報およびアクティブセンサ情報のうち、少なくとも1つの周囲情報を入力する。
具体的には、周囲情報入力部44は、カメラ12によって撮像した周囲の静止画像や動画像の画像情報として、これらの画像から制御部10の画像認識機能によって認識された静止画像情報や動画像情報を入力する。なお、カメラ12は、所定の清掃プランの自動走行清掃を実行中に、常時または周期的に、自律走行作業装置1の周囲の画像を撮像するように制御されてもよく、あるいは、計測部6の計測結果に基づいて、清掃プランの環境地図に示されていない障害物を検出した場合に、その障害物を撮像するように制御されてもよい。
周囲情報入力部44は、例えば、図4(1)や図4(2)に示すような情報看板を撮像した静止画像(動画像から抽出される静止画像を含む)から、情報看板に掲示されたコード情報や文字情報等の静止画像情報を認識して入力する。情報看板は、自動走行清掃を実行中の自律走行作業装置1への指示(禁止書きを含む)や、周囲の作業者や通行人等の人への注意書きを、コード情報や文字情報等で掲示している。周囲情報入力部44は、静止画像に基づいて、四角筒状の情報看板を認識した上で、コード情報や文字情報等を認識する。なお、周囲情報入力部44は、四角筒状の情報看板だけでなく、三角筒状、円筒形状やコーン状の情報看板を認識してよい。
コード情報は、例えば、自律走行作業装置1への指示を暗号化したQRコード(登録商標)等の二次元コードであり、周囲情報入力部44は、コード情報を静止画像情報として取得して復号化する。文字情報は、例えば、自律走行作業装置1への指示を文章等で示していて、周囲情報入力部44は、文字情報を静止画像情報として取得して文字認識処理する。なお、周囲情報入力部44は、情報看板にコード情報および文字情報が両方含まれる場合、何れか一方のみに基づいて静止画像情報を取得してもよく、あるいは、両方に基づいて静止画像情報を取得してもよい。周囲情報入力部44は、情報看板を撮像した動画像に基づいて、その情報看板のコード情報および文字情報を動画像情報として取得してもよい。
また、周囲情報入力部44は、静止画像や動画像に基づいて作業者や通行人等の人を認識し、例えば、図5(1)や図5(2)に示すように、人を撮像した動画像から人の動作、身振り手振り、ポーズ等の動的または静的なジェスチャーを識別するジェスチャー情報を動画像情報として認識して入力し、あるいは、人を撮像した静止画像から人のジェスチャー情報を静止画像情報として認識して入力する。図5(1)および図5(2)では、それぞれ、自律走行作業装置1による自動走行清掃の状態の上方視平面図を紙面左側に図示すると共に、その自律走行作業装置1のカメラ12で撮影した前方の画像の平面図を紙面右側に図示する。なお、人を認識するための画像認識処理は特に限定されず、例えば、静止物体か非静止物体かの識別や、人の輪郭や特徴の抽出や、手足、頭や瞳の配置判断等に基づいて人を認識してよい。
周囲情報入力部44は、人のジェスチャー情報として、体の向きや、腕や足の動きだけでなく、手や手のひらや指の形を認識してよい。例えば、代替動作を指示するジェスチャーでは、人が位置を変えずに手足若しくは所持物(LED照明付きの警棒等)が一定時間以上静止しない状態であって、手や所持物の動きに特徴があることが多いので、周囲情報入力部44は、手や所持物の動きの特徴を重点的に認識するとよい。また、代替動作を指示するジェスチャーでは、手や手のひらや指の形や、所持物の向きで自律走行作業装置1の走行方向を指示することが多いので、周囲情報入力部44は、手や手のひらや指の形や、所持物の向きの特徴を重点的に認識するとよい。なお、後述する機械学習実行部47の機械学習では、手や手のひらや指の形や、所持物の向きを含む画像情報に、より大きい重み係数を設定する。
周囲情報入力部44は、人を撮像した動画像や静止画像から、人のジェスチャーだけでなく、人の服装(形状、色、会社のロゴ、バッジ、腕章等を含む)や所持物の特徴、顔等の特徴を認識してジェスチャー情報に加えてもよい。例えば、周囲情報入力部44は、動画像や静止画像に撮像された人の服装に、清掃作業関係者のロゴが付されているか否かを認識することで、その人が清掃作業関係者か否かを認識することができる。
また、周囲情報入力部44は、マイク13によって集音した周囲の音について、制御部10の音認識機能によって認識されたトーン、メロディおよびリズム等の音要素情報や、音声情報を入力する。周囲情報入力部44は、トーン、メロディおよびリズム等の何れかまたはそれらの組合せを音要素情報として認識し、例えば、就業チャイム(就業音)や、火災警報、緊急地震速報または他の警報音、その他の楽曲を認識してよい。
また、周囲情報入力部44は、自律走行作業装置1が臭気センサ等の気体センサ(図示せず)を備えて周囲の空気の臭い等の気体成分を検出すると、その気体成分情報を入力する。周囲情報入力部44は、図示しないが自律走行作業装置1が触感センサ、振動センサや磁気センサを備えて接触、振動や磁気を検出すると、触感情報、振動情報や磁気情報を入力する。周囲情報入力部44は、制御部10の外部通信機能によって外部機器から通信情報を入力する。周囲情報入力部44は、自律走行作業装置1が光センサ等の電磁波センサ(図示せず)を備えて電磁波(光を含む)を検出すると、その電磁波情報を入力する。周囲情報入力部44は、計測部6のLRF6aや超音波センサ6bによって自律走行作業装置1の周囲状況を示すアクティブセンサ情報を入力する。
代替動作生成部45は、所定の清掃プランの自動走行清掃の実行中に、周囲情報入力部44が入力した1以上の周囲情報の入力タイミングおよび/または組合せからなる入力パターンに応じて、清掃プランに基づく走行および/または清掃の一部または全部に代わる代替動作を生成して実行する。代替動作生成部45は、入力パターンとして、周囲情報入力部44が入力した周囲情報を個別に判定し、または2以上の周囲情報の組合せを判定する。また、代替動作生成部45は、入力パターンとして、周囲情報の個別の入力タイミング(発生タイミングを含む)や、2以上の周囲情報の入力タイミングを判定する。代替動作生成部45は、記憶部11に記憶された学習モデルに基づいて入力パターンの判定や代替動作の生成を行ってよく、例えば、入力パターンモデルに基づいて入力パターンを判定し、代替動作モデルに基づいて代替動作を生成する。
なお、代替動作生成部45は、元の清掃プランを修正、変更するものではなく、所定の入力パターンが生じた場合に、その入力パターンに対応する代替動作を生成して一時的に実行するが、入力パターンが生じていない場合には、代替動作を実行せずに元の清掃プランがそのまま実行される。代替動作生成部45は、生成した代替動作を、入力パターンと関連付けて記憶部11に記憶する。
例えば、代替動作生成部45は、カメラ12が撮像した静止画像等から、学習走行清掃時に存在していなかった情報看板を周囲情報入力部44が検出した画像情報を入力し、更に、情報看板からコード情報や文字情報等を認識する画像情報を入力すると、これらの入力パターンに応じて代替動作を生成する。なお、周囲情報入力部44は、計測部6によるアクティブセンサ情報によって情報看板を検出してもよい。
図4(1)に示す情報看板の例では、上段にQRコード(登録商標)等のコード情報が掲示され、下段に「作業中です、近づかないで下さい。」の注意書きと、「半径2m内立入禁止」の禁止書きとが掲示されている。コード情報には、「半径2m内立入禁止」の指示が暗号化されていて、周囲情報入力部44は、「半径2m内立入禁止」の指示を示すコード情報を入力する。また、図4(2)に示す情報看板の例では、上段に「作業中です、近づかないで下さい。」の注意書きが掲示され、下段に「半径4m内立入禁止」の禁止書き(指示)が文字情報として掲示されている。周囲情報入力部44は、「半径4m内立入禁止」の指示を示す文字情報を画像情報として入力する。
代替動作生成部45は、清掃プランの環境地図の清掃エリアや走行経路に対して、計測部6の計測結果やカメラ12の撮像結果に基づいて情報看板の位置を把握すると共に、図3(2)に網掛けで示すように、情報看板から入力したコード情報や文字情報に基づいて立入禁止区域を把握する。そして、代替動作生成部45は、図3(2)に実線で示すように、立入禁止区域に侵入しない代替走行経路を設定して自動走行清掃を継続する代替動作を生成する。
代替動作生成部45は、代替動作として、例えば、元の清掃プランの各ステップのうち、立入禁止区域と重なる部分のステップの走行データや清掃データに代えて、立入禁止区域に重ならない代替ステップの走行データや清掃データを生成してよく、この場合、代替動作の実行時に、走行制御部41および清掃制御部42が代替ステップに基づいて走行部3および清掃部5を制御する。あるいは、代替動作生成部45は、代替動作として、元の清掃プランの環境地図に重なる立入禁止区域のデータを設定してよく、この場合、代替動作の実行時に、走行制御部41および清掃制御部42が立入禁止区域を迂回するように走行部3および清掃部5を制御してもよい。なお、この迂回時には、走行速度や清掃強度を軽減しなくてもよい。
コード情報や文字情報は、上記の立入禁止区域の指示に限定されず、「1m手前で停止」や「作業終了してドックへ帰還」等の他の様々な指示を示すように設定されてよい。代替動作生成部45は、コード情報や文字情報に示される様々な指示を実現するように代替動作を生成して実行し、入力パターンに関連付けて記憶部11に記憶する。なお、記憶部11には、「半径2m内立入禁止」、「1m手前で停止」や「作業終了してドックへ帰還」等の指示を代替動作として記憶してよく、あるいは、代替ステップの走行データおよび清掃データや、環境地図に重なる立入禁止区域のデータを代替動作として記憶してもよい。
また、代替動作生成部45は、カメラ12が撮像した静止画像や動画像から、学習走行清掃時に存在していなかった人を周囲情報入力部44が検出した画像情報を入力し、図5(1)、図5(2)に示すように、人のジェスチャー情報を示す動画像情報や静止画像情報を入力すると、これらの入力パターンに応じて代替動作を生成する。この場合、基準となるジェスチャー情報を予め基準ジェスチャーとして定めて記憶部11に記憶し、この基準ジェスチャーを含む入力パターンに対応する代替動作を記憶部11に記憶しておく。なお、周囲情報入力部44は、計測部6によるアクティブセンサ情報によって人を検出してもよい。
代替動作生成部45は、周囲情報入力部44が入力したジェスチャー情報と、記憶部11に予め記憶した基準ジェスチャーとのマッチング処理を行って、ジェスチャー情報に対応する基準ジェスチャーを判定する。そして、代替動作生成部45は、ジェスチャー情報に対応する基準ジェスチャーを記憶部11から検出すると、その基準ジェスチャーを含む入力パターンに対応する代替動作の指示を記憶部11から取得し、その指示を実現するように走行部3や清掃部5を制御する代替動作(清掃プランの各ステップの走行データや清掃データ、環境地図における立入禁止区域のデータ等)を生成して実行する。なお、基準ジェスチャーは、記憶部11に記憶された入力パターンモデルに含まれてよい。このようにして、代替動作生成部45は、ジェスチャー情報を含む入力パターンに対応する代替動作を実行する。
例えば、ジェスチャー情報に対応する代替動作として、「しばらく停止せよ」、「迂回せよ」「作業を停止してドックへ帰還せよ」等の様々な指示を設定する。なお、ジェスチャー情報がジェスチャーと服装との組合せからなる場合、ジェスチャーと服装との組合せ毎に異なる代替動作を関連付けることができ、また、ジェスチャーと服装との異なる組合せに同一の代替動作を関連付けることもできる。例えば、所定のジェスチャーと清掃作業関係者(図5(1)参照)のロゴとが所定の代替動作に関連付けられていた場合、そのロゴを有しない服装の人(図5(2)参照)のジェスチャーはその代替動作と関連付けられていないことになる。
上記したように、代替動作を指示するジェスチャーは、手や所持物の動きや、手や手のひらや指の形や、所持物の向きに特徴があることが多いので、代替動作生成部45は、周囲情報入力部44と同様に、手や所持物の動きや、手や手のひらや指の形や、所持物の向きの特徴を重点的に認識してマッチング処理を行うとよい。
また、代替動作生成部45は、周囲情報入力部44がカメラ12による画像情報や計測部6によるアクティブセンサ情報に基づいて清掃エリア内の走行経路上の障害物を検出したが、カメラ12による画像情報から情報看板のコード情報や文字情報、およびジェスチャー情報を認識できない場合、これらの入力パターンに応じて、通常の障害物と認識して、障害物を迂回するように代替動作を生成してよい。なお、この通常迂回時には、走行速度や清掃強度を軽減するとよい。
また、代替動作生成部45は、マイク13で集音した音から、周囲情報入力部44がトーン、メロディおよびリズム等の何れか、それらの組合せ、音声情報等の音情報を入力すると、音情報の入力パターンに応じて代替動作を生成する。この場合、基準となる音情報を予め基準音として定めて記憶部11に記憶し、この基準音を含む入力パターンに対応する代替動作を記憶部11に記憶しておく。
代替動作生成部45は、周囲情報入力部44が入力した音情報と、記憶部11に予め記憶した基準音とのマッチング処理を行って、音情報に対応する基準音を判定する。そして、代替動作生成部45は、音情報に対応する基準音を記憶部11から検出すると、その基準音を含む入力パターンに対応する代替動作の指示を記憶部11から取得し、その指示を実現するように走行部3や清掃部5を制御する代替動作を生成して実行する。なお、基準音は、記憶部11に記憶された入力パターンモデルに含まれてよい。このようにして、代替動作生成部45は、音情報を含む入力パターンに対応する代替動作を実行する。
なお、音情報の組合せ毎に異なる代替動作を関連付けることができ、また、音情報の異なる組合せに同一の代替動作を関連付けることもできる。例えば、代替動作を指示する音情報は、就業チャイム、火災警報や緊急地震速報等の警報音、その他の楽曲でよく、また、周囲の人が発話した音声でもよい。
例えば、代替動作生成部45は、周囲情報入力部44が入力した音情報が就業チャイムである場合、就業チャイムに応じた代替動作として、自動走行清掃を中止して、予め設定された保管場所の移動する作業終了動作を生成する。また、代替動作生成部45は、周囲情報入力部44が入力した音情報が火災警報や緊急地震速報等の警報音である場合、警報音に応じた代替動作として、自動走行清掃を中止してその場所に停止する作業緊急停止動作を生成する。
なお、代替動作生成部45は、音声情報のマッチング処理では、音声情報を文章に変換して、同一の文章に限らず、同様の意味を有する文章をマッチングさせてよい。この場合、音声情報に対応する基準文章を予め定めて記憶部11に記憶し、この基準文章を含む入力パターンに対応する代替動作を記憶部11に記憶しておく。音声情報に対応する基準文章が記憶部11にない場合には、代替動作生成部45は、音声情報の示す指示を解読して実現するように代替動作を生成して実行する。
例えば、図7(1)に示すように、人が走行経路上にいる場合、後述するように、情報確認動作実行部46が第2情報確認動作を実行して、自動走行清掃を停止して待機状態となってから、周囲情報入力部44は、人から音声情報を入力する。図7(2)に示すように、周囲情報入力部44が人から「左側を通れ」との音声情報を入力した場合、代替動作生成部45は、人の左側を迂回する指示であると解読して、その指示を実現するように代替動作を生成して実行する。
図7(1)および図7(2)では、それぞれ、自律走行作業装置1による自動走行清掃の状態の上方視平面図を紙面左側に図示すると共に、その自律走行作業装置1のカメラ12で撮影した前方の画像の平面図を紙面右側に図示する。
また、周囲情報入力部44が人から「ちょっと待って」との音声情報を入力した場合、代替動作生成部45は、しばらくその場に停止する指示であると解読して、その指示を実現するように代替動作を生成して実行する。更に、周囲情報入力部44が人から「10分で終わる」や「10分後に再開」との音声情報を入力した場合、代替動作生成部45は、他のエリア(同じ清掃プラン内の他のステップ)の自動走行清掃を行って10分後に元の待機状態の位置から自動走行清掃を再開する指示であると解読して、その指示を実現するように代替動作を生成して実行する。
なお、代替動作生成部45は、上記したように、コード情報や文字情報、ジェスチャー情報、音情報等を個別に含む入力パターンをそれぞれ代替動作と関連付けてもよいが、コード情報や文字情報、ジェスチャー情報、音情報等を組み合わせて含む入力パターンと代替動作と関連付けて、各入力パターンの組合せが生じた場合に、対応する代替動作を生成して実行してもよい。
情報確認動作実行部46は、自動走行清掃の実行中に、周囲情報入力部44が入力した1以上の周囲情報に基づいて、代替動作に先立つ情報確認動作を実行する。情報確認動作は、代替動作の生成に先立ち、周囲情報を取得するための事前動作であり、例えば、清掃プランに基づく清掃エリア内に障害物が存在する場合に、その障害物に関する周囲情報を取得するために前もって行う動作である。
例えば、情報確認動作実行部46は、周囲情報入力部44がカメラ12から入力した画像情報に基づいて、清掃プランに基づく清掃エリア内に障害物を検出した場合(図3(2)参照)、この障害物を正確に認識する情報確認動作(第1情報確認動作)を実行する。第1情報確認動作として、情報確認動作実行部46は、自律走行作業装置1と障害物との距離が所定の認識可能距離になった時点で、自動走行清掃を停止し、カメラ12が障害物に対向するように自律走行作業装置1を旋回させる。そして、カメラ12によって障害物を含む静止画像や動画像を撮像して、障害物に関する静止画像情報や動画像情報を認識する。認識可能距離は、周囲情報入力部44が入力した画像情報に基づいて情報看板に掲示されるコード情報や文字情報を認識可能となる距離である。
上記した情報看板が障害物である場合の第1情報確認動作の動作例について説明する。この動作例の清掃プランは、図3(1)に示すように、清掃エリアを塗り潰すようにジグザグに走行する走行経路を構成する。この清掃プランの自動走行清掃を実行する場合に、図3(2)に示すように、学習走行清掃時に存在していなかった情報看板が、一時的に清掃プランを変更するために清掃エリア内に配置されることがある。情報看板は、清掃プランの環境地図に含まれず、清掃プランの走行経路を妨げるように配置されるので、計測部6の計測結果に基づいて障害物として認識される。自律走行作業装置1は、障害物を認識した場合でも、障害物までの距離が所定の安全距離以上であれば、減速や迂回等の危険回避動作を行うことなく、通常の自動走行清掃を継続する。
この動作例では、情報看板に掲示されるコード情報や文字情報によって、情報看板の半径2m内を立入禁止区域であることが指示されるものとする。なお、周囲情報入力部44の所定の認識可能距離は3mであり、自律走行作業装置1の所定の安全距離は0.5mであるものとする。
自動走行清掃を実行中の自律走行作業装置1は、通常、走行経路に沿った向きのままでカメラ12が周囲を撮像するので、情報看板がカメラ12の撮像範囲(画角)に入るポジションAまで走行した時点で、周囲情報入力部44が入力した画像情報に基づいて情報看板を障害物と認識する。ところが、ポジションAでは、自律走行作業装置1と情報看板との距離が所定の認識可能距離を超えていて、情報看板を撮像した静止画像では、コード情報や文字情報の画像が小さく、コード情報や文字情報を認識することができない。即ち、ポジションAでは、情報看板は、通常の障害物と認識される。
自律走行作業装置1は、ポジションAから自動走行清掃を続けると、情報看板までの距離が認識可能距離以内になるが、走行経路に沿った向きのカメラ12の撮像範囲から情報看板が外れてしまう。自律走行作業装置1がポジションBに到達したときに、走行経路に沿った向きのカメラ12の撮像範囲に情報看板が入るが、ポジションBの自律走行作業装置1は立入禁止区域に侵入してしまっている換言すれば、第1情報確認動作を実行しない自律走行作業装置1は、情報看板のコード情報や文字情報を認識する前に、情報看板が示す立入禁止区域に侵入してしまうので、コード情報や文字情報に従った代替動作ができなくなる。
これに対して、本実施形態では、情報確認動作実行部46は、自律走行作業装置1がポジションAから障害物との距離が認識可能距離になるポジションCまで走行した時点で、第1情報確認動作を実行し、コード情報や文字情報を認識可能な状態で情報看板がカメラ12の撮像範囲に入るので、自律走行作業装置1が立入禁止区域に侵入する前に、周囲情報入力部44は、情報看板のコード情報や文字情報等の画像情報を認識する。その結果、代替動作生成部45は、自律走行作業装置1が立入禁止区域に侵入する前に、立入禁止区域を迂回する代替動作を生成して実行することができる。
また、情報確認動作実行部46は、計測部6の計測結果に基づいて清掃プランに基づく清掃エリア内の走行経路上の障害物を検出し、周囲情報入力部44がカメラ12から入力した画像情報に基づいて障害物が人であると認識した場合に、図5(1)や図5(2)に示すように、自律走行作業装置1と人との距離が所定の待機距離L1になった時点で、自動走行清掃を停止して待機状態となる情報確認動作(第2情報確認動作)を実行する。この待機状態は、周囲情報入力部44が人のジェスチャー情報を入力するのを待機する状態である。この待機状態でジェスチャー情報が入力されると、代替動作生成部45によってジェスチャー情報に応じた代替動作が実行される。
待機状態では、走行部3の走行を停止するだけでなく、清掃部5の清掃作業も停止し、具体的には、洗浄パッド30を上昇させてパッドモータ31を停止し、供給水ポンプ34および吸引ブロア38を停止する。なお、情報確認動作実行部46は、第2情報確認動作を開始した後、ジェスチャー情報を入力することなく、周囲情報入力部44がカメラ12から入力した画像情報に基づいて人を認識しなくなったとき、またはそれから所定時間経過したとき、待機状態を解除して第2情報確認動作を終了し、自動走行清掃を再開してよい。ただし、周囲情報入力部44が「しばらく停止せよ」のジェスチャー情報を入力して、代替動作生成部45が停止の代替動作を実行している場合には、情報確認動作実行部46は、周囲情報入力部44によって人を認識しなくなっても、待機状態を継続することになる。
なお、待機状態の情報確認動作実行部46は、周囲情報入力部44がジェスチャー情報を入力して、代替動作生成部45がジェスチャー情報に応じた代替動作を実行した後、その代替動作が自動走行清掃の中止や終了でなければ、待機状態を解除して第2情報確認動作を終了してよい。
また、情報確認動作実行部46は、上記したように第2情報確認動作を実行して、自動走行清掃を停止して待機状態となったとき、カメラ12が撮像した静止画像または動画像に人の全身が写っているか否かを判定する。図6(1)に示すように、自律走行作業装置1が人と待機距離L1を空けて停止した後で人が自律走行作業装置1に近づく場合や、自律走行作業装置1が停止した待機距離L2が人の全身を写すのに不十分である場合がある。カメラ12が人に近すぎる等の理由で人の全身を撮像できない場合、人のジェスチャーの全体が静止画像または動画像に写っていない可能性があるので、情報確認動作実行部46は、人の全身が写るように更に情報確認動作を行う。図6(1)および図6(2)では、それぞれ、自律走行作業装置1による自動走行清掃の状態の上方視平面図を紙面左側に図示すると共に、その自律走行作業装置1のカメラ12で撮影した前方の画像の平面図を紙面右側に図示する。
例えば、カメラ12に、パン・チルト・ズーム機能が備わっている場合には、情報確認動作実行部46は、これらのカメラ12の機能を利用して、人の全身が写るようにカメラ12を制御する。また、カメラ12に、パン・チルト・ズーム機能が備わっていない場合には、情報確認動作実行部46は、走行制御部41によって走行部3を制御して、図6(2)に示すように、人の全身が写る位置、即ち、十分な待機距離L1を空けた位置に自律走行作業装置1を移動させる。このとき、情報確認動作実行部46は、前回撮像した静止画像または動画像が示す人の輪郭や大きさに基づいて、人の全身が写る位置を算出してもよく、あるいは、カメラ12で人を撮像しながら自律走行作業装置1を移動させて人の全身が写る位置を検出してもよい。
更に、情報確認動作実行部46は、第2情報確認動作を実行して、自動走行清掃を停止して待機状態となったとき、周囲の人に対してスピーカ14を介して音声通知を出力してもよい。このとき、情報確認動作実行部46は、注意喚起の警告を示す音声通知や、ジェスチャーや音声指示を促す音声通知を出力するとよい。更に注意喚起のために、音声通知に変えて、または加えて、照明灯2bを点滅させたり、他の表示装置を搭載して画像や文字表示による通知を出力してもよい。例えば、情報確認動作実行部46は、図7(1)に示すように、音声合成機能により、「直進できますか?少し待ちますか?」といった音声通知を出力する。なお、情報確認動作実行部46は、周囲情報入力部44が入力した画像情報に基づいて周囲の人が清掃作業関係者か否かを判定し、清掃作業関係者の場合には、ジェスチャーや音声指示を促す音声または/および表示による通知を出力し、その他の人の場合には、警告を示す音声または/および表示による通知を出力してもよい。図7(2)に示すように、自律走行作業装置1の周囲の人が、音声または/および表示による通知に応答する発話をすると、周囲情報入力部44は、発話された音声の音情報を入力し、代替動作生成部45は、周囲の人が発話した音声の音情報に応じた代替動作を実行する。
機械学習実行部47は、制御部10のコンピュータや通信部15を介した外部機器のコンピュータによって構成される人工知能により、代替動作生成部45が実行可能な各代替動作を機械学習により学習する機能を有する。機械学習実行部47は、各周囲情報の種別およびその詳細項目の種別と稼働履歴DBのデータ項目とを入力パラメータとし、各代替動作を出力パラメータとする機械学習を行って学習モデル(入力パターンモデルや代替動作モデル)を構築する。この学習モデルには、各入力パターンと各代替動作とが適切に関連付けられて記憶されていて、機械学習を行う程、各入力パターンと各代替動作とがより適切に関連付けられ、学習モデルを用いることで、代替動作生成部45は、入力パターンに応じた代替動作をより適切に生成することができる。
例えば、機械学習実行部47は、図8に示すように、仮想的なコンピュータのノード(図8に小円で示す)をニューラルに接続したネットワーク、即ち、ニューラルネットワークを利用した機械学習により学習モデルを構築する。機械学習実行部47は、ニューラルネットワークの入力層に、各周囲情報の種別およびその詳細項目の種別、稼働履歴DBのデータ項目を入力パラメータとして入力し、更に、自律走行作業装置1の設置に関する設置場所データや自動走行清掃の実行時の日時データを入力してよい。ニューラルネットワークは、入力層と中間層に分けられ、中間層の演算では、詳細項目の種別毎に設定される重み係数が用いられ、重み係数が大きい程、重要視されて機械学習される。ニューラルネットワークの出力層として、代替動作の学習モデル(代替動作)が生成され、また、入力パターンの学習モデル(入力パターンモデル)が生成されてよく、図10に示すように、記憶部11に記憶される。
図9に示すように、各周囲情報の種別は、例えば、画像情報、音情報、その他の情報(例えば、リアルタイムに変化する情報)である。画像情報の詳細項目の種別は、静止物体データ、非静止物体データ、周囲環境データ、文字データ(文字情報)、コードデータ(コード情報)、形状/色/模様データ等である。音情報の詳細項目の種別は、音声データ、メロディデータ(トーン、リズムを含む)、警報データ、異音データ等である。その他の情報の詳細項目の種別は、日時/曜日データ、就業状況データ、天候データ、触覚データ、臭いデータ等である。
機械学習実行部47は、代替動作生成部45が周囲情報の入力パターンと代替動作とを関連付けて記憶部11に記憶する際に、機械学習を行う。この記憶部11への記憶時に、入力パターンを構成する各周囲情報は、周囲情報の種別や、詳細項目の種別に識別されて、図10に示すように、稼働履歴DBのデータ項目に記憶される。また、機械学習時に、周囲情報や詳細項目の種別に識別されたデータ項目が稼働履歴DBから抽出される。なお、機械学習実行部47は、操作表示部7を介した入力や、通信部15を介した外部機器との通信により、入力パターンと代替動作とを関連付けて入力し、記憶部11に記憶したり、機械学習を行ったりしてよい。
なお、入力パラメータは、上記したものに限定されず、定義データや自動生成データを含んでよい。定義データは、例えば、運用ルールや、他の機器との優先動作ポリシー等を定義したデータである。自動生成データは、逐次、機械学習により自動生成されるデータであり、例えば、稼動履歴DBに蓄積された過去の記憶データ(例えば、入力パターンのデータ)や、過去に生成されて実行された代替動作データ、および外部のDBからインポートしたこれらのデータを含んでよい。
なお、機械学習実行部47が利用可能な稼動履歴DB、入力パターンモデルおよび代替動作モデルは、記憶部11に記憶されたものに限定されず、機械学習実行部47は、通信部15を介して外部機器に記憶される稼動履歴DB、入力パターンモデルおよび代替動作モデルを利用することもできる。
本実施形態の自律走行作業装置1の機械学習を含む自動走行清掃について、図11のフローチャートを参照して説明する。
自律走行作業装置1は、所定の清掃プランに基づいて自動走行清掃を開始すると、周囲情報入力部44が、自律走行作業装置1の周囲の状況を示す周囲情報を逐次、入力する(ステップS1)。
周囲情報入力部44が入力した1以上の周囲情報に基づいて、情報確認動作実行部46は、代替動作に先立つ情報確認動作を実行すべきか否かを判定し、必要に応じて情報確認動作を実行する(ステップS2)。
また、周囲情報入力部44が入力した1以上の周囲情報からなる入力パターンに基づいて、代替動作生成部45は、必要に応じて代替動作を生成する(ステップS3)。なお、周囲情報入力部44が、代替動作の生成に用いる周囲情報以外に、他の周囲情報を入力している場合でも、代替動作生成部45は、これら全ての周囲情報を順次入力したパターンを入力パターンとする。このとき、代替動作生成部45は、記憶部11に記憶された入力パターンモデルに基づいて入力パターンを判定し、記憶部11に記憶された代替動作モデルに基づいて代替動作を生成する。そして、代替動作生成部45は、生成した代替動作を実行する(ステップS4)。
その後、代替動作が完了すると、代替動作生成部45は、入力パターンおよび代替動作を関連付けて記憶部11に記憶し、稼働履歴DBに記憶させる(ステップS5)。このとき、稼働履歴DBに記憶される入力パターンには、代替動作の生成に用いる周囲情報以外に入力した、他の周囲情報も含まれる。
機械学習実行部47は、稼働履歴DBに記憶した入力パターンの各周囲情報と、これらに関連付けられた代替動作とに基づいて機械学習を行い(ステップS6)、入力パターンモデルや代替動作モデルを生成して記憶部11に記憶する(ステップS7)。
また、自律走行作業装置1の機械学習として、例えば、図3(1)に示すようなコード情報および文字情報を含む情報看板を認識する第1動作例を、図12(1)のフローチャートを参照して説明する。
周囲情報入力部44は、先ず、カメラ12による画像情報や計測部6によるアクティブセンサ情報に基づいて情報看板を検出し、このとき、情報看板の検出を示す画像情報やアクティブセンサ情報を第1周囲情報として入力する(ステップS11)。次に、周囲情報入力部44は、カメラ12による画像情報に基づいて、情報看板に掲示されたコード情報を認識し、このとき、コード情報の認識を示す画像情報を第2周囲情報として入力する(ステップS12)。また、周囲情報入力部44は、カメラ12による画像情報に基づいて、情報看板に掲示された文字情報を認識し、このとき、文字情報の認識を示す画像情報を第3周囲情報として入力する(ステップS13)。
代替動作生成部45は、第1周囲情報、第2周囲情報および第3周囲情報の組合せの入力パターンを、既に設定されている入力パターンモデルに基づいて判定し、この入力パターンに対応する代替動作を識別して生成する(ステップS14)。このとき、代替動作は、第2周囲情報のコード情報に基づいて識別され、第3周囲情報の文字情報は用いられないが、代替動作生成部45は、第1周囲情報、第2周囲情報および第3周囲情報の組合せを入力パターンとし、生成した代替動作と関連付けて記憶部11に記憶して稼働履歴DBに記憶する。
そして、機械学習実行部47は、稼働履歴DBに記憶した入力パターンの第1周囲情報、第2周囲情報、第3周囲情報と、この入力パターンに関連付けられた代替動作とに基づいて機械学習を行う(ステップS15)。このとき、機械学習実行部47は、第2周囲情報と第3周囲情報とが同じ内容を意味することを認識することができ、同じ代替動作を生成するための入力パターンとして、第1周囲情報、第2周囲情報および第3周囲情報の組合せに限定せず、第1周囲情報および第2周囲情報の組合せや、第1周囲情報および第3周囲情報の組合せでも同じ代替動作を識別できることを学習して、これらの周囲情報の組合せを類似の入力パターンとして入力パターンモデルを生成する。
次に、自律走行作業装置1の機械学習として、上記の第1動作例の後で、図3(2)に示すような文字情報を含む情報看板を認識する第2動作例を、図12(2)のフローチャートを参照して説明する。
周囲情報入力部44は、先ず、カメラ12による画像情報や計測部6によるアクティブセンサ情報に基づいて情報看板を検出し、このとき、情報看板の検出を示す画像情報やアクティブセンサ情報を第1周囲情報として入力する(ステップS21)。次に、また、周囲情報入力部44は、カメラ12による画像情報に基づいて、情報看板に掲示された文字情報を認識し、このとき、文字情報の認識を示す画像情報を第2周囲情報として入力する(ステップS22)。
代替動作生成部45は、第1周囲情報および第2周囲情報の組合せの入力パターンを、第1動作例で生成した入力パターンモデルに基づいて判定し、この入力パターンに対応する代替動作を識別して生成する(ステップS23)。この入力パターンモデルでは、第1動作例の第1周囲情報、第2周囲情報および第3周囲情報の組合せの入力パターンと、第2動作例の第1周囲情報および第2周囲情報の組合せの入力パターンとが、同じ代替動作を生成してよいことを示しているので、第2動作例では、第1動作例と同じ代替動作を生成することができる。
更に、自律走行作業装置1の機械学習として、人のジェスチャー情報を含む入力パターンと、その入力パターンに対応する代替動作とを記憶することができる。
例えば、周囲情報入力部44がカメラ12から入力した画像情報に基づいて人を認識した場合に、図5(1)に示す清掃作業関係者の服装(会社のロゴ等)は入力パターンモデルに記憶されているが、図5(2)に示す他の作業者の服装(会社のロゴ等)が入力パターンモデルに記憶されていないことがある。このとき、代替動作生成部45は他の作業者のジェスチャー情報を含む入力パターンを入力パターンモデルに基づいて判定できずに、情報確認動作実行部46が第2情報確認動作を実行して、自動走行清掃を停止して待機状態となる。
そこで、機械学習実行部47は、他の作業者の服装等のジェスチャー情報を含む入力パターンを記憶部11に記憶して稼働履歴DBに記憶すると共に、待機状態となってから自動走行清掃を再開するまでに実行された手動走行清掃の走行データや清掃データを代替動作として記憶部11に記憶して稼働履歴DBに記憶する。そして、機械学習実行部47は、他の作業者の服装等のジェスチャー情報を含む入力パターンを機械学習して入力パターンモデルを生成すると共に、待機状態から自動走行清掃再開までの代替動作を機械学習して代替動作モデルを生成する。
これにより、次に、他の作業者が走行経路上でジェスチャーを行ったときには、代替動作生成部45は、入力パターンモデルに基づいて他の作業者を判定でき、代替動作モデルに基づいて待機状態から自動走行清掃再開までの代替動作を生成できる。例えば、自動走行清掃の実行中に、作業者が走行経路に立ち入って自動走行清掃を停止させる場合には、何らかの事由により迂回動作等の清掃プラン外の動作を行うことが多い。上記したような機械学習によれば、新たな入力パターンの設定や、新たな代替動作の設定がし易くなる。
なお、このような機械学習では、カメラ12から入力した画像情報に基づいて作業者の服装(会社のロゴ等)を認識し、入力パターンモデルに基づいて作業者の服装(会社のロゴ等)の違いを判定できるので、作業者のジェスチャーと服装とを組み合わせた様々なジェスチャー情報を入力パターンモデルに記憶できる。そのため、作業者毎に異なるジェスチャーを入力パターンモデルに記憶することができ、更に、作業者毎に異なるジェスチャーを同じ代替動作に関連付けてもよく、異なる代替動作に関連付けることもできる。
また、上記のように機械学習実行部47で生成された入力パターンモデルや代替動作モデルは、清掃プランが異なる場合でも利用することができる。例えば、所定の清掃現場の清掃プランについて、音情報(就業チャイム、警報音等)を含む入力パターンとそれに対応する代替動作とが、入力パターンモデルおよび代替動作モデルに設定されているものとする。この場合、他の清掃現場の清掃プランでも、同じ音情報(就業チャイム、警報音等)を含む入力パターンに対して、同じ代替動作を行うことが多いので、同じ入力パターンモデルおよび代替動作モデルを利用することができる。
機械学習実行部47で生成される入力パターンモデルや代替動作モデルは、上記した例に限定されず、様々な類似の入力パターンを各代替動作に関連付けることができ、また、様々な類似の代替動作を関連付けることができる。更に、機械学習実行部47は、入力パターンや代替動作だけでなく、1以上の周囲情報の各組合せを入力パラメータとし、周囲情報の各組合せに関連付けて各情報確認動作を出力パラメータとする機械学習を行って学習モデルを構築してもよい。これにより、様々な類似の周囲情報の組合せを各情報確認動作に関連付けることができ、また、様々な類似の情報確認動作を関連付けることができる。
また、自律走行作業装置1によって情報確認動作および代替動作を行う他の動作例を、図13のフローチャートを参照して説明する。
先ず、自律走行作業装置1が自動走行清掃を実行中に、図6(1)に示すように、作業者が清掃エリアに侵入してくる。周囲情報入力部44は計測部6のアクティブセンサ情報に基づいて作業者を障害物として検出する(ステップS31)。
また、周囲情報入力部44はカメラ12の画像情報に基づいて障害物を認識しようとしても、作業者がカメラに近すぎるため、画像情報に基づいて作業者を認識することができない(ステップS32)。
ここで、情報確認動作実行部46は、周囲情報入力部44が入力した周囲情報に基づいて障害物を検出したことにより、情報確認動作を実行して、自動走行清掃を停止して待機状態となり、また、画像情報の障害物がカメラ12の画角を超えているので、情報確認動作を実行して、自律走行作業装置1が障害物から離間して、例えば後退するように走行制御部41を制御する(ステップS33)。
自律走行作業装置1が移動することで、画像情報の障害物がカメラ12の画角内に収まってくると、周囲情報入力部44はカメラ12の画像情報に基づいて障害物が作業者であることを認識する(ステップS34)。
更に自律走行作業装置1が移動して、図6(2)に示すように、画像情報の障害物の全体がカメラ12の画角内に収まると、周囲情報入力部44はカメラ12の画像情報に基づいて作業者の全身を認識し、顔などの特徴を認識する(ステップS35)。
次に、情報確認動作実行部46は、情報確認動作を実行して、図7(1)に示すように、「直進できますか?少し待ちますか?
」といった音声通知をスピーカ14を介して作業者に向けて出力する(ステップS36)。
その後、周囲情報入力部44は、音声通知に対する作業者のリアクションを示す周囲情報を入力し、例えば、カメラ12の画像情報に基づいて作業者のジェスチャー情報を入力して認識する(ステップS37)。また、周囲情報入力部44は、図7(2)に示すように、マイク13を介して、「左側を通れ」といった作業者の音声情報を入力して認識する(ステップS38)。
そして、代替動作生成部45は、図7(2)に示すように、作業者のジェスチャー情報および音声情報を含む入力パターンに応じて代替動作を生成し、実行する(ステップS39)。
上述のように、本実施形態によれば、事前に記憶した清掃プラン(作業プラン)に基づいて自律的に走行し自動で清掃(作業)する自動走行清掃(自動走行作業)を実行可能な自律走行作業装置1は、周囲情報入力部44によって、自動走行清掃の実行中に1以上の周囲情報を入力し、代替動作生成部45によって、1以上の周囲情報の入力タイミングおよび/または組合せからなる入力パターンに応じて、清掃プランに基づく走行および/または清掃に代わる代替動作を生成して実行する。
このような構成により、本実施形態に係る自律走行作業装置1では、自律走行作業装置1の周囲情報の入力パターンに応じて、自律走行作業装置1が自身で代替動作を生成するので、入力パターン毎に多岐に亘って走行データや清掃データを設定する必要がない。また、清掃作業現場の状況に応じて柔軟に対処して代替動作を生成することができ、自動走行清掃中に、周囲情報の入力パターンの内容次第で代替動作の条件等を変化させることができる。そのため、自律走行作業装置1が周囲の人と協働作業等をする場合に、安全性を向上することができる。このように、自動走行清掃において、作業者等の安全や周囲状況に配慮すると共に、清掃作業の効率を落とすことなく、自律的な代替動作を判断することが可能となる。
また、本実施形態では、周囲情報入力部44によって、1以上の周囲情報として、画像情報、音情報、気体成分情報、触感情報、振動情報、磁気情報、通信情報、電磁波情報およびアクティブセンサ情報のうち、少なくとも1つを入力する。
このような構成により、様々な周囲情報の組合せや入力タイミング(発生タイミング)の入力パターンを活用して、自律走行作業装置1の代替動作を生成できるので、自律走行作業装置1と周囲の人との協働作業等において安全性を向上することができる。
また、本実施形態では、周囲情報入力部44によって、画像情報として、代替動作を識別するコード情報、文字情報またはジェスチャー情報を入力する。
このような構成により、自律走行作業装置1は、周囲情報の発生源と離間した状態で、周囲情報を取得できるので、代替動作を指示する作業者や清掃作業関係者等は、動作中の自律走行作業装置1を追いかけて操作するようなことがなく、安全性をより向上することができる。
また、本実施形態では、情報確認動作実行部46によって、自動走行清掃の実行中に、代替動作の生成に先立ち、前記周囲情報を取得するための事前動作として情報確認動作を行う。
このような構成により、代替動作を生成して実行する前に、周囲情報を取得し易くなり、入力パターンをより適切に判定することができるので、代替動作生成の精度が向上し、安全性をより向上することができる。
また、本実施形態では、自動走行清掃の実行中に、1以上の周囲情報に基づいて、清掃プランに基づく清掃エリア内に障害物を認識した場合、情報確認動作実行部46によって、情報確認動作として自動走行清掃を停止して待機状態となり、代替動作生成部45によって、待機状態で入力した1以上の周囲情報からなる入力パターンに応じて代替動作を生成する。
このような構成により、自動走行清掃を停止することで、周囲情報を取得し易くなり、入力パターンをより適切に判定することができるので、代替動作生成の精度が向上し、安全性をより向上することができる。
また、本実施形態では、障害物が人か否かを識別し、障害物が人の場合には、情報確認動作実行部46によって、情報確認動作として待機状態で人に向けて所定の音声または/および表示による通知を出力し、代替動作生成部45によって、音声または/および表示による通知を出力した後で周囲情報入力部44が入力した1以上の周囲情報からなる入力パターンに応じて代替動作を生成する。また、障害物が人でない場合には、代替動作生成部45によって、障害物を迂回する代替動作を生成する。
このような構成により、障害物が人の場合に、情報確認動作として、その人に音声または/および表示による通知を出力することで、その人に自律走行作業装置1を気付かせる(注意喚起する)ことができる。また、音声または/および表示による通知を出力後に周囲情報を取得することで、その人の反応を確認することができ、安全性をより向上することができる。
また、本実施形態では、周囲情報入力部44によって、画像情報として、人が位置を変えずに手足または所持物を動作させるジェスチャー情報を入力する
このような構成により、障害物が人の場合に、その人のジェスチャーに基づいて代替動作を生成するので、作業者等は、自律走行作業装置1から離間した位置でジェスチャーによって自律走行作業装置1の代替動作を指示できるので、安全性をより向上することができる。
また、本実施形態では、情報確認動作実行部46によって、情報確認動作として、カメラ12で人の全身の画像情報を得られる位置に自律走行作業装置1を移動する。
このような構成により、カメラ12にパン・チルト・ズーム機能が備わっていない場合でも、人の全身の画像情報を得ることによって、作業者等のジェスチャーを確実に認識することができ、ジェスチャー情報に基づく代替動作をより正確に指示することができるので、安全性をより向上することができる。
また、本実施形態では、周囲情報入力部44によって、音情報として、代替動作を識別するトーン、メロディおよびリズムのうちの何れか若しくはこれらのうちの何れか2つ以上の組合せ、または音声情報を入力する。
このような構成により、音情報を取得したタイミングで代替動作を生成して実行することができるので、周囲情報の発生原と安全に配慮すべき対象との距離や方向を限定することがなく、安全に配慮すべき対象が作業者以外の場合でも、安全性を向上することができる。
また、本実施形態では、周囲情報入力部44によって、音情報として、所定の就業チャイム(就業音)を入力すると、代替動作生成部45によって、代替動作として、自動走行清掃を中止して予め設定された保管場所に移動する作業終了動作を生成する。
このような構成により、就業チャイムを取得したタイミングで代替動作を生成して実行することができるので、就業開始後に清掃エリアに立ち入る人が多くなる前に、自動走行清掃を中止して保管場所に退避するので、人と衝突する可能性を低減し、安全性を向上することができる。
また、本実施形態では、周囲情報入力部44によって、音情報として、火災警報、緊急地震速報または他の警報音を入力すると、代替動作生成部45によって、代替動作として、自動走行清掃を中止してその場所に停止する作業緊急停止動作を生成する。
このような構成により、警報音を取得したタイミングで代替動作を生成して実行することができるので、火災や地震による被害が進行する前に、自動走行清掃を中止するので、自律走行作業装置1が暴走する可能性や人と衝突する可能性を低減し、安全性を向上することができる。
また、本実施形態では、代替動作生成部45によって、入力パターンおよびこの入力パターンに対応する代替動作を関連付けて記憶部11に記憶し、機械学習実行部47によって、記憶した入力パターンおよび代替動作を用いた機械学習によって、入力パターンの判定および/または代替動作の生成に用いられる入力パターンモデルや代替動作モデル等の学習モデルを生成する。
このような構成により、周囲情報の入力パターンや、入力パターンに対応する代替動作を蓄積する程、様々な入力パターンを判定できるようになり、様々な入力パターンに基づいて代替動作を精度良く生成および実行できるようになるので、安全性を向上することができる。
ところで、本実施形態では、図14に示すように、上記した自律走行作業装置1を備える自律走行作業システム100を構成することができる。自律走行作業システム100は、上記した自律走行作業装置1と同様の構成を有する複数の自律走行作業装置1(1a、1b、1c)と、自律走行作業管理装置101(管理装置)とを備える。複数の自律走行作業装置1a、1b、1cと自律走行作業管理装置101とは、インターネットなどの所定のネットワーク102を介して通信可能に接続される。複数の自律走行作業装置1a、1b、1cは、それぞれ通信部15を介してネットワーク102に接続される。図14では、3つの自律走行作業装置1a、1b、1cを図示するが、自律走行作業システム100は、2つの自律走行作業装置1または4つ以上の自律走行作業装置1を備えてもよい。
また、自律走行作業システム100は、複数の作業者端末装置103(103a、103b、103c)を備える。複数の作業者端末装置103a、103b、103cは、ネットワーク102を介して複数の自律走行作業装置1a、1b、1cとそれぞれ一対一で通信可能に接続される。複数の作業者端末装置103a、103b、103cは、それぞれ、複数の自律走行作業装置1a、1b、1cへ操作信号を送信し、また、複数の自律走行作業装置1a、1b、1cから稼働状況を受信することができる。
自律走行作業管理装置101は、例えば、Web・AP(ウェブ・アプリケーション)サーバ101aや、DBサーバ101b、データベース101cを備える。自律走行作業管理装置101は、複数の自律走行作業装置1a、1b、1cの間で情報を共有する機能を有し、複数の自律走行作業装置1a、1b、1cが生成した清掃プランや、入力パターンモデルや代替動作モデル等の学習モデルをデータベース101cに記憶して、各自律走行作業装置1a、1b、1cが利用できるように管理する。また、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cの稼働履歴をデータベース101cに記憶してもよい。自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cの利用者が会員契約されている場合には、その会員契約情報をデータベース101cに記憶してもよい。
例えば、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cが生成した入力パターンモデルや代替動作モデル等の学習モデルを受信してデータベース101cに記憶する。なお、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cが学習モデルを自律走行作業管理装置101へ送信するように送信要求を各自律走行作業装置1a、1b、1cへ送信してもよい。
また、自律走行作業管理装置101は、一の自律走行作業装置1aに対して、他の自律走行作業装置1b、1cが生成した入力パターンモデルや代替動作モデル等の学習モデルをデータベース101cから読み出して送信する。なお、自律走行作業管理装置101は、他の自律走行作業装置1b、1cから学習モデルを受信したときや、一の自律走行作業装置1aへ学習モデルを送信するように一の自律走行作業装置1aから送信要求を受信したとき、あるいは、一の自律走行作業装置1aが走行や清掃を実行しない予め定められた時間帯等に、他の自律走行作業装置1b、1cの学習モデルを一の自律走行作業装置1aへ送信するとよい。
各自律走行作業装置1a、1b、1cは、記憶部11に記憶した入力パターンモデルや代替動作モデル等の学習モデルを、通信部15を介して自律走行作業管理装置101へ送信する。なお、各自律走行作業装置1a、1b、1cは、入力パターンモデルや代替動作モデル等の学習モデルを生成したときや、自律走行作業管理装置101から学習モデルの送信要求を受信したとき、あるいは、走行や清掃を実行しない予め定められた時間帯等に、学習モデルを自律走行作業管理装置101へ送信してよい。
また、一の自律走行作業装置1aは、他の自律走行作業装置1b、1cの入力パターンモデルや代替動作モデル等の学習モデルを自律走行作業管理装置101から通信部15を介して受信して記憶部11に記憶する。一の自律走行作業装置1aは、自身が生成した学習モデルだけでなく、他の自律走行作業装置1b、1cが生成した学習モデルを用いて、入力パターンの判定や代替動作の生成を行うことができる。なお、一の自律走行作業装置1aは、自律走行作業管理装置101が学習モデルを一の自律走行作業装置1aへ送信するように送信要求を自律走行作業管理装置101へ送信してもよい。
上記した実施形態では、自律走行作業管理装置101が、他の自律走行作業装置1b、1cの学習モデルを一の自律走行作業装置1aへ送信する例を説明したが、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cの学習モデルを相互に送信する。
また、上記した実施形態では、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cの学習モデルを識別してデータベース101cに記憶して管理する例を説明したが、自律走行作業管理装置101は、各自律走行作業装置1a、1b、1cの学習モデルを機械学習によって統合してもよい。
このように、本実施形態によれば、上記の自律走行作業装置1を備える自律走行作業システム100は、複数の自律走行作業装置1(1a、1b、1c)と、複数の自律走行作業装置1a、1b、1cとネットワーク102を介して通信可能に接続された自律走行作業管理装置101(管理装置)と、を備える。複数の自律走行作業装置1a、1b、1cのそれぞれは、学習モデルを自律走行作業管理装置101へ送信する。自律走行作業管理装置101は、複数の自律走行作業装置1a、1b、1cから学習モデルを受信してデータベース101cに記憶し、一の自律走行作業装置1aに対して、他の自律走行作業装置1b、1cで構築された学習モデルを送信し、一の自律走行作業装置1aは、この自律走行作業装置1aが生成した学習モデルおよび他の自律走行作業装置1b、1cが生成した学習モデルを用いて入力パターンの判定および/または代替動作の生成を行う。
このような構成により、本実施形態に係る自律走行作業システム100では、複数の自律走行作業装置1の周囲情報を共有して、様々なケースに対応して様々な入力パターンを判定できるようになり、様々な入力パターンに基づいて代替動作を精度良く生成および実行できるようになるので、安全性を向上することができる。
上記した実施形態では、清掃部5は、湿式の清掃機構で構成される例を説明したが、清掃部5は、この例に限定されず、乾式の清掃機構で構成されてもよい。
上記した実施形態では、自律走行作業装置1の走行部3は、前輪20(駆動輪)に備わる駆動モータ20aが前輪20を回転駆動すると共に、操舵モータ22aを備えた操舵部22が前輪20を揺動させることで、自律走行作業装置1の走行速度や進行方向を決定しつつ、左右の後輪21(従動輪)にそれぞれ備わる駆動エンコーダ21aのエンコーダ出力に基づいて、自律走行作業装置1の走行速度や進行方向をフィードバック制御する一例を説明したが、本発明はこの例に限定されない。
例えば、他の実施形態では、前輪20に駆動モータ20aや操舵部22を備えることなく、左右の後輪21のそれぞれに他の駆動モータ20aおよび駆動エンコーダ21aを備えて、左右の後輪21を独立に駆動・制御して、自律走行作業装置1の走行速度や進行方向を決定するように構成してもよい。このような他の実施形態でも、上記した実施形態と同様に、動作モード毎に異なるモード別応答特性を設定することは可能である。更に、通常の乗用車のように、走行部3が前輪二輪と後輪二輪とを有していて、操舵と駆動とが適宜組み合わせて構成されていても、上記した実施形態と同様に、動作モード毎に異なるモード別応答特性を設定することは可能である。
また、走行操作部4についても、ハンドル23がステアリングホイール状の構造であって、最大揺動角度は360度以上の構成でもよく、アクセルレバー24がアクセルペダルであってもよい。更に、自動走行時にステアリングホイールが自動的に揺動する回転動作を再現する構成でもよい。
以上説明した本発明に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う自律走行作業装置もまた本発明の技術思想に含まれる。
本発明は、事前に入力されたプログラムに従って自動走行作業が可能な自律走行作業装置に好適に利用することができ、特に、工場、ショッピングモール、空港、鉄道駅、ホテルロビー等の広範囲な床面の清掃作業に好適な、産業用(業務用)清掃ロボット(自律走行清掃装置)に、好適に利用することができる。本発明は、この他にも、芝刈り機や田植え機、稲刈り機等の農作業用機器にも好適に利用することができる。
1 自律走行作業装置
2 装置本体
3 走行部
4 走行操作部
5 清掃部(作業部)
6 計測部
7 操作表示部
10 制御部
11 記憶部
12 カメラ
13 マイク
14 スピーカ
15 通信部
40 地図作成部
41 走行制御部
42 清掃制御部
43 清掃プラン作成部
44 周囲情報判定部
45 代替動作生成部
46 情報確認動作生成部
47 機械学習実行部

Claims (13)

  1. 事前に記憶した作業プランに基づいて自律的に走行し自動で作業する自動走行作業を実行可能な自律走行作業装置であって、
    前記自動走行作業の実行中に1以上の周囲情報を入力し、
    前記1以上の周囲情報の入力タイミングおよび/または組合せからなる入力パターンに応じて、前記作業プランに基づく走行および/または作業に代わる代替動作を生成して実行することを特徴とする自律走行作業装置。
  2. 前記1以上の周囲情報として、画像情報、音情報、気体成分情報、触感情報、振動情報、磁気情報、通信情報、電磁波情報およびアクティブセンサ情報のうち、少なくとも1つを入力することを特徴とする請求項1に記載の自律走行作業装置。
  3. 前記画像情報として、前記代替動作を識別するコード情報、文字情報またはジェスチャー情報を入力することを特徴とする請求項2に記載の自律走行作業装置。
  4. 前記自動走行作業の実行中に、前記代替動作の生成に先立ち、前記周囲情報を取得するための事前動作として情報確認動作を行うことを特徴とする請求項1ないし請求項3の何れか1項に記載の自律走行作業装置。
  5. 前記自動走行作業の実行中に、前記1以上の周囲情報に基づいて、前記作業プランに基づく作業エリア内に障害物を認識した場合、前記情報確認動作として前記自動走行作業を停止して待機状態となり、前記待機状態で入力した前記1以上の周囲情報からなる前記入力パターンに応じて前記代替動作を生成することを特徴とする請求項4に記載の自律走行作業装置。
  6. 前記障害物が人か否かを識別し、前記障害物が人の場合には、前記情報確認動作として前記待機状態で前記人に向けて所定の音声または/および表示による通知を出力した後、入力した前記1以上の周囲情報からなる前記入力パターンに応じて前記代替動作を生成し、前記障害物が前記人でない場合には、前記障害物を迂回する前記代替動作を生成することを特徴とする請求項5に記載の自律走行作業装置。
  7. 前記周囲情報の画像情報として、前記人が位置を変えずに手足または所持物を動作させるジェスチャー情報を入力することを特徴とする請求項6に記載の自律走行作業装置。
  8. 前記情報確認動作として、前記人の全身の前記画像情報を得られる位置に移動する
    ことを特徴とする請求項7に記載の自律走行作業装置。
  9. 前記音情報として、前記代替動作を識別するトーン、メロディおよびリズムのうちの何れか若しくはこれらのうちの何れか2つ以上の組合せ、または音声情報を入力することを特徴とする請求項2に記載の自律走行作業装置。
  10. 前記音情報として、所定の就業音を入力すると、前記代替動作として、作業を中止して予め設定された保管場所に移動する作業終了動作を生成することを特徴とする請求項2または請求項9に記載の自律走行作業装置。
  11. 前記音情報として、火災警報、緊急地震速報または他の警報音を入力すると、前記代替動作として、作業を中止してその場に停止する作業緊急停止動作を生成することを特徴とする請求項2または請求項9に記載の自律走行作業装置。
  12. 前記入力パターンおよび該入力パターンに対応する前記代替動作を関連付けて記憶し、記憶した前記入力パターンおよび前記代替動作を用いた機械学習によって、前記入力パターンの判定および/または前記代替動作の生成に用いられる学習モデルを生成することを特徴とする請求項1ないし請求項11の何れか1項に記載の自律走行作業装置。
  13. 請求項12に記載の自律走行作業装置を備える自律走行作業システムであって、
    複数の前記自律走行作業装置と、
    複数の前記自律走行作業装置とネットワークを介して通信可能に接続された管理装置と、を備え、
    複数の前記自律走行作業装置のそれぞれは、前記学習モデルを前記管理装置へ送信し、
    前記管理装置は、複数の前記自律走行作業装置から前記学習モデルを受信して記憶し、一の前記自律走行作業装置に対して、他の前記自律走行作業装置で構築された前記学習モデルを送信し、
    一の前記自律走行作業装置は、該自律走行作業装置が生成した前記学習モデルおよび他の前記自律走行作業装置が生成した前記学習モデルを用いて前記入力パターンの判定および/または前記代替動作の生成を行うことを特徴とする自律走行作業システム。
JP2019084973A 2019-04-26 2019-04-26 自律走行作業装置および自律走行作業システム Pending JP2020181434A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019084973A JP2020181434A (ja) 2019-04-26 2019-04-26 自律走行作業装置および自律走行作業システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019084973A JP2020181434A (ja) 2019-04-26 2019-04-26 自律走行作業装置および自律走行作業システム

Publications (1)

Publication Number Publication Date
JP2020181434A true JP2020181434A (ja) 2020-11-05

Family

ID=73024331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019084973A Pending JP2020181434A (ja) 2019-04-26 2019-04-26 自律走行作業装置および自律走行作業システム

Country Status (1)

Country Link
JP (1) JP2020181434A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7084098B1 (ja) * 2021-03-12 2022-06-14 三菱ロジスネクスト株式会社 フォークリフトおよび荷役システム
JP7084099B1 (ja) * 2021-03-12 2022-06-14 三菱ロジスネクスト株式会社 フォークリフトおよび荷役システム
CN114794953A (zh) * 2022-04-19 2022-07-29 净豹智能机器人(台州)有限公司 基于深度学习的智能清洁机器人贴边清洁系统及方法
WO2022264409A1 (ja) * 2021-06-18 2022-12-22 本田技研工業株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023090688A1 (ko) * 2021-11-22 2023-05-25 네이버랩스 주식회사 비상 상황 시 주행 로봇 관리 방법 및 시스템
US11914363B2 (en) 2021-02-17 2024-02-27 Toyota Jidosha Kabushiki Kaisha Mobile robot, transport system, method, and computer-readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02230409A (ja) * 1989-03-03 1990-09-12 Sanyo Electric Co Ltd 作業車
US20140371909A1 (en) * 2013-06-13 2014-12-18 Samsung Electronics Co., Ltd. Cleaning robot and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02230409A (ja) * 1989-03-03 1990-09-12 Sanyo Electric Co Ltd 作業車
US20140371909A1 (en) * 2013-06-13 2014-12-18 Samsung Electronics Co., Ltd. Cleaning robot and method for controlling the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914363B2 (en) 2021-02-17 2024-02-27 Toyota Jidosha Kabushiki Kaisha Mobile robot, transport system, method, and computer-readable medium
JP7084098B1 (ja) * 2021-03-12 2022-06-14 三菱ロジスネクスト株式会社 フォークリフトおよび荷役システム
JP7084099B1 (ja) * 2021-03-12 2022-06-14 三菱ロジスネクスト株式会社 フォークリフトおよび荷役システム
WO2022264409A1 (ja) * 2021-06-18 2022-12-22 本田技研工業株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023090688A1 (ko) * 2021-11-22 2023-05-25 네이버랩스 주식회사 비상 상황 시 주행 로봇 관리 방법 및 시스템
CN114794953A (zh) * 2022-04-19 2022-07-29 净豹智能机器人(台州)有限公司 基于深度学习的智能清洁机器人贴边清洁系统及方法

Similar Documents

Publication Publication Date Title
JP2020181434A (ja) 自律走行作業装置および自律走行作業システム
US11503971B2 (en) Cleaning robot
EP2741159B1 (en) Robot cleaner
WO2018227987A1 (zh) 自动行走的行李箱、智能设备及系统
US20210405646A1 (en) Marker, method of moving in marker following mode, and cart-robot implementing method
KR20190106891A (ko) 인공 지능 모니터링 장치 및 그의 동작 방법
WO2021225713A1 (en) Robotic social interaction
US11565415B2 (en) Method of tracking user position using crowd robot, tag device, and robot implementing thereof
US11241790B2 (en) Autonomous moving body and control program for autonomous moving body
JP2009113190A (ja) 自律動作型ロボットおよび自律動作型ロボットの動作制御方法
US20220265110A1 (en) System and method of semi-autonomous cleaning of surfaces
JP5755011B2 (ja) ロボット群制御装置および方法
JP2018190391A (ja) 携帯型移動ロボット及びその操作方法
CN110039535B (zh) 机器人交互方法及机器人
JP2010231359A (ja) 遠隔操作装置
JP2020030825A (ja) 環境内で自律移動する床処理装置
JP7462416B2 (ja) 自律走行作業装置
JP2003326479A (ja) 自律行動ロボット
US11353880B2 (en) Autonomous moving body and control program for autonomous moving body
CN107351094A (zh) 一种机器人陪伴的方法及装置
KR20210026595A (ko) 로봇이 관리자 모드로 이동하는 방법 및 이를 구현하는 로봇
JP6660093B2 (ja) 電気掃除機、その情報表示方法、および電気掃除システム
JP7464780B2 (ja) 自律走行作業装置
JP2020194415A (ja) 自律走行作業装置
JP2012203646A (ja) 流れ状態判別装置、流れ状態判別方法、流れ状態判別プログラムおよびそれらを用いたロボット制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415