JP2021120837A - 自律移動装置、自律移動制御方法、並びにプログラム - Google Patents

自律移動装置、自律移動制御方法、並びにプログラム Download PDF

Info

Publication number
JP2021120837A
JP2021120837A JP2020014375A JP2020014375A JP2021120837A JP 2021120837 A JP2021120837 A JP 2021120837A JP 2020014375 A JP2020014375 A JP 2020014375A JP 2020014375 A JP2020014375 A JP 2020014375A JP 2021120837 A JP2021120837 A JP 2021120837A
Authority
JP
Japan
Prior art keywords
unit
autonomous
image analysis
mobile device
yaw angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020014375A
Other languages
English (en)
Inventor
希彰 町中
Noriaki Machinaka
希彰 町中
幹夫 中井
Mikio Nakai
幹夫 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020014375A priority Critical patent/JP2021120837A/ja
Priority to PCT/JP2021/000295 priority patent/WO2021153176A1/ja
Publication of JP2021120837A publication Critical patent/JP2021120837A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自律移動装置の高精度な移動制御を実現する装置、方法を実現する。【解決手段】カメラの撮影した天井画像を解析する画像解析部と、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、画像解析部の天井画像解析結果と、計測部の観測情報を入力し、自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有する。自装置絶対ヨー(Yaw)角算出部は、天井画像解析結果から得られる自律移動装置の複数の推定進行方向候補データと、計測部の単位時間毎の観測情報の積算結果から得られる自律移動装置の積算値ベース推定進行方向データを照合して、自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する。【選択図】図5

Description

本開示は、自律移動装置、自律移動制御方法、並びにプログラムに関する。さらに詳細には、例えば天井の撮影画像の解析により自律移動を行う自律移動装置、自律移動制御方法、並びにプログラムに関する。
近年、自律移動を行うロボットや車両の開発が盛んに行われている。具体的には、例えば荷物の配送処理などに自律移動ロボットが利用されている。
自律移動ロボットについて開示した従来技術として、例えば特許文献1(特許4838824号公報)がある。
この特許文献1には、自律移動ロボットの上方に設けられたマーカの撮影画像を解析して、自律移動ロボットとマーカとの相対位置を算出することで、位置と方位に基づいてロボットのナビゲーションを行う構成を開示している。
この特許文献1に記載の構成は、例えば慣性計測装置(IMU:Inertial Measurement Unit)等に蓄積される自己位置情報に依存しないランドマークを基準とした絶対方位に従った自律移動を行うことができる。
慣性計測装置(IMU)の自己位置情報には、誤差が蓄積する可能性があり、このような蓄積誤差によるエラーを防止できる。
しかしながら、この特許文献1に記載の構成では、事前にマーカを設置することが必要となる。
例えば、ロボットの移動範囲が広い場合、広範囲の領域全体に事前にマーカを設置することが必要となり、マーカ設置の大きな負荷が発生する。
また、ロボットに搭載したカメラが撮影可能な画角や、距離によっては、多数のマーカを設置することが必要となり、マーカ設置の労力はさらに大きなものとなる。
さらに、ロボット周辺に障害物がある場合、マーカが撮影できない領域、すなわちオクルージョン領域が発生することがあり、この場合、自律移動が不可能となり、安定性に欠ける、すなわち、非ロバストであるという問題がある。
また、マーカの無い領域では自律移動が不可能になるという問題も発生する。
特許4838824号公報
本開示は、例えば上記問題点に鑑みてなされたものであり、マーカの事前設定等の事前処理を行なうことなく、自律走行を可能とした自律移動装置、自律移動制御方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
カメラ撮影画像を入力して画像解析を行う画像解析部と、
自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、
前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有し、
前記自装置絶対ヨー(Yaw)角算出部は、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動装置にある。
さらに、本開示の第2の側面は、
自律移動装置において実行する自律移動制御方法であり、
画像解析部が、カメラ撮影画像を入力して画像解析を行う画像解析ステップと、
計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測ステップと、
自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出ステップを有し、
前記自装置絶対ヨー(Yaw)角算出ステップは、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動制御方法にある。
さらに、本開示の第3の側面は、
自律移動装置において自律移動制御を実行させるプログラムであり、
画像解析部に、カメラ撮影画像を入力して画像解析を行わせる画像解析ステップと、
計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得させる計測ステップと、
自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出させる自装置絶対ヨー(Yaw)角算出ステップを実行させ、
前記自装置絶対ヨー(Yaw)角算出ステップにおいては、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、自律移動装置の高精度な移動制御を実現する装置、方法が実現される。
具体的には、例えば、カメラの撮影した天井画像を解析する画像解析部と、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、画像解析部の天井画像解析結果と、計測部の観測情報を入力し、自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有する。自装置絶対ヨー(Yaw)角算出部は、天井画像解析結果から得られる自律移動装置の複数の推定進行方向候補データと、計測部の単位時間毎の観測情報の積算結果から得られる自律移動装置の積算値ベース推定進行方向データを照合して、自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する。
本構成により、自律移動装置の高精度な移動制御を実現する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の自律移動装置の実行する処理の概要について説明する図である。 ヨー(Yaw)角について説明する図である。 ヨー(Yaw)角変化量(Δyaw)について説明する図である。 天井画像から検出可能なオブジェクト(特徴情報)配列に相当する複数のパターン例について説明する図である。 本開示の自律移動装置の一例である自律走行ロボットの一構成例について説明する図である。 カメラ(天井画像撮影カメラ)11の実行する処理の詳細について説明する図である。 画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12が実行する処理の詳細について説明する図である。 自装置絶対ヨー(Yaw)角推定部14が実行する処理の詳細について説明する図である。 本開示の自律移動装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 グラフを用いたオフラインSLAMであるグラフベースSLAMを適用したポーズグラフと地図の作成処理に本開示の処理を適用した場合の構成例について説明する図である。 パーティクルフィルタを適用した自己位置推定処理の一例について説明する図である。 自動運転車両の車両制御システム100の概略的な機能の構成例を示すブロック図である。 本開示の自律移動装置のハードウェア構成の一例を示す図である。
以下、図面を参照しながら本開示の自律移動装置、自律移動制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の自律移動装置の実行する処理の概要について
2.本開示の自律移動装置の構成と具体的処理例について
3.本開示の自律移動装置の実行する処理のシーケンスについて
4.本開示の自律移動装置のその他の実施例について
5.自律移動装置の一実施例である自動運転車両の構成例について
6.自律移動装置のハードウェア構成例について
7.本開示の構成のまとめ
[1.本開示の自律移動装置の実行する処理の概要について]
まず、図1以下を参照して本開示の自律移動装置の実行する処理の概要について説明する。
図1には、本開示の自律移動装置の一例である自律走行ロボット10を示している。
図1に示すように、自律走行ロボット10は、カメラ11を有し、カメラ11を用いて天井の画像を撮影する。
自律走行ロボット10の内部のデータ処理部は、カメラ11の撮影した天井の画像を解析して、自己位置や走行方向の解析を行いながら自律型の移動を行う。
本開示の自律走行ロボット10の内部のデータ処理部は、自律走行ロボット10の移動環境における天井(建物)の画像を解析し、天井画像の解析結果に基づいて、自律走行ロボット10のヨー(Yaw)角(θ)を算出する。
図2を参照して、自律走行ロボット10のヨー(Yaw)角について説明する。
自律走行ロボット10のヨー(Yaw)角は、図2に示すように、自律走行ロボット10の走行面に対して垂直な垂直軸周りの角度である。
このヨー(Yaw)角の変化量であるΔyaw(Δθ)は、自律走行ロボット10の進行方向の変化量を示す。
図3を参照して、ヨー(Yaw)角の変化量であるΔyawについて説明する。
例えば、図3に示すように、自律走行ロボット10の時間t1における進行方向(t1)が、時間t2では、進行方向(t2)に変化したとする。
この場合、時間t1から時間t2までの時間Δt=t2−t1におけるヨー(Yaw)角の変化量はΔyawである。
このヨー(Yaw)角の変化量:Δyawは、自律走行ロボット10の時間t1における進行方向と、時間t2における進行方向の変化量、すなわち進行方向を示す角度の変化量を示す。
例えば、自律走行ロボット10の初期位置であるスタート位置における自律走行ロボット10の初期位置、すなわち進行開始位置におけるヨー(Yaw)角を基準角度、すなわちヨー(Yaw)角=0度[deg]とする。
自律走行ロボット10の初期位置からの進行開始時間をt0とし、現在時間をtnとしたとき、
時間t0〜tnまでのヨー(Yaw)角の変化量:Δyawの積算値、すなわち、
ΣΔyaw
この積算値は、現在時間tnにおける自律走行ロボット10の進行方向を示すヨー(Yaw)角(絶対ヨー(Yaw)角)となる。
従って、ヨー(Yaw)角の変化量:Δyawを継続的に算出し、積算することができれば、自律走行ロボット10の進行方向の変化を算出することができる。
しかし、ヨー(Yaw)角の変化量:Δyawは、予め規定した単位時間ごとに遂次算出することになる。例えば1秒単位、2秒単位等、予め規定した単位時間ごとに遂次算出することが必要となる。
これらの単位時間あたりのヨー(Yaw)角の変化量:Δyawの算出値にわずかでも誤差が含まれると、積算値には誤差が蓄積してしまい、最終的な積算値には大きな誤差が発生する可能性がある。
このように例えば単位時間あたりの計測値の積算処理により、現在位置等を算出する手法はデッドレコニングと呼ばれるが、このデッドレコニングは蓄積誤差による正確な制御が困難であるという問題が従来から指摘されている。
本開示の自律走行ロボット10は、単位時間あたりのヨー(Yaw)角の変化量:Δyaw算出処理を行なうとともに、天井画像の解析結果に基づいて、自律走行ロボット10のヨー(Yaw)角を算出する。
この2つの処理を併せて実行して、デッドレコニングにおける蓄積誤差の発生を解消して、自律走行ロボット10の進行方向を高精度に解析する。
この解析結果を用いてロボットの移動方向の制御等、駆動制御を行い、例えば予め決定された走行ルートに従った正確な自律走行を実現する。
なお、本開示の自律走行ロボット10は、走行環境の事前情報を取得することなく、ロボットの進行方向を高精度に算出することができる。
本開示の自律走行ロボット10内部のデータ処理部は、ヨー(Yaw)角の変化量:Δyawを算出後、算出したヨー(Yaw)角変化量(Δyaw)の積算値と、天井画像の解析結果に基づいて推定される自律走行ロボット10のヨー(Yaw)角を比較、照合することで、自律走行ロボット10の現在の進行方向角度を示す絶対的なYaw角(絶対ヨー(Yaw)角)を算出する。
例えば自律走行ロボット10の初期位置(スタート位置)における進行開始時(t0)のヨー(Yaw)=0度[deg]としたとき、現在時点(tx)における絶対ヨー(Yaw)角は、現在時点(tx)における自律走行ロボット10の初期位置(スタート位置)からの進行方向の角度変更量に相当する。
基準方向は、例えば、自律走行ロボット10の走行開始時(時間t0)の初期的な走行開始方向である。この走行開始方向をヨー(Yaw)角=0度として、その後の自律走行ロボット10の走行に伴う進行方向の変更に伴うヨー(Yaw)角変化量(Δyaw)を算出し、算出したヨー(Yaw)角変化量(Δyaw)を積算することで絶対ヨー(Yaw)角が算出できる。
上述したように、時間txの絶対ヨー(Yaw)角は、走行開始時(時間t0)の初期的な走行開始方向からの進行方向の変化量の積算値に相当し、走行開始時(時間t0)の初期的な走行開始方向が既知であれば、時間txの絶対ヨー(Yaw)角から、時間txの進行方向を正確に算出することができる。
本開示の自律走行ロボット10内部のデータ処理部は、ヨー(Yaw)角の変化量:Δyawについては、慣性計測部(IMU:Inertial Measurement Unit)を用いて算出する。
さらに、IMUを用いて算出したヨー(Yaw)角変化量(Δyaw)の積算値と、天井画像の解析結果に基づいて推定される自律走行ロボット10のヨー(Yaw)角を比較、照合することで、自律走行ロボット10の現在の進行方向角度を示す絶対的なYaw角(絶対ヨー(Yaw)角)を算出する。
なお、天井画像の解析結果に基づいて自律走行ロボット10のヨー(Yaw)角を推定する際、天井画像から検出可能なオブジェクト(特徴情報)の配列が特定方向の直線的な配列を有するという仮定を用いる。
この仮定を用いることで、環境ごとの事前情報を必要としない、絶対的なYaw角の推定を行う。
天井画像から検出可能なオブジェクト(特徴情報)の配列とは、例えば蛍光管照明の列や、球体型照明の列、スプリンクラー、火災報知器の列等である。これらのオブジェクトは、ある直線に沿って配列される場合が多い。また、天井板の模様や継ぎ目も所定の直線に沿って配列される場合が多く、これら天井板の模様や継ぎ目の配列も天井画像から検出可能なオブジェクト(特徴情報)の配列に相当する。
図4に天井画像から検出可能なオブジェクト(特徴情報)配列に相当する複数のパターン例を示す。
図4には、パターン1〜11まで11種類の異なるパターン例を示している。これらは、天井画像から検出可能なオブジェクト(特徴情報)配列に関する複数のパターン例の一部の例である。
本開示の自律走行ロボット10内部のデータ処理部は、自律走行ロボット10の走行中、天井画像を撮影し、撮影した天井画像から、オブジェクト(特徴情報)配列方向を解析する。この解析処理を継続して実行することで、自律走行ロボット10の進行方向変化量に相当するヨー(Yaw)角変化量:Δyaw(Δθ)を算出する。
[2.本開示の自律移動装置の構成と具体的処理例について]
次に、本開示の自律移動装置の構成と具体的処理例について説明する。
図5は、本開示の自律移動装置の一例である自律走行ロボット10の一構成例を示す図である。
図5に示すように、自律走行ロボット10は、カメラ(天井画像撮影カメラ)11、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12、慣性計測部(IMU)13、自装置絶対ヨー(Yaw)角推定部14、ロボット駆動部15、および記憶部(一般天井学習済みモデル)18を有する。
まず、自律走行ロボット10の各構成部の処理の概要について説明し、その後、後段で、各構成部の実行する処理の詳細について説明する。
カメラ(天井画像撮影カメラ)11は、自律走行ロボット10が走行中、自律走行ロボット10の走行面の垂直上方向にある天井の画像を連続的に撮影する。すなわち天井画像の動画像を撮影する。
カメラ11の撮影した天井画像21は、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12に入力される。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、カメラ11の撮影した天井画像21を解析し、カメラ11の撮影した天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
前述したように、オブジェクト(特徴情報)の配列とは、例えば蛍光管照明の列や、球体型照明の配列、スプリンクラー、火災報知器の配列、天井板の模様や継ぎ目等の配列等である。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、記憶部18に格納された一般天井学習済みモデルを適用して、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、この配列方向推定処理により、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向として、4つの配列方向推定結果を生成する。
すなわち、図5に示す天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22を生成する。
この具体的処理例については後段で説明する。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22は、自装置絶対ヨー(Yaw)角推定部14に入力される。
慣性計測部(IMU)13は、慣性計測装置(IMU:Inertial Measurement Unit)であり、自律走行ロボット10の動きを観測する。具体的には、ジャイロセンサや加速度計によって構成され、自律走行ロボット10の動きに応じたXYZ3軸各々に対応する角速度や加速度を計測する。
図5に示す本開示の自律走行ロボット10の構成では、慣性計測部(IMU)13は自律走行ロボット10の単位時間当たりの進行方向の変化量(進行方向変化角度)に相当するヨー(Yaw)角変化量(Δyaw)23を算出する。すなわち、先に図3を参照して説明したヨー(Yaw)角変化量(Δyaw)を算出する。
慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23は、自装置絶対ヨー(Yaw)角推定部14に入力される。
自装置絶対ヨー(Yaw)角推定部14は、以下の2つのデータ(a),(b)を入力する。
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
自装置絶対ヨー(Yaw)角推定部14は、これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当するヨー(Yaw)角(=絶対ヨー(Yaw)角24)を推定する。
自装置絶対ヨー(Yaw)角推定部14が推定した絶対ヨー(Yaw)角24は、ロボット駆動部15に入力される。
ロボット駆動部15は、自装置絶対ヨー(Yaw)角推定部14が算出した絶対ヨー(Yaw)角24、すなわち、自律走行ロボット10の現在の進行方向を示す角度を確認して、自装置、すなわち、自律走行ロボット10の進行方向の制御や進行速度の制御を行う。
この制御により、自律走行ロボット10を目的地に向けて正確に走行させることができる。
次に、図6以下を参照して、図5に示す自律走行ロボット10の各構成部各々の実行する処理の詳細について説明する。
まず、図6を参照して、カメラ(天井画像撮影カメラ)11の実行する処理の詳細について説明する。
前述したように、カメラ(天井画像撮影カメラ)11は、自律走行ロボット10が走行中、自律走行ロボット10の走行面の垂直上方向にある天井の画像を連続的に撮影する。すなわち天井画像の動画像を撮影する。
図6は、カメラ(天井画像撮影カメラ)11の撮影した天井画像21の一例を示す図である。
図6に示すように、天井画像21には、天井の他、柱や壁の画像が含まれる場合がある。
図6に示す天井画像21の天井には特定方向の配列を持つ天井画像内オブジェクト(特徴情報)として、天井板の縞模様が撮影されている。
カメラ(天井画像撮影カメラ)11の撮影した天井画像21は、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12に入力される。
次に、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12が実行する処理の詳細について図7を参照して説明する。
先に説明したように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、カメラ11の撮影した天井画像21を解析し、カメラ11の撮影した天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
前述したように、オブジェクト(特徴情報)の配列とは、例えば蛍光管照明の列や、球体型照明の配列、スプリンクラー、火災報知器の配列、天井板の模様や継ぎ目等の配列等である。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、記憶部18に格納された一般天井学習済みモデルを適用して、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、この配列方向推定処理により、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向として、4つの配列方向推定結果を生成する。
すなわち、図5に示す天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22を生成する。
図7を参照して、この具体的処理例について説明する。
図7に示す(a)入力は、カメラ(天井画像撮影カメラ)11の撮影した天井画像21である。図6に示す天井画像21に相当する。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、このカメラ(天井画像撮影カメラ)11の撮影した天井画像21を解析する。
具体的には、事前に学習されたモデル、すなわち、記憶部18に格納された一般天井学習済みモデルを適用して、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
学習済みモデルは、天井画像に含まれるオブジェクト(特徴情報)、例えば、格子模様や、蛍光灯の並び、スプリンクラー、火災報知器を抽出して、これらの配列方向を出力するための学習済みモデルである。
なお、記憶部18に格納された一般天井学習済みモデルは、様々な天井パターンを入力データとした学習処理によって予め生成された学習済みモデルである。
学習処理は、例えば、先に図4を参照して説明したような異なるパターンを持つ天井画像を多数、入力し、入力画像からオブジェクト(特徴情報)の配列方向を推定して出力値とする学習モデルを生成する。
このような学習処理によって生成されたモデル(学習済みモデル)が記憶部18に格納される。
図7に示すように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、記憶部18に格納された一般天井学習済みモデルを適用して、カメラ(天井画像撮影カメラ)11の撮影した天井画像21を解析し、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
図7に示すように、画像解析部12は、記憶部18に格納された一般天井学習済みモデルを適用したオブジェクト(特徴情報)の配列方向を推定するための構成として例えばニューラルネットワーク等のネットワークを利用する。このネットワークは様々なネットワークの利用が可能である。例えば、ResNet,LeNet,AlexNetや、これらを変形したネットワークの利用が可能である。
なお、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、オブジェクト(特徴情報)配列方向の推定処理を、このようなネットワークを利用した処理に限らず、例えば、ルールベース(Hough変換やRANSAC,フーリエ変換、マッチングによるものなど)による推定処理として実行する構成としてもよい。
図7に示すように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、例えば、記憶部18に格納された一般天井学習済みモデルを適用して、カメラ(天井画像撮影カメラ)11の撮影した天井画像21を解析し、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
しかし、図7(b)出力(Output)として示すように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力するオブジェクト(特徴情報)配列方向の推定結果は、4つの異なるオブジェクト(特徴情報)配列方向候補となる。
これは、カメラ(天井画像撮影カメラ)11の撮影した天井画像21は、この天井画像21を90度[deg]回転させた回転画像と区別をつけることが困難なためである。
この結果、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力するオブジェクト(特徴情報)配列方向の推定結果は、図7(b)出力(Output)に示すように4つの直交するオブジェクト(特徴情報)配列方向候補となる。
この4つの直交するオブジェクト(特徴情報)配列方向候補が、図5に示す画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力である天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22である。
この天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22は、自装置絶対ヨー(Yaw)角推定部14に入力される。
自装置絶対ヨー(Yaw)角推定部14は、以下の2つのデータ(a),(b)を入力する。
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
自装置絶対ヨー(Yaw)角推定部14は、これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を推定する。
なお、慣性計測部(IMU)13は、前述したように、慣性計測装置(IMU:Inertial Measurement Unit)であり、自律走行ロボット10のXYZ3軸各々に対応する角速度や加速度を計測し、自律走行ロボット10の単位時間当たりの進行方向の変化量(進行方向変化角度)に相当するヨー(Yaw)角変化量(Δyaw)23を算出する。すなわち、先に図3を参照して説明したヨー(Yaw)角変化量(Δyaw)を算出する。
自装置絶対ヨー(Yaw)角推定部14は、以下の2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を算出する。
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
自装置絶対ヨー(Yaw)角推定部14は、これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を推定する。
図8を参照して、自装置絶対ヨー(Yaw)角推定部14が実行する処理の詳細について説明する。
まず、自装置絶対ヨー(Yaw)角推定部14は、
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
このデータ(a)を用いて、自装置、すなわち自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角の確からしさを示す確率密度分布を算出する。
この確率密度分布は、図8に実線で示すラインである。
すなわち、図8に示す「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布(Azimuth Estimator)」である。
図8のグラフは、横軸に自装置、すなわち自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角を示し、縦軸に、その確からしさを示す確率密度(Probability density)を設定したグラフである。
図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」は4つのピーク(P1,P2,P3,P4)を有する。
この4つのピーク(P1,P2,P3,P4)は、先に図7を参照して説明した画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力するオブジェクト(特徴情報)配列方向の推定結果である、図7(b)出力(Output)に示す4つの直交するオブジェクト(特徴情報)配列方向候補得各々に基づいて算出された自装置の絶対ヨー(Yaw)角である。
自装置、すなわち自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角は、これら4つのピーク(P1,P2,P3,P4)のうちいずれか1つである。
すなわち、4つのピーク(P1,P2,P3,P4)のうちいずれか1つが正解のピークであり、この1つの正解のピーク位置が自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角を示している。
自装置絶対ヨー(Yaw)角推定部14は、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」の4つのピークから1つの正解となるピークを選択するために、慣性計測部(IMU)13の入力データ、すなわち、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
この入力データを利用する。
前述したように、慣性計測部(IMU)13は、慣性計測装置(IMU:Inertial Measurement Unit)であり、自律走行ロボット10のXYZ3軸各々に対応する角速度や加速度を計測し、自律走行ロボット10の単位時間当たりの進行方向の変化量(進行方向変化角度)に相当するヨー(Yaw)角変化量(Δyaw)23を算出する。すなわち、先に図3を参照して説明したヨー(Yaw)角変化量(Δyaw)を算出する。
ヨー(Yaw)角変化量(Δyaw)は、予め規定した単位時間ごとに遂次算出される自律走行ロボット10の単位時間当たりの進行方向変化量、すなわち進行方向を示す角度の変化量を示す。
自律走行ロボット10の初期位置からの進行開始時間をt0とし、現在時間をtnとしたとき、
時間t0〜tnまでのヨー(Yaw)角の変化量:Δyawの積算値、すなわち、
ΣΔyaw
この積算値は、現在時間tnにおける自律走行ロボット10の進行方向を示すヨー(Yaw)角(絶対ヨー(Yaw)角)となる。
自装置絶対ヨー(Yaw)角推定部14は、まず、慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23の積算値を算出する。
すなわち、
ΣΔyaw
上記積算値を算出する。この積算値は、現在時間tnにおける自律走行ロボット10の進行方向を示すヨー(Yaw)角(絶対ヨー(Yaw)角)となる。
自装置絶対ヨー(Yaw)角推定部14は、上記の積算値ΣΔyawと、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」とを比較照合する。
図8には、慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23の積算値ΣΔyawとして、積算値ΣΔyaw算出タイミングに相当する現在時間(t)と、1つ前の積算値ΣΔyaw算出タイミングに相当する時間(t−1)の2つの時間における積算値ΣΔyawに対するカルマンフィルタ適用結果を示している。
カルマンフィルタは、積算値ΣΔyawに含まれる誤差成分を削減するためのフィルタである。このカルマンフィルタ適用処理により、図8に示すような積算値ΣΔyaw算出タイミングに相当する現在時間(t)の確率分布データ(図8に示すカルマンフィルタ適用データ@t)と、1つ前の積算値ΣΔyaw算出タイミングに相当する時間(t−1)の2つの時間における積算値ΣΔyawの確率分布データ(図8に示すカルマンフィルタ適用データ@t−1)を算出する。
この連続時間t,t−1における積算値ΣΔyawのカルマンフィルタ適用結果として示す2つの曲線のピーク位置は、現在時間tとt−1における自律走行ロボット10の進行方向を示すヨー(Yaw)角(絶対ヨー(Yaw)角)を示す。
自装置絶対ヨー(Yaw)角推定部14は、現在時間tにおける積算値ΣΔyawのカルマンフィルタ適用結果として示す曲線のピーク位置と、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P1,P2,P3,P4)とを比較照合する。
現在時間tにおける積算値ΣΔyawのカルマンフィルタ適用結果として示す曲線のピーク位置は、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P3)に最も近い位置にある。
この結果、「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P3)が、現在時間(t)における自装置、すなわち自律移動ロボット10の現在の進行方向核と序を示す絶対ヨー(Yaw)角を示すピーク位置であると判定する。
なお、積算値ΣΔyawのカルマンフィルタ適用結果として示す曲線のピーク位置が、「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P3)位置とずれるのは、先に説明したようにヨー(Yaw)角変化量(Δyaw)の積算処理によって発生する誤差に起因するものである。すなわち、デッドレコニングに基づくYaw角の積算誤差に起因するものである。
このよう、自装置絶対ヨー(Yaw)角推定部14は、以下の2つのデータ(a),(b)、すなわち、
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を算出する。
自装置絶対ヨー(Yaw)角推定部14が推定した絶対ヨー(Yaw)角24は、ロボット駆動部15に入力される。
ロボット駆動部15は、自装置絶対ヨー(Yaw)角推定部14が算出した絶対ヨー(Yaw)角24、すなわち、自律走行ロボット10の現在の進行方向を示す角度を確認して、自装置、すなわち、自律走行ロボット10の進行方向の制御や進行速度の制御を行う。
この制御により、自律走行ロボット10を目的地に向けて正確に走行させることができる。
[3.本開示の自律移動装置の実行する処理のシーケンスについて]
次に、本開示の自律移動装置の実行する処理のシーケンスについて説明する。
図9は、本開示の自律移動装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
図9に示すフローチャートに従った処理は、例えば図5に示す構成を有する自律走行ロボット10の制御部(データ処理部)が、例えば自律走行ロボット10の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
なお、図9に示すフローは、自律走行ロボット10と通信可能な制御サーバ等の制御装置の処理として実行することも可能である。
以下の説明では、自律走行ロボット10自身が処理を実行する例について説明する。
以下、図9に示すフローの各ステップの処理について説明する。
(ステップS101)
まず、自律走行ロボット10は、ステップS101において、初期位置姿勢取得処理を実行する。
この処理は、例えば自律走行ロボット10の現在位置(初期位置)をXYZ3次元座標の原点(0,0,0)とし、さらに、走行開始方向となる初期設定方向を絶対ヨー(Yaw)角=0度[deg]として設定する処理として実行する。
なお、初期位置、初期姿勢は、上記設定(位置=(0,0,0)初期方向の絶対ヨー(Yaw)角=0度[deg])に限らず、任意の設定が可能である。ただし、これらの初期設定はメモリに記録しておく。
(ステップS102)
次に、自律走行ロボット10は、走行開始後、ステップS102において、現在の自己位置姿勢取得処理を実行する。
初期状態では、ステップS101において取得し、メモリに格納した位置、姿勢が、現在の自己位置姿勢となる。
その後は、ステップS103〜S107の処理によって得られた情報に基づいて、現在の自己位置姿勢が、遂次、更新される。
なお、この更新データについても、メモリに記録する。
(ステップS103)
ステップS103〜S104の処理と、ステップS105の処理は、並列に実行される。
まず、ステップS103において、天井画像取得処理を実行する。
この処理は、図5に示す自律走行ロボット10のカメラ11が実行する処理である。
カメラ(天井画像撮影カメラ)11は、自律走行ロボット10が走行中、自律走行ロボット10の走行面の垂直上方向にある天井の画像を連続的に撮影する。すなわち天井画像の動画像を撮影する。
具体的には、例えば先に図6を参照して説明したような天井画像21を撮影する。
カメラ11の撮影した天井画像21は、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12に入力される。
(ステップS104)
次に、ステップS104において、学習済みモデルを用いてオブジェクト(特徴情報)配列方向を推定する。
この処理は、図5に示す自律走行ロボット10の画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12が実行する処理である。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、カメラ11の撮影した天井画像21を解析し、カメラ11の撮影した天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
前述したように、オブジェクト(特徴情報)の配列とは、例えば蛍光管照明の列や、球体型照明の配列、スプリンクラー、火災報知器の配列、天井板の模様や継ぎ目等の配列等である。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、記憶部18に格納された一般天井学習済みモデルを適用して、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、この配列方向推定処理により、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向として、先に図7を参照して説明したように4つの配列方向推定結果を生成する。
すなわち、先に説明した図5に示す天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22を生成する。
先に図7を参照して説明したように、画像解析部12は、記憶部18に格納された一般天井学習済みモデルを適用したオブジェクト(特徴情報)の配列方向を例えばニューラルネットワーク等のネットワークを利用して推定する。利用するネットワークは様々なネットワークの利用が可能であり、例えば、ResNet,LeNet,AlexNetや、これらを変形したネットワークの利用が可能である。
また、ネットワークを利用した処理に限らず、例えば、ルールベース(Hough変換やRANSAC,フーリエ変換、マッチングによるものなど)による推定処理として実行する構成としてもよい。
先に図7を参照して説明したように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12は、天井画像21を解析し、天井画像21内に含まれるオブジェクト(特徴情報)の配列方向を推定する。
ただし、図7(b)出力(Output)に示すように、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力するオブジェクト(特徴情報)配列方向の推定結果は、4つの異なるオブジェクト(特徴情報)配列方向候補となる。
これは、カメラ(天井画像撮影カメラ)11の撮影した天井画像21は、この天井画像21を90度[deg]回転させた回転画像と区別をつけることが困難なためである。
(ステップS105)
次に、ステップS103〜S104の処理と並列に実行可能なステップS105の処理について説明する。
ステップS105では、慣性計測部(IMU)の計測値に基づいてヨー(Yaw)変化量(Δyaw)を算出する。
この処理は、図5に示す自律走行ロボット10の慣性計測部(IMU)13が実行する処理である。
慣性計測部(IMU)13は、慣性計測装置(IMU:Inertial Measurement Unit)であり、自律走行ロボット10の動きを観測する。具体的には、ジャイロセンサや加速度計によって構成され、自律走行ロボット10の動きに応じたXYZ3軸各々に対応する角速度や加速度を計測し、自律走行ロボット10の単位時間当たりの進行方向の変化量(進行方向変化角度)に相当するヨー(Yaw)角変化量(Δyaw)を算出する。すなわち、先に図3を参照して説明したヨー(Yaw)角変化量(Δyaw)を算出する。
なお、慣性計測部(IMU)13の代わりに、VO(Visual Odometry)や、Lidar Odometryを利用してヨー(Yaw)角変化量(Δyaw)を算出する構成としてもよい。
(ステップS106)
次に、ステップS106において、カルマンフィルタを用いて自装置の絶対ヨー(Yaw)角を算出する。
この処理は、図5に示す自律走行ロボット10の自装置絶対ヨー(Yaw)角推定部14が実行する処理である。
自装置絶対ヨー(Yaw)角推定部14は、以下の2つのデータ(a),(b)を入力する。
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
自装置絶対ヨー(Yaw)角推定部14は、これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を推定する。
自装置絶対ヨー(Yaw)角推定部14は、
(a)画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力する天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
このデータ(a)を用いて、自装置、すなわち自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角の確からしさを示す確率密度分布を算出する。
この確率密度分布は、図8に実線で示すラインである。
図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」は4つのピーク(P1,P2,P3,P4)を有する。
この4つのピーク(P1,P2,P3,P4)は、先に図7を参照して説明した画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12の出力するオブジェクト(特徴情報)配列方向の推定結果である、図7(b)出力(Output)に示す4つの直交するオブジェクト(特徴情報)配列方向候補得各々に基づいて算出された自装置の絶対ヨー(Yaw)角である。
自律走行ロボット10の現在の進行方向を示す進行方向角度に相当する絶対ヨー(Yaw)角は、これら4つのピーク(P1,P2,P3,P4)のうちいずれか1つであり、この4つのピークから1つの正解となるピークを選択するために、自装置絶対ヨー(Yaw)角推定部14は、ステップS105で得られる慣性計測部(IMU)13の算出データ、すなわち、
(b)慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23、
この算出データを利用する。
自装置絶対ヨー(Yaw)角推定部14は、慣性計測部(IMU)13の算出したヨー(Yaw)角変化量(Δyaw)23の積算値を算出する。
すなわち、
ΣΔyaw
上記積算値を算出する。この積算値は、現在時間tnにおける自律走行ロボット10の進行方向を示すヨー(Yaw)角(絶対ヨー(Yaw)角)となる。
なお、さらにカルマンフィルタを適用して上記積算値ΣΔyawに含まれる誤差成分を削減するフィルタリング処理を行なう。、
自装置絶対ヨー(Yaw)角推定部14は、現在時間tにおける積算値ΣΔyawのカルマンフィルタ適用結果として示す曲線のピーク位置と、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P1,P2,P3,P4)とを比較照合する。
現在時間tにおける積算値ΣΔyawのカルマンフィルタ適用結果として示す曲線のピーク位置は、図8に実線で示すライン、すなわち「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P3)に最も近い位置にある。
この結果、「オブジェクト(特徴情報)配列方向推定結果(4候補)から算出される自装置の絶対ヨー(Yaw)角確率密度分布」のピーク(P3)が、現在時間(t)における自装置、すなわち自律移動ロボット10の現在の進行方向核と序を示す絶対ヨー(Yaw)角を示すピーク位置であると判定する。
なお、本実施例では、積算値ΣΔyawに含まれる誤差成分を削減するフィルタリング処理カルマンフィルタを適用した処理例について説明したが、カルマンフィルタに限らずその他のフィルタリング処理、例えばパーティクルフィルタを適用した処理を行なってもよい。
このように、ステップS106では、自装置絶対ヨー(Yaw)角推定部14が、以下の2つのデータ(a),(b)、すなわち、
(a)ステップS104において、画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部)12が生成した天井画像内オブジェクト(特徴情報)配列方向候補(4候補)22、
(b)ステップS105で、慣性計測部(IMU)13が算出したヨー(Yaw)角変化量(Δyaw)23、
これら2つのデータ(a),(b)を利用して自装置、すなわち、自律走行ロボット10の現在の進行方向を示す角度に相当する絶対ヨー(Yaw)角を算出する。
自装置絶対ヨー(Yaw)角推定部14が推定した絶対ヨー(Yaw)角24は、ロボット駆動部15に入力される。
(ステップS107)
次に、ステップS107において、ステップS106で算出した自装置、すなわち自律走行ロボット10の絶対ヨー(Yaw)角算出結果に基づいてロボットを駆動制御する。
この処理は、図5に示す自律走行ロボット10のロボット駆動部15が実行する処理である。
ロボット駆動部15は、自装置絶対ヨー(Yaw)角推定部14が算出した絶対ヨー(Yaw)角24、すなわち、自律走行ロボット10の現在の進行方向を示す角度を確認して、自装置、すなわち、自律走行ロボット10の進行方向の制御や進行速度の制御を行う。
この制御により、自律走行ロボット10を目的地に向けて正確に走行させることができる。
自律走行ロボット10の走行中は、ステップS107の後、ステップS102に戻り、ステップS102〜S107の処理を繰り返し実行する。
自律走行ロボット10が目的地に到着し、走行を停止したら、処理を終了する。
[4.本開示の自律移動装置のその他の実施例について]
次に、本開示の自律移動装置のその他の実施例について説明する。
(1)グラフベースSLAMにおける本開示の処理の適用構成について
まず、グラフベースSLAMにおける本開示の処理の適用構成について説明する。
上述した実施例は、自律走行ロボット10が走行中に得られる天井画像を解析して、リアルタイムで自己位置、方向推定を行う際に、慣性計測部(IMU)が算出するヨー(Yaw)角変化量(Δyaw)の積算値ΣΔyawに含まれる積算誤差によるエラーが発生することを回避可能とした構成である。
別の実施例として、本開示の処理は、例えば図10に示すグラフを用いたオフラインSLAMであるグラフベースSLAMを適用したポーズグラフ62と、地図63の作成処理にも適用可能である。
SLAM(simultaneous localization and mapping)処理は、自己位置同定(ローカリゼーション)と環境地図作成(mapping)を並行して実行する処理である。
グラフベースSLAMは、移動体の位置情報からなるポーズグラフ62や移動体の周囲環境地図(3次元マップ)からなる地図63をオフラインで生成する処理である。
グラフベースSLAMを適用したポーズグラフ62と、地図63の作成処理においては、図10に示すように、フロントエンド51とバックエンド52でそれぞれ非同期に処理を行ない、各処理結果に基づいて移動体の位置情報からなるポーズグラフ62や移動体の周囲環境地図(3次元マップ)からなる地図63を生成する。
ここで、フロントエンド51側の処理として、移動体の進行方向角度を示す信頼度付きヨー(Yaw)角をグラフ制約として追加する。この処理により、グラフの歪みを補正することが可能となる。結果として、より高精度な移動体の移動経路情報の取得、生成が可能となる。
(2)パーティクルフィルタを適用した自己位置推定処理に本開示の処理を適用した構成について
次に、パーティクルフィルタを適用した自己位置推定処理に本開示の処理を適用した構成について説明する。
図11は、パーティクルフィルタを適用した自己位置推定処理の一例について説明する図である。
パーティクルフィルタを適用した自己位置推定処理は、時間経過に従って、順次、自己位置の存在する可能性の高い位置(パーティクル)を絞っていく手法である。
例えば、図11に示す走行可能領域内を自律移動ロボットが走行しているとする。時間t1〜t6に伴い、自律移動ロボットは図11に示す走行可能領域内を移動する。なお、自律移動ロボットは画像を撮影しながら移動している。この撮影画像を解析することで、自律移動ロボットの存在する可能性の高い位置(パーティクル位置)を絞っていく。
時間t1では、自律移動ロボットの存在する可能性の高い位置(パーティクル位置)は、走行可能領域内全体に広がっているが、時間経過に伴い、自律移動ロボットの存在する可能性の高い位置(パーティクル位置)が絞られていく。
このような処理により、自律移動ロボットの存在する可能性の高い位置(パーティクル)を絞り、位置を特定する処理がパーティクルフィルタを適用した自己位置推定処理である。
なお、自律移動ロボットの存在する可能性の高い位置のパーティクルにはより大きな重みを設定して、より大きな重みを持つパーティクルを残存させる処理により、パーティクルを絞る処理が行われる。
このような、パーティクルフィルタを適用した自己位置推定処理を行う場合、重み設定に本開示の進行方向に相当するヨー(Yaw)角の観測情報を適用する。これにより、パーティクルの絞り込み(収束)を早める効果が期待できる。特に、一意に定まらないランドマークが取得できる場合や、事前地図として走行可能な領域をもっている場合などに有効である。
(3)天井画像以外の画像の利用例
次に、天井画像以外の画像の利用例について説明する。
上述した実施例では、天井画像を利用してヨー(Yaw)角を算出する実施例について説明した。
ヨー(Yaw)角を算出するための画像は、天井画像に限らず、例えば、ロボット走行面、例えば床の画像(カーペットの模様など)を利用することも可能である。
また車両における走行面である道路面の画像や、前方方向に延びる道路を撮影した前方画像や、後方画像等、周囲画像を利用した処理を行なう構成としてもよい。
また、自己位置や進行方向の算出、補正処理以外の利用方法として、算出したヨー(Yaw)角に基づいて、自律走行ロボット等の自律移動装置と建物との相対角を算出し、自律移動装置を例えば建物の壁に沿って平行に移動させるといった走行制御やナビゲーション処理に利用することも可能である。
[5.自律移動装置の一実施例である自動運転車両の構成例について]
次に、図12を参照して自律移動装置の一実施例である自動運転車両の構成例について説明する。
上述したように、ヨー(Yaw)角を算出するための画像は、天井画像に限らない。例えば自動運転車両の走行面である道路面の画像や、前方方向に延びる道路を撮影した前方画像や、後方画像等、周囲画像を利用した処理を行なう構成も可能である。
以下、本開示の自律移動装置の一実施例である自動運転車両について説明する。
図12は、自動運転車両の車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、可視光カメラ、ステレオカメラ、単眼カメラ、(遠)赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、又は、MHL(Mobile High−definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[6.自律移動装置のハードウェア構成例について]
次に、図5を参照して説明した自律走行ロボット10等、本開示の自律移動装置のハードウェア構成例について説明する。
図13は、図5を参照して説明した自律走行ロボット10等、本開示の自律移動装置のハードウェア構成の一例を示す図である。
以下、図13に示すハードウェア構成について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
なお、入力部306には、センサ321からの入力情報も入力される。
また、出力部307は、移動装置の駆動部322に対する駆動情報も出力する。
CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) カメラ撮影画像を入力して画像解析を行う画像解析部と、
自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、
前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有し、
前記自装置絶対ヨー(Yaw)角算出部は、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動装置。
(2) 前記自律移動装置は、
前記自律移動装置の走行面垂直上方の天井を撮影するカメラを有し、
前記画像解析部は、
前記自律移動装置の走行面垂直上方の天井を撮影した天井画像を入力して画像解析を実行する(1)に記載の自律移動装置。
(3) 前記カメラ撮影画像は、
前記自律移動装置の走行面垂直上方の天井を撮影した天井画像であり、
前記画像解析部は、
前記天井画像から特徴情報の配列方向を検出して、検出した特徴情報配列方向を利用して、前記自律移動装置の複数の推定進行方向候補データを生成する(1)または(2)に記載の自律移動装置。
(4) 前記特徴情報の配列方向は、照明の配列方向、スプリンクラーの配列方向、火災報知器の配列方向、天井板の模様、または継ぎ目の配列方向の少なくともいずれかである(3)に記載の自律移動装置。
(5) 前記画像解析部は、
予め生成した学習済みモデルを適用して、前記自律移動装置の複数の推定進行方向候補データを生成する(3)または(4)に記載の自律移動装置。
(6) 前記学習済みモデルは、
様々な天井パターンを入力データとした学習処理によって予め生成された学習済みモデルである(5)に記載の自律移動装置。
(7) 前記計測部は、
前記自律移動装置の単位時間当たりの進行方向の変化量に相当するヨー(Yaw)角変化量(Δyaw)を算出する(1)〜(6)いずれかに記載の自律移動装置。
(8) 前記計測部は、
慣性計測装置(IMU:Inertial Measurement Unit)である(1)〜(7)いずれかに記載の自律移動装置。
(9) 前記自装置絶対ヨー(Yaw)角算出部は、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合し、
前記複数の推定進行方向候補データから、積算値ベース推定進行方向データに最も近い推定進行方向候補データを選択し、
選択した推定進行方向候補データを、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角とする(1)〜(8)いずれかに記載の自律移動装置。
(10) 前記自装置絶対ヨー(Yaw)角算出部は、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データに対するフィルタリング処理の結果データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データに対するフィルタリング処理の結果データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する(1)〜(9)いずれかに記載の自律移動装置。
(11) 前記フィルタリング処理は、カルマンフィルタを適用した処理である(10)に記載の自律移動装置。
(12) 前記自律移動装置は、
前記自律移動装置の移動制御を行う駆動部を有し、
前記駆動部は、
前記自装置絶対ヨー(Yaw)角算出部から、前記自律移動装置の進行方向データを入力して前記自律移動装置の移動制御を行う(1)〜(11)いずれかに記載の自律移動装置。
(13) 自律移動装置において実行する自律移動制御方法であり、
画像解析部が、カメラ撮影画像を入力して画像解析を行う画像解析ステップと、
計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測ステップと、
自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出ステップを有し、
前記自装置絶対ヨー(Yaw)角算出ステップは、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動制御方法。
(14) 自律移動装置において自律移動制御を実行させるプログラムであり、
画像解析部に、カメラ撮影画像を入力して画像解析を行わせる画像解析ステップと、
計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得させる計測ステップと、
自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出させる自装置絶対ヨー(Yaw)角算出ステップを実行させ、
前記自装置絶対ヨー(Yaw)角算出ステップにおいては、
前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出させるプログラム。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、自律移動装置の高精度な移動制御を実現する装置、方法が実現される。
具体的には、例えば、カメラの撮影した天井画像を解析する画像解析部と、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、画像解析部の天井画像解析結果と、計測部の観測情報を入力し、自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有する。自装置絶対ヨー(Yaw)角算出部は、天井画像解析結果から得られる自律移動装置の複数の推定進行方向候補データと、計測部の単位時間毎の観測情報の積算結果から得られる自律移動装置の積算値ベース推定進行方向データを照合して、自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する。
本構成により、自律移動装置の高精度な移動制御を実現する装置、方法が実現される。
10・・自律走行ロボット,11・・カメラ(天井画像撮影カメラ),12・・画像解析部(天井画像内オブジェクト(特徴情報)配列方向推定部),13・・慣性計測部(IMU),14・・自装置絶対ヨー(Yaw)角推定部,15・・ロボット駆動部,18・・記憶部(一般天井学習済みモデル),100・・車両制御システム,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,301・・CPU,302・・ROM,303・・RAM,304・・バス,305・・入出力インタフェース,306・・入力部,307・・出力部,308・・記憶部,309・・通信部,310・・ドライブ,311・・リムーバブルメディア,321・・センサ,322・・駆動部

Claims (14)

  1. カメラ撮影画像を入力して画像解析を行う画像解析部と、
    自律移動装置の移動状態の単位時間毎の観測情報を取得する計測部と、
    前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出部を有し、
    前記自装置絶対ヨー(Yaw)角算出部は、
    前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
    前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
    照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動装置。
  2. 前記自律移動装置は、
    前記自律移動装置の走行面垂直上方の天井を撮影するカメラを有し、
    前記画像解析部は、
    前記自律移動装置の走行面垂直上方の天井を撮影した天井画像を入力して画像解析を実行する請求項1に記載の自律移動装置。
  3. 前記カメラ撮影画像は、
    前記自律移動装置の走行面垂直上方の天井を撮影した天井画像であり、
    前記画像解析部は、
    前記天井画像から特徴情報の配列方向を検出して、検出した特徴情報配列方向を利用して、前記自律移動装置の複数の推定進行方向候補データを生成する請求項1に記載の自律移動装置。
  4. 前記特徴情報の配列方向は、照明の配列方向、スプリンクラーの配列方向、火災報知器の配列方向、天井板の模様、または継ぎ目の配列方向の少なくともいずれかである請求項3に記載の自律移動装置。
  5. 前記画像解析部は、
    予め生成した学習済みモデルを適用して、前記自律移動装置の複数の推定進行方向候補データを生成する請求項3に記載の自律移動装置。
  6. 前記学習済みモデルは、
    様々な天井パターンを入力データとした学習処理によって予め生成された学習済みモデルである請求項5に記載の自律移動装置。
  7. 前記計測部は、
    前記自律移動装置の単位時間当たりの進行方向の変化量に相当するヨー(Yaw)角変化量(Δyaw)を算出する請求項1に記載の自律移動装置。
  8. 前記計測部は、
    慣性計測装置(IMU:Inertial Measurement Unit)である請求項1に記載の自律移動装置。
  9. 前記自装置絶対ヨー(Yaw)角算出部は、
    前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
    前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合し、
    前記複数の推定進行方向候補データから、積算値ベース推定進行方向データに最も近い推定進行方向候補データを選択し、
    選択した推定進行方向候補データを、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角とする請求項1に記載の自律移動装置。
  10. 前記自装置絶対ヨー(Yaw)角算出部は、
    前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データに対するフィルタリング処理の結果データと、
    前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データに対するフィルタリング処理の結果データを照合して、
    照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する請求項1に記載の自律移動装置。
  11. 前記フィルタリング処理は、カルマンフィルタを適用した処理である請求項10に記載の自律移動装置。
  12. 前記自律移動装置は、
    前記自律移動装置の移動制御を行う駆動部を有し、
    前記駆動部は、
    前記自装置絶対ヨー(Yaw)角算出部から、前記自律移動装置の進行方向データを入力して前記自律移動装置の移動制御を行う請求項1に記載の自律移動装置。
  13. 自律移動装置において実行する自律移動制御方法であり、
    画像解析部が、カメラ撮影画像を入力して画像解析を行う画像解析ステップと、
    計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得する計測ステップと、
    自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出する自装置絶対ヨー(Yaw)角算出ステップを有し、
    前記自装置絶対ヨー(Yaw)角算出ステップは、
    前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
    前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
    照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出する自律移動制御方法。
  14. 自律移動装置において自律移動制御を実行させるプログラムであり、
    画像解析部に、カメラ撮影画像を入力して画像解析を行わせる画像解析ステップと、
    計測部が、自律移動装置の移動状態の単位時間毎の観測情報を取得させる計測ステップと、
    自装置絶対ヨー(Yaw)角算出部が、前記画像解析部の画像解析結果と、前記計測部の観測情報を入力し、前記自律移動装置の進行方向を算出させる自装置絶対ヨー(Yaw)角算出ステップを実行させ、
    前記自装置絶対ヨー(Yaw)角算出ステップにおいては、
    前記画像解析部の画像解析結果から得られる前記自律移動装置の複数の推定進行方向候補データと、
    前記計測部の単位時間毎の観測情報の積算結果から得られる前記自律移動装置の積算値ベース推定進行方向データを照合して、
    照合結果に基づいて、前記自律移動装置の進行方向に対応する自装置絶対ヨー(Yaw)角を算出させるプログラム。
JP2020014375A 2020-01-31 2020-01-31 自律移動装置、自律移動制御方法、並びにプログラム Pending JP2021120837A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020014375A JP2021120837A (ja) 2020-01-31 2020-01-31 自律移動装置、自律移動制御方法、並びにプログラム
PCT/JP2021/000295 WO2021153176A1 (ja) 2020-01-31 2021-01-07 自律移動装置、自律移動制御方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020014375A JP2021120837A (ja) 2020-01-31 2020-01-31 自律移動装置、自律移動制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2021120837A true JP2021120837A (ja) 2021-08-19

Family

ID=77079333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020014375A Pending JP2021120837A (ja) 2020-01-31 2020-01-31 自律移動装置、自律移動制御方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2021120837A (ja)
WO (1) WO2021153176A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022039614A1 (en) * 2020-08-19 2022-02-24 Limited Liability Company "Topcon Positioning Systems" System for monitoring stability of operation of autonomous robots
CN114587218B (zh) * 2021-12-31 2023-07-21 北京石头创新科技有限公司 一种清洁机器人的状态判断方法及装置
WO2024108299A1 (en) * 2022-11-22 2024-05-30 Cyberworks Robotics Inc. System and method for minimizing trajectory error using overhead features

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5087360B2 (ja) * 2007-10-12 2012-12-05 三洋電機株式会社 点検システム
JP6822816B2 (ja) * 2016-10-19 2021-01-27 三菱パワー株式会社 配管内移動ロボットによる施工システムおよび施工方法
US11536572B2 (en) * 2016-11-09 2022-12-27 The Texas A&M University System Method and system for accurate long term simultaneous localization and mapping with absolute orientation sensing
JP6687511B2 (ja) * 2016-12-28 2020-04-22 本田技研工業株式会社 制御装置、監視装置及び制御用プログラム

Also Published As

Publication number Publication date
WO2021153176A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11661084B2 (en) Information processing apparatus, information processing method, and mobile object
US20200409387A1 (en) Image processing apparatus, image processing method, and program
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11501461B2 (en) Controller, control method, and program
JP6891753B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2023541322A (ja) 低信頼度の物体検出条件における車両動作のための注釈及びマッピング
JP2022113054A (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
US20230260254A1 (en) Information processing device, information processing method, and program
WO2020261703A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20230206596A1 (en) Information processing device, information processing method, and program