JP2023019930A - 情報処理装置、移動体、情報処理装置の制御方法およびプログラム - Google Patents

情報処理装置、移動体、情報処理装置の制御方法およびプログラム Download PDF

Info

Publication number
JP2023019930A
JP2023019930A JP2021125014A JP2021125014A JP2023019930A JP 2023019930 A JP2023019930 A JP 2023019930A JP 2021125014 A JP2021125014 A JP 2021125014A JP 2021125014 A JP2021125014 A JP 2021125014A JP 2023019930 A JP2023019930 A JP 2023019930A
Authority
JP
Japan
Prior art keywords
information
map
priority
orientation
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021125014A
Other languages
English (en)
Inventor
賢志 諫武
Kenji Isatake
将哉 片嶺
Masaya Katamine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021125014A priority Critical patent/JP2023019930A/ja
Priority to US17/870,349 priority patent/US11946768B2/en
Priority to EP22187153.6A priority patent/EP4134774B1/en
Priority to CN202210918412.8A priority patent/CN115683084A/zh
Publication of JP2023019930A publication Critical patent/JP2023019930A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】計測センサの位置姿勢情報の補正がある場合における地図を生成する際のレイテンシーを低減する。【解決手段】情報処理装置203は、移動体に搭載されたセンサで計測された移動体の周辺環境の形状情報を取得する形状情報取得手段204と、センサの位置姿勢情報を取得する位置姿勢取得手段205と、位置姿勢情報を補正する処理に係る実施状態を取得する補正状態取得手段207と、地図を生成する領域の優先度を決定する優先度決定手段208と、形状情報および形状情報を取得した際の位置姿勢情報に基づいて地図を生成する地図生成手段209と、を備え、地図生成手段209は、実施状態に応じて、優先度が高い領域から順に地図を生成する。【選択図】図2

Description

本発明は、情報処理装置、移動体、情報処理装置の制御方法およびプログラムに関する。
無人搬送車(例えば、AGV:Automated Guided Vehicle)、自律移動ロボット(AMR:Autonomous Mobile Robot)等、工場や物流倉庫等の環境内で稼働する移動体の分野が注目されている。無人の移動体は、設定した経路を、自己位置推定を行いながら走行する。そして、走行経路周辺の走行時のデータを用いて、障害物の形状を表現した地図(以降、地図)の作成する技術も提案されている。
特許文献1は、地図内に含まれた物体の移動の可否を感知し、移動した物体を含む変更された環境情報から選択的に元の地図に反映させることで、迅速に地図を作成する手法を公開している。また、非特許文献1は、センサを搭載した移動体を動かして環境地図データを生成する処理に際し、位置姿勢のずれを補正するループクローズ技術を開示している。ループクローズ技術により、地図の精度を高めることができる。
特表2010-511957号公報
Raul Mur-Artal、Juan D. Tardos、"ORB-SLAM2:an Open-Source SLAM System for Monocular,Stereo and RGB-D Cameras"、IEEE Transactions on Robotics、2017、vol. 33、no. 5、p.1255-1262
しかしながら、特許文献1の手法では、ループクローズ時など移動体の位置姿勢計測誤差に応じてレイアウト地図を再生成する必要があるケースでは、地図作成のレイテンシーを低減できない。
本発明は、計測センサの位置姿勢情報の補正がある場合における地図を生成する際のレイテンシーを低減することを目的とする。
上記課題を解決するために、本発明の情報処理装置は、移動体に搭載されたセンサで計測された前記移動体の周辺環境の形状情報を取得する形状情報取得手段と、前記センサの位置姿勢情報を取得する位置姿勢取得手段と、前記位置姿勢情報を補正する処理に係る実施状態を取得する補正状態取得手段と、地図を生成する領域の優先度を決定する優先度決定手段と、前記形状情報および前記形状情報を取得した際の前記位置姿勢情報に基づいて地図を生成する地図生成手段と、を備え、前記地図生成手段は、前記実施状態に応じて、前記優先度が高い領域から順に地図を生成する。
本発明によれば、計測センサの位置姿勢情報の補正がある場合における地図を生成する際のレイテンシーを低減することができる。
移動体の走行環境を説明する図である。 第1実施形態における情報処理装置の構成を示す図である。 情報処理装置のハードウェアの構成を示す図である。 第1実施形態における情報処理装置の処理を示すフローチャートである。 第1実施形態における地図生成処理を示すフローチャートである。 第1実施形態における段階的な地図を説明する図である。 第2実施形態における情報処理装置の構成を示す図である。 第2実施形態における地図生成処理を示すフローチャートである。 地図の結果通知およびパラメータ設定を説明する図である。
(第1実施形態)
本実施形態では、移動体が移動する空間の地図を操作者が視認しながら、障害物の形状を計測するセンサを搭載した移動体を手動で移動させる場合に本実施形態の方法を適応した事例について述べる。本実施形態では、地図として移動体の走行路の周辺環境を計測して、障害物の形状、建築物、道の形状などを表現するレイアウト地図を生成する例について説明する。障害物の形状の計測漏れを防ぐためには、移動体を移動中に地図の表示を常に更新する必要がある。地図の表示をリアルタイムで更新するためには、形状データを計測してから誤差を補正した地図を生成するまでの時間(レイテンシー)を低減することが必要である。そこで、本実施形態では、地図作成対象の空間中の部分領域ごとに地図生成の順番を決める優先度を設定する。
図1は、移動体の走行環境を説明する図である。図1では、地図を生成する対象の空間を上方から見た模式図として示している。移動体101は、位置姿勢計測用センサ102と形状計測用センサ103が搭載された移動体である。位置姿勢計測用センサ102はカメラを備え、移動体101の位置姿勢を計測する。位置姿勢計測用センサ102が備えるカメラは、例えば、移動体101の周辺環境を撮影したグレースケール画像を一定の頻度(例えば30回/秒)で撮影し、取得する。形状計測用センサ103はデプスセンサを備え、周囲の物体の形状情報を計測する。形状計測用センサ103は、例えば、移動体101の周辺環境をデプスセンサで計測した結果に基づいて距離画像を一定の頻度(例えば30回/秒)で取得する。なお、本実施形態では、移動体101には形状計測用センサ103が2台搭載されているものとする。
空間104は、地図の生成対象となる所定の空間である。障害物105、障害物106、障害物107、障害物108、障害物109、障害物110は、空間104内に存在する障害物である。障害物105~110の形状が計測するに、操作者は、移動体101に障害物の近傍を走行させる。移動体101の走行ルートは、例えば、開始終了地点112をスタートし、図1上で時計回りに走行経路111上を走行して再び開始終了地点112に戻る1周のコースである。
図2は、本実施形態に係る情報処理装置を含む情報処理システムの構成を示す図である。情報処理システム201は、位置姿勢計測用センサ102、形状計測用センサ103、位置姿勢計測手段202、補正手段206、情報処理装置203、入力受付手段210、表示手段211を有する。情報処理装置203は、形状情報取得手段204、位置姿勢取得手段205、補正状態取得手段207、優先度決定手段208、地図生成手段209を備える。
位置姿勢計測手段202は、位置姿勢計測用センサ102の計測結果に基づいて形状計測用センサ103の位置姿勢情報を算出する。具体的には、まず、位置姿勢計測手段202は、位置姿勢計測用センサ102で撮像した撮像画像に基づいて位置姿勢計測用センサ102の位置姿勢を求める。次に、位置姿勢計測手段202は、あらかじめ設定された位置姿勢計測用センサ102と形状計測用センサ103との相対的な位置関係に基づいて、位置姿勢計測用センサ102の位置姿勢から形状計測用センサ103の位置姿勢を算出する。なお、位置姿勢計測用センサ102の撮像画像から位置姿勢計測用センサ102の位置姿勢を求める方法としては、SLAM技術等の公知の方法を用いればよい。
情報処理装置203は、移動体101で取得した情報に基づいて、移動体101が移動する周辺環境の地図を作成する。本実施形態では、情報処理装置203は移動体101内に備えられているものとして説明するが、これに限られるものではなく、情報処理装置203は移動体101と通信可能な外部の情報処理装置であってもよい。形状情報取得手段204は、形状計測用センサ103から走行経路周辺の障害物の形状情報を取得する。本実施形態では、形状情報として距離画像を取得する。
位置姿勢取得手段205は、位置姿勢計測手段202から位置姿勢計測手段202で算出した形状計測用センサ103の位置姿勢情報を取得する。本実施形態では、移動体101に形状計測用センサ103を2台搭載しているため、取得する位置姿勢情報は2台分である。位置姿勢情報とは、空間104に設定した座標系における形状計測用センサ103の位置を示す座標値および形状計測用センサ103の計測方向を示す角度である。
補正手段206は、位置姿勢計測手段202が計測した形状計測用センサ103の位置姿勢情報の誤差補正処理を実施する。補正状態取得手段207は、位置姿勢情報を補正する処理に係る実施状態の情報を取得する。第1実施形態では、補正状態取得手段207は実施状態情報として、補正手段206から位置姿勢情報の誤差補正処理が完了したか否かを示す情報を取得する。優先度決定手段208は、地図の生成対象となる空間104内の部分領域ごとの地図生成の優先度を決定する。
地図生成手段209は、地図を生成する。地図生成手段209は、補正状態取得手段207が取得した補正状態に応じて、形状情報取得手段204が取得した形状情報、位置姿勢取得手段205が取得した位置姿勢情報、優先度決定手段208が決定した優先度に基づき地図を生成する。入力受付手段210は、ユーザからの入力を受け付ける。表示手段211は、例えば液晶ディスプレイ等であり、地図生成手段209が生成した地図のデータを画像に変換して表示する。なお、補正手段206、入力受付手段210および表示手段211は、情報処理装置203に含まれていてもよい。
図3は、情報処理装置203のハードウェア構成を示す図である。CPU(Central Processing Unit)301は、システムバス311に接続された各種デバイスの制御を行う。ROM(Read Only Memory)302は、BIOS(Basic Input/Output System)のプログラムやブートプログラムを記憶する。RAM(Random Access Memory)303は、CPU301の主記憶装置として使用される。外部メモリ304は、情報処理装置203が処理するプログラムを格納する。
入力部305は、キーボードやポインティングデバイス、ロボットコントローラ等であり、ユーザからの情報等の入力処理を行う。表示部306は液晶ディスプレイやプロジェクタ等の表示装置を有し、CPU301からの指令にしたがって情報処理装置203の演算結果を表示装置に出力して画面に表示する。通信インターフェイス(I/F)部307は、ネットワークを介して外部装置と情報通信を行う。通信I/F307は、イーサネット、USB、シリアル通信、無線通信等種類は問わない。ネットワークは、例えば、LAN、WANなどの通信ネットワーク、セルラネットワーク(例えば、LTEや5Gなど)、無線ネットワークのいずれか、またはこれらの組み合わせで構成されてもよい。すなわち、ネットワークはデータの送受信が可能に構成されていればよく、物理レイヤの通信方式はいずれの方式を採用してもよい。センサInput/Output(I/O)308は、位置姿勢計測用センサ102および形状計測用センサ103に接続され、情報通信を行う。
本実施形態における情報処理装置203の処理を図4~図6を用いて説明する。図4は、情報処理装置203が行う本実施形態の処理全体を示すフローチャートである。図4に示される各処理は、情報処理装置203のCPU301がROM302または外部メモリ304に記憶された各モジュールに対応するプログラムをRAM303に呼び出し、実行することにより実現される。
ステップS401で、形状情報取得手段204は、移動体101周辺の形状情報を取得する。形状情報は、例えば、形状計測用センサ103がデプスセンサで計測した結果に応じた距離画像である。本ステップで取得した形状情報は、取得した順にRAM303に保持される。
ステップS402で、形状計測用センサ103は、形状を計測した際の形状計測用センサ103の位置姿勢情報を位置姿勢取得手段205が取得する。本ステップで取得される位置姿勢情報は、補正手段206より位置姿勢情報の補正処理が行われた場合には補正後の位置姿勢情報となる。本ステップで取得したデータは、ステップS401で取得したデータと紐づけてRAM303に保持される。以下では、紐づけられた形状情報と位置姿勢情報を「地図要素データ」と呼ぶ。
ステップS403で、補正状態取得手段207は、形状計測用センサ103の位置姿勢の誤差を補正する補正処理の実施状態を示す情報を取得する。実施状態情報とは形状計測用センサ103の位置姿勢の誤差を補正する補正処理が完了しているか否かを示す情報である。例えば、補正処理がループクローズ補正処理である場合には、補正状態情報とはループクローズ補正処理が完了しているか否かを示す情報である。補正状態取得手段207は、補正手段206から補正処理の実施状態情報を取得する。
ステップS404で、優先度決定手段208は、走行した空間内の部分領域ごとに地図を生成する優先度を設定する。例えば、優先度決定手段208は、地図要素データ群すべてを、移動体101の現在位置から近い順にソートしたデータ群を生成する。続いて優先度決定手段208は、ソートした地図要素データ群を所定の個数ずつに分け、それぞれの地図要素データ群を部分領域データとしてRAM303に保持する。この際、優先度決定手段208は、それぞれの地図要素データ群のデータ数が均一になるように設定するようにしてもよい。また優先度決定手段208は、各部分領域データにソートされた順に優先度を設定する。なお、優先度の設定はこれに限られるものではなく、他の優先度設定の例については後述する。
ステップS405で、地図生成手段209は、地図を生成する。地図生成の詳細は図5を用いて後述する。ステップS406で、入力受付手段210は、移動体101の移動を終了するか判定する。具体的には、入力受付手段210は、入力部305に操作者からの終了指示が入力されたか否かを判定する。操作者からの終了指示が入力された場合、移動体101の移動を終了し、本処理も終了する。一方、操作者からの終了指示を受け付けていない場合は、ステップS401に戻る。
ステップS405の地図生成処理の詳細について説明する。図5は、第1実施形態における地図生成処理を示すフローチャートである。図5に示される各処理は、情報処理装置203のCPU301がROM302または外部メモリ304に記憶された各モジュールに対応するプログラムをRAM303に呼び出し、実行することにより実現される。
ステップS501で、地図生成手段209は、ステップS401およびS402でRAM303に保持された地図要素データ群およびステップS404でRAM303に保持された部分領域データ群を取得する。ステップS502で、地図生成手段209は、形状計測用センサ103の位置姿勢の誤差を補正する補正処理が完了しているか否か判定する。具体的には、地図生成手段209は、補正状態取得手段207がステップS403で取得した補正処理の実施状態情報に基づいて、補正処理が完了しているか否か判定する。補正処理が完了していないと判定した場合は、ステップS503へ遷移する。一方、補正処理が完了していると判定した場合は、ステップS505へ遷移する。
ステップS503で、地図生成手段209は、ステップS501で取得した地図要素データ群に基づいて地図データを生成する。例えば、まず地図生成手段209は、各地図要素データに含まれる距離画像について、距離画像の撮影位置向き、カメラパラメータに基づいて各画素に対応する3次元点群の座標を算出する。次に、地図生成手段209は、床面からの距離が所定の範囲内の3次元点群を抽出し、床面に相当する平面に投影した2次元座標を算出する。そして、地図生成手段209は、算出した2次元座標に応じた地図データを生成する。
形状計測用センサ103の位置姿勢の誤差を補正する補正処理が完了している場合、地図生成手段209はステップS504~ステップS506の処理により地図データを生成する。ステップS504~ステップS506では、優先度の高い順に領域ごとの地図データを生成する。ステップS504で、地図生成手段209は、ステップS501で取得した部分領域データ群から最も優先度の高い部分領域データを取り出す。すなわち、地図データの生成処理が行われていない部分領域の中で最も優先度の高い部分領域に対応する部分領域データを取り出す。
ステップS505で、地図生成手段209は、ステップS504で取り出した優先度が最も高い部分領域データに相当する部分領域の地図データを生成する。すなわち、地図生成手段209は、該当の部分領域に属する各距離画像について、距離画像の撮影位置向き、カメラパラメータに基づいて各画素に対応する3次元点群の座標を算出する。次に、地図生成手段209は、床面からの距離が所定の範囲内の3次元点群を抽出し、床面に相当する平面に投影した2次元座標を算出する。そして、地図生成手段209は、算出した2次元座標に応じて優先度が最も高い領域の地図データを生成する。
ステップS506で、地図生成手段209は、ステップS501で取得した部分領域データ群に、地図データを生成する処理が未処理の部分領域データが残っているか確認する。未処理の部分領域データがある場合は、ステップS504へ戻り、残りの部分領域の中で最も優先度の高い部分領域データについて、地図を生成する。一方、未処理の部分領域データがない場合、すなわちすべての部分領域データに応じた地図の生成処理が終了した場合は本処理を終了する。
図6は、第1実施形態における地図が段階的に生成される様子を説明する図である。図6(A)は、位置姿勢情報の補正が発生した際の移動体101と走行環境中の障害物の配置を上方から見た図である。移動体101は、図1に示されるように、空間104を時計回りに移動する。図6(B)、図6(C)、図6(D)は、地図600を表示部306が有する表示装置に表示した様子を時間順に示したものである。地図600は、移動体101の現在位置から近い部分領域から順に生成され、移動体101の移動に伴い地図が生成される領域が拡大していく。
本実施形態によると、ループクローズ処理が発生しても、移動体101の現在位置の周辺から優先的に地図を作成することで、地図を生成する際のレイテンシーを軽減することができる。すなわち、計測センサの位置姿勢情報の補正がある場合における地図を生成する際のレイテンシーを低減することができる。
(第1実施形態の変形例)
本実施形態において形状計測用センサ103がデプスセンサを備える例を説明したが、障害物の形状情報が得られれば、これに限るものではない。例えば、ステレオカメラであっても良いし、単眼カメラであってもよい。単眼カメラの場合は、モーションステレオにより障害物までの距離を算出してもよいし、輝度情報から距離情報を出力する学習モデルを利用して距離を推定してもよい。また本実施形態では、移動体101上に形状計測用センサ103を進行方向に対して左右に2台搭載している例を説明したが、移動体周囲の障害物の形状を計測できれば形状計測用センサ103の配置や台数はこれに限るものではない。例えば、進行方向に対して45度の角度で設置しても構わないし、俯瞰的に見下ろすように設置しても構わない。台数も1台または3台以上使用しても構わない。また、本実施形態では形状情報が距離画像である例について説明したがこれに限るものではなく、例えば、形状情報は障害物表面の点群の3次元座標値や、計測方向とその計測方向における障害物までの距離値の組であってもよい。
本実施形態では位置姿勢計測手段202が位置姿勢を計測する方法として、移動体101に搭載した位置姿勢計測用センサ102が備えるカメラで撮影した画像に基づいてSLAM技術で計測する方法を説明したが、これに限られるものではない。位置姿勢を計測方法は、形状計測用センサ103または形状計測用センサ103を搭載する移動体101の位置向きが計測できるものであればよい。例えば、移動体101に搭載したLiDARやデプスセンサの計測値に基づいてSLAM技術により計測する方法でもよいし、移動体101が備える車輪の回転数や移動体101が搭載する慣性センサに基づいて移動体101の位置向きを算出してもよい。あるいは、磁気センサ、光学センサ、電波ビーコン、GPSなどにより位置姿勢を計測してもよいし、空間104に設置した俯瞰カメラの映像から移動体101の位置向きを検出してもよい。さらに、上記の複数の方法を組み合わせて位置姿勢を計測もよい。
本実施形態では補正状態取得手段207が補正手段206から位置姿勢情報の誤差補正処理の完了/未完了を示す実施状態の情報を取得する例を説明したが、補正状態取得手段207が取得する情報は誤差補正処理が行われたことが判定できる情報であればよい。例えば、位置姿勢が変更されたかどうかを示すフラグでもよし、補正処理の進行度合いを示す値であってもよい。ステップS403で補正状態取得手段207が補正処理の進行度合いを示す値を取得した場合、ステップS502では補正処理の進行度合いが所定の閾値以上であるか否か判定する。補正手段206が実施する補正処理は、位置姿勢情報を補正するものであればループクローズ補正以外の処理でも構わない。例えば、位置姿勢の外れ値除去や、位置姿勢情報の追加でもよい。
本実施形態では、優先度決定手段208が現在位置周辺の優先度を高く設定する例について説明したが、優先度の設定方法はこれに限られるものではない。優先度が設定される領域は走行経路で計測した位置姿勢に基づいて指定できる領域であればよく、例えば、移動体101の移動予定に応じて優先度を設定してもよい。具体的には、移動体101が進行する方向に存在する領域の優先度を高く設定してもよいし、移動体101が通行する位置を予測して、予測した位置周囲の優先度を比較的高く設定してもよい。また、地図生成手段209が地図の生成中に位置姿勢取得手段205が新たな位置姿勢情報を取得した場合には、新規取得した位置を含む周辺の部分領域の優先度を他の部分領域に比べて高く設定するなど、計測状況に応じて優先度を変化させてもよい。あるいは、ユーザからの指示を受け付け、ユーザが指定する部分領域の優先度を高く設定してもよい。この優先度の設定方法によれば、利用者が視認するニーズが高い領域から優先的に地図を生成することができる。また、形状情報を取得した時刻が近い部分領域の優先度を高く設定してもよい。
優先度決定手段208で決定する優先度の高い領域は、部分領域の移動体101を中心とし、幅は形状計測用センサ103の計測可能距離と略一致するように設定してもよい。また、優先度を設定する領域の広さを所定の広さに限定し、それ以外の領域については地図作成の対象外としてもよい。これらの優先度設定方法によれば、より短時間で地図を生成することができる。
また本実施形態のステップS404において、形状情報と位置姿勢情報の組の数を部分領域によらず一定としたが、これに限定するものではない。例えば、CPU301の使用率やRAM303の残容量に応じて可変としても構わない。具体的には、CPU使用率が高い場合やメモリの残容量が少ない場合は、形状情報と位置姿勢情報の組の数を減少させる。これにより、地図生成に関わるレイテンシーの増加を低減することができる。
(第2実施形態)
第1実施形態では、、位置姿勢の補正処理が完了した場合に、地図の生成を部分領域ごとの優先度に応じて進める実施形態について説明した。第2実施形態では、地図の生成処理に加えて、位置姿勢の補正処理も優先度の高いものから順に行う実施形態について説明する。
本実施形態における情報処理システムの構成を、図7を用いて説明する。図7は、第2実施形態における情報処理装置の構成を示す図である。本実施形態における情報処理システム201は、位置姿勢計測用センサ102、形状計測用センサ103、位置姿勢計測手段202、情報処理装置700、入力受付手段210、表示手段211を有する。情報処理装置700は、形状情報取得手段204、位置姿勢取得手段205、補正状態取得手段701、補正手段702、優先度決定手段208、地図生成手段209を備える。図7において第1実施形態と同様の構成については、同じ符号を付すことでその説明を省略する。なお、入力受付手段210および表示手段211は、情報処理装置700に含まれていてもよい。
補正状態取得手段701は、位置姿勢情報の誤差補正処理が実施できる状態か否かの情報を取得する。ここで位置姿勢情報の誤差補正処理とは、ループクローズ補正である。また、誤差補正処理が実施できる状態か否かは、位置姿勢取得手段205が取得した位置姿勢が、取得済みの位置姿勢群のいずれかに近接するか否か、すなわち移動体101の移動経路がループを形成するか否かにより判定される。
補正手段702は、補正状態取得手段702が取得した補正状態が位置姿勢情報の誤差補正処理が実施できる状態である場合に、位置姿勢の誤差補正処理を行う。この際、補正手段702は、位置姿勢取得手段205が取得した位置姿勢情報および優先度決定手段208が設定した優先度付きの部分領域情報に基づいて、優先度の高い部分領域に含まれる位置姿勢から順に誤差補正処理を行う。
情報処理装置203が行う本実施形態の処理全体は第1実施形態(図4)と同様である。なお、第2実施形態におけるステップ402で取得されるすべての位置姿勢情報は、補正手段702による位置姿勢情報の補正処理が行われていない状態の位置姿勢情報となる。第2実施形態においてステップS405で行われる地図生成処理の詳細について図8を用いて説明する。図8は、第2実施形態における地図生成処理を示すフローチャートである。図8に示される各処理は、情報処理装置203のCPU301がROM302または外部メモリ304に記憶された各モジュールに対応するプログラムをRAM303に呼び出し、実行することにより実現される。図8において第1実施形態と同様の処理については、図5と同じ符号を付すことでその説明を省略する。
ステップS501で地図要素データ群および部分領域データ群を取得後、ステップS801に遷移する。ステップS801で、地図生成手段209は、補正状態取得手段701から位置姿勢情報の補正処理が実施できる状況か否かを示す情報を取得する。本実施形態でにおける補正処理であるループクローズ処理が実施できる状況ではない場合は、ステップS503へ遷移する。一方、ループクローズ処理が実施できる場合は、ステップS504へ遷移する。
位置姿勢情報の補正処理が実施できる状況である場合、地図生成手段209はステップS504、ステップS802、ステップS505、ステップS506の処理により地図データを生成する。ステップS504、ステップS802、ステップS505、ステップS506では、優先度の高い順に領域ごとに位置姿勢の補正処理と地図データの生成処理を実行する。
ステップS504で優先度が最も高い部分領域データを取得すると、ステップS802に遷移する。ステップS802で、補正手段702は、ステップS505で取り出した優先度の高い部分領域データに含まれる位置姿勢情報に基づいて、当該の部分領域に対して位置姿勢情報の誤差を補正する局所的なループクローズ補正処理を実施する。補正処理の実施後はステップS505へ遷移し、ステップS505で取り出した優先度の高い部分領域データおよびステップS802で補正したデータに基づいて地図を生成する。
以上説明したように本実施形態によると、地図を部分領域ごとに生成するのに加えて位置姿勢情報の誤差補正も部分領域ごとに行ことができ、地図を生成する際のレイテンシーを軽減することができる。したがって、計測センサの位置姿勢情報の補正がある場合における地図を生成する際のレイテンシーを低減することができる。
(第2実施形態の変形例)
ステップ802において補正手段702で優先的に補正する領域は、優先度決定手段208が決定した地図を生成する優先度の最も高い領域が含まれていればよい。そのため、補正手段702が補正する領域の優先度は、優先度決定手段208で決定した優先度以外の方法で決定した優先度でも構わない。例えば、優先度決定手段208で決定した部分領域の範囲よりも大きい領域について補正手段702による補正の優先度を設定してもよい。
(第3実施形態)
本実施形態では、第1実施形態や第2実施形態により段階的に地図を生成する際の、地図生成結果の通知や、その地図生成かかわるパラメータ設定機能を行う方法について説明する。
図9は、地図の結果通知およびパラメータ設定を説明する図である。GUI画面901には、生成中の地図と地図の生成に関わるパラメータを設定するためのGUI(Graphical User Interface)が表示される。GUI画面901は、例えば、表示部306と入力部305が一体となったタッチパネルに表示される。表示手段211によりGUI画面901が表示部306に表示され、入力受付手段210がGUI画面901に対するユーザの指示を受け付ける。
GUI画面901は、パラメータ設定領域902、走行履歴表示領域903、補正状態表示領域904、地図表示領域905を有する。パラメータ設定領域902には、現在の地図生成に関わるパラメータが表示され、ユーザは設定したい設定項目を選択してパラメータを設定することができる。例えば、ユーザは要素数設定アイコン907を押下し、部分領域の範囲に相当する、地図のデータ数(要素数)を指定する。優先度決定手段208は、ユーザにより指定されたデータ数となるように優先度を設定する部分領域を決定する。また、ユーザは終了アイコン908を押下することで、地図の生成の終了を指示する。
走行履歴表示領域903は、移動体101が走行した走行経路111に相当する位置の履歴を示す平面図である。補正状態表示領域904は、補正状態取得手段207が取得した位置姿勢の補正処理の実施状態を表示するエリアである。図9における補正状態表示領域904の表示は、ループクローズ補正処理が開始可能であることを示している。地図表示領域905は、地図生成手段209が生成した地図906を表示するエリアである。地図906は、地図が生成された部分領域から順に段階的に表示される。
以上説明したように、本実施形態によると、地図生成を制御するパラメータの入力や、地図生成状況の把握をGUIにより直感的に行うことができる。
(第3実施形態の変形例)
本実施形態では、905の地図表示エリアでは、生成された部分的な地図全体を表示しているが、部分領域の地図が表示されていれば、この表示方法に限るものではない。例えば、生成された部分的な地図の一部の局所領域だけを拡大して表示してもよい。特に、移動体101の現在位置周辺を拡大表示することにより、障害物形状の計測漏れがあった場合に操作者が気づきやすくなる。
パラメータ設定領域902で設定する空間104内の部分領域の範囲を決定するパラメータは、地図の要素数以外のパラメータでも構わない。例えば、地図要素数を複数のモードに対応付けて情報処理装置に保持しておき、パラメータ設定領域902で当該モードを指定できるようにしてもよい。また、第1実施形態の変形例に記載した優先度設定方法のバリエーションに対応した優先度を設定できるようにしてもよい。例えば、現在位置周辺の部分領域を優先するモードや、予定進行経路位置の部分領域を優先するモードを指定できるようにしてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
203 情報処理装置
204 形状情報取得手段
205 位置姿勢取得手段
207 補正状態取得手段
208 優先度決定手段
209 地図生成手段

Claims (13)

  1. 移動体に搭載されたセンサで計測された前記移動体の周辺環境の形状情報を取得する形状情報取得手段と、
    前記センサの位置姿勢情報を取得する位置姿勢取得手段と、
    前記位置姿勢情報を補正する処理に係る実施状態を取得する補正状態取得手段と、
    地図を生成する領域の優先度を決定する優先度決定手段と、
    前記形状情報および前記形状情報を取得した際の前記位置姿勢情報に基づいて地図を生成する地図生成手段と、を備え、
    前記地図生成手段は、前記実施状態に応じて、前記優先度が高い領域から順に地図を生成することを特徴とする情報処理装置。
  2. 前記優先度決定手段は、前記位置姿勢情報に基づき、前記センサの現在位置に近い領域ほど前記優先度を高く設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記優先度決定手段は、前記移動体の移動予定に応じて前記優先度を設定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記優先度決定手段は、ユーザの指示に応じて前記優先度を設定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 地図の生成中に前記形状情報取得手段が前記形状情報を取得した場合、前記優先度決定手段は、該形状情報を取得した際の前記センサの位置を含む領域の前記優先度を最も高く設定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記実施状態は、前記位置姿勢情報を補正する処理が完了したか否かを示す情報であり、
    前記地図生成手段は、前記位置姿勢情報を補正する処理が完了している場合に、前記優先度に応じて地図を生成することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記位置姿勢取得手段が取得した前記位置姿勢情報を補正する処理を行う補正手段をさらに備え、
    前記実施状態は、前記位置姿勢情報を補正する処理が実行できるか否かを示す情報であり、
    前記位置姿勢情報を補正する処理が実行できる場合に、
    前記補正手段は、前記優先度に応じて前記位置姿勢情報を補正する処理を行い、
    前記地図生成手段は、前記優先度に応じて、前記形状情報および前記補正手段により補正された前記位置姿勢情報に基づいて地図を生成することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  8. 前記優先度決定手段は、優先度を設定する各領域に対応する前記形状情報のデータ数が均一になるように、前記領域を設定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記地図生成手段が生成した地図および前記地図の生成に係るパラメータを設定するためのGUIを表示装置に表示する表示手段をさらに備えることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記補正処理は、ループクローズ補正であることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 請求項1から10のいずれか1項に記載の情報処理装置と、
    前記移動体に搭載され、前記移動体の周辺環境の形状を計測する形状計測手段と、
    前記移動体に搭載され、前記センサの位置姿勢情報を計測する位置姿勢計測手段と、
    前記地図生成手段が生成した地図を表示する表示装置と、を備える
    ことを特徴とする情報処理システム。
  12. 情報処理装置の制御方法であって、
    移動体に搭載されたセンサで計測された前記移動体の周辺環境の形状情報を取得する形状情報取得工程と、
    前記センサの位置姿勢情報を取得する位置姿勢取得工程と、
    前記位置姿勢情報を補正する処理に係る実施状態を取得する補正状態取得工程と、
    地図を生成する領域の優先度を決定する優先度決定工程と、
    前記形状情報および前記形状情報を取得した際の前記位置姿勢情報に基づいて地図を生成する地図生成工程と、を有し、
    前記地図生成工程では、前記実施状態に応じて、前記優先度が高い領域から順に地図を生成することを特徴とする情報処理装置の制御方法。
  13. 請求項12に記載の各工程をコンピュータに実行させるプログラム。
JP2021125014A 2021-07-30 2021-07-30 情報処理装置、移動体、情報処理装置の制御方法およびプログラム Pending JP2023019930A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021125014A JP2023019930A (ja) 2021-07-30 2021-07-30 情報処理装置、移動体、情報処理装置の制御方法およびプログラム
US17/870,349 US11946768B2 (en) 2021-07-30 2022-07-21 Information processing apparatus, moving body, method for controlling information processing apparatus, and recording medium
EP22187153.6A EP4134774B1 (en) 2021-07-30 2022-07-27 Information processing apparatus, moving body, method for controlling information processing apparatus, and program
CN202210918412.8A CN115683084A (zh) 2021-07-30 2022-08-01 信息处理设备、系统及控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021125014A JP2023019930A (ja) 2021-07-30 2021-07-30 情報処理装置、移動体、情報処理装置の制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2023019930A true JP2023019930A (ja) 2023-02-09

Family

ID=82748416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021125014A Pending JP2023019930A (ja) 2021-07-30 2021-07-30 情報処理装置、移動体、情報処理装置の制御方法およびプログラム

Country Status (4)

Country Link
US (1) US11946768B2 (ja)
EP (1) EP4134774B1 (ja)
JP (1) JP2023019930A (ja)
CN (1) CN115683084A (ja)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075879A (en) * 1993-09-29 2000-06-13 R2 Technology, Inc. Method and system for computer-aided lesion detection using information from multiple images
KR100823739B1 (ko) 2006-12-08 2008-04-21 한국전자통신연구원 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법
DE102010063810B4 (de) * 2010-12-21 2019-06-06 Siemens Healthcare Gmbh Bildgebendes Verfahren und bildgebende Vorrichtung zum Darstellen dekomprimierter Ansichten eines Gewebebereiches
JP5814557B2 (ja) * 2011-02-07 2015-11-17 キヤノン株式会社 画像表示制御装置、撮像装置、表示制御方法、及び制御プログラム
JP2012213558A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
JP6238755B2 (ja) * 2014-01-10 2017-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
KR101878827B1 (ko) 2016-11-30 2018-07-17 주식회사 유진로봇 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 및 이를 구비한 이동로봇
EP3865822B1 (en) * 2018-05-15 2024-10-02 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
JP7137359B2 (ja) * 2018-05-30 2022-09-14 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置
GB2622969B (en) * 2019-02-14 2024-07-03 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
KR102243179B1 (ko) 2019-03-27 2021-04-21 엘지전자 주식회사 이동 로봇 및 그 제어방법
US20210063162A1 (en) * 2019-08-26 2021-03-04 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
JP2022553491A (ja) * 2019-10-08 2022-12-23 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
US11375352B2 (en) * 2020-03-25 2022-06-28 Intel Corporation Devices and methods for updating maps in autonomous driving systems in bandwidth constrained networks
US11561102B1 (en) * 2020-04-17 2023-01-24 AI Incorporated Discovering and plotting the boundary of an enclosure
WO2022054712A1 (ja) * 2020-09-09 2022-03-17 株式会社デンソー 地図サーバ、地図配信方法、地図データ構造、車両用装置
KR20220163731A (ko) * 2021-06-03 2022-12-12 현대자동차주식회사 사용자 단말 및 그 제어 방법

Also Published As

Publication number Publication date
US11946768B2 (en) 2024-04-02
US20230039203A1 (en) 2023-02-09
EP4134774B1 (en) 2024-09-11
CN115683084A (zh) 2023-02-03
EP4134774A1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
US10748061B2 (en) Simultaneous localization and mapping with reinforcement learning
US20200241573A1 (en) Route generation device, moving body, and program
JP2022511322A (ja) 動的確率的運動計画
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
US10353072B2 (en) Laser scanner controlling device, laser scanner controlling method, and laser scanner controlling program
US20180100740A1 (en) Method and apparatus for planning path
JP4967858B2 (ja) カメラとロボット間のキャリブレーション方法及びその装置
Ioannidis et al. A path planning method based on cellular automata for cooperative robots
WO2020179459A1 (ja) 地図作成装置、地図作成方法、及びプログラム
JP2019536143A (ja) センサ計画のロボット感知装置および方法
JP2017201276A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
CN115471731A (zh) 图像处理方法、装置、存储介质及设备
US20200023523A1 (en) Robot control system, robot apparatus, and non-transitory computer readable medium
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
WO2019171491A1 (ja) 移動体制御装置、移動体、移動体制御システム、移動体制御方法および記録媒体
JP2023019930A (ja) 情報処理装置、移動体、情報処理装置の制御方法およびプログラム
JP7480975B2 (ja) 移動経路生成装置、移動装置、移動経路生成方法、及びプログラム
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
US20180178911A1 (en) Unmanned aerial vehicle positioning method and apparatus
JP2020012774A (ja) 建造物の測定方法
CN114299192A (zh) 定位建图的方法、装置、设备和介质
CN115380308A (zh) 实现vSLAM系统的自适应特征检测的方法和系统
US20240176349A1 (en) Information processing device, information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240725