JP2019200509A - 自律移動装置及び自律移動システム - Google Patents

Abstract

【課題】低処理負荷な自律移動装置及び自律移動システムを提供することを課題とする。【解決手段】移動体１の直進方向に対して正方向及び負方向の向きを撮像領域に含む画像センサ１２０を、それぞれ少なくとも２つ有し、移動体１の直進方向に対して直交方向の向きを撮像領域に含む画像センサ１２０を、それぞれ少なくとも１つ有し、画像センサ１２０及び画像センサ１２０で撮像された撮像画像に基づいて、撮像領域内の対象物までの距離を算出し、算出された距離に基づいて、自己位置を算出し、算出された自己位置を基に、自律移動を行う移動体１であり、画像センサ１２０が撮像した画像の視差に基づいて、距離を算出し、画像センサ１２０が撮像した、撮像時間がそれぞれ異なる複数の撮像画像に基づいて、距離を算出することを特徴とする。【選択図】図１

Description

本発明は、自律移動装置及び自律移動システムの技術に関する。

従来から、ロボットや自動車等の移動体に外界センサや、内界センサを搭載し、移動体の周囲の障害物を検出、回避しながら目的地まで自律的に移動する自律移動に関する技術が開発されている。ここで、外界センサは画像センサやＬｉＤＡＲ等であり、内界センサは、エンコーダや慣性計測装置等である。そのなかで、搭載するセンサの低コスト化のため、比較的安価である画像センサを用いた技術開発の需要が高まっている。

例えば、特許文献１には、「車両に搭載され、所定の設置距離で配置された、少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する装置において、少なくとも２台のカメラの内の１台のカメラが経時的に取得した２枚の画像から、車両周辺の物標の３次元座標を推定演算する単眼ステレオ処理部、少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から、車両周辺の物標の３次元座標を推定演算する複眼ステレオ処理部、それら単眼ステレオ処理部及び複眼ステレオ処理部に接続され、それら処理部でそれぞれ演算推定された物標の３次元座標を、所定の基準で選択、統合して、求めるべき前記物標の３次元座標と推定し、その結果を出力する、結果統合・切替手段、を有する」３次元座標取得装置が開示されている（要約参照）。

特開２００７−２６３６５７号公報

画像センサを用いて、死角なく移動体の周囲を検出するため、画像センサに駆動装置を設置し、撮像方向を機械的に制御することで撮像領域を時系列で拡張する手法がある。しかし、このような駆動装置は使用頻度に応じて早期に劣化が生じるため、駆動装置の交換コストがかかる。

一方で、複数の画像センサで複数の領域の画像を検出する手法がある。しかし、この手法で使用する画像センサはＬｉＤＡＲ等の外界センサと比べて取得データ量が多く、画像センサと計算処理部との通信や計算処理部での計算処理負荷が増大する。ただし、この問題は、計算機の増設や画像センサのフレームレート低減、または画像センサで検出した画像の圧縮、画素の間引き（画像データ量の低減）により回避できる。しかし、データ処理量が大きくなると、搭載する機器が多くなる。そのため、移動体の大きさやデザインが制約され、さらに、画像センサの検出性能の劣化を引き起こしてしまう。

また、予め用意した複数枚の画像と距離データを教師データとし、ＣＮＮ（Convolutional Neural Network）によって、単眼で撮像された１枚の画像における各ピクセルの距離を推定する手法がある。ここで、ピクセルの距離とは、ピクセルに写っている対象物の、カメラからの距離である。この手法では、画像センサの搭載数を削減できるが、教師データに含まれる距離データの範囲内の距離のみを推定するため汎用性がないという欠点がある。このため、推定された距離の誤差や精度の範囲が保障されておらず、さらに処理負荷が高い。このため、人の活動環境等のリアルタイム、かつ高精度に距離検出が必要な環境では適用できないという課題がある。

このような背景に鑑みて本発明がなされたのであり、本発明は、低処理負荷な自律移動装置及び自律移動システムを提供することを課題とする。

前記した課題を解決するため、本発明は、移動体の直進方向に対して正方向の向きを撮像領域に含む第１の撮像部を、少なくとも２つ有し、前記移動体の直進方向に対して直交方向の向きを撮像領域に含む第２の撮像部を、それぞれ少なくとも１つ有し、前記第１の撮像部及び前記第２の撮像部で撮像された撮像画像に基づいて、撮像領域内の対象物までの距離を算出する距離算出部と、算出された前記距離に基づいて、自己位置を算出し、算出された前記自己位置を基に、自律移動を行う自律移動制御部とを有し、前記距離算出部は、前記第１の撮像部が撮像した画像の視差に基づいて、前記距離を算出し、前記第２の撮像部が撮像した、撮像時間がそれぞれ異なる複数の撮像画像に基づいて、前記距離を算出することを特徴とする。
その他の解決手段は実施形態中において適宜記載する。

本発明によれば、低処理負荷な自律移動装置及び自律移動システムを提供することができる。

第１実施形態に係る移動体１の構成を示す図である。 単眼距離算出部１１３での距離算出の詳細と距離誤差を表す図（その１）である。 単眼距離算出部１１３での距離算出の詳細と距離誤差を表す図（その２）である。 単眼距離算出部１１３での距離算出の詳細と距離誤差を表す図（その３）である。 移動体１における移動制御の手法を示す図である。 第２実施形態による移動体１の計算処理部１１０ａの構成を示す図である。 第３実施形態に係る自律移動システムＺの構成例を示す図である。 第３実施形態に係るサーバ５の構成例を示す図である。

次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。

［第１実施形態］
まず、図１〜図３を参照して、本発明の第１実施形態を説明する。
図１は、第１実施形態に係る移動体１の構成を示す図である。
本実施形態では、複数の画像センサ１２０を搭載した無人車両や、自動車や、ロボット等、さらには船舶等のの移動体（自律移動装置）１が自律移動する。
移動体１は、複数（図１の例では６つ）の画像センサ（撮像部）１２０を備えるとともに、計算処理部１１０と、複数の駆動部１３０を備えている。画像センサ１２０は、具体的にはカメラである。ここで、画像センサ１２０として、Ｗｅｂカメラのような低解像度かつ安価なカメラを使用することができる。

画像センサ１２０のうち、画像センサ１２０Ａ，１２０Ｂは、移動体１の移動方向に対して正方向の向きを撮像領域に含むように設置されている。つまり、画像センサ１２０Ａ，１２０Ｂは、移動体１が図１に示す矢印Ａ１の方向へ動くときに、移動体１の前方を撮像する。
そして、画像センサ１２０Ｃ，１２０Ｄは、移動体１の移動方向に対して負方向の向きを撮像領域に含むように設置されている。つまり、画像センサ１２０Ｃ，１２０Ｄは、移動体１が図１に示す矢印Ａ１の方向へ動くときに、移動体１の後方を撮像する。

また、画像センサ１２０Ｅ、１２０Ｆは、それぞれ移動体１の移動方向に対して直交方向の向きを撮像領域に含むように設置されている。つまり、画像センサ１２０Ｅ，１２０Ｆは、移動体１が図１に示す矢印Ａ１の方向へ動くときに、移動体１の側方を撮像する。ちなみに、移動体１が図１に示す矢印Ａ１の方向へ動くときに、画像センサ１２０Ｅは、移動体１の左方を撮像し、画像センサ１２０Ｆは、移動体１の右方を撮像する。
なお、図１に示すように、画像センサ１２０Ｅ，１２０Ｆは、互いに略対向するように設置されている。
ここで、それぞれの画像センサ１２０の画角は広角または超広角にすることで移動体１の周囲の対象物を抜け目なく撮像できる。

画像センサ１２０の受光帯域は走行環境に応じて決定すればよい。例えば、屋内や昼間の屋外を走行する場合は可視光帯域を受光するカメラが画像センサ１２０として搭載される。また、暗所や夜間の屋外を走行する場合は近赤外帯域を受光する画像センサ１２０が搭載される。

画像センサ１２０のフレームレートは移動体１の最高移動速度や走行環境、制動距離、１フレーム間における最大移動距離等に基づいて設定されればよい。例えば、最高速度６ｋｍ／ｈで屋内タイル上を走行する場合、周囲の撮像画像を基に急停止したときに許容できる移動距離を０．５ｍとすると、動摩擦係数０．３のタイル上での制動距離０．４７ｍを考慮して、画像センサ１２０のフレームレートは６０００／３６００／（０．５−０．４７）＝約５６ｆｐｓ程度に設定される。人や障害物の密度が低い環境では、１フレーム間における最大移動距離を０．０５ｍとし、例えば、画像センサ１２０のフレームレートは６０００／３６００／０．０５＝約３３ｆｐｓ程度に設定される。同様に、最高速度６０ｋｍ／ｈで屋外を走行する場合は、１フレーム間における最大移動距離を０．０５ｍとし、画像センサ１２０のフレームレートが、例えば、６００００／３６００／０．０５＝約３３３ｆｐｓ程度に設定される。

移動速度に制約がない環境では、予め決定した画角と受光帯域を満たす画像センサ１２０の最大フレームレートや、制動距離等に基づいて移動体１の最高移動速度を決定することもできる。例えば、画像センサ１２０の最大フレームレートが３０ｆｐｓである場合、１フレーム間における最大移動距離を０．０５ｍとし、移動体１の最高移動速度が０．０５×３０＝１．５ｍ／ｓ＝５．４ｋｍ／ｈに設定される。

駆動部１３０は車輪である。そして、駆動部１３０のうち、前部駆動部１３０Ａ，１３０Ｂは車輪軸の方向を制御する。また、後部駆動部１３０Ｃ，１３０Ｄは車輪の回転数を制御する。後部駆動部１３０Ｃ，１３０Ｄは互いに異なる回転数で制御できる。例えば、後部駆動部１３０Ｃと後部駆動部１３０Ｄとをむすぶ線分の中心を旋回中心として超信地旋回する場合、前部駆動部１３０Ａ，１３０Ｂの車輪軸を回転方向に対して垂直の方向に向け、後部駆動部１３０Ｃ，１３０Ｄを互いに逆方向に回転させる。

また、前部駆動部１３０Ａ，１３０Ｂはキャスタ等でもよい。この場合、前部駆動部１３０Ａ，１３０Ｂは制御されない。前部駆動部１３０Ａ，１３０Ｂと、後部駆動部１３０Ｃ，１３０Ｄの機能を入れかえてもよい。すなわち、前部駆動部１３０Ａ，１３０Ｂの回転数と、後部駆動部１３０Ｃ，１３０Ｄの車輪軸の方向を制御することで、前部駆動部１３０Ａと前部駆動部１３０Ｂをむすぶ線分の中心を旋回中心として超信地旋回してもよい。なお、超信地旋回ではなく、単なる旋回でもよい。

計算処理部１１０は、図示しないＣＰＵ(Central Processing Unit）と、図示しないＲＯＭ（Read Only Memory）、図示しないＲＡＭ（Random Access Memory）を備えている。ＲＯＭ等に格納されているプログラムが、ＲＡＭにロードされ、ロードされたプログラムがＣＰＵによって実行される。このようにすることで、データ取得部１１１、ステレオ距離算出部１１２、単眼距離算出部１１３、対象物検出部１１４、自己位置算出部１１５、制御部１１６が具現化する。

データ取得部１１１は、それぞれの画像センサ１２０で撮像された画像を設定したフレームレートで取得する。画像の取得は、それぞれの画像センサ１２０において同期的に行われる。
ステレオ距離算出部（距離算出部）１１２は、データ取得部１１１で同時刻に取得した画像センサ１２０Ａ，１２０Ｂの画像の視差に基づいて、画像センサ１２０Ａ，１２０Ｂの両方の撮像領域に含まれる対象物までの距離を算出する。そして、ステレオ距離算出部１１２は、画像センサ１２０Ａ，１２０Ｂのうち少なくとも１つで撮像された、撮像時刻の異なる複数枚の画像にオプティカルフロー推定法を適用し、移動体１の前方に存在する対象物を追跡する。ここでの追跡とは、異なるフレーム（異なる撮像時刻における画像）において、同一の対象物を検出することである。

ステレオ距離算出部１１２は、画像センサ１２０Ｃ、１２０Ｄについても同様の処理を実行し、画像センサ１２０Ｃ，１２０Ｄの撮像領域に含まれる対象物までの距離を算出する。さらに、ステレオ距離算出部１１２は、オプティカルフロー推定法を適用し、移動体１の後方に存在する対象物を追跡する。

ここで対象物は、回避対象となる人や、障害物や、後記する自己位置算出部１１５で移動体１の位置と姿勢を算出するために使われる特徴点や、ランドマーク等である。前記したオプティカルフロー推定法は、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法や、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法等が用いられる。画像センサ１２０のフレームレートや移動体１の最高移動速度に基づいて、ユーザは、オプティカルフロー推定法として、どの手法を用いるかを予め決定しておく。

単眼距離算出部（距離算出部）１１３は、データ取得部１１１で取得した画像センサ１２０Ｅ，１２０Ｆの各々で撮像された、撮像時刻がそれぞれ異なる画像と、後記する自己位置算出部１１５で算出した前記撮像時刻における移動体１の位置の時系列情報とに基づいて、画像センサ１２０Ｅ、１２０Ｆの各々の撮像領域に含まれる対象物までの距離を算出する。

また、単眼距離算出部１１３は、画像センサ１２０Ａ，１２０Ｂのいずれか１つについても同様の処理を行い、画像センサ１２０Ａ，１２０Ｂのいずれか１つに含まれる撮像領域に含まれる対象物までの距離を算出する。さらに、単眼距離算出部１１３は、画像センサ１２０Ｃ，１２０Ｄのいずれか１つについても同様の処理を行い、画像センサ１２０Ｃ，１２０Ｄのいずれか１つに含まれる撮像領域に含まれる対象物までの距離を算出する。要するに、単眼距離算出部１１３は、異なる時刻で撮像した２枚の画像における視差を利用して、あたかも複眼視したかのようにして幾何学的に距離を算出する。

画像センサ１２０Ａ，１２０Ｂや、画像センサ１２０Ｃ，１２０Ｄで撮像された画像がステレオ距離算出部１１２で処理されるか、単眼距離算出部１１３で処理されるかは、後記する基準で切り替えられる。

なお、画像センサ１２０Ａと、画像センサ１２０Ｃとは、図１に示すように互いの設置位置がずれるよう設置されてもよいし、位置が揃うよう（対向するよう）設置されてもよい。同様に、画像センサ１２０Ｂと、画像センサ１２０Ｄとは、図１に示すように互いの設置位置がずれるよう設置されてもよいし、位置が揃うよう（対向するよう）設置されてもよい。また、画像センサ１２０Ｅと、画像センサ１２０Ｆとは、図１に示すように互いの設置位置がずれるよう設置されてもよいし、位置が揃うよう（対向するよう）設置されてもよい。

対象物検出部（自律移動制御部）１１４は、ステレオ距離算出部１１２あるいは単眼距離算出部１１３で算出した各々の対象物までの距離と、画像センサ１２０それぞれの搭載位置と姿勢とに基づいて、各々の対象物の位置を算出する。そして、対象物が移動物である場合、対象物検出部１１４は、対象物それぞれの単位時間あたりの移動量を算出する。移動量は、ステレオ距離算出部１１２あるいは単眼距離算出部１１３のそれぞれでオプティカルフロー推定法により追跡した対象物における、複数の異なる時刻での位置と時刻とに基づいて算出される。

自己位置算出部（自律移動制御部）１１５は、データ取得部１１１で画像を取得した時刻における移動体１の位置及び姿勢を算出する。位置及び姿勢は、予め作成されている地図と、対象物検出部１１４で位置を算出した対象物とを対応付けることにより算出される（マップマッチング）。また、自己位置算出部１１５は、算出した移動体１の位置と姿勢に基づいて、対象物検出部１１４で算出した対象物の位置を修正する。つまり、自己位置算出部１１５は、移動体１の位置・姿勢と、地図とから、ステレオ距離算出部１１２や、単眼距離算出部１１３が算出した対象物の位置（距離）を修正する。

また、対象物が移動物である場合、自己位置算出部１１５は、算出した移動体１の位置と姿勢に基づいて、対象物の単位時間あたりの移動量を修正する。地図は、移動体１を手動で走行させながら、走行環境を撮像することで得られる。そして、撮像時刻の異なる複数枚の画像を取得し、取得した画像にＳＬＡＭ（Simultaneous Localization and Mapping）やＳｆＭ（Structure from Motion）を適用することにより地図が作成される。地図作成のための撮像は、例えば、画像センサ１２０を複数搭載した台車を手動で移動させながら、または画像センサ１２０を複数搭載したユニットを手持ちして移動しながら行われる。

地図と対象物との対応付けの手法として以下の手法が存在する。いずれの手法が用いられてもよい。
・特徴点の配置関係に基づいて対応付けるＩＣＰ（Iterative Closest Point）。
・ＳＨＯＴ（Signature of Histograms of OrienTations）。
・特徴量（画像上の特徴点近傍の輝度勾配ベクトルや、画像全体の輝度勾配ベクトルの分布等）が近似する特徴点同士を対応付ける手法。
これらの手法のうち、どの手法を採用するかは、地図の構成により決定される。例えば、地図が特徴点の位置情報のみで構成される場合、地図が２次元であればＩＣＰ、３次元であればＳＨＯＴが採用される。なお、地図が特徴点の位置情報と特徴量で構成される場合、移動体１の自律移動時における自己位置推定では、地図作成時に用いた手法と同じ手法で特徴量が算出され、この特徴量を用いた対応付けが行われる。

制御部（自律移動制御部）１１６は、自己位置算出部１１５で算出した移動体１の位置、姿勢、修正された対象物の位置、対象物が移動物である場合、対象物の単位時間あたりの移動量に基づいて移動体１の次回移動量を決定する。そして、制御部１１６は、次回移動量に基づいて駆動部１３０への制御値を算出し、駆動部１３０に算出した制御値を送信する。
なお、矢印Ａ２については後記する。

次に、図２Ａ〜図２Ｃを参照して、移動方向、側方方向、超信地旋回時における単眼距離算出で生じる誤差を説明する。
（単眼距離算出による拒理誤差）
図２Ａ〜図２Ｃは、単眼距離算出部１１３での距離算出の詳細と距離誤差を表している。
図２Ａにおいて、移動体１は図１の矢印Ａ１方向に移動しているものとする。そして、図２Ａは、画像センサ１２０Ａまたは画像センサ１２０Ｂが撮像した前方画像を基に単眼距離算出部１１３が対象物Ｊの距離を算出した場合に生じる可能性のある誤差を示している。
図２Ａにおいて、符号２０１は時刻ｔ１における移動体１の位置と姿勢である。このとき、画像センサ１２０Ａは、移動体１の移動方向に対して、前方にある対象物Ｊを視線２０２で撮像する。

その後、移動体１は時刻ｔ２に符号２１１の地点まで移動し、画像センサ１２０Ａが対象物Ｊを視線２１２で撮像する。
単眼距離算出部１１３は、時刻ｔ１における位置と姿勢（符号２０１）、時刻ｔ２における位置と姿勢（符号２１１）、それぞれの時刻における視線２０２、視線２１２の視差に基づいて、対象物Ｊまでの距離（視線２１２の線分長）を算出する。
視線２０２と視線２１２の視差は、対象物Ｊに含まれる同一点を、時刻ｔ１での画像と時刻ｔ２での画像から検出することで算出される。同一点の検出は、オプティカルフロー推定法を用いることで行われる。時刻ｔ２における位置と姿勢（符号２１１）は、後記する自己位置算出部１１５で算出した時刻ｔ１における位置と姿勢（符号２０１）に、時刻ｔ１に制御部１１６で決定した駆動部１３０への制御値を積算して算出した位置と姿勢の暫定値である。時刻ｔ２における位置及び姿勢（符号２１１）の暫定値は、自己位置算出部１１５で処理修正される。つまり、自己位置算出部１１５は、地図を用いることによって、時刻ｔ２における移動体１の位置・姿勢を修正する。

ここで仮に、時刻ｔ２における視線２１２が、画像センサ１２０Ａのセンサ誤差によって視線２２１として対象物Ｊを撮像したとする。この場合、対象物Ｊは地点Ｊａに存在すると計算される。このため、対象物Ｊまでの距離に誤差Ｅ１が生じる。
画像センサ１２０Ｃ，１２０Ｄのいずれか一方で撮像された後方画像を用いた場合も同程度の誤差が生じる。

このように移動体１の移動方向に存在する対象物Ｊと移動体１との距離を、単眼距離算出で距離を求めると、大きな誤差が生じてしまう。

図２Ｂにおいて、移動体１は図１の矢印Ａ１方向に移動しているものとする。そして、図２Ｂは、画像センサ１２０Ｅ，画像センサ１２０Ｆのいずれか一方が撮像した側方画像を基に単眼距離算出部１１３が対象物Ｊの距離を算出した場合に生じる可能性のある誤差を示している。
距離算出の手法は図２Ａの場合と同様である。すなわち、時刻ｔ１に符号３０１の地点より視線３０２で対象物Ｊが撮像される。その後、時刻ｔ２に符号３１１の地点より視線３１２で対象物Ｊが撮像される。そして、対象物Ｊまでの距離（視線３１２の線分長）が算出される。ここで仮に、時刻ｔ２における視線３１２が、画像センサ１２０Ｅのセンサ誤差によって視線３２１として対象物Ｊを撮像したとすると、対象物Ｊは地点Ｊｂに存在すると計算される。つまり、対象物Ｊまでの距離に誤差Ｅ２が生じる。

図２Ａに示す誤差角θ１と、図２Ｂに示す誤差角θ２は、ほとんど同じである。むしろ、図２Ｂに示す誤差角θ２の方が、図２Ａに示す誤差角θ１より若干大きい。にもかかわらず、図２Ａに示す誤差Ｅ１と、図２Ｂに示す誤差Ｅ２とを比較すると、図２Ｂに示す誤差Ｅ２のほうが小さい。これは、対象物Ｊまでの距離が、時刻ｔ１の画像と時刻ｔ２の画像との視差と反比例の関係にあるからである。要するに、時刻ｔ１の画像と時刻ｔ２の画像との視差が小さいと、誤差が大きくなりやすい。逆に、時刻ｔ１の画像と時刻ｔ２の画像との視差が大きいと、誤差が大きくなりにくい。
よって、誤差を小さくするためには、２つの画像の視差をできるだけ大きくする必要がある。

そのために、移動方向に対して直交方向の向きの撮像領域に対しては、ステレオ距離算出部１１２よりも処理負荷の低い単眼距離算出部１１３の処理を適用することが望ましい。
このように、移動体１の移動方向に対して直交方向に備えられている画像センサ１２０で撮像された画像は、単眼距離算出部１１３によって距離を算出されることが望ましい。例えば、駆動部１３０がオムニホイール等であれば、移動体１が図１の矢印Ａ２の方向に移動することも可能である。移動体１が図１の矢印Ａ２の方向に移動するような場合、画像センサ１２０Ａ〜１２０Ｄが移動方向に対して直交方向に設置されている画像センサ１２０となる。このような場合、画像センサ１２０Ａ〜１２０Ｄで撮像された画像は、単眼距離算出部１１３による距離算出が行われるとよい。ただし、この場合、画像センサ１２０Ａ，１２０Ｂのいずれか一方、画像センサ１２０Ｃ，１２０Ｄのいずれか一方で撮像された画像が用いられればよい。

また、移動体１の移動方向に対して正方向（つまり前方）、負方向（つまり後方）に設置されている画像センサ１２０で撮像された画像は、ステレオ距離算出部１１２で処理される。
すなわち、図２Ａに示すように、誤差Ｅ１は大きい値となるため、図２Ａのように移動体１の移動方向に設置されている画像センサ１２０Ａ，１２０Ｂで撮像された画像は、単眼距離算出部１１３より、ステレオ距離算出部１１２で処理されるのがよい。
このように、本願の特徴は、移動体１の移動方向によって、同じ画像センサ１２０でも、単眼距離算出を行うか、ステレオ距離算出を行うかが切り替えられることにある。

図２Ｃでは、移動体１が超信地旋回している場合について説明する。
移動体１が図２Ｃの旋回方向（矢印Ａ３）の方向に超信地旋回する場合、図１の矢印Ａ１に示す移動方向に対して直交方向に移動体１が移動しているといえる。すなわち、この場合、画像センサ１２０Ａ〜１２０Ｄは、移動体１の移動方向とは直交方向に存在する画像センサ１２０（側方に設置されている画像センサ１２０）となる。

つまり、移動体１が超信地旋回している間、画像センサ１２０Ａ〜１２０Ｄについてステレオ距離算出部１１２の処理を適用しない方がよい。すなわち、移動体１が超信地旋回している場合、画像センサ１２０Ａ，１２０Ｂのうち、少なくとも１つで撮像した画像に単眼距離算出部１１３の処理を適用する。同様に、画像センサ１２０Ｃ，１２０Ｄのうち、少なくとも１つで撮像した画像に単眼距離算出部１１３の処理を適用する。その理由を以下に記載する。

図２Ｃにおいて、移動体１は図２Ｃの矢印Ａ３の方向に旋回（超信地旋回）しているものとする。そして、図２Ｃは、画像センサ１２０Ａまたは画像センサ１２０Ｂが撮像した画像を基に単眼距離算出部１１３が対象物Ｊの距離を算出した場合に生じる可能性のある誤差を示している。

図２Ｃにおける距離算出の手法は図２Ａ及び図２Ｂの場合と同様である。時刻ｔ１で、画像センサ１２０Ａは符号４０１の位置・姿勢において、視線４０２で対象物Ｊを撮像する。その後、移動体１が超信地旋回方向（矢印Ａ３）へ超信地旋回する。そして、時刻ｔ２で、画像センサ１２０Ａは、符号４１１の位置・姿勢において視線４１２で対象物Ｊを撮像する。

その後、単眼距離算出部１１３は、時刻ｔ１で撮像された画像と、時刻ｔ２で撮像された画像とを基に対象物Ｊまでの距離（視線４１２の線分長）を算出する。超信地旋回中かどうかは、時刻ｔ１での制御部１１６の制御値から判断される。

ここで仮に、時刻ｔ２における視線４１２が、画像センサ１２０Ａのセンサ誤差によって視線４２１として、対象物Ｊが撮像されたものとする。この場合、対象物Ｊは地点Ｊｃに存在すると計算され、対象物Ｊまでの距離に誤差Ｅ３が生じる。

ここで、図２Ａに示す誤差Ｅ１と、図２Ｃに示す誤差Ｅ３とを比較すると、誤差Ｅ３の方が小さい。これは、移動方向に対して直交方向の移動量、つまり、旋回方向（矢印Ａ３）が増大し、視差が大きくなったためである。言い換えれば、図２Ｃでは移動体１の移動方向が旋回方向（矢印Ａ３）であるため、画像センサ１２０Ａ（あるいは、画像センサ１２０Ｂ）が、移動体１の側方を撮像する側方画像センサとなったためである。

よって、超信地旋回量を制御部１１６の制御値に基づいて算出し、超信地旋回量が予め設定した判定閾値よりも大きい場合、画像センサ１２０Ａ，１２０Ｂのうち、少なくとも１つで撮像した画像に単眼距離算出部１１３の処理を適用する。この場合、ステレオ距離算出部１１２は何も実行しない。画像センサ１２０Ｃ，１２０Ｄについても同様である。

このように、画像センサ１２０が移動体１の移動方向に対して、直交方向に備えられている場合、ステレオ距離算出よりも、単眼距離算出の方が誤差を小さくすることができる。さらに、単眼距離算出は、ステレオ距離算出の方が処理データを低減できるため、処理負荷を低減することができる。
つまり、移動体１が超信地旋回している場合、画像センサ１２０Ａ、１２０Ｂで撮像された画像をステレオ距離算出部１１２により距離を算出するよりも、単眼距離算出部１１３で距離を算出する手法の方が誤差を低減できる。さらに、単眼距離算出部１１３で距離を算出することにより、処理対象の画像データ量が削減され、処理負荷を低減することができる。

なお、画像センサ１２０Ａ，１２０Ｂのうち、どの画像センサ１２０で撮像した画像を単眼距離算出部１１３に適用するかは、超信地旋回による各々の画像センサ１２０の移動量に基づいて決定される。例えば、画像センサ１２０Ａ，１２０Ｂのうち、画像センサ１２０Ａの移動量が大きければ、画像センサ１２０Ａで撮像された画像が使用される。画像センサ１２０Ｃ，１２０Ｄについても同様である。
ただし、移動体１の中心軸に対して画像センサ１２０Ａ，１２０Ｂが対称の位置関係にある場合、画像センサ１２０Ａ，１２０Ｂそれぞれの超信地旋回による移動量は同じである。このような場合、撮像された画像上において特徴点が多い画像センサ１２０の画像が使用される。画像センサ１２０Ｃ，１２０Ｄも同様である。

単眼距離算出部１１３で距離を算出するか、ステレオ距離算出部１１２で距離を算出するかの判定閾値は、画像センサ１２０Ａ，１２０Ｂと、画像センサ１２０Ｃ，１２０Ｄのそれぞれで予め設定されている。例えば、画像センサ１２０Ａと画像センサ１２０Ｂとの距離（ベースライン距離）が、判定閾値として設定される。画像センサ１２０Ｃ，１２０Ｄについても同様に設定される。ここで、ベースライン距離は、ステレオ距離算出における視差である。つまり、異なる時刻で画像が撮像された場合、それぞれの撮像時刻間において、移動体１が図１の矢印Ａ２の方向に移動した距離が、ベースライン距離より大きい場合、画像センサ１２０Ａ，１２０Ｂのいずれか一方で撮像された画像に対し、単眼距離算出が適用される。それぞれの撮像時刻間において、移動体１が図１の矢印Ａ２の方向に移動した距離が、ベースライン距離より小さい場合、画像センサ１２０Ａ及び画像センサ１２０Ｂで撮像された画像に対し、ステレオ距離算出が適用される。画像センサ１２０Ｃ，１２０Ｄについても同様である。

ちなみに、画像センサ１２０Ｅ，１２０Ｆは、超信地旋回時でも移動体１の移動方向に対して直交方向に備えられているため、単眼距離算出部１１３による距離算出が適用される。

なお、ＣＮＮは学習による推定距離であるため、ＣＮＮを用いた単眼距離算出は距離の精度に保障がない。本実施形態では、幾何学的に求められる距離であるため、誤差は生じるものの、ＣＮＮより算出される距離の精度が保障される。

なお、ここでは超信地旋回について記載しているが、カーブでも適用可能である。移動体１がカーブしている場合、移動体１の移動方向のベクトルを直進方向と、直進方向と直交する方向（直交方向）のベクトルに分解したとき、直進方向成分が直交方向成分より大きい場合、画像センサ１２０Ａ、１２０Ｂのいずれか一方で撮像された画像に対してステレオ距離算出が適用される。また、直交方向成分が直進方向成分より大きい場合、画像センサ１２０Ａ、１２０Ｂのいずれか一方で撮像された画像に対して単眼距離算出が適用される。画像センサ１２０Ｃ，１２０Ｄについても同様である。

（移動制御）
図３は、移動体１における移動制御の手法を示す図である。
まず、予め作成した壁等の対象物Ｊ１と目的地点位置とに基づいて、目的地点までの目標経路Ｗが作成される。目標経路Ｗの作成手法として、例えば、ダイクストラ法やＡ−Ｓｔａｒ法がある。この手法では、まず、出発点と終了点が指定される。そして、対象物Ｊ１を構成する各特徴点の近傍にポテンシャル場Ｐが設けられる。ポテンシャル場Ｐは、移動体１が避ける領域である。次に、制御部１１６は、目的地点までの距離とポテンシャル場Ｐとを基に、最小のコストとなる経路探索を行う。そして、制御部１１６は、最小コストとなる経路が目標経路Ｗとして生成される。目標経路Ｗは、例えば、図示しないサーバ等で生成された後、移動体１に送信される。

次に、制御部１１６は、前回の制御値を基に算出された移動体１の移動速度と旋回角速度Ｂ１を中心として、次回の移動速度と旋回角速度の候補Ｂを複数設定する。そして、制御部１１６は、それぞれの候補Ｂを採用した場合における次回の移動体１の候補位置を算出する。

それぞれの候補Ｂにおける各移動速度及び旋回角速度は、移動体１の最大移動速度と最大旋回角速度を超えないように設定される。例えば、候補Ｂ１での移動速度をＶｍとし、候補Ｂ２の移動速度を（Ｖｍ−３ｋｍ／ｈ）から（Ｖｍ＋３ｋｍ／ｈ）の範囲で設定したとする。このとき、最大移動速度が（Ｖｍ＋２ｋｍ／ｈ）の場合は、移動速度の候補Ｂ２を（Ｖｍ−３ｋｍ／ｈ）から（Ｖｍ＋２ｋｍ／ｈ）の範囲に設定しなおす。

次に、制御部１１６は、自己位置算出部１１５で修正した移動対象物Ｍ１，Ｍ２の位置と単位時間あたりの移動量Ｍ１１、Ｍ２１を基に、移動対象物Ｍ１，Ｍ２の近傍にポテンシャル場Ｐ１、Ｐ２を設ける。そして、制御部１１６は、移動体１の次回移動先候補位置から目標経路Ｗまでのコストと、移動体１の次回移動先候補位置から目標地点（移動終了地点）までのコストとを比較する。このとき、制御部１１６は、各ポテンシャル場Ｐ，Ｐ１，Ｐ２を避ける経路でコストを算出する。
そして、制御部１１６は、最もコストが低くなる候補Ｂを選択する。そして、制御部１１６は、最小コストとなる候補Ｂを次回の移動速度と旋回角速度として採用する。その後、制御部１１６は、採用した移動速度と旋回角速度に基づいて駆動部１３０への制御値を算出する。

なお、図３の例では、移動対象物Ｍ１，Ｍ２を避けるために、移動体１が既に目標経路Ｗを外れているところを示している。

第１実施形態では、移動体１の移動方向に画像センサ１２０が設置されている場合、ステレオ距離算出が適用される。また、画像センサ１２０が移動方向に対して直交方向に設置されている場合、単眼距離算出が適用される。このようにすることにより、移動体１は、移動・旋回方向に応じて、処理負荷が低くなるよう最適な距離算出手法を選択する。これにより、無死角でありながら、高精度かつ低処理負荷な自律移動を実現することができる。また、誤差が小さくなる距離算出手法が選択されることで、安価なカメラでも算出される距離の精度が低下することを防止することができる。
これにより、安価なカメラでも障害物検出精度が低下することを防止することができる。
なお、特許文献１に記載の技術は、車両の移動方向とは関係なく、カメラの視野が重複していない部分を単眼視している。これに対して、本実施形態では移動体１の移動方向に応じて、ステレオ距離算出と、単眼距離算出とを切り替えている点が異なる。

また、これまでは画像の取得頻度を低下させて処理負荷を低減することが行われていたが、このような手法では距離算出精度の低下等といった性能低下が生じるおそれがある。本実施形態では、画像の取得頻度を低下させることなく、距離算出精度の低下等を防ぐことができる。

［第２実施形態］
次に、図４を参照して、本発明の第２実施形態を説明する。
第２実施形態では、移動体１が、起動時や、目的地に到着後の停止時や、人混みでの停滞時や、エレベータ搭乗等における一時停止後に、安全に自律移動を開始・再開することを目的とする。

図４は、第２実施形態による移動体１の計算処理部１１０ａの構成を示す図である。
計算処理部１１０ａは、第１実施形態と同様の構成である各部１１１〜１１６に加えて、状態判定部１１７と、旋回角速度変更部（自律移動制御部）１１８を有している。
各部１１１〜１１６は、第１実施形態における各部１１１〜１１６と同様の処理を実行することで、移動体１を自律移動させる。
状態判定部１１７は、自己位置算出部１１５で算出した移動体１の位置と姿勢の時系列情報と、起動情報とに基づいて、移動体１の走行状態を判定する。計算処理部１１０ａの起動時や、現在時刻を含めた過去の一定期間（例えば３０秒間）における移動体１の位置と姿勢の両方が変化していない場合において、状態判定部１１７は走行状態を「停止・停滞」と判定する。それ以外の場合、状態判定部１１７は走行状態を「走行」と判定する。

旋回角速度変更部１１８は、状態判定部１１７で判定した走行状態に基づいて、移動体１の最高旋回角速度を設定する。走行状態が「停止・停滞」の場合は、最高旋回角速度をゼロに設定する。これは、単眼距離算出が、画像を時系列で取得しなければ算出できないためである。つまり、走行状態が「停止・停滞」の場合、画像センサ１２０Ｅ，１２０Ｆによる対象物の距離算出ができない状態である。これにより、移動体１の側方に存在している対象物の距離が算出できていないため、移動体１の側方が死角となっている。そのため、移動体１を旋回して発進させると、思わぬ障害物に衝突するおそれがある。そのため、最高旋回角速度がゼロに設定され、直進方向にしか発進できないようになっている。

走行状態が「走行」の場合、走行状態が「停止・停滞」から「走行」に切り替わった時刻における移動体１の位置と、現在の移動体１の位置との距離が一定量（例えば１ｍ）を超えたとき、最高旋回角速度を移動体１の本来の値に設定する。これは、前記したように、単眼距離算出には、画像が時系列的にある程度揃っている必要があるためである。

第２実施形態の移動体１は、起動時や、停止・停滞時から走行を開始・再開するとき、一定量を直進・後退するまで旋回しないように駆動部１３０を制御する。このようにすることにより、移動体１の側方に存在する対象物までの距離を正確に算出できるようになるまで、移動体１の前方に存在する対象物と後方に存在する対象物までの距離をステレオ距離算出で算出しながら移動する。このようにすることにより、移動体１を安全な方向に移動することができる。

移動体１の位置と姿勢が変化しているか否かの判定は、例えば、以下の手順で行われる。まず、状態判定部１１７が、現在時刻を含めた過去の一定期間における位置と姿勢との分散を算出する。そして、状態判定部１１７が、予め設定した状態判定閾値と、算出した分散とを比較することで移動体１の位置と姿勢が変化しているか否かの判定を実行する。

ここで、状態判定閾値が小さく設定されると、分散が０近傍で停止と判定される。また、状態判定閾値が大きく設定されると、移動体１がかなり動いている状態でも停止と判定される。
状態判定閾値が小さく設定されると、移動体１が少し動いただけでも移動していると判定されてしまう。従って、移動体１の側方に設置された画像センサ１２０が、単眼距離算出に必要な距離を動く前に、側方に設置された画像センサ１２０による単眼距離算出が行われてしまう。
逆に、状態判定閾値が大きく設定されると、前記したように、移動体１がかなり動いている状態でも停止と判定される。つまり、移動体１の側方に設置された画像センサ１２０が、単眼距離算出に必要な距離を動いた後に、側方に設置された画像センサ１２０による単眼距離算出が行われる。

このような特徴から、人ごみや、周囲に障害物が多い場合には、状態判定閾値を大きく設定し、周囲に何もないような場所では状態判定閾値を小さく設定するとよい。このようにすることで、効率的な移動体１の移動を実現することができる。

［第３実施形態］
図５は、第３実施形態に係る自律移動システムＺの構成例を示す図である。
図５に示すように、自律移動システムＺは、移動体１ｂと、サーバ５とを有する。
移動体１ｂは、それぞれの画像センサ１２０で撮像した画像をサーバ５へ送信する。サーバ５は、送信された画像を基に、単眼距離算出またはステレオ距離算出を用いて移動体１ｂから対象物までの距離を算出する。そして、サーバ５は、算出した対象物までの距離を基に、対象物の位置を算出し、さらに、マップマッチングによって移動体１ｂの自己位置（位置・姿勢）を算出する。そして、サーバ５は、移動体１ｂの自己位置等を基に、移動体１ｂが、次回移動速度及び旋回角度を算出する。その後、サーバ５は、移動体１ｂの自己位置、及び、移動体１ｂの次回移動速度及び旋回角度を移動指示情報として移動体１ｂに送信する。移動体１ｂは、受信した移動指示情報に従って移動を行う。なお、移動体１ｂ及びサーバ５の間の通信は無線通信が好ましい。
また、サーバ５は、上記した処理の他にも、第１実施形態におけるステレオ距離算出部１１２、単眼距離算出部１１３、対象物検出部１１４、自己位置算出部１１５及び制御部１１６が行う処理を適宜行う。

移動体１ｂの計算処理部１１０ｂは、データ送信部１１９ａと、データ受信部１１９ｂと、移動制御部１１９ｃとを有する。
データ送信部１１９ａは、それぞれの画像センサ１２０で撮像された画像をサーバ５へ送信する。
データ受信部１１９ｂは、サーバ５から移動指示情報を受信する。
また、移動制御部１１９ｃは、サーバ５から送られた移動指示情報に基づいて、それぞれの駆動部１３０を制御する。
画像センサ１２０（１２０Ａ〜１２０Ｆ）、駆動部１３０（１３０Ａ〜１３０Ｄ）は図１と同様であるので、ここでの説明を省略する。
また、サーバ５の詳細は図６で説明する。

図６は、第３実施形態に係るサーバ５の構成例を示す図である。
サーバ５は、データ受信部５１１、ステレオ距離算出部５１２、単眼距離算出部５１３、対象物検出部５１４、自己位置算出部５１５、制御部５１６及びデータ送信部５１７を有する。
データ受信部５１１は、移動体１ｂから、それぞれの画像センサ１２０で撮像された画像を受信する。
ステレオ距離算出部５１２、単眼距離算出部５１３、対象物検出部５１４及び自己位置算出部５１５は、図１のステレオ距離算出部１１２、単眼距離算出部１１３、対象物検出部１１４及び自己位置算出部１１５と同様の動作を行うので、ここでの説明を省略する。
制御部５１６は、図１の制御部２１６が行う動作のうち、駆動部１３０の制御以外の動作を行う。
データ送信部５１７は、ステレオ距離算出部５１２、単眼距離算出部５１３、対象物検出部５１４、自己位置算出部５１５、制御部５１６による処理で算出された移動体１ｂの自己位置、及び、移動体１ｂの次回移動速度・旋回角度を移動指示情報として移動体１ｂへ送信する。

なお、サーバ５は、図示しないＣＰＵと、図示しないＲＡＭ、図示しないＨＤ（Hard Disk）等を備えている。そして、ＨＤ等に格納されているプログラムが、ＲＡＭにロードされ、ロードされたプログラムがＣＰＵによって実行される。このようにすることで、データ受信部５１１、ステレオ距離算出部５１２、単眼距離算出部５１３、対象物検出部５１４、自己位置算出部５１５及び制御部５１６が具現化する。

第３実施形態によれば、移動体１ｂの移動に必要な距離の計算や、移動体１ｂの位置計算がサーバ５で行われるため、移動体１ｂの処理負荷を低減することができる。ちなみに、サーバ５は、複数の移動体１ｂについて、距離の計算や、移動体１ｂの位置計算を行うことができる。
また、図６に示すサーバ５を構成するステレオ距離算出部５１２、単眼距離算出部５１３、対象物検出部５１４、自己位置算出部５１５、制御部５１６のうち、少なくとも１つが移動体１ｂに備わっていてもよい。

例えば、駆動部１３０としてオムニホイールを用いることができる。このような場合、移動体１は図１の画像センサ１２０Ｅや、画像センサ１２０Ｆの方向に移動することができる。このような構成の場合、画像センサ１２０Ｅや、画像センサ１２０Ｆの方向に、２つの画像センサ１２０が設けられてもよい。

本実施形態の移動体１は、ロボットや、自律移動する車両や、自律移動するパーソナルモビリティ等といった自律移動装置に適用可能である。

本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、前記した各構成、機能、各部１１１〜１１８、記憶部等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、前記した各構成、機能等は、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリや、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。

１ 移動体（自律移動装置）
５ サーバ
１１２，５１２ ステレオ距離算出部（距離算出部）
１１３，５１３ 単眼距離算出部（距離算出部）
１１４，５１４ 対象物検出部（自律移動制御部）
１１５，５１５ 自己位置算出部（自律移動制御部）
１１６，５１６ 制御部（自律移動制御部）
１１７， 状態判定部
１１８ 旋回角速度変更部（自律移動制御部）
１２０，１２０Ａ〜１２０Ｆ 画像センサ（撮像部）

Claims (5)

1. 移動体の直進方向に対して正方向の向きを撮像領域に含む第１の撮像部を、少なくとも２つ有し、
   前記移動体の直進方向に対して直交方向の向きを撮像領域に含む第２の撮像部を、それぞれ少なくとも１つ有し、
   前記第１の撮像部及び前記第２の撮像部で撮像された撮像画像に基づいて、撮像領域内の対象物までの距離を算出する距離算出部と、
   算出された前記距離に基づいて、自己位置を算出し、算出された前記自己位置を基に、自律移動を行う自律移動制御部と
   を有し、
   前記距離算出部は、
   前記第１の撮像部が撮像した画像の視差に基づいて、前記距離を算出し、
   前記第２の撮像部が撮像した、撮像時間がそれぞれ異なる複数の撮像画像に基づいて、前記距離を算出する
   ことを特徴とする自律移動装置。
2. 前記自律移動装置が停止しているか、移動しているかを判定する状態判定部を、有し、
   前記自律移動制御部は、
   前記自律移動装置が停止から移動に移ったとき、所定距離の間、前記自律移動装置を直進方向へ移動させる
   ことを特徴とする請求項１に記載の自律移動装置。
3. 前記自律移動装置が停止しているか、移動しているか否かの判定は、前記自律移動装置の位置の分散と、判定閾値とが比較されることによって行われ、
   前記自律移動装置が移動する周囲の環境によって、前記判定閾値が変更される
   ことを特徴とする請求項２に記載の自律移動装置。
4. 前記第１の撮像部は、移動体の直進方向に対して負方向の向きを撮像領域に含む第３の撮像部を、少なくとも２つ有し、
   前記距離算出部は、
   前記第３の撮像部が撮像した画像の視差に基づいて、前記距離を算出する
   ことを特徴とする請求項１に記載の自律移動装置。
5. 自律移動装置と、サーバと、を備え、
   前記自律移動装置は、
   移動体の直進方向に対して正方向の向きを撮像領域に含む第１の撮像部を、少なくとも２つ有し、
   前記移動体の直進方向に対して直交方向の向きを撮像領域に含む第２の撮像部を、それぞれ少なくとも１つ有するとともに、
   前記サーバから送られた前記自律移動装置の自己位置を基に、自律移動を行う自律移動制御部を
   有し、
   前記サーバは、
   前記第１の撮像部及び前記第２の撮像部で撮像された撮像画像に基づいて、撮像領域内の対象物までの距離を算出する距離算出部と、
   算出された前記距離に基づいて、前記自律移動装置の自己位置を算出する位置算出部と、
   を有し、
   前記距離算出部は、
   前記第１の撮像部が撮像した画像の視差に基づいて、前記距離を算出し、
   前記第２の撮像部が撮像した、撮像時間がそれぞれ異なる複数の撮像画像に基づいて、前記距離を算出する
   ことを特徴とする自律移動システム。

Images