JP2023037656A - 自走式移動装置 - Google Patents

Abstract

【課題】魚眼カメラを使用して、マーカの見逃しを防止し、歪曲する画像から取得したマーカ情報に基づいて、安価に精度の高い自己位置座標及び走行方向の測量を高速に行い、安全に走行して作業を行う自走式移動装置を提供する。【解決手段】魚眼カメラ１２１と、制御部と、走行部１４と、を備えた自走式移動装置１０であって、前記制御部が、魚眼カメラで撮影したマーカの画像を取得する魚眼カメラ画像取得手段と、魚眼カメラで取得したマーカ画像からマーカ情報を取得するマーカ情報取得手段と、自己位置の演算を行う自己位置演算手段と、取得した自己位置とを用いて移動に必要な情報の演算を行う走行用指令信号演算手段と、前記移動に必要な情報を用いて駆動信号を取得する駆動信号取得手段と、を有し、前記走行部が、前記駆動信号を入力して、走行機構を駆動させて移動を行うこと、を特徴とする。【選択図】図１

Description

本発明は、移動装置に搭載されたカメラを介して、各マーカ個別に保持された情報及びマーカの形状から取得できる実空間情報（以下、マーカ情報という。）を取得し、安全に走行して作業を行う自走式移動装置に関する。

従来、作業装置などに走行機構を設けて移動させるためには、作業装置に作業者が搭乗して操縦を行う、又は、作業装置外部から有線や無線によって、作業者がリモコン操縦を行う必要があった。

近年、作業装置自体が走行場所の状況を検知して、障害物を回避して走行を行う、又は、走行エリアを認識して走行を行う自走式の移動装置が開発されてきた。

移動装置を自走させるためには、自己位置を正確に測量することが必要となる。最近では、カメラを用いて取得した画像から得られる情報に基づいて、自己位置の測量や障害物との距離を測量する技術が開発されている。

また、移動装置の移動経路や障害物を移動体に認識させるために、所定のフォーマットによって定義された図形を組み合わせたマーカ（ＡＲマーカが例示される。）にマーカ情報を保持させておき、カメラを用いてマーカの画像を撮影して、制御部によって実空間情報を取得し認識させる技術も併せて開発されている。

従来、マーカを撮影するデジタル撮影用のカメラは、狭角カメラが使用されており、画角が狭いため、移動体に狭角カメラを搭載した場合、マーカを見逃して撮影できない場合が生じる問題があった。たとえ、可動式を導入し回転させて撮影を行ったとしても、同時に全方位を撮影しているわけではないので、マーカを見逃して撮影できない可能性をなくすことはできず実用的ではなかった。

最近では、水平３６０度広角カメラを用いて、ＡＲマーカ等を見逃す確率を減少させることができる技術が開発されているが、取得できる画像は、中心から離れるにしたがって歪曲しており、画像の歪みが大きくなっている。そのままでは、画像の隅に撮影されたマーカのマーカ情報を正確に取得することができない。その際には、画像変換を行って正立画像を得る必要がある。しかし、ソフトウェアによって画像変換を行う場合には、演算負荷が大きく正立画像を得られるまでに時間が掛かる問題があった。

特許文献１には、作業場所の部屋の天井に魚眼カメラを下方に向けて設けて、台車に積載された物品に貼付されたマーカを撮影し、物品の位置と物品の内容を取得できる検知装置が開示されているが、台車を自走させるための機構は備えていない。

特許文献２には、リモコン車に搭載されたカメラで撮影したＡＲマーカのマーカ情報を取得して、エンタテイメント装置と呼ばれる操作装置のディスプレイにリモコン車が走行するコースを表示させる技術が開示されているが、リモコン車はエンタテイメント装置の操作者によって操縦されており、自走するものではない。

特許第６２９９１３３号公報 特許第６２５３２１８号公報

広角カメラの一種である魚眼カメラを移動装置の天面において鉛直上方向に正面を向けて搭載すれば、魚眼カメラの高さから上側３６０度の半球を撮影することができ、マーカの見逃しを減少させることができる。また、魚眼カメラによって得られる画像は、一般的な水平３６０度広角カメラで得られる画像と比較して、画像中心から離れるにしたがって歪曲する度合いが小さく、正立画像を得るための画像変換を行わなくても、マーカ情報を取得できるメリットがある。しかし、魚眼カメラであっても、画像中心から離れるにしたがって歪曲が生じていることには変わりはなく、マーカ情報を取得する際に誤認が生じたり、位置算出において誤差を生じ取得する位置精度が低下したりする可能性がある。算出精度を向上させるために、水平３６０度広角カメラと同様に、正立画像を得るためのソフトウェア画像変換を行うこともできるが、演算負荷が大きいため、位置算出に時間が掛かる。移動装置の位置座標の算出において遅延が生じると、移動装置の自律した走行に支障をきたす問題が生じる。

ハードウェア画像変換を行うとことで、画像変換の計算負荷を下げて時間短縮を図ることが可能になるが、画像変換のための基板は非常に高価であり、また基板の冷却が必要となり、自走式移動装置に大きな実装場所を確保する必要があるなど実用上における課題を有する。

本発明は、上記課題に鑑みてなされたものであり、魚眼カメラを使用して、マーカの見逃しを防止し、歪曲する画像から取得したマーカ情報に基づいて、安価に精度の高い自己位置座標及び走行方向の測量を高速に行い、安全に走行して作業を行う自走式移動装置を提供することを目的とする。

上記課題を解決するため、本発明に係る自走式移動装置は、魚眼カメラと、制御部と、走行部と、を備えた自走式移動装置であって、前記制御部が、魚眼カメラで撮影したマーカの画像を取得する魚眼カメラ画像取得手段と、魚眼カメラで取得したマーカ画像からマーカ情報を取得するマーカ情報取得手段と、前記マーカ情報を用いて自己位置の演算を行う自己位置演算手段と、前記マーカ情報と演算によって取得した自己位置とを用いて移動に必要な情報の演算を行う走行用指令信号演算手段と、前記走行用指令信号演算手段によって得られた走行用指令信号を用いて駆動信号を取得する駆動信号取得手段と、を有し、前記走行部が、前記駆動信号を入力して、走行機構を駆動させて移動動作を行うこと、を特徴とする。

また、本発明に係る自走式移動装置は、前記自己位置演算手段が、前記マーカを複数個検出した際に、魚眼カメラで撮影された魚眼画像中心に近い２個のマーカを選択して、一方のマーカを開始マーカとし、もう一方のマーカを終了マーカとするマーカ識別手段、
を有し、前記開始マーカ中心点、前記終了マーカ中心点および魚眼画像中心点を結んで形成される三角形の各辺の長さ及び各内角を算出し、データベースに格納された前記開始マーカおよび前記終了マーカ位置座標から算出される前記三角形の各辺の長さ及び各内角と比較を行うことによって、前記概略自己位置座標及び走行方向を取得する概略自己位置演算手段を有すること、を特徴とする。

また、本発明に係る自走式移動装置は、可動式狭角カメラを備え、前記可動式狭角カメラが、前記マーカのいずれか一方を撮影し、前記制御部が、可動式狭角カメラで撮影したマーカの画像を取得する可動式狭角カメラ画像取得手段と、可動式狭角カメラから取得したマーカ画像から魚眼画像中心点と該マーカ中心点との距離を算出する距離算出手段と、を有し、前記距離を用いて、魚眼カメラから得られた位置情報を補正して高精度自己位置座標を取得する高精度自己位置演算手段を有すること、を特徴とする。

本発明の自走式移動装置によれば、魚眼カメラを使用することによって、魚眼カメラの高さから上側３６０度の半球を撮影することができ、マーカの撮影漏れを防止することができる。また、同時に多くのマーカを撮影することができ、狭角カメラによって個別にマーカを撮影する場合と比較して、高速にマーカ情報を取得することができる。

水平３６０度広角カメラで撮影したマーカ画像からマーカ情報を取得するためには、歪みの大きいマーカの画像を画像変換により補正を行い、マーカの正立画像を取得することが必要となるが、本発明の自走式移動装置によれば、魚眼カメラで自律式走行装置の周囲画像を取得することによって、マーカ情報を取得できないほどに歪曲が生じる、中心から離れた周辺画像の範囲が、水平３６０度広角カメラで得られる画像と比較して小さいため、画像変換を行うことなくマーカ情報の取得ができ、高速で概略の自己位置座標及び走行方向を算出することが可能である。

また、本発明の自走式移動装置によれば、マーカ情報に実空間情報として位置情報を保持しておくことにより、画像から取得したカメラ空間情報と比較して自己位置座標及び走行方向を算出することができる。

魚眼カメラであっても、取得したマーカ画像は、周辺画像が歪曲しているので、マーカの形状から取得できるカメラ空間情報には誤差を有する可能性がある。本発明の自走式移動装置によれば、魚眼カメラを補助するカメラとして可動式狭角カメラを使用し、歪曲度が小さい画像を撮影し魚眼画像中心点と任意のマーカとの距離を実測量することにより、魚眼カメラによって得られたカメラ空間情報から算出した自己位置座標の誤差の補正を行い、自己位置座標の算出精度を向上させることができる。

また、本発明の自走式移動装置によれば、魚眼カメラで取得したカメラ空間の位置情報とマーカ位置情報等データベースから取得した実空間の位置情報を用いて自己位置座標を算出する概略座標算出モードと、歪曲の少ない可動式狭角カメラを用いて実測量したマーカの位置を用いて概略自己位置座標を補正して高精度自己位置座標を算出する高精度座標算出モードを切り替えることができる。作業空間が広く干渉する障害物がない場合には、概略座標算出モードで高速に演算を行い、狭隘な場所や干渉する障害物が多い場合には、高精度座標算出モードで演算を行うことによって、自走式移動装置を安全に走行させて作業を行わせることができる。

本発明の自走式移動装置１０の側面図である。 本発明の自走式移動装置１０の斜視図である。 可動式狭角カメラの水平方向の撮影範囲を示した平面図である。 可動式狭角カメラの鉛直方向の撮影範囲を示した側面図である。 本発明の自走式移動装置１０の自己位置の推定演算に関連する制御のブロックダイヤグラムである。 本発明の自走式移動装置１０が走行している状態を示す斜視図である。 本発明の自走式移動装置１０に搭載した魚眼カメラ１２１によって撮影された画像（魚眼画像３０）を示す図である。 魚眼レンズの撮影範囲３２を示す側面図である。 自走式移動装置１０の中心位置座標（自己位置座標）の算出を行うプログラムのフローチャートを示した図である。 魚眼レンズで撮影した画像からサンプリングされるＡＲマーカ２０のコーナプロット６２を示したコーナプロットグラフ６０である。 サンプリングされたコーナプロット６２の座標からＡＲマーカ２０のセンタプロット６４を算出する手法を示した図である。 ＡＲマーカ２０のマーカ情報と魚眼カメラ１２１による実測量値とに基づいて自走式移動装置１０の中心座標を算出する手法を説明する図である。 可動式狭角カメラ１２２による実測量値と魚眼カメラ１２１による実測量値とに基づいて自走式移動装置１０の中心座標（自己位置座標）を算出する手法を説明する図である。

本発明に係る自走式移動装置１０を実施するための形態について、図を参照しつつ説明する。図１は、本発明の自走式移動装置１０の側面図である。図２は、本発明の自走式移動装置１０の斜視図である。自走式移動装置１０は、少なくとも撮影部１２と、本体部１３と、走行部として走行機構（不図示）を備えた車輪１４とから構成される。車輪１４を駆動する走行機構は、制御用コンピュータから出力される走行用指令信号を駆動信号に変換する走行用サーボモータコントローラと、車輪１４を駆動する走行用サーボモータとから構成される。サーボモータは、パルスモータであってもよい。

撮影部１２は、魚眼カメラ１２１と、可動式狭角カメラ１２２とを搭載する。魚眼カメラ１２１は、本体部１３に固定されたカメラ支持部１２５に固定されて、魚眼カメラ１２１の高さから上側３６０度の半球を撮影することができる。一方、可動式狭角カメラ１２２は、水平方向回転ターレット１２４に固定される。

水平方向回転ターレット１２４は、カメラ支持部１２５に固定された魚眼カメラ１２１を中心として、回転機構を備えた駆動装置、例えばサーボモータを駆動させて、水平方向に３６０度回転することが可能である。可動式狭角カメラ１２２を水平方向回転ターレット１２４の上面に固定し、水平方向回転ターレット１２４を回転させることにより、図３に示すように可動式狭角カメラ１２２の水平方向の撮影範囲を３６０度に拡張することができる。サーボモータは、カメラ支持部１２５に配置して直接水平方向回転ターレット１２４を回転させてもよいし、本体部１３に配置しておき、ドライブシャフトやベルトなどの伝達装置を用いて、水平方向回転ターレット１２４を回転させてもよい。

鉛直方向回転駆動部１２３を介して可動式狭角カメラ１２２を水平方向回転ターレット１２４に固定することにより、可動式狭角カメラ１２２の鉛直方向の撮影範囲を拡張することが可能となる。鉛直方向回転駆動部１２３は、可動式狭角カメラ１２２本体の支持部材に回転軸を設け、当該回転軸を中心として、回転機構を備えた駆動装置、例えばサーボモータを駆動させて、鉛直方向に回転することが可能である。図４は、可動式狭角カメラの鉛直方向の撮影範囲を示した側面図である。図４では、回転軸を水平方向回転ターレット１２４の周縁端部に配置しているため、鉛直方向の回転角度は９０度程度となる。さらに、大きな回転角度を必要とする場合には、回転軸を水平方向回転ターレット１２４の周縁端部の外側に配置することによって、回転可動域が広がり、可動式狭角カメラ１２２の鉛直方向の撮影範囲を広く設定することができる。

図５は、本発明の自走式移動装置１０の自己位置の推定演算に関連する制御のブロックダイヤグラムである。本体部１３には、制御用コンピュータ、可動式狭角カメラ１２２を回転駆動するためのサーボモータコントローラ及び電源を備える制御部並びに走行部の一部である車輪１４の走行機構（不図示）が備えられる。撮影部１２には、魚眼カメラ１２１及び可動式狭角カメラ１２２の自走式移動装置１０の周囲を撮影する撮影装置と、可動式狭角カメラ１２２を回転駆動させるための鉛直回転用サーボモータ機構及び水平回転用サーボモータ機構が設けられている。

制御用コンピュータは、魚眼カメラ１２１又は可動式狭角カメラ１２２が取得した画像を解析し、画像に映されたマーカのカメラ空間での位置情報と、マーカ情報から実空間でのマーカの位置情報とを取得して、自走式移動装置１０の自己位置の推定のための演算を行う。本発明の自走式移動装置１０は、魚眼カメラ１２１で取得したカメラ空間の位置情報と、マーカ位置情報等データベースから取得した実空間の位置情報とを用いて自己位置座標を算出する概略自己位置演算手段である概略座標算出モードと、歪曲の少ない可動式狭角カメラ１２２を用いて実測量したマーカの位置情報を用いて概略自己位置座標を補正して高精度自己位置座標を算出する高精度自己位置演算手段である高精度座標算出モードを切り替えて演算することができる。マーカ位置情報等データベースは、クラウドやサーバなどに格納しておき、制御用コンピュータと通信することにより、格納されたマーカの情報を制御用コンピュータで取得する。

また、制御用コンピュータは、補正情報を取得するために用いる可動式狭角カメラ１２２を、情報が必要なマーカの方向、例えば開始マーカ２２に向けるために、鉛直方向回転駆動部１２３及び水平方向回転ターレット１２４に備えられたサーボモータの制御を行う。サーボモータの制御は、本体部１３に備えられたサーボモータコントローラに対し、制御用コンピュータから移動の目標値を含む指令信号を出力することによって行う。

サーボモータコントローラは、サーボドライバとも呼ばれ、指令信号に含まれる目標値と、エンコーダで検出されたステップ数を比較して、所定の位置に停止させる。本実施の形態では、サーボモータの例を示したが、パルスモータであってもよい。

図６は、本発明の自走式移動装置１０が作業空間５０を走行している状態を示す斜視図である。作業空間５０には、自走式移動装置１０の位置推定演算の際に使用する情報を持ったマーカが要所に配置されている。マーカは、ＡＲマーカを使用することができる。ＡＲマーカは、各種あるが、本発明を実施するための形態では、予め決められたルールに基づいて形成された図形が四角の枠（フレーム）内に描かれたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカの一種類を例示した。ＡＲマーカ２０の図形を自走式移動装置１０に搭載されたカメラで撮影することによって、予めマーカ位置情報等データベースに入力されたマーカ情報、すなわち実空間のマーカのサイズや位置座標情報を制御用コンピュータに取得するとともに、撮影されたＡＲマーカ２０の図形のサイズや形状を制御用コンピュータで解析してカメラ空間におけるＡＲマーカ２０の位置座標情報を取得して、自走式移動装置１０の自己位置推定演算に使用する。また、マーカ情報に設置された自走式移動装置１０の走行経路を取得すると、自走式移動装置１０を自律して走行させることができる。

図７は、本発明の自走式移動装置１０に搭載した魚眼カメラ１２１によって撮影された魚眼画像３０を示す図である。図に示すように、魚眼カメラ１２１を使用して撮影を行うことによって、魚眼カメラ１２１上空３６０度の範囲の画像が得られる。一点鎖線の交点は魚眼カメラ１２１の画像中心３４である。魚眼カメラ１２１の画像中心３４が、自走式移動装置１０の自己位置として設定される。魚眼カメラ１２１によれば、同時に複数のＡＲマーカ２０の画像を取得することができる。図８は、鉛直方向の魚眼レンズの撮影範囲３２を示す側面図である。魚眼カメラ１２１は、カメラベース部より上側部分の空間を撮影することができるので、魚眼カメラ１２１は可能な限り低い高さに配置することが好ましく、自走式移動装置１０が走行する際に必要な情報を漏れなく取得することが可能になる。

自走式移動装置１０が自律して走行するためには、ＡＲマーカ２０の情報を取得するだけではなく、走行経路上に存在する障害物の情報を取得することが必要となる。そのためには、魚眼カメラ１２１は可能な限り自走式移動装置１０に近い走路が撮影できるように低い高さに配置することが好ましい。

自律走行を行うためには、自走式移動装置１０が自己位置を正確に演算できることが、非常に重要となる。以下に、自己位置推定のための演算方法について説明する。図９は、制御用コンピュータにおいて、自走式移動装置１０の中心位置座標（自己位置座標）の算出を行う自己位置推定演算処理プログラムのフローチャートを示した。

魚眼カメラ１２１を使用すると、複数のＡＲマーカ２０を同時に撮影できるメリットがあるが、取得した画像の周縁部分に歪曲が生じる。前述したように、３６０度広角カメラと比較すると周辺部分の歪曲の度合いは小さく、画像変換を行うことなく、通常走行に支障がない程度の精度で自己位置を演算することができるが、狭隘な場所や干渉する障害物が多い場合には、作業空間５０の構造物や障害物に接触する可能性がある。そのため、本発明における自己位置推定演算処理のフローチャートにおいては、魚眼カメラ１２１で取得したＡＲマーカ２０のカメラ空間における位置情報と、マーカ位置情報等データベースから取得したＡＲマーカ２０の実空間における位置情報とを用いて自己位置座標を算出する概略座標算出モードと、歪曲の小さい可動式狭角カメラ１２２を用いて実測量したＡＲマーカ２０の位置情報を用いて概略自己位置座標を補正して高精度自己位置座標を算出する高精度座標算出モードを切り替えて演算することができる。

ステップＳ１０２において、図７に示す魚眼画像３０を撮影した後、撮影されたＡＲマーカ２０のマーカ情報を取得し、自走式移動装置１０に近い２個のＡＲマーカ２０を認識する。

マーカ情報には、ＡＲマーカ２０のサイズ、位置情報、又は自走式移動装置１０が走行する経路など、その他自走式移動装置１０の走行に必要な実空間の情報が含まれている。当該実空間の情報は、実際にはマーカ位置情報等データベースに格納されており、ＡＲマーカ２０のＩＤを使用してマーカ位置情報等データベースから制御用コンピュータに出力することによって利用することができる。ＡＲマーカ２０にフレームが描かれている場合には、画像情報としてフレームの大きさを取得することにより、マーカ情報に格納されたサイズと比較演算することによって、自走式移動装置１０とＡＲマーカ２０との距離を推定することも可能である。

ステップＳ１０３では、ステップＳ１０２において認識した２個のＡＲマーカ２０のうち、自走式移動装置１０に最も近いＡＲマーカ２０を開始マーカ２２とし、もう一方の自走式移動装置１０に二番目に近いＡＲマーカ２０を終了マーカ２３とする。図１０は、魚眼レンズで撮影した画像からサンプリングされるカメラ空間上のＡＲマーカ２０のコーナプロット６２をグラフ上に描いたコーナプロットグラフ６０である。図７にＸ軸及びＹ軸の方向を示した。グラフは、Ｘ軸の正方向が自走式移動装置１０から離れる方向である。したがって、図に向かってグラフの左にある四つのコーナプロット６２が開始マーカ２２のコーナプロット６２となる。そして、グラフ右上側にある四つのコーナプロット６２が終了マーカ２３のコーナプロット６２である。

ステップＳ１０４では、まず、開始マーカ２２及び終了マーカ２３のセンタプロット６４を各々のマーカのコーナプロット６２の座標を用いて、算出を行う。図１１は、サンプリングされたコーナプロット６２の座標からＡＲマーカ２０のセンタプロット６４のカメラ空間上の座標を算出する手法を示した図である。ＡＲマーカ２０のコーナプロット６２を描いたコーナプロットグラフ６０において、コーナプロット６２の座標の平均値を求めることによって、ＡＲマーカ２０のセンタプロット６４のカメラ空間上の座標を算出する。自走式移動装置１０の自己位置座標ｂは、魚眼カメラの画像中心３４であり、カメラ空間上では既知の座標である。次に、自走式移動装置１０の自己位置座標ｂと、開始マーカ２２の中心点（開始マーカセンタプロット６４２）ａ及び終了マーカ２３の中心点（終了マーカセンタプロット６４４）ｃを頂点とする三角形ａｂｃの各辺（Ｈａ，Ｈｂ，Ｈｃ）の長さと、各頂点の内角を算出する。図１２に、その模式図を示した。ＡＲマーカ２０のマーカ情報に格納された実空間位置情報と魚眼カメラ１２１による実測量値とに基づいて自走式移動装置１０の中心座標を算出する手法を説明する図である。

ステップＳ１０５では、ＡＲマーカ２０の図形を解析して、開始マーカ２２及び終了マーカ２３の図形が有する各々のマーカＩＤを入手し、マーカ位置情報等データベースから開始マーカ２２及び終了マーカ２３の中心位置の実空間座標を取得する。

ステップＳ１０６では、マーカ位置情報等データベースから取得した開始マーカ２２及び終了マーカ２３の中心位置の実空間座標に基づき、開始マーカ２２の中心点Ａと終了マーカ２３の中心点Ｃとを結ぶ直線ＡＣが実空間座標におけるＸ軸となす角度（ｒｅａｌｄｉｒ）を算出する。

ステップＳ１０７では、魚眼カメラ１２１によって取得されたカメラ空間座標における三角形ａｂｃの開始マーカ２２の中心点ａと終了マーカ２３の中心点ｃとを結ぶ辺Ｈｂがカメラ空間座標におけるＸ軸となす角度（Ｄｉｒａｃ）を算出する。同様に、ステップＳ１０８では、カメラ空間座標における三角形ａｂｃの開始マーカ２２の中心点ａと自走式移動装置１０の自己位置座標ｂとを結ぶ辺Ｈｃがカメラ空間座標におけるＸ軸となす角度（Ｄｉｒｂａ）を算出する。

ステップＳ１０９では、実空間座標とカメラ空間座標との間でズレが生じている回転角度量の算出を行う。実空間座標における開始マーカ２２の中心点Ａと終了マーカ２３の中心点Ｃとを結ぶ直線ＡＣがＸ軸となす角度（ｒｅａｌｄｉｒ）から、カメラ空間座標における開始マーカ２２の中心点ａと終了マーカ２３の中心点ｃとを結ぶ辺ＨｂがＸ軸となす角度（Ｄｉｒａｃ）を引き算することによって、実空間座標とカメラ空間座標との間で生じているズレの回転角度量（ｄｉｆｄｉｒ）を求めることができる。すなわち、ズレ回転角度量（ｄｉｆｄｉｒ）は、自走式移動装置１０の実空間におけるＸ軸と走行方向との角度を示している。

同様に、ステップＳ１１０では、カメラ空間座標に対する実空間座標のズレ回転角度量（ｄｉｆｄｉｒ２）を算出する。カメラ空間座標における開始マーカ２２の中心点ａと終了マーカ２３の中心点ｃとを結ぶ辺ＨｂがＸ軸となす角度（Ｄｉｒａｃ）から、実空間座標における開始マーカ２２の中心点Ａと終了マーカ２３の中心点Ｃとを結ぶ直線ＡＣがＸ軸となす角度（ｒｅａｌｄｉｒ）を引き算することによって、カメラ空間座標に対する実空間座標のズレ回転角度量（ｄｉｆｄｉｒ２）を求めることができる。角度量（ｄｉｆｄｉｒ）は、角度量（ｄｉｆｄｉｒ２）の負の値となる。後のカメラ空間座標の補正演算に使用できるようにラジアン換算で算出することが好ましい。

ステップＳ１１１では、高精度自己位置座標を取得する高精度座標算出モード又は概略の自己位置座標を取得する概略座標算出モードの選択を判断する。モード選択は、カメラ画像を用いて、障害物の有無や予めＡＲマーカ２０のマーカ情報にモード選択の情報を保持させて自動的に判断させてもよい。

高精度座標算出モードを選択した場合には、ステップＳ１１２からステップ１１８までを実行する。高精度座標算出モードでは、可動式狭角カメラ１２２から取得される開始マーカ２２の画像を使用して、魚眼カメラ１２１の画像中心（３４）ｂ’から開始マーカ２２の中心点ａ’までの距離Ｈｃ’を実測量して、魚眼カメラ１２１から取得されたカメラ空間座標上の辺Ｈｃの長さを代替する。図１に示されるように、可動式狭角カメラ１２２は魚眼カメラ１２１の画像中心３４から離隔した位置に配置されているため、魚眼カメラ１２１の画像中心（３４）ｂ’の座標を算出するためのオフセット演算が必要となる。その際のオフセット値に誤差を含む可能性があるため、可動式狭角カメラ１２２の水平回転及び鉛直回転の中心を魚眼カメラ１２１の画像中心３４軸上に配置することが好ましい。

ステップＳ１１２では、ステップＳ１０８で算出したカメラ空間座標における辺Ｈｃがカメラ空間座標におけるＸ軸となす角度（Ｄｉｒｂａ）を用いて、辺Ｈｃと自走式移動装置１０の自己位置座標ｂを通るＸ軸線との角度を算出する。当該角度には、オフセット値が含まれていないため、オフセット演算を行ったうえで、可動式狭角カメラ１２２の回転角度を決定する。決定された回転角度の方向に水平方向回転ターレット１２４を駆動させて可動式狭角カメラ１２２を回転させる。本実施の形態においては、開始マーカ２２を撮影し演算に利用したが、終了マーカ２３を撮影し演算に利用してもよい。なお、開始マーカ２２は自走式移動装置１０に距離が近いＡＲマーカ２０であり、距離が遠い終了マーカ２３と比較して測量誤差が小さいため、開始マーカ２２を演算に利用する方が好ましい。ステップＳ１１３で可動式狭角カメラ１２２による開始マーカ２２の認識処理を行い、ステップＳ１１４において、可動式狭角カメラ１２２が開始マーカ２２を認識したと判断した際には、開始マーカ２２が画像の中心に位置するように、さらに水平方向回転ターレット１２４及び鉛直方向回転駆動部１２３を駆動させて可動式狭角カメラ１２２の方向を変更させることも可能である。開始マーカ２２が画像の中心にある場合には歪曲が小さく測量精度が向上するため好ましい。この際、最初の回転角度は、魚眼カメラ１２１の画像に基づいて算出しており、可動式狭角カメラ１２２によって、開始マーカ２２が捉えられない場合が発生する可能性がある。その場合には、ステップＳ１１４において、開始マーカ２２が認識できなかったと判断して、概略座標算出モードを実行する。概略座標算出モードについては、後述する。

図１３に、その模式図を示した。可動式狭角カメラ１２２による実測量値と魚眼カメラ１２１による実測量値とに基づいて自走式移動装置１０の中心座標（自己位置座標）を算出する手法を説明する図である。開始マーカ２２が認識された場合、ステップＳ１１５を実行し、開始マーカ２２のマーカ情報に保持されたサイズ情報及び可動式狭角カメラ１２２によって撮影された開始マーカ２２のフレームの大きさと比較することにより、魚眼カメラ１２１の画像中心３４から開始マーカ２２の中心点までの距離Ｈｃ’を求めることができる。また、可動式狭角カメラ１２２から取得されるＡＲマーカ２０に関する計測値から距離成分を抽出することによっても、距離Ｈｃ’を実測することができる。

ステップＳ１１６においては、実空間座標とカメラ空間座標との間でズレが生じている回転角度量の補正を行う。カメラ空間座標における開始マーカ２２の中心点ａと自走式移動装置１０の自己位置座標ｂとを結ぶ辺ＨｃがＸ軸となす角度（Ｄｉｒｂａ）から、ステップＳ１１０で算出したカメラ空間座標に対する実空間座標のズレ回転角度量（ｄｉｆｄｉｒ２）を引き算することによって、実空間座標とカメラ空間座標との間でズレが生じている回転角度量の補正を行うことができ、実空間座標におけるＸ軸と辺Ｈｃ’とでなす角度量（Ｄｉｒｂａ２）を求めることができる。

ステップＳ１１７では、辺Ｈｃ’について、実空間座標における開始マーカ２２の中心点Ａを中心として角度量（Ｄｉｒｂａ２）だけ回転させて、開始マーカ２２の中心点Ａを原点とした辺Ｈｃ’の終端の位置座標（ｔｘ’，ｔｙ’）を算出する。

ステップＳ１１８において、実空間座標における開始マーカ２２の中心点Ａの座標（ｘ，ｙ）に開始マーカ２２の中心点Ａを原点とした辺Ｈｃ’の終端の位置座標（ｔｘ’，ｔｙ’）を加算して、自走式移動装置１０の自己位置座標（Ｘ’，Ｙ’）を算出する。辺Ｈｃ’の距離の実測値が、可動式狭角カメラ１２２の歪曲が小さい画像によって取得されたものであるので、精度が高い座標値を得ることができる。

本発明における高精度座標算出モードのフローチャートは、演算負荷が小さいため、画像変換を伴うフローチャートと比較して演算速度が速い。また、ハードウェア画像変換のように、装置が大掛かりにならないため、自走式移動装置１０を小型にすることができる。

一方、ステップＳ１１１及びステップＳ１１４において、概略座標算出モードが選択された場合には、ステップＳ２０１が実行される。図１２に、その模式図を示した。魚眼カメラ１２１による実測量値と、マーカ位置情報等データベースから取得したＡＲマーカ２０の実空間における位置情報とに基づいて自走式移動装置１０の中心座標（自己位置座標）を算出する手法を説明する図である。

ステップＳ２０１では、ＡＲマーカ２０を撮影した画像から得られるＡＲマーカ２０のＩＤに基づいて、マーカ位置情報等データベースから実空間における開始マーカ２２の中心点Ａ及び終了マーカ２３の中心点Ｃの座標を取得し点ＡＣ間の距離Ｌを算出する。距離Ｌは、カメラ空間上の辺Ｈｂに相当する。

ステップＳ２０２においては、歪曲や画像解析の際に生じる誤差を含むカメラ空間における距離の実測値を補正するための補正比率ＬＬを算出する。補正比率ＬＬは、実空間座標上の点ＡＣ間の距離Ｌを、カメラ空間座標上の辺Ｈｂの長さで除算することによって算出することができる。

ステップＳ２０３では、実空間座標とカメラ空間座標との間でズレが生じている回転角度量の補正を行う。カメラ空間座標における開始マーカ２２の中心点ａと自走式移動装置１０の自己位置座標ｂとを結ぶ辺ＨｃがＸ軸となす角度（Ｄｉｒｂａ）から、カメラ空間座標に対する実空間座標のズレ回転角度量（ｄｉｆｄｉｒ２）を引き算することによって、実空間座標とカメラ空間座標との間でズレが生じている回転角度量の補正を行うことができ、実空間座標におけるＸ軸と直線ＡＢとでなす角度量（Ｄｉｒｂａ２）を求めることができる。

ステップＳ２０４では、辺Ｈｃについて、実空間座標における開始マーカ２２の中心点Ａを中心として角度量（Ｄｉｒｂａ２）だけ回転させて、開始マーカ２２の中心点Ａを原点とした辺Ｈｃの終端の座標を算出する。当該終端座標に補正比率ＬＬを乗算し、補正された辺Ｈｃの終端の位置座標（ｔｘ，ｔｙ）を算出する。

ステップＳ２０５において、実空間座標における開始マーカ２２の中心点Ａの座標（ｘ，ｙ）に開始マーカ２２の中心点Ａを原点とした辺Ｈｃの終端の位置座標（ｔｘ，ｔｙ）を加算して、自走式移動装置１０の自己位置座標（Ｘ，Ｙ）を算出する。実空間座標における開始マーカ２２の中心点Ａ及び終了マーカ２３の中心点Ｃの座標値は、ＡＲマーカ２０に保持された理論値である。ＡＲマーカ２０が実際に配置された位置に理論値との誤差が生じている場合には、自己位置座標（Ｘ，Ｙ）には、誤差を有することになる。当該誤差は、可動式狭角カメラ１２２の歪曲が小さい画像によって取得された実測値と比較すると精度が劣るため、概略座標を算出する際のモードとした。

ところで、当該誤差は、カメラ画像から得られる情報に相乗するものであり、３６０度広角カメラを使用する場合と魚眼カメラ１２１を使用する場合とを比較すると、魚眼カメラ１２１を使用する場合では、得られる画像の歪曲が小さいため、精度が高い結果が得られることになる。したがって、作業空間５０が広く干渉する障害物がない場合には概略座標算出モードを使用して自走式移動装置１０を走行させることができる。また、概略座標算出モードで演算を行うことによって、制御用コンピュータの負荷を軽減することもできる。

以上のフローチャートにより、自走式移動装置１０の自己位置座標と走行方向を効率よく取得することができ、必要に応じて高精度に取得することもできる。また、画像変換を必要とせず高速に処理することができる。

自走式移動装置１０においては、自己位置座標及び走行方向を演算後、制御用コンピュータが、走行用指令信号演算手段として、演算によって取得した概略自己位置座標又は高精度自己位置座標と前記マーカ情報とを用いて、移動に必要な情報の演算を行って走行用指令信号を生成する。

走行用サーボモータコントローラが、制御用コンピュータから入力した走行用指令信号を用いて、駆動信号取得手段として走行用サーボモータを駆動するための電気信号に変換した駆動信号を取得し、走行部に備えられた走行機構の走行用サーボモータに駆動信号を出力して、車輪１４を駆動させて自走式移動装置１０が移動動作を行う。

本発明に係る自走式移動装置は、移動装置を自動化するあらゆる分野において活用することが可能である。

１０ 自走式移動装置
１２ 撮影部
１２１ 魚眼カメラ
１２２ 可動式狭角カメラ
１２３ 鉛直方向回転駆動部
１２４ 水平方向回転ターレット
１２５ カメラ支持部
１３ 本体部
１４ 車輪
２０ ＡＲマーカ
２２ 開始マーカ
２３ 終了マーカ
３０ 魚眼画像
３２ 魚眼レンズの撮影範囲
３４ 魚眼カメラの画像中心
５０ 作業空間
６０ コーナプロットグラフ
６２ コーナプロット
６４ センタプロット
６４２ 開始マーカセンタプロット
６４４ 終了マーカセンタプロット

上記課題を解決するため、本発明に係る自走式移動装置は、魚眼カメラと、可動式狭角カメラと、制御部と、走行部と、を備えた自走式移動装置であって、前記制御部が、魚眼カメラで撮影したマーカの画像を取得する魚眼カメラ画像取得手段と、魚眼カメラで取得したマーカ画像からマーカ情報を取得するマーカ情報取得手段と、前記マーカ情報を用いて自己位置の演算を行う自己位置演算手段と、前記可動式狭角カメラで撮影したマーカの画像を取得する可動式狭角カメラ画像取得手段と、前記可動式狭角カメラから取得したマーカ画像から魚眼画像中心点と該マーカ中心点との距離を算出する距離算出手段と、を有し、前記距離を用いて、魚眼カメラから得られた自己位置を補正して高精度自己位置座標を取得する高精度自己位置演算手段と、前記マーカ情報と演算によって取得した自己位置とを用いて移動に必要な情報の演算を行う走行用指令信号演算手段と、前記走行用指令信号演算手段によって得られた走行用指令信号を用いて駆動信号を取得する駆動信号取得手段と、を有し、前記走行部が、前記駆動信号を入力して、走行機構を駆動させて移動動作を行うこと、を特徴とする。

Claims (3)

1. 魚眼カメラと、
   制御部と、
   走行部と、
   を備えた自走式移動装置であって、
   前記制御部が、
   魚眼カメラで撮影したマーカの画像を取得する魚眼カメラ画像取得手段と、
   魚眼カメラで取得したマーカ画像からマーカ情報を取得するマーカ情報取得手段と、
   前記マーカ情報を用いて自己位置の演算を行う自己位置演算手段と、
   前記マーカ情報と演算によって取得した自己位置とを用いて移動に必要な情報の演算を行う走行用指令信号演算手段と、
   前記走行用指令信号演算手段によって得られた走行用指令信号を用いて駆動信号を取得する駆動信号取得手段と、
   を有し、
   前記走行部が、
   前記駆動信号を入力して、走行機構を駆動させて移動動作を行うこと、
   を特徴とする自走式移動装置。
2. 前記自己位置演算手段が、
   前記マーカを複数個検出した際に、魚眼カメラで撮影された魚眼画像中心に近い２個のマーカを選択して、一方のマーカを開始マーカとし、もう一方のマーカを終了マーカとするマーカ識別手段、
   を有し、
   前記開始マーカ中心点、前記終了マーカ中心点および魚眼画像中心点を結んで形成される三角形の各辺の長さ及び各内角を算出し、
   データベースに格納された前記開始マーカおよび前記終了マーカ位置座標から算出される前記三角形の各辺の長さ及び各内角と比較を行うことによって、前記概略自己位置座標及び走行方向を取得する概略自己位置演算手段を有すること、
   を特徴とする請求項１に記載する自走式移動装置。
3. 可動式狭角カメラを備え、
   前記可動式狭角カメラが、
   前記マーカのいずれか一方を撮影し、
   前記制御部が、
   可動式狭角カメラで撮影したマーカの画像を取得する可動式狭角カメラ画像取得手段と、
   可動式狭角カメラから取得したマーカ画像から魚眼画像中心点と該マーカ中心点との距離を算出する距離算出手段と、
   を有し、
   前記距離を用いて、魚眼カメラから得られた位置情報を補正して高精度自己位置座標を取得する高精度自己位置演算手段を有すること、
   を特徴とする請求項１又は請求項２に記載する自走式移動装置。
   

Images