JP2021149420A - 推定システムおよび方法 - Google Patents

Abstract

【課題】周囲環境を推定するための技術を提供する。【解決手段】推定システムは、第１高さに所定のパターンが付与された三次元空間内の物体の形状または配置を推定する。推定システムは、第２高さに設置された撮像装置と、予め用意された関数またはルックアップテーブルを格納した記憶装置と、演算回路とを有する。演算回路は、撮像装置が撮影した画像を取得し、画像内で、パターンの像が存在する位置である、少なくとも１つのパターン像存在位置を検出し、各パターン像存在位置と、記憶装置に格納された関数またはルックアップテーブルとを利用して、撮像装置の位置からパターンの位置までの距離を算出し、算出した距離から、物体の形状または配置を推定する。関数またはルックアップテーブルは、第１高さおよび第２高さを利用して作成された、画像の各画素の位置と、撮像装置の位置からパターンの位置までの距離との関係を示している。【選択図】図１

Description

本開示は、三次元空間内の物体の形状または配置を推定するための推定システムおよび方法に関する。

地上を走行する自動搬送車、空中を飛行するドローン等では、三次元空間内の物体の形状または配置等の周囲環境、を推定するため、例えば以下のような技術が採用されている。
・ステレオカメラを用いて視差により周囲環境の形状認識を行う技術
・ＬｉＤＡＲセンサを用いてレーザパルスの反射を利用して反射点までの距離を測定し、周囲環境の形状認識を行う技術
・単眼カメラから得られた情報と、カメラ以外の他のセンサ（例：ＬｉＤＡＲセンサ）から得られた情報とを重ね合わせて、周囲環境の形状認識を行う技術
・ビーコンやランドマークで、おおまかな位置を把握する技術
・天井や床面の模様（マーカ）、標識をカメラで読み取り、埋め込まれた情報から位置を特定する技術

例えば特開２０１０−１１７８４７号公報は、移動体の周囲環境に付され、位置情報を含む模様を撮影して移動体を制御する移動体制御システムを開示する。当該システムは、模様を撮像するカメラと、カメラによって撮影された模様より位置情報を取得する画像処理部と、画像処理部によって取得された位置情報に基づいて自己位置を推定し、推定された自己位置に基づいて、予め位置と関連づけられた走行面情報を取得し、当該走行面情報に基づいて、移動体の動作制御を行う制御計算部を有している。

特開２０１０−１１７８４７号公報

上述したいずれの技術も導入コストが比較的高額であり、その結果、自動搬送車、ドローン等の製品コストへの影響が大きい。

例えば、使用するカメラの性能によっては得られた画像のデータ量が多くなり処理負荷が高くなる。そのため、大容量のメモリ、高速なＣＰＵ、ＦＰＧＡ等のハードウェアが必要になる。その結果、コストが高額になり得る。

ＬｉＤＡＲセンサは周囲環境を検知できるが、ＬｉＤＡＲセンサ自体が依然として非常に高額である。さらに、モータを用いてレーザパルスの放射口を回転させながら周囲をスキャンする場合、当該可動部分はカメラに比べて壊れやすくメンテナンスおよび修理を含めて高コストになりやすい。

天井や床面に印字されたマーカを読み取る方法では、停止、旋回、通路等の動作を行うことが想定されている全ての領域または各領域の近傍に、マーカまたは標識を設置する必要がある。さらに、自動搬送車等にはマーカまたは標識を設けた全ての位置を示す地図を事前に記憶させておく必要がある。これらは、導入時の手間およびコストを増加させる一因である。さらに、マーカまたは標識の位置を変更する場合、自動搬送車等に記憶させておく地図の変更も必要になる。併せて、他のマーカまたは標識の位置を変更する必要が生じる可能性もある。

本開示は、周囲環境を推定するための新たな技術を提供する。

本開示の例示的な実施形態にかかるシステムは、三次元空間内の物体の形状または配置を推定するための推定システムであって、前記三次元空間内の物体には、第１高さに予め定められたパターン が付与されており、前記第１高さとは異なる第２高さ に設置され、前記三次元空間を撮影する撮像装置と、予め用意された関数またはルックアップテーブルを格納した記憶装置と、演算回路とを有し、前記演算回路は、（ａ）前記撮像装置によって撮影された画像を取得し、（ｂ）前記画像内で、前記パターンの像が存在する位置である、少なくとも１つのパターン像存在位置を検出し、（ｃ）各パターン像存在位置と、前記記憶装置に格納された前記関数またはルックアップテーブルとを利用して、前記撮像装置の位置から前記パターンの位置までの距離を算出し、（ｄ）算出した前記距離から、前記物体の形状または配置を推定し、前記関数または前記ルックアップテーブルは、既知の前記第１高さおよび既知の前記第２高さを利用して作成された、前記画像の各画素の位置と、前記撮像装置の位置から前記パターンの位置までの距離との関係を示している。

本開示の例示的な実施形態にかかる方法は、三次元空間内の物体の形状または配置を推定する方法であって、前記三次元空間内の物体には、第１高さに予め定められたパターンが付与されており、（ａ）前記第１高さとは異なる第２高さに設置された撮像装置で前記三次元空間を撮影して画像を取得し、（ｂ）前記画像内で、前記パターンの像が存在する位置である、少なくとも１つのパターン像存在位置を検出し、（ｃ）各パターン像存在位置と、予め用意された関数またはルックアップテーブルとを利用して、前記撮像装置の位置から前記パターンの位置までの距離を算出し、（ｄ）算出した前記距離から、前記物体の形状を推定し、前記工程（ｃ）における前記関数または前記ルックアップテーブルは、既知の前記第１高さおよび既知の前記第２高さを利用して作成された、前記画像の各画素の位置と、前記撮像装置の位置から前記パターンの位置までの距離との関係を示している。

本開示の例示的な実施形態によれば、周囲環境を認識するための新たな技術が提供される。

図１は、本開示の例示的な実施形態における推定システム１００の概略構成を示すブロック図である。 図２は、推定システム１００の演算回路１０４による、三次元空間内の物体の形状／配置を推定する処理の手順を示すフローチャートである。 図３は、本開示による例示的な移動体管理システム１０００の基本構成例を示す図である。 図４は、３台のＡＧＶ１０ａ、１０ｂおよび１０ｃが存在する空間Ｓの一例を示す図である。 図５は、例示的な実施形態にかかる推定システム１００を有するＡＧＶ１０と、空間内の壁Ｗに描かれた複数種類のパターンとを示す図である。 図６は、撮像装置１０２によって撮影された壁Ｗの画像Ｐを示す図である。 図７は、撮像装置１０２の座標系を示す図である。 図８は、画像Ｐの座標系Ｑを示す図である。 図９は、Ｘｃ−Ｚｃ座標系に投影された点Ａと画像Ｐとの関係を説明する図である。 図１０は、Ｙｃ−Ｚｃ座標系に投影された点Ａと画像Ｐとの関係を説明する図である。 図１１は、撮像装置１０２から位置ＡまでのＺｃ軸方向の長さの算出方法を説明するための図である。

以下、添付の図面を参照しながら、本発明による、三次元空間内の物体の形状または配置を推定するための推定システムの実施形態を説明する。本明細書では、必要以上に詳細な説明は省略する場合がある。たとえば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、本発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図しない。以下の説明においては、同一または類似する構成要素には、同一の参照符号を付している。

本開示において説明する推定システムは、三次元空間内の物体の形状または配置を推定するために利用される。例示的な推定システムは、地上を走行する自動搬送車、空中を飛行するドローン等の、自律的に移動する移動体に搭載され得る。

図１は、本開示の例示的な実施形態における推定システム１００の概略構成を示すブロック図である。推定システム１００は、撮像装置１０２と、演算回路１０４と、記憶装置１０６とを備えている。また図２は、推定システム１００の演算回路１０４による、三次元空間（以下、単に「空間」と記述する。）内の物体の形状／配置を推定する処理の手順を示すフローチャートである。

まず図１を参照しながら推定システム１００の構成を説明する。なお、本実施形態では、空間内の物体として屋内の空間を仕切る壁を例示する。しかしながら壁は一例に過ぎず、柱、扉等であってもよい。また、移動可能であるが一時的に設置されている物、例えば棚、荷物、も上述の「物体」であり得る。

壁面には、予め定められた１または複数のパターンが描かれている。パターンは、例えば床面から３０ｃｍの高さに沿って引かれた線である。複数のパターンとして、高さを変えて描かれた複数の線を採用してもよい。複数の線が描かれている場合、それぞれの線は高さ以外の特徴によっても互いに区別され得る。例えば、それぞれの線は、赤、青、緑等の色の違い、一点鎖線、疎な鎖線、密な鎖線等の種類の違いによって互いに区別され得る。

撮像装置１０２はカメラであり、周囲の空間を繰り返し撮影して撮影毎に画像を生成する。撮影間隔は、例えば１００ミリ秒である。撮影間隔は、空間内の物体の形状または配置の推定精度に応じて変化させ得る。例えば、撮影間隔を短くすれば、三次元空間内の物体の形状または配置の推定精度をより高くすることができる。

撮像装置１０２として種々のカメラを採用することができる。例えば、撮像装置１０２は、単眼カメラ (広角カメラ、魚眼カメラ、全天球カメラ)である。本実施形態の技術は、単眼カメラを用いてパターンまでの距離を求めることができる。しかしながら、撮像装置１０２として単眼カメラ以外の二眼以上のカメラ、例えば複眼カメラ、を採用してもよい。例えば、複眼カメラの一方の撮像系が故障した場合に、正常に動作する他方の撮像系を利用して、本実施形態にかかる処理を行うことができる。同様に、ＲＧＢ−Ｄカメラ（深度カメラやＴｏＦカメラ）のような、対象物までの距離を求める機能を有するカメラであっても、当該機能が故障した場合などに本実施形態にかかる処理を採用してもよい。

以下に説明するように、撮影された画像には上述した少なくともパターンが含まれているとする。

演算回路１０４は半導体集積回路チップである。演算回路１０４は、撮像装置１０２の撮影間隔以内に図２に示す各ステップの処理が行うことが可能な性能を有していればよい。なお演算回路１０４は、図示されないレジスタ、キャッシュメモリ、ＲＡＭ等を有していてもよい。

記憶装置１０６は、不揮発性の半導体メモリ装置である。ただし、記憶装置１４ｃは、ハードディスクに代表される磁気記録媒体、または、光ディスクに代表される光学式記録媒体であってもよい。さらに、記憶装置１４ｃは、いずれかの記録媒体にデータを書き込みおよび／または読み出すためのヘッド装置および当該ヘッド装置の制御装置を含んでもよい。

記憶装置１０６は、ルックアップテーブル（ＬＵＴ）Ｔを格納した記憶装置である。ルックアップテーブルＴは、画像に含まれるパターンの像を構成する各画素の位置と、撮像装置１０２の位置からパターンの位置までの距離との関係を示すテーブルである。例えば、画素位置の単位はピクセルであり、距離の単位はメートルである。

図示されたルックアップテーブルＴの例から理解されるように、各画素の位置が決まると距離が決まる。つまり、各画素の位置を入力とし、距離を出力とする関数を定義することも可能である。記憶装置１０６は、ルックアップテーブルＴに代えて関数を格納してもよい。

なお図１には、推定システム１００が移動体に搭載されたときの、当該移動体の構成要素であるコントローラ１０８および駆動装置１１０が参考のため示されている。移動体のコントローラ１０８は推定システム１００の出力である周囲環境の推定結果を利用して自己位置を同定し、駆動装置１１０を制御して所望の目的地への移動を実現する。 駆動装置１１０は、移動体を移動させる機構を備えている。例えば移動体が無人搬送車である場合、駆動装置１１０は、少なくとも１台の駆動用電気モータ、および、当該モータを制御するモータ制御回路を備え得る。

ある実施形態では演算回路１０４およびコントローラ１０８は、それぞれ別個の半導体集積回路チップであるが、他の実施形態では、演算回路１０４およびコントローラ１０８は１つの半導体集積回路チップであり得る。ただしコントローラ１０８および駆動装置１１０は本開示による推定システム１００の必須の構成要素ではない。

以下、図２を参照しながら、演算回路１０４の動作を説明する。

ステップＳ２において、演算回路１０４は撮像装置１０２によって撮影された画像を取得する。ステップＳ４において演算回路１０４は、画像内から、予め定められたパターンの像を識別し、当該パターンが存在する位置（以下、「パターン像存在位置」と記述する。）を検出する。画像内に複数のパターンが含まれている場合には、演算回路１０４は、各パターンについてパターン像存在位置を検出する。

ステップＳ６において演算回路１０４は、各パターン像存在位置とルックアップテーブルＴとを利用して、撮像装置の位置から各パターンの位置までの距離を算出する。

ステップＳ８において演算回路１０４は、算出した各距離から物体の形状／配置を推定する。

物体の形状／配置の推定結果を利用することにより、上述したコントローラ１０８および駆動装置１１０を用いて移動体を移動させること等が可能になる。

予めルックアップテーブルＴを用意しておくことにより、画像内のパターン像存在位置から空間内のパターンまでの距離を推定することができる。予め空間の環境地図を用意しなくても、三次元空間内の物体の形状または配置等の周囲環境を認識することができる。

以下、移動体が無人搬送車である場合のより具体的な例を説明する。本明細書では、略語を用いて、無人搬送車を「ＡＧＶ」と記述することがある。なお、以下の説明は、矛盾がない限り、ＡＧＶ以外の移動体、例えば移動ロボット、ドローン、または有人の車両などにも同様に適用することができる。

図３は、本開示による例示的な移動体管理システム１０００の基本構成例を示している。移動体管理システム１０００は、少なくとも１台のＡＧＶ１０と、ＡＧＶ１０の運行管理を行う運行管理装置５０とを含む。本実施形態にかかる推定システム１００はＡＧＶ１０の内部に搭載されている。ＡＧＶ１０は、カメラである撮像装置１０２を有している。なお図３には、ユーザ１によって操作される端末装置２０も記載されている。

ＡＧＶ１０は、走行に磁気テープなどの誘導体が不要な「ガイドレス式」走行が可能な無人搬送台車である。ＡＧＶ１０は、自己位置推定を行い、推定の結果を端末装置２０および運行管理装置５０に送信することができる。ＡＧＶ１０は、運行管理装置５０からの指令に従って空間Ｓ内を自動走行することが可能である。ＡＧＶ１０は、さらに、人または他の移動体に追従して移動する「追尾モード」で動作することが可能である。

運行管理装置５０は各ＡＧＶ１０の位置をトラッキングし、各ＡＧＶ１０の走行を管理するコンピュータシステムである。運行管理装置５０は、デスクトップ型ＰＣ、ノート型ＰＣ、および／または、サーバコンピュータであり得る。運行管理装置５０は、複数のアクセスポイント２を介して、各ＡＧＶ１０と通信する。たとえば、運行管理装置５０は、各ＡＧＶ１０が次に向かうべき位置の座標のデータを各ＡＧＶ１０に送信する。各ＡＧＶ１０は、定期的に、たとえば１００ミリ秒ごとに自身の位置および姿勢（orientation）を示すデータを運行管理装置５０に送信する。指示した位置にＡＧＶ１０が到達すると、運行管理装置５０は、さらに次に向かうべき位置の座標のデータを送信する。ＡＧＶ１０は、端末装置２０に入力されたユーザ１の操作に応じて空間Ｓ内を走行することも可能である。端末装置２０の一例はタブレットコンピュータである。

図４は、３台のＡＧＶ１０ａ、１０ｂおよび１０ｃが存在する空間Ｓの一例を示している。いずれのＡＧＶも図中の奥行き方向に走行しているとする。ＡＧＶ１０ａおよび１０ｂは天板に載置された荷物を搬送中である。ＡＧＶ１０ｃは、前方のＡＧＶ１０ｂに追従して走行している。なお、説明の便宜のため、図４では参照符号１０ａ、１０ｂおよび１０ｃを付したが、以下では、「ＡＧＶ１０」と記述する。

再び図３を参照する。移動体管理システム１０００は、複数のアクセスポイント２を有している。複数のアクセスポイント２は、たとえばスイッチングハブ３を介して互いに接続されている。図３には２台のアクセスポイント２ａ、２ｂが記載されている。例えばＡＧＶ１０はアクセスポイント２ａと無線で接続されている。複数のアクセスポイント２はスイッチングハブ３を介して運行管理装置５０とも接続されている。

各ＡＧＶ１０と運行管理装置５０とは、１または複数のアクセスポイント２を利用してＷｉ−Ｆｉ（登録商標）に準拠した通信を行うことができる。ＡＧＶ１０が送信したデータはアクセスポイント２ａで受信され、スイッチングハブ３を介して運行管理装置５０に送信される。また、運行管理装置５０が送信したデータは、スイッチングハブ３を介してアクセスポイント２ａに転送され、アクセスポイント２ａからＡＧＶ１０に送信される。これにより、運行管理装置５０と各ＡＧＶ１０との間で双方向通信が実現される。なお、各ＡＧＶ１０と端末装置２０との間も、アクセスポイント２を介したＷｉ−Ｆｉ（登録商標）に準拠した通信が行われ、または１対１で接続されてＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した通信が行われ得る。

次に、本実施形態にかかる推定システム１００が、物体である壁に付与された１または複数のパターンを利用して距離を推定する原理を説明する。

図５は、例示的な実施形態にかかる推定システム１００を有するＡＧＶ１０と、空間内の壁Ｗに描かれた複数種類のパターンとを示している。壁Ｗには、３種類のパターンＬ１，Ｌ２およびＬ３が描かれている。パターンＬ１は密な破線であり、パターンＬ２は疎な破線であり、パターンＬ３は一点鎖線である。例えば、パターンＬ１は床面から３０ｃｍ、パターンＬ２は床面から２０ｃｍ、パターンＬ３は床面から１０ｃｍの高さに描かれているとする。推定システム１００を利用して距離を推定するにあたっては、パターンごとに床面からの高さが既知であることを前提とする。以下に説明する方法を異なる高さに設けた複数のパターンの各々に適用することにより、複数の高さの地形を同時に検知することができる。

ＡＧＶ１０に設けられた撮像装置１０２は、これらのパターンを含む周囲環境を撮影して画像を生成する。説明および図面作成の便宜のため、以下ではパターンＬ１のみが壁Ｗに描かれているとする。

図６は、撮像装置１０２によって撮影された壁Ｗの画像Ｐを示している。画像Ｐには、パターンＬ１の像Ｌ１Ｐが含まれている。ここで、撮像装置１０２の座標系を設定する。

図７は、撮像装置１０２の座標系を示す図である。撮像装置１０２の位置を原点Ｏｃとする。撮像装置１０２の座標系は、原点Ｏｃを通り、互いに直交する３本の軸Ｘｃ，Ｙｃ，Ｚｃによって張られている。軸Ｚｃは奥行方向、すなわち撮像装置１０２からみて壁Ｗの方向である。軸ＸｃおよびＹｃは軸Ｚｃに垂直な平面を張る。撮像装置１０２は、撮像装置１０２の原点Ｏｃから焦点距離ｆの位置に画像Ｐを生成する。画像Ｐを長方形としたとき、軸Ｘｃは画像Ｐの水平方向と平行であり、軸Ｙｃは画像Ｐの垂直方向と平行である。

いま、説明の便宜のため、パターンＬ１上のある点Ａに注目する。カメラ座標系における点Ａの座標を（ｘ，ｙ，ｚ）とおく。画像Ｐには、点Ａの像Ａ’が含まれている。続いて画像Ｐにも画像座標系を設定する。

図８は、画像Ｐの座標系Ｑを示す図である。軸Ｚｃ（図７）は画像Ｐの中心Ｏ’を通過する。画像Ｐの座標系Ｑは、中心Ｏ’を通り、互いに直交する２本の軸ＸpおよびＹpによって張られている。図面右方向をＸｐ軸の正方向とし、図面下方向をＹｐ軸の正方向とする。中心Ｏ’を画像Ｐの座標系の原点とする。画像Ｐの座標系Ｑにおいて、点Ａの像Ａ’の位置を（ｘ’，ｙ’）と表現する。本明細書において、像Ａ’の位置（ｘ’，ｙ’）は「パターン像存在位置」と呼ぶ。なお、パターンＬ１の像Ｌ１Ｐのような連続する像に関しては、当該像を構成する個々の画素の位置を「パターン像存在位置」と呼ぶことができる。

なお、画像の座標系を設定する方法は種々考えられる。例えば画像Ｐの左上の隅を原点として、図面右方向をＸｐ軸の正方向とし、図面下方向をＹｐ軸の正方向とする座標系Ｑ’を設定することもできる。座標系Ｑにおける原点Ｏ’（０，０）が、座標系Ｑ’では（ｍ，ｎ）と表されるとする。座標系Ｑ’を採用する場合には、以下の説明における座標系ＱのＸｐ軸の座標値に「ｍ」を加算し、Ｙｐ軸の座標値に「ｎ」を加算すればよい。

なお、上述の例では、画像Ｐは横２ｍ画素、縦２ｎ画素の計４・ｍ・ｎ画素で構成される。典型的な例では、画像Ｐは８００画素×６００画素、すなわちｍ＝４００、ｎ＝３００である。

以下、「パターン像存在位置」の検出方法を説明する。

「パターン像存在位置」の検出は、演算回路１０４によって行われる。画像Ｐを受け取った演算回路１０４は、Ｘｐ軸の方向に沿って画像Ｐを走査しながらパターン像存在位置を検出する。例えば、図８に示す座標系Ｑにおいて、画像Ｐが８００画素×６００画素のサイズの場合、演算回路１０４は、画像ＰのＸｐ軸の座標値ｘｐを、”−４００”から”＋４００”まで変化させながらパターン像存在位置を検出し、座標値（例えば（ｘ’，ｙ’））を取得する。

より具体的に説明する。

１）演算回路１０４はまず、画像Ｐのｘｐ＝−４００の位置で、パターンＬ１の像Ｌ１Ｐが存在する画素のＹｐ座標値ｙｐを取得する。つまり、パターン像存在位置の座標値は、（−４００，ｙｐ）と表現される。Ｙｐ座標値ｙｐを検出する際には、例えば、周知のパターン認識処理を用いて画像Ｐ全体における像Ｌ１Ｐの位置を検出しておき、その検出された像Ｌ１Ｐのｘｐ＝−４００におけるＹｐ座標値ｙｐを取得すればよい。ｘｐ＝−４００に沿った縦方向の画素群のみからでは、像Ｌ１Ｐの位置が認識できない場合があり得るからである。

２）次に、演算回路１０４は座標値ｘｐを＋１だけインクリメントし、インクリメント後の座標値ｘｐの位置で、同様にパターンＬ１の像Ｌ１Ｐが存在する画素のＹｐ座標値を取得する。

３）上記２）の処理を、ｘｐ＝＋４００についてのＹｐ座標値を取得するまで繰り返す。

上述した処理１）〜３）により、演算回路１０４は一枚の画像Ｐ内のパターン像存在位置を検出できる。

一枚の画像Ｐ内の全てのパターン像存在位置を検出した後は、演算回路１０４は、各パターン像存在位置の座標値（ｘｐ，ｙｐ）からパターンＬ１上の対応点までの距離を算出する。以下、距離の検出方法を説明する。

なお、演算回路１０４は、１つのパターン像存在位置を検出するたびに、パターンＬ１上の対応点までの距離を算出してもよい。いずれの方法によっても、結果として全てのパターン像存在位置のパターンＬ１上の対応点までの距離を求められればよい。そうすると、一枚の画像Ｐから、現実の空間内の対応点の座標値(Ｘ，Ｚ，３０ｃｍ)を８００個検出することができる。そしてＡＧＶ１０が、一定時間または一定距離だけ移動するごとに新たに画像Ｐを取得し、対応点の座標値を算出する。その結果、得られた点群を合成して、空間の地図を作成することが可能になる。なお、対応点の座標値が「８００個」得られる場合とは、Ｘｐ軸の方向に沿って画像Ｐを完全に横切るように、パターンＬ１の像Ｌ１Ｐが存在する場合である。像Ｌ１Ｐが画像Ｐの完全に横切らない場合には、得られる対応点の座標値は当然に８００個未満になる。

図９は、Ｘｃ−Ｚｃ座標系に投影された点Ａの像Ａ’と画像Ｐとの関係を説明する図である。理解の便宜のため、引き続き、点Ａの像Ａ’を例示して説明する。点Ａの像Ａ’の位置（撮像装置１０２の撮像面上のパターン像存在位置）は、カメラ座標系の原点Ｏｃと点Ａとを結ぶ直線Ｒ１が焦点距離f（Ｚｃ＝f）を通過する位置として求められる。よって、Ｘｃ−Ｚｃ座標系では、点Ａのパターン像存在位置はＡ’（ｘ_ｒ’，f）と表現される。ここで「ｘ_ｒ’」は、Ｘｃ軸方向に沿う、Ｚｃ軸から点Ａの像Ａ’の撮影面上の位置までの長さである。撮像面とは、撮像装置１０２のイメージセンサを意味する。撮像装置１０２のイメージセンサが格子状に配置された複数の画素によって構成されているとし、１画素のＸｃ軸方向の寸法（画素ピッチ）をｋ_ｘとする。上述したｘ_ｒ’はｘ_ｒ’＝ｘ’・ｋ_ｘ と表される。

画像Ｐが得られ、点Ａのパターン像存在位置が適切に認識されると、画像Ｐ上の点Ａの像Ａ’（ｘ’，ｆ）の値ｘ’（画素値）は、上述したパターン像存在位置の検出方法によって取得されているため既知である。また、撮像装置１０２の焦点距離ｆの値および画素ピッチｋ_ｘの値も既知である。点Ａおよび点Ａの撮像面上の位置Ａ’が直線Ｒ１上にあることを踏まえると、値ｘは以下の式によって求めることができる。
（式１） ｘ＝（z・ｘ_ｒ’）／ｆ＝（z・ｘ’・ｋ_ｘ）／ｆ

値ｚが求まれば、値ｘが求められる。そこで以下、値ｚの算出方法を説明する。

図１０は、Ｙｃ−Ｚｃ座標系に投影された点Ａと画像Ｐとの関係を説明する図である。図１０では撮像装置１０２の視野Ｆが模式的に示されている。

画像Ｐに含まれる、点Ａの像Ａ’の位置（撮像装置１０２の撮像面上のパターン像存在位置）は、カメラ座標系の原点Ｏｃと点Ａとを結ぶ直線Ｒ２が焦点距離f（Ｚｃ＝f）を通過する位置として求められる。よって、Ｙｃ−Ｚｃ座標系では、点Ａのパターン像存在位置はＡ’（ｙ_ｒ’，f）と表現される。ここで「ｙ_ｒ’」は、Ｙｃ軸方向に沿う、Ｚｃ軸から点Ａの像Ａ’の撮影面上の位置までの長さである。撮像装置１０２のイメージセンサが格子状に配置された複数の画素によって構成されているとし、１画素のＹｃ軸方向の寸法（画素ピッチ）をｋ_ｙとする。上述したｙ_ｒ’はｙ_ｒ’＝ｙ’・ｋ_ｙ と表される。

画像Ｐが得られ、点Ａのパターン像存在位置が適切に認識されると、画像Ｐ上の像Ａ’（ｘ’，ｙ’）の各値ｘ’およびｙ’は既知である。そして、既に説明したように、点Ａを含むパターンＬ１は床面から３０ｃｍの高さに引かれている。これらを利用すると、Ｚｃ軸方向の位置（距離：z）を求めることができる。

図１１は、撮像装置１０２から位置ＡまでのＺｃ軸方向の長さの算出方法を説明するための図である。なお、図示されないＸｃ軸は画像内の水平位置を規定する。Ｙｃ−Ｚｃ平面は、Ｘｃ軸を法線に持つ平面である。

図１１に示すように、長さＨｂ，ＨｃおよびＨｄをとる。

長さＨｂは、位置Ａの床面からの高さを示す。例示的な実施形態では、Ｈｂ＝３０ｃｍである。

長さＨｃは、床面からの原点Ｏｃの高さである。本実施形態では、長さＨｃは床面からの撮像装置１０２の高さであるとする。ＡＧＶ１０に搭載された状態で撮像装置１０２の高さを計測することにより、長さＨｃは既知である。本実施形態では、長さＨｃは例えば６０ｃｍである。撮像装置１０２の高さは、パターンＬ１の高さとは異なる。

長さＨｄは、長さＨｃから長さＨｂを減算した値である。長さＨｃおよびＨｂはいずれも既知であるから、長さＨｄも既知（固定値）である。長さＨｄは、位置ＡにおけるＹｃ座標の値に相当する。すなわち長さＨｄ＝位置ＡのＹｃ座標の値ｙ である。長さＨｄの固定値は、撮像装置１０２の高さＨｃに対応する画像Ｐ内の水平位置から、画像Ｐの各画素の位置までの高さ方向の画素数と対応付けられている。画素数は、撮像装置１０２の位置からパターンＬ１の位置までの距離に応じて変化する。

点Ａおよび撮像装置１０２の撮像面上のパターン像存在位置Ａ’が直線Ｒ２上にあることを踏まえると、値ｚは以下の式によって求めることができる。
（式２） ｚ＝（ｆ／ｙ_ｒ’）・ｙ
＝（ｆ／ｙ_ｒ’）・Ｈｄ
＝ｆ・（Ｈｃ−Ｈｂ）／（ｙ’・ｋ_ｙ）

上述のように、画像Ｐ上のパターン像存在位置を示すＡ’（ｘ’，ｙ’）の値ｙ’は既知である。また、撮像装置１０２の焦点距離ｆの値および画素ピッチｋ_ｙの値も既知である。式２によれば、撮像装置１０２から位置ＡまでのＺｃ軸方向の長さｚを算出できる。

算出した値ｚを式１に代入すれば、カメラ座標系における点Ａのｘ座標値も得ることができる。この結果、撮像装置１０２から点Ａまでの距離Ｄは以下の式３によって算出できる。
（式３） Ｄ＝（ｘ^２＋ｙ^２＋ｚ^２）^１／２

なお、位置ＡのＹｃ座標の値は３０ｃｍ（０．３ｍ）である。

式３は、撮像装置１０２からパターンＬ１上の位置Ａまでの直線距離であるが、例えば座標値ｙが十分小さい場合には、２つの値ｘおよびｚを用いて距離Ｄを算出してもよい。この場合には、距離Ｄは、撮像装置１０２からパターンＬ１上の位置Ａまでの水平距離を表す。

位置ＡはパターンＬ１上の任意の点である。パターンＬ１上の複数の点について上述の演算を繰り返すことにより、パターンＬ１の位置ごとに、撮像装置１０２からの距離を求めることができる。

上述の算出方法による場合には、記憶装置１０６には式１から式３までの関数を保持しておけばよい。しかしながら、図１に例示したように、記憶装置１０６にルックアップテーブルＴを設けておくこともできる。ルックアップテーブルＴは、例えば、パターン像存在位置と距離との関係を幾何学的に予め算出できる。画素位置を求めた後はルックアップテーブルＴを参照するだけで距離を取得できるため、関数を用いて都度計算する処理と比較すると、計算負荷はより小さくて済む。

なお、実測によってルックアップテーブルＴを求めることもできる。手順を以下の１〜６に示す。
１）壁Ｗの床から３０ｃｍの高さに沿ってパターンＬ１の線を引く。
２）壁Ｗから１ｍ離れた位置で、ＡＧＶ１０の撮像装置１０２を壁Ｗに向けて配置する。
３）撮像装置１０２を用いて画像を取得し、画像Ｐ内のパターン像存在位置を画素ごとに求める。
４）各画素の位置を、距離１ｍ、高さ３０ｃｍのパターンＬ１の値としてルックアップテーブルＴに記録する。
５）壁Ｗからの距離を変化させて、３）〜４）を繰り返す。
６）検出可能な距離を網羅するとルックアップテーブルＴが完成する。

なお、上述の例では、パターンＬ１のみについて説明したが、図５に示すパターンＬ２およびＬ３についても同様である。なお、いずれの例においても、パターンＬ１〜Ｌ３の高さは、撮像装置１０２の高さと一致しない。本実施形態では、撮像装置１０２の高さはＬ１よりもさらに高い位置に設定されている。

以下に、上述の実施形態にかかる方法の応用例を説明する。

上述のとおり、本実施形態においては、壁Ｗ等の物体にパターンを設ける。これらのパターンは人に煩わしさを感じさせる可能性がある。そのような可能性を考慮し、可視光の帯域以外の帯域で認識可能な塗料を用いてパターンを描いてもよい。例えば、ブラックライトを当てたときにのみ認識可能な塗料、または、赤外線カメラによって認識可能な塗料を利用すればよい。または、パターンを、例えば壁Ｗの模様として利用する、または壁Ｗの模様に紛れ込ませることにより、人が感じる煩わしさを低減できる。それにより、例えば商業施設にパターンを描き、自律移動ロボットを動作させることができる。

撮像装置１０２の分解能との関係で、高さ方向のパターンの幅を広げてもよい。これにより、撮像装置１０２からの視認距離を伸ばすことができる。

撮像装置１０２によって撮影した画像は、画像認識などの他の用途に利用してもよい。このような他の用途への利用が可能であることは、例えばＬｉｄａｒと比較すると汎用性が高いと言える。Ｌｉｄａｒによって取得されたポイントクラウドの情報は他に流量することが困難だからである。

角度によっては、画像Ｐ中のパターンが途切れることがある。その場合、演算回路１０４は、壁Ｗとの間に障害物があると検知することができる。

本開示の例示的な推定システムは、無人搬送車、ドローン等に搭載されて自律的に移動するために空間内の物体との距離を推定する際に好適に利用され得る。

１００・・・推定システム、１０２・・・撮像装置、１０４・・・演算回路、１０６・・・記憶装置、１０８・・・コントローラ、１１０・・・駆動装置

Claims (11)

1. 三次元空間内の物体の形状または配置を推定するための推定システムであって、
   前記三次元空間内の物体には、第１高さに予め定められたパターンが付与されており、
   前記第１高さとは異なる第２高さに設置され、前記三次元空間を撮影する撮像装置と、
   予め用意された関数またはルックアップテーブルを格納した記憶装置と、
   演算回路と
   を有し、
   前記演算回路は、
   （ａ）前記撮像装置によって撮影された画像を取得し、
   （ｂ）前記画像内で、前記パターンの像が存在する位置である、少なくとも１つのパターン像存在位置を検出し、
   （ｃ）各パターン像存在位置と、前記記憶装置に格納された前記関数またはルックアップテーブルとを利用して、前記撮像装置の位置から前記パターンの位置までの距離を算出し、
   （ｄ）算出した前記距離から、前記物体の形状または配置を推定し、
   前記関数または前記ルックアップテーブルは、既知の前記第１高さおよび既知の前記第２高さを利用して作成された、前記画像の各画素の位置と、前記撮像装置の位置から前記パターンの位置までの距離との関係を示している、推定システム。
2. 前記予め定められたパターンが既知の前記第１高さに付与されていること、および、前記撮像装置が既知の前記第２高さに設置されていること、により、前記第２高さと前記第１高さとの差は固定値であり、
   前記固定値は、前記第２高さに対応する前記画像内の水平位置から、前記画像の各画素の位置までの高さ方向の画素数と対応付けられ、前記画素数は、前記撮像装置の位置から前記パターンの位置までの距離に応じて変化し、
   前記関数または前記ルックアップテーブルは、前記画像の各画素の位置と、前記各画素の位置によって決定される前記画素数に対応する前記距離との関係を示している、請求項１に記載の推定システム。
3. 前記距離は、前記撮像装置から前記パターンの位置までの直線距離または水平距離である、請求項１または２に記載の推定システム。
4. 前記パターンは線である、請求項１から３のいずれかに記載の推定システム。
5. 前記物体は、前記三次元空間を仕切る壁である、請求項４に記載の推定システム。
6. 前記演算回路は、
   前記（ｃ）において、前記パターン像存在位置ごとに前記距離を算出し、
   前記（ｄ）において、前記パターン像存在位置ごとの距離から、前記物体の形状または配置を推定する、請求項１から５のいずれかに記載の推定システム。
7. 前記三次元空間内の前記物体および／または前記物体とは異なる他の物体には、前記第１高さとは異なる高さに、前記パターンとは異なる１以上の他のパターンが付与されており、
   前記記憶装置は、高さの異なるパターンごとの関数またはルックアップテーブルであって、前記パターンごとの既知の高さおよび既知の前記第２高さを利用して作成された、前記画像の各画素の位置と、前記撮像装置の位置から前記パターンの位置までの距離との関数または対応関係を示す関数またはルックアップテーブルをさらに格納する、請求項１から６のいずれかに記載の推定システム。
8. 前記パターンおよび前記１以上の他のパターンは、色が異なる線である、請求項７に記載の推定システム。
9. 前記撮像装置は単眼のカメラである、請求項１から８のいずれかに記載の推定システム。
10. 前記撮像装置は二眼以上のカメラであり、前記画像は前記カメラの１つの撮像系によって撮影される、請求項１から８のいずれかに記載の推定システム。
11. 三次元空間内の物体の形状または配置を推定する方法であって、
    前記三次元空間内の物体には、第１高さに予め定められたパターンが付与されており、
    （ａ）前記第１高さとは異なる第２高さに設置された撮像装置で前記三次元空間を撮影して画像を取得し、
    （ｂ）前記画像内で、前記パターンの像が存在する位置である、少なくとも１つのパターン像存在位置を検出し、
    （ｃ）各パターン像存在位置と、予め用意された関数またはルックアップテーブルとを利用して、前記撮像装置の位置から前記パターンの位置までの距離を算出し、
    （ｄ）算出した前記距離から、前記物体の形状を推定し、
    前記工程（ｃ）における前記関数または前記ルックアップテーブルは、既知の前記第１高さおよび既知の前記第２高さを利用して作成された、前記画像の各画素の位置と、前記撮像装置の位置から前記パターンの位置までの距離との関係を示している、方法。

Images