JP2021039388A - 測位装置及び車両 - Google Patents
測位装置及び車両 Download PDFInfo
- Publication number
- JP2021039388A JP2021039388A JP2017249994A JP2017249994A JP2021039388A JP 2021039388 A JP2021039388 A JP 2021039388A JP 2017249994 A JP2017249994 A JP 2017249994A JP 2017249994 A JP2017249994 A JP 2017249994A JP 2021039388 A JP2021039388 A JP 2021039388A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- luggage
- image
- positioning device
- calculator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 26
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 230000003028 elevating effect Effects 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
Abstract
【課題】車両に設置される撮影装置を用いて、従来技術よりも高精度に車両の位置を測定する。【解決手段】車両の位置を測定する測位装置であって、撮影装置11は、車両1の進行方向に対して逆向きである車両1の後方を撮影するように車両1に設置される。特徴点抽出器31は、撮影装置11によって撮影された画像から特徴点を抽出する。位置計算器32は、画像の特徴点に基づいて車両1の位置を計算する。【選択図】図1
Description
本開示は、車両の位置を測定する測位装置と、そのような測位装置を備えた車両とに関する。
荷物運搬用の車両を用いて予め決められた領域内又は予め決められた地点間で荷物を移動させるとき、車両の位置を測定して追跡することが求められる場合がある。例えば、特許文献1は、GPS、無線LAN測位、赤外線測位などの測位技術を用いて車両の位置を測位する荷物所在管理装置を開示している。
E. Rosten et al., "Machine learning for high-speed corner detection", Proceedings of the 9th European conference on Computer Vision, Volume Part I, Pages 430-443, Springer-Verlag, 2006
C. Tomasi et al., "Detection and Tracking of Point Features, Shape and Motion from Image Streams: a Factorization Method Part 3", Technical Report CMU-CS-91-132, School of Computer Science, Carnegie Mellon University, 1991
D. Nister, "An efficient solution to the five-point relative pose problem", Proceedings in 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003
A. Singh, "Monocular Visual Odometry", [online], April 24, 2015 [2017年12月25日検索](URL:http://avisingh599.github.io/assets/ugp2-report.pdf)
H. Uchiyama et al., "Random dot markers", IEEE Virtual Reality (VR), pp.35-38, March 2011
屋外で移動する車両を測位する場合、一般的には、GPSを用いた測位方法が使用される。一方、工場又は倉庫などの屋内では、GPS衛星からの電波を受信できないので、GPSを用いた測位方法は使用できない。
屋内の測位方法として、例えば、UWB(ultra wide band)、Wi−Fi、又はBLE(Bluetooth(登録商標) Low Energy)などの無線信号を用いたものがある。しかしながら、無線信号を用いた測位方法は、無線信号を送信するための多数の無線送信機を車両の移動範囲に設置する必要があるので、初期導入コストが高い。
また、屋内の測位方法として、PDR(Pedestrian Dead Reckoning:歩行者自律航法)と呼ばれるものがある。しかしながら、PDRは位置を高精度に測定することが困難である。
従って、大きなコストを必要とすることなく、十分に高い精度で車両の位置を測定することができる測位装置が求められる。
本開示の目的は、以上の課題を解決し、撮影装置を用いて車両の位置を測定する新規な測位装置を提供することにある。
本開示の一態様によれば、
車両の位置を測定する測位装置であって、
前記車両の進行方向に対して逆向きである前記車両の後方を撮影するように前記車両に設置された撮影装置と、
前記撮影装置によって撮影された画像から特徴点を抽出する特徴点抽出器と、
前記画像の特徴点に基づいて前記車両の位置を計算する位置計算器とを備える。
車両の位置を測定する測位装置であって、
前記車両の進行方向に対して逆向きである前記車両の後方を撮影するように前記車両に設置された撮影装置と、
前記撮影装置によって撮影された画像から特徴点を抽出する特徴点抽出器と、
前記画像の特徴点に基づいて前記車両の位置を計算する位置計算器とを備える。
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
本開示によれば、車両の後方を撮影するように撮影装置を車両に設置することにより、撮影装置を用いて従来技術よりも高精度に車両の位置を測定することができる。また、進行方向に面した車両の前方に荷台を備えた車両であっても、荷物によって撮影装置の視野が遮られることなく、車両の位置を高精度に測定することができる。
以下、本開示に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
第1の実施形態.
屋外で移動する車両を測位する場合、一般的には、GPSを用いた測位方法が使用される。一方、工場又は倉庫などの屋内では、GPS衛星からの電波を受信できないので、GPSを用いた測位方法は使用できない。
屋外で移動する車両を測位する場合、一般的には、GPSを用いた測位方法が使用される。一方、工場又は倉庫などの屋内では、GPS衛星からの電波を受信できないので、GPSを用いた測位方法は使用できない。
屋内の測位方法として、例えば、UWB(ultra wide band)、Wi−Fi、又はBLE(Bluetooth(登録商標) Low Energy)などの無線信号を用いたものがある。しかしながら、無線信号を用いた測位方法は、無線信号を送信するための多数の無線送信機を車両の移動範囲に設置する必要があるので、初期導入コストが高い。
また、屋内の測位方法として、PDR(Pedestrian Dead Reckoning:歩行者自律航法)と呼ばれるものがある。しかしながら、PDRは位置を高精度に測定することが困難である。
従って、大きなコストを必要とすることなく、十分に高い精度で車両の位置を測定することができる測位装置が求められる。
第1の実施形態では、撮影装置を用いて車両の位置を測定する新規な測位装置を提供する。
図1は、第1の実施形態に係る車両1の構成を示す概略図である。車両1は、例えば、無人搬送車(AGV)又はパレット搬送ロボットなどの荷物運搬ロボットである。車両1は、車両1の進行方向に面した車体の前方に、荷物3を搭載する荷台1aを備える。車両1は、荷物3を荷台1aに積み卸しするための昇降機構1bをさらに備えてもよい。昇降機構1bは、地面又は棚などと荷台1aとの間で荷物3を地面に対して垂直方向に移動させる。車両1の車体には、車両1の進行方向に対して逆向きである車両1の後方を撮影するように撮影装置11が設置されている。また、車両1は、地面から所定の高さに撮影装置11を支持するためのマスト1cを備えてもよい。本明細書では、車両1の通常の進行方向(すなわち荷物搬送ロボットの正面)を「前方」といい、その逆方向を「後方」という。
図2は、図1の車両1を含む測位システムの構成を示すブロック図である。図2の測位システムは、少なくとも1つの車両1と、サーバ装置2とを含む。各車両1は、撮影装置11によって撮影された画像に基づいて、その位置を測定する測位装置を備える。サーバ装置2は、各車両1からそれらの位置を取得し、各車両1の位置を記録する。
車両1は、撮影装置11、処理装置12、無線通信装置13、表示装置14、及び駆動機構15を備える。
撮影装置11は、被写体の画像を生成し、かつ、撮影装置11から被写体の各点までの距離を検出するように構成される。撮影装置11は、被写体までの距離を検出するため、例えば、RGB−Dカメラなどのデプスセンサ、又はToF(Time of Flight)センサを含んでもよい。それに代わって、撮影装置11は、被写体までの距離を検出するため、所定距離だけ互いに離れた配置された2つのカメラを含むステレオカメラであってもよい。撮影装置11は、撮影した画像を処理装置12に送る。
撮影装置11は、車両1の車体に固定される。これにより、撮影装置11の位置及び/又は姿勢の変化を検出することで、車両1の位置及び/又は姿勢の変化がわかる。
撮影装置11は、前述のように、車両1の後方を撮影するように車両1の車体に設置されている。車両1が車体の前方に荷台1aを備えた場合、車両1の前方を撮影するように車両1の車体に撮影装置を設置すると、撮影装置の視界は荷物3によって遮られることがある。従って、図1に示すように車両1の後方に向けて撮影装置11を車両1に設置することにより、撮影装置11の視界を遮られにくくすることができる。
撮影装置11は、車両1が前方に移動しているとき、所定時間ごとに車両1の後方を撮影する。撮影装置11は、所定時間ごとに静止画像を撮影してもよく、動画像の一連のフレームから所定時間ごとにフレームを抽出してもよい。
処理装置12は、特徴点抽出器31及び位置計算器32を備える。特徴点抽出器31は、撮影装置11によって撮影された画像から特徴点を抽出する。特徴点は、輝度値あるいは色が周囲の画素と区別でき、その位置を正確に決定することができる点である。特徴点は、例えば、車両1が移動する建物又は通路における構造物のコーナー又はエッジ、床、壁、又は天井の模様から検出される。位置計算器32は、画像の特徴点に基づいて車両1の位置を計算する。位置計算器32は、後述するように、画像の特徴点に基づいて車両1の位置及び姿勢を計算してもよい。
特徴点抽出器31及び位置計算器32は、専用回路として実装されてもよく、汎用のプロセッサによって実行されるプログラムとして実装されてもよい。
図2の撮影装置11、特徴点抽出器31、及び位置計算器32は、車両1の位置を測定する測位装置として機能する。
無線通信装置13は、Wi−Fi又はBluetoothなどのモジュール及びその制御プログラムを備え、サーバ装置2と通信する。無線通信装置13は、位置計算器32によって計算された車両1の位置及び姿勢をサーバ装置2に送信する。
表示装置14は、車両1の動作に関する警報などを表示する点灯装置などを含む。
駆動機構15は、車両1のエンジン又はモータ、制動装置、及びそれらの制御装置などを含む。
図2のサーバ装置2は、処理装置21、無線通信装置22、入力装置23、記憶装置24、及び表示装置25を備える。処理装置21は、例えば、プロセッサ及びメモリなどを含む汎用のコンピュータである。無線通信装置22は、車両1の無線通信装置13と通信可能に接続される。入力装置23は、キーボード及びポインティングデバイスなどを含む。記憶装置24は、車両1から受信した車両1の位置及び姿勢を記録する。表示装置25は、車両1から受信した車両1の位置及び姿勢を表示する。処理装置21は、無線通信装置22を介して各車両1からそれらの位置を取得し、各車両1の位置を記憶装置24に記録し、また、各車両1の位置を表示装置25に表示する。
表示装置25は、車両1の位置計算器32によって計算された車両1の位置及び姿勢を表示する。処理装置21は、車両1の移動範囲(工場又は倉庫など)のマップを予め取得し、位置計算器32によって計算された車両1の位置及び姿勢をこのマップ上に重畳して表示装置25に表示してもよい。それに代わって、処理装置21は、車両1の移動経路に基づいて処理装置21自体によりマップを生成し、このマップを表示装置25に表示してもよい。
車両1は、サーバ装置2の制御下で駆動機構15を制御して移動するが、本明細書では、その詳細な説明を省略する。
次に、撮影装置11の動作について詳細に説明する。
位置計算器32によって実行される位置及び姿勢計算処理(後述)では、撮影装置11から近くに位置した物体(コーナー、エッジ、模様など)の特徴点を多く使うほど、車両1の位置及び姿勢を高精度で計算することができる。これは、撮影装置11から遠くに位置した物体の特徴点を使用すると、ステレオカメラでは1画素のズレで距離の差が大きくなるからである。また、RGB−Dカメラでも、一般的に、カメラから遠くの距離は誤差が大きくなる傾向がある。従って、撮影装置11は、車両1に近い地面の領域を撮影するために、地面に平行な方向よりも下方に傾けて車両1の車体に設置される。例えば、図3(a)に示すように、消失点が画面の中央に位置するように、撮影装置11の向きを設定する。
図3は、図1の撮影装置11によって撮影される一連の画像を示す図である。撮影装置11は、車両1が前方に移動しているとき、所定時間ごと(例えば時刻t0、t1、t2、…)に車両1の後方を撮影する。図3(a)は時刻t0における画像40(t0)を示し、図3(b)は時刻t1における画像40(t1)を示し、図3(c)は時刻t2における画像40(t2)を示す図である。図3(a)の画像40(t0)において、車両1の近くにおける地面の模様から特徴点Fa(t0)が検出される。図3(b)の画像40(t1)において、特徴点Fa(t0)として検出された地面の模様は、車両1の移動に応じて時刻t0の位置から移動し、特徴点Fa(t0)に対応する特徴点Fa(t1)として検出される。同様に、図3(c)の画像40(t2)において、特徴点Fa(t1)として検出された地面の模様は、車両1の移動に応じて時刻t1の位置から移動し、特徴点Fa(t1)に対応する特徴点Fa(t2)として検出される。このように、時刻t0〜t2にわたって特徴点を追跡することができる。
図4は、比較例の撮影装置によって撮影される一連の画像を示す図である。図4は、撮影装置が車両1の前方を撮影するように車両1の車体に取り付けられた場合の例を示す。撮影装置は、車両1が前方に移動しているとき、所定時間ごと(例えば時刻t0、t1、t2、…)に車両1の前方を撮影する。図4(a)は時刻t0における画像40(t0)を示し、図4(b)は時刻t1における画像40(t1)を示し、図4(c)は時刻t2における画像40(t2)を示す図である。図4(a)の画像40(t0)において、車両1にある程度近づいた地面の模様から特徴点Fb(t0)が検出される。図4(b)の画像40(t1)において、特徴点Fb(t0)として検出された地面の模様は、車両1の移動に応じて時刻t0の位置から移動し、特徴点Fb(t0)に対応する特徴点Fb(t1)として検出される。図4(c)の画像40(t2)において、特徴点Fb(t1)として検出された地面の模様は、車両1の移動に応じて画面外に移動し、特徴点Fb(t1)は追跡不能になる。
図4によれば、撮影装置が車両1の前方を撮影する場合、特徴点が車両1に次第に近づくので、特徴点に基づいて車両1の位置及び姿勢を計算する精度は、特徴点が車両1に最も近づいた瞬間に最も高くなるが、その後、特徴点はすぐに追跡不能になる。一方、図3によれば、撮影装置11が車両1の後方を撮影する場合、特徴点が車両1から次第に離れるので、特徴点を最初に検出したときに車両1の位置及び姿勢を高精度で計算することができ、その後、比較的長い時間にわたって特徴点を追跡することができる。このように、撮影装置11が車両1の後方を撮影する場合、車両1の前方を撮影する場合よりも、車両1の位置及び姿勢を高精度で計算することができる。本実施形態は、この特性を考慮して、車両1の後方を撮影するように撮影装置11を車両1の車体に取り付けることを特徴とする。
次に、特徴点抽出器31の動作について詳細に説明する。
図5は、図2の特徴点抽出器31によって実行される特徴点抽出処理を示すフローチャートである。
ステップS1において、特徴点抽出器31は、撮影装置11から、所定時間だけ離れた第1及び第2の時刻にそれぞれ撮影された(例えば、時間的に隣接したフレームの)第1及び第2の画像を取得する。
ステップS2において、特徴点抽出器31は、第1の画像から特徴点を検出する。画像から特徴点を検出するために、例えば、非特許文献1に記載のFAST(Features from Accelerated Segment Test)を使用してもよい。
ステップS3において、特徴点抽出器31は、第2の画像から、第1の画像の特徴点に対応する特徴点を検出する。画像間で対応する特徴点を検出するために、例えば、非特許文献2に記載のKLT(Kanade−Lucas−Tomasi)トラッカーを使用してもよい。
図6は、図1の特徴点抽出器31によって抽出される特徴点を示す図である。図6(a)は時刻tにおける画像40(t)から抽出される特徴点F1,F2を示し、図6(b)は時刻t’における画像40(t’)から抽出される特徴点F1’,F2’を示す図である。図6(a)の特徴点F1は座標(x1,y1)を有し、特徴点F2は座標(x2,y2)を有する。図6(b)の特徴点F1’は座標(x1’,y1’)を有し、特徴点F2’は座標(x2’,y2’)を有する。図6(b)の特徴点F1’,F2’は、図6(a)の特徴点F1,F2にそれぞれ対応する。
図5のステップS4において、特徴点抽出器31は、第1及び第2の画像における対応する特徴点の座標の組を出力する。特徴点抽出器31は、例えば、特徴点F1,F1’の座標の組(x1,y1,x1’,y1’)を出力し、特徴点F2,F2’の座標の組(x2,y2,x2’,y2’)を出力する。
次に、位置計算器32の動作について詳細に説明する。
図7は、図2の位置計算器32によって実行される位置及び姿勢計算処理を示すフローチャートである。
ステップS11において、位置計算器32は、特徴点抽出器31から、第1及び第2の画像における少なくとも5組の対応する特徴点の座標を取得する。
ステップS12において、位置計算器32は、ステップS11において取得された特徴点の座標に基づいて、3×3個の要素からなる基礎行列Eを計算する。基礎行列Eを計算するために、例えば、非特許文献3に記載の5点アルゴリズムを用いてもよい。
ステップS13において、位置計算器32は、基礎行列Eに対して特異値分解を行うことにより、第1及び第2の画像を撮影した時刻の間における車両1の移動を表す回転行列R及び並進ベクトルtを計算する。回転行列Rは、第1及び第2の画像を撮影した時刻の間における車両1の姿勢の変化を示す。並進ベクトルtは、第1及び第2の画像を撮影した時刻の間における車両1の位置の変化を示す。
回転行列R及び並進ベクトルtの計算は、例えば非特許文献4を参照して、以下のように定式化される。
基礎行列Eは、特異値分解を行うことにより、E=UΣVTとして表される。ここで、Σは、3×3個の要素からなる対角行列Σであり、U,Vは、3×3個の要素からなる直交行列である。
回転行列Rは、3×3個の要素からなる次式の行列Wを用いて、R=UW−1VTにより計算される。
また、並進ベクトルtを計算するために、3×3個の要素からなる行列T=VWΣVTが計算される。行列Tは、E=TRを満たし、次式で表される。
並進ベクトルtは、行列Tの成分により、t=(tx,ty,tz)Tとして表される。
ステップS14において、位置計算器32は、車両1の位置及び姿勢を計算して出力する。直前の時刻n−1において車両1が位置t(n−1)及び姿勢R(n−1)を有するとき、現在の時刻nにおいて、車両1の位置t(n)は、ステップS13において計算された並進ベクトルtを用いて、t(n)=t(n−1)+tR(n−1)により表される。また、現在の時刻nにおいて、車両1の姿勢R(n)は、ステップS13において計算された回転行列Rを用いて、R(n)=RR(n−1)で表される。このように、位置計算器32は、複数の並進ベクトルを累積的に加算し、複数の回転行列を累積的に乗算することにより、所定の初期位置及び初期姿勢を基準として車両1の位置及び姿勢を計算することができる。
なお、単眼カメラのみを含む撮影装置では、計算した車両1の位置をメートル単位に換算できない。撮影装置11が2つのカメラを含むステレオカメラである場合には、同じ特徴点に対してステレオマッチングを行い、事前に計測した2つのカメラ間の距離及び焦点に基づいて車両1の位置をメートル単位に換算する。撮影装置11がデプスセンサ又はToFセンサを含む場合には、車両1の位置を直接にメートル単位で取得できる。
図7の位置及び姿勢計算処理によって計算される位置及び姿勢は、車両1の移動開始位置において撮影された画像から抽出された特徴点を原点とする相対位置及び相対姿勢を表す。従って、マップの座標の原点から見た初期位置及び初期姿勢を予め取得し、この初期位置及び初期姿勢を相対位置及び相対姿勢にそれぞれ加算することで、相対位置及び相対姿勢をマップ上の位置及び姿勢(「絶対位置」及び「絶対姿勢」ともいう)に変換できる。
位置計算器32は、計算した車両1の位置を、例えば、直交座標(XYZ座標)により表してもよい。位置計算器32は、計算した車両1の位置及び時刻に基づいて、車両1の速度及び/又は加速度を計算してもよい。位置計算器32は、計算した車両1の姿勢を、ロール、ピッチ、及びヨーにより表してもよい。これにより、地面に平行な水平面内における車両1の向きだけでなく、車両1の車体の傾斜を表したり、車両1の高さ方向の移動を表したりすることができる。
図5の特徴点抽出処理では、FAST及びKLTトラッカーを用いる例を説明したが、他の方法を用いてもよい。例えば、画像処理で一般的であるSIFT(Scale Invariant Feature Transform)又はORB(Oriented FAST and Rotated BRIEF)を用いた特徴点検出処理及び特徴点マッチング処理などを用いてもよい。
図7の位置及び姿勢計算処理において、IMU(Inertial Measurement Unit)などの姿勢センサを用いて、車両1の姿勢の計算を補正してもよい。例えば、車両1がヨー方向に高速に回転していると、画像間で共通する特徴点の個数が減少し、計算される位置及び姿勢の精度が低下する。従って、車両1がヨー方向に高速に回転している場合は、IMUの角速度を用いて車両1の姿勢を推定してもよい。
図7の位置及び姿勢計算処理において、車両1の車輪の回転角の情報に基づいて、車両1の直進時の位置の計算を補正してもよい。例えば、車両1が直進移動しているとき、車輪の回転角に基づいて車両1の位置を高精度に計算することができる。従って、車両1の左右の車輪の回転数が同じときは車両1が直進移動しているとみなし、車輪の直径2rと車輪の回転数nとの積により車両1の移動距離2πrnを計算し、車両1の位置を推定してもよい。
図1の車両1によれば、車両1の後方を撮影するように撮影装置11を車両1に設置することにより、撮影装置を用いて従来技術よりも高精度に車両1の位置を測定することができる。また、図1の車両1によれば、車両1の後方を撮影するように撮影装置11を車両1に設置することにより、特徴点を最初に検出したときに車両1の位置及び姿勢を高精度で計算することができ、その後、比較的長い時間にわたって特徴点を追跡することができる。これにより、車両1の前方を撮影する場合よりも、車両1の位置及び姿勢を高精度で計算することができる。また、図1の車両1によれば、車両1の後方を撮影するように撮影装置11を車両1に設置することにより、車両1が荷物運搬ロボットのように車体の前方に荷物を搭載する構造を有していても、撮影装置11の視界を遮られにくくすることができる。
車両1は、荷物運搬ロボットに限らず、荷物3を運ぶ任意の車両であってもよい。車両1は、例えば、車体の前方に荷物を搭載するフォークリフトであってもよい。車両1の後方を撮影するように撮影装置11を車両1に設置することにより、車両1が車体の前方のフォークに荷物を搭載していても、撮影装置11の視界を遮られにくくすることができる。また、車両1は、トラックのように、車両1の後方に荷物を搭載するように構成されいていてもよい。
第1の実施形態に係る測位システムでは、以下に説明するように、車両の外部における既知の固定位置に設けられた信号源を用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正してもよい。
次に、図8〜図12を参照して、第1の実施形態の第1の変形例について説明する。第1の実施形態の第1の変形例では、車両の外部における既知の固定位置に設けられたRFIDタグなどの無線送信機を信号源として用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正する。
図8は、第1の実施形態の第1の変形例に係る車両1Aを含む測位システムの構成を示すブロック図である。図8の測位システムは、少なくとも1つの車両1Aと、サーバ装置2と、少なくとも1つのRFIDタグ4とを含む。
RFIDタグ4は、車両1Aの外部における既知の固定位置に設けられ、固定位置に関連付けられた識別信号(ID)を送信する無線送信機(信号源)である。RFIDタグ4の位置及び姿勢(「絶対位置」及び「絶対姿勢」ともいう)は、予め測定され、マップに関連付けられている。RFIDタグ4はマップ上において既知の位置及び姿勢を有するので、識別信号(ID)に基づいてマップ上におけるRFIDタグ4の位置及び姿勢を特定することができる。
車両1Aは、図2の車両1の処理装置12に代えて処理装置12Aを備え、さらに、RFIDリーダー16を備える。
RFIDリーダー16は、RFIDタグ4と通信し、RFIDタグ4の固定位置に関連付けられた位置信号を生成する位置信号生成器である。RFIDリーダー16は、RFIDタグ4から識別信号(ID)を受信する無線受信機と、RFIDタグ4の位置及び姿勢を格納した記憶装置とを含み、識別信号に基づいて位置信号を生成する。位置信号は、識別信号を送信したRFIDタグ4の位置及び姿勢と、識別信号を受信した時刻とを含む。
処理装置12Aは、図2の処理装置12の特徴点抽出器31及び位置計算器32に加えて、位置補正器33を備える。位置補正器33は、位置計算器32によって計算された位置及び姿勢(相対位置及び相対姿勢)を、位置信号に含まれるRFIDタグ4の位置及び姿勢(絶対位置及び絶対姿勢)に基づいて補正する。
図9は、図8の位置補正器33によって実行される位置及び姿勢補正処理を示すフローチャートである。
ステップS21において、位置補正器33は、RFIDリーダー16から、時刻tにおけるRFIDタグ4の位置及び姿勢を取得する。
図10は、図8の位置補正器33によって補正される車両1Aの位置及び姿勢を示す。図10(a)は補正前の車両1Aの位置Pを示し、図10(b)補正後の車両1Aの位置Qを示す図である。車両1Aは、工場又は倉庫の予め決められた経路を移動し、RFIDタグ4の近傍(実質的に、RFIDタグ4の位置)を通過する。図10(a)に示すように、車両1Aが実際にはRFIDタグ4の位置を通過するにもかかわらず、位置計算器32によって計算された位置及び姿勢の誤差により、車両1Aが点P(t)、P(t+1)、P(t+2)に位置していると判断されることがある。
図9のステップS22において、位置補正器33は、時刻t〜t+2において位置計算器32により計算された車両1Aの位置P(t)、P(t+1)、P(t+2)に基づいて移動ベクトルを計算する。これにより、点P(t)及び点P(t+2)を通るベクトルの向きがわかる。
ステップS23において、位置補正器33は、ステップS22において計算された移動ベクトルと、時刻tにおけるRFIDタグ4の姿勢を示すベクトルとの角度から、補正回転量を計算する。
ステップS24において、位置補正器33は、時刻tにおいて位置計算器32により計算された車両1Aの位置P(t)と、時刻tにおけるRFIDタグ4の位置との差から、補正移動量を計算する。
ステップS25において、位置補正器33は、補正回転量に基づいて姿勢を補正する。詳しくは、位置補正器33は、時刻t以降の各相対位置の座標値から時刻tの相対位置P(t)の座標値を減算し、次いで、減算後の座標値を補正回転量だけ回転させる。
ステップS26において、位置補正器33は、補正移動量に基づいて位置を補正する。詳しくは、位置補正器33は、ステップS25で回転された座標値に補正移動量を加算し、次いで、加算後の座標値に、時刻tの相対位置P(t)の座標値をさらに加算する。
図11は、図8の位置補正器33によって補正される前の車両1Aの位置情報を示すマップである。図12は、図8の位置補正器33によって補正された後の車両1Aの位置情報を示すマップである。符号4−1,4−2はそれぞれRFIDタグを示す。車両1Aは、実際には壁に沿ってまっすぐに移動しているにもかかわらず、位置計算器32によって計算された位置及び姿勢の誤差により、補正しなければ、図11の実線の経路で移動していると判断されることがある。RFIDタグ4を用いることにより、車両1Aの経路は図12に示すように補正される。
図8の車両1Aによれば、RFIDタグ4を用いて車両1Aの位置及び姿勢を補正することにより、車両1Aの位置及び姿勢をより正確に認識することができる。
次に、図13〜図16を参照して、第1の実施形態の第2の変形例について説明する。第1の実施形態の第2の変形例では、車両の外部における既知の固定位置に形成されたマーカー(識別画像)を信号源として用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正する。
図13は、第1の実施形態の第2の変形例に係る車両1Bを含む測位システムの構成を示すブロック図である。図13の測位システムは、少なくとも1つの車両1Bと、サーバ装置2とを含む。
車両1Bは、図2の車両1の処理装置12に代えて処理装置12Bを備える。処理装置12Bは、図8の処理装置12Aの特徴点抽出器31、位置計算器32、及び位置補正器33に加えて、マーカー認識器34を備える。マーカー認識器34は、撮影装置11によって撮影された画像から、車両1の外部における既知の固定位置に形成されたマーカーを一般的な画像処理により認識し、マーカーの固定位置に関連付けられた位置信号を生成する位置信号生成器である。マーカーは、例えば、2次元的に配列された複数の矩形又は複数のドットを含む識別画像である。複数の矩形を含む識別画像は、例えば、QRコード(登録商標)又はARコードなどであってもよい。複数のドットを含む識別画像は、例えば、非特許文献5に開示されているように、ランダムに配列されたドットを含む画像であってもよい。マーカー認識器34は、撮影装置11によって撮影された画像からマーカーを認識する画像認識器と、マーカーの位置及び向きを格納した記憶装置とを含み、マーカーに基づいて位置信号を生成する。位置信号は、マーカーの位置及び向きと、マーカーを撮影した時刻とを含む。
図14は、図13の撮影装置11によって撮影される画像40の第1の例を示す図である。図15は、図14のマーカー5を補正したマーカー5’を示す図である。マーカー5が地面に形成されている場合、車両1Bの車体に設置された撮影装置11からは、マーカー5は、図14に示すように歪んで撮影される。このため、マーカー認識器34は、撮影されたマーカー5を一般的な画像処理により補正し、図15に示すように補正されたマーカー5’を生成してもよい。
位置補正器33は、位置計算器32によって計算された位置及び姿勢(相対位置及び相対姿勢)を、位置信号に含まれるマーカーの位置及び向き(絶対位置及び絶対姿勢)に基づいて補正する。位置補正器33による位置及び姿勢補正処理の詳細は、図9を参照して説明したRFIDタグ4を用いる場合と同様である。
なお、QRコード及びARコードを用いた場合、マーカー認識器34は、撮影装置11から見たマーカーの位置及び姿勢を同時に取得できる。従って、撮影装置11から見たマーカーの位置及び姿勢を、次式により、マーカーから見た撮影装置11の位置及び姿勢に変換することができる。
ここで、XWは、マーカーから見た撮影装置11の座標系を示す。XCは、撮影装置11から見たマーカーの座標系を示す。R及びtは、前述の回転行列及び並進ベクトル(すなわち、撮影装置11から見たマーカーの姿勢及び位置)を示す。0Tは、1×3個の要素からなるゼロベクトルを示す。
マーカーから見た撮影装置11の位置及び姿勢をマーカーの位置及び姿勢に加算することにより、車両1Bの絶対位置及び絶対姿勢がわかる。マーカー認識器34又は位置補正器33は、このように、車両1Bの絶対位置及び絶対姿勢を計算してもよい。
図16は、図13の撮影装置11によって撮影される画像40の第2の例を示す図である。識別画像は、時間的に変化しない静的なマーカーに代えて、時間的に変化する輝度のパターン7であってもよい。例えば、光IDのように、画像内における濃淡パターンの時間変化から識別情報を読み取り、車両1Bの位置及び姿勢を補正してもよい。例えば、照明装置6により、時間的に変化する輝度のパターン7を車両1Bの移動経路上のある場所に照射してもよい。車両1Bは、照明装置6により照射された領域を撮影装置11により所定時間期間ごとに撮影することにより、時間的に変化する輝度のパターン7を撮影装置11により取得する。これにより、車両1Bは、マーカーを用いる場合と同様に、車両1Bの位置及び姿勢を補正することができる。
図13の車両1Bは、マーカー又はパターンを撮影するために、撮影装置11を共用することに代えて、前方、側方(壁など)、又は上方(天井など)を撮影するための、専用の追加の撮影装置を用いてもよい。
第1の実施形態によれば、車両1,1A,1B及びサーバ装置2は、無線通信装置13、22に代えて、SDカードなど、着脱可能な記憶媒体を用いてもよい。車両において計算した当該車両の位置及び姿勢を記憶媒体に書き込み、サーバ装置2において、この記憶媒体から車両の位置及び姿勢を読み出してもよい。
図13の車両1Bによれば、マーカー又はパターンを用いて車両1Bの位置及び姿勢を補正することにより、車両1Bの位置及び姿勢をより正確に認識することができる。
第1の実施形態によれば、車両の後方を撮影するように撮影装置を車両に設置することにより、撮影装置を用いて従来技術よりも高精度に車両の位置を測定することができる。また、進行方向に面した車両の前方に荷台を備えた車両であっても、荷物によって撮影装置の視野が遮られることなく、車両の位置を高精度に測定することができる。
第1の実施形態によれば、撮影装置を用いることにより、工場又は倉庫など、GPS衛星からの電波を受信できない屋内であっても、車両の位置を安価に測定することができる。無線信号を送信するための多数の無線送信機を設置する必要がないので、初期導入コストを低減できる。
第1の実施形態によれば、測位結果から得られる車両の移動経路に基づいて、業務改善を行うことができる。
第1の実施形態によれば、車両の移動距離に基づいて、保守の要否、リース契約の更改の要否、などに活用することができる。
第1の実施形態によれば、車両の移動のヒートマップに基づいて、工場又は倉庫内の通路又は棚などの配置を最適化することができる。
第1の実施形態によれば、車両のすれ違い箇所を可視化することで、経路及び通路幅を見直して安全性を向上させることができる。
第2の実施形態.
車両の位置を追跡することにより、車両の移動経路及び移動距離などがわかる。従来、車両の移動距離を車両の仕事量とみなし、移動距離に基づいて車両の保守の要否を判断することが考えられている。しかしながら、車両にかかる負荷の大きさは、車両が荷物を運んでいるか否かに応じて異なるので、車両の移動経路及び移動距離(すなわち車両の位置)に基づくだけでは、車両の保守の要否を正確に判断することができない。従って、従来よりも正確に車両の仕事量を表す新たな指標が求められる。
車両の位置を追跡することにより、車両の移動経路及び移動距離などがわかる。従来、車両の移動距離を車両の仕事量とみなし、移動距離に基づいて車両の保守の要否を判断することが考えられている。しかしながら、車両にかかる負荷の大きさは、車両が荷物を運んでいるか否かに応じて異なるので、車両の移動経路及び移動距離(すなわち車両の位置)に基づくだけでは、車両の保守の要否を正確に判断することができない。従って、従来よりも正確に車両の仕事量を表す新たな指標が求められる。
第2の実施形態では、車両の動作を監視して、従来よりも正確に車両の仕事量を測定する車両監視装置を提供する。
図17は、第2の実施形態に係る車両1Cの構成を示す概略図である。車両1Cは、図1の車両1と同様に構成され、さらに、荷台に搭載された荷物3を撮影する撮影装置17を備える。
図18は、図17の車両1Cを含む車両監視システムの構成を示すブロック図である。図18の測位システムは、少なくとも1つの車両1Cと、サーバ装置2とを含む。各車両1Cは、車両1Cの仕事量を計算する車両監視装置を備える。サーバ装置2は、各車両1からそれらの仕事量を取得し、各車両1の仕事量を記録する。
車両1Cは、図2の車両1の処理装置12に代えて処理装置12Cを備え、さらに、撮影装置17を備える。
撮影装置17は、前述のように、荷台に搭載された荷物3を撮影するように車両1の車体の後方のマスト1cなどに設置されている。撮影装置17は、例えば、RGBカメラ又はデプスセンサを含む。
処理装置12Cは、図2の処理装置12の特徴点抽出器31及び位置計算器32に加えて、距離計算器35、体積計算器36、及び仕事量計算器37を備える。前述のように、撮影装置11、特徴点抽出器31、及び位置計算器32は、車両1Cの位置を測定する測位装置として機能する。距離計算器35は、位置計算器32によって計算された車両1Cの位置に基づいて車両1Cの移動距離を計算する。体積計算器36は、撮影装置17によって撮影された画像に基づいて荷物3の体積を計算する。仕事量計算器37は、移動距離及び荷物3の体積に基づいて車両1Cの仕事量を計算する。
撮影装置11,17、特徴点抽出器31、位置計算器32、距離計算器35、体積計算器36、及び仕事量計算器37は、車両1Cの仕事量を計算する車両監視装置として機能する。
第2の実施形態において、撮影装置17を「第1の撮影装置」ともいい、撮影装置11を「第2の撮影装置」ともいう。
図19は、図18の体積計算器36による荷物3の体積の計算を説明するための図である。図19(a)はRGBカメラである撮影装置17によって撮影される第1の画像を示し、図19(b)は撮影装置17によって撮影される第2の画像を示し、図19(c)は図19(a)及び図19(b)の差分の画像を示す図である。撮影装置17は、例えば、被写体の色を取得するRGBカメラであってもよい。この場合、体積計算器36は、荷台1aに荷物3が搭載されていないときに撮影装置17によって撮影された画像(図19(a))と、荷台1aに荷物3が搭載されたときに撮影装置17によって撮影された画像(図19(b))との差分に基づいて、荷物3を示す部分画像を抽出する(図19(c))。体積計算器36は、部分画像の大きさに基づいて、例えば、部分画像が画面を占める割合に基づいて、荷物3の体積を計算する。例えば、予め決められた寸法を有するコンテナを荷物3として搭載する場合、体積計算器36は、部分画像の大きさに基づいて、コンテナの個数を計算し、コンテナの個数に基づいて荷物3の総体積を計算してもよい。
図20は、図18の体積計算器36による荷物3の体積の計算を説明するための図である。図20(a)はデプスセンサである撮影装置17によって撮影される画像を示し、図20(b)は図20(a)から生成された荷物3の画像を示す図である。撮影装置17は、被写体の画像を生成し、かつ、撮影装置17から被写体の各点までの距離を検出するデプスセンサであってもよい。体積計算器36は、撮影装置17によって検出された撮影装置17から荷台までの距離及び撮影装置17から荷物3までの距離に基づいて、撮影装置17によって撮影された画像から、荷物3を示す部分画像を抽出する。言い換えると、体積計算器36は、荷物3が存在する距離の範囲内のデータのみを抽出して荷物3を特定する。体積計算器36は、部分画像の大きさと、撮影装置17から荷物3までの距離とに基づいて、荷物3の体積を計算する。同じ荷物3であっても、撮影装置17から荷物3までの距離が近いほど部分画像は大きく写り、撮影装置17から荷物3までの距離が遠いほど部分画像は小さく写る。従って、デプスセンサで取得した距離に基づいて、撮影装置17から荷物3までの距離が近いときは荷物3の体積を減少させ、撮影装置17から荷物3までの距離が遠いときは荷物3の体積を増大させる。
仕事量計算器37は、車両1Cの移動距離及び荷物3の体積に基づいて車両1Cの仕事量を計算する。車両1Cの仕事量は、例えば、車両1Cの移動距離及び荷物3の体積の積として計算される。
仕事量計算器37は、地面に対して水平方向の移動よりも地面に対して垂直方向の移動に大きく重み付けして車両1Cの仕事量を計算してもよい。垂直方向の移動は重力がかかるので、水平方向の移動よりも仕事量が大きくなる。例えば、x,yを水平面内の移動距離とし、zを垂直方向の移動距離とし、αを1より大きい定数であるとするとき、xyzの各方向の移動距離に対して√(x2+y2+α×z2)のように重み付けして車両1Cの仕事量を計算してもよい。これにより、車両1Cの仕事量の大きさをより正確に評価することができる。
次に、図21〜図30を参照して、車両1Cの仕事量に基づいて車両1Cのさまざまな態様を監視することについて説明する。
図21は、図18の車両1C又はサーバ装置2によって計算される、1台の車両1Cの通算の仕事量を示すグラフである。車両1Cの仕事量を時間的に積分し、使用開始日から積算することで、車両1Cの総仕事量が計算される。この総仕事量はサーバ装置2の表示装置25に表示される。この総仕事量が所定のしきい値を超えたとき、例えば、点検及び修理などの保守作業を実施してもよい。
図22は、図18のサーバ装置2によって計算される、複数の車両1Cの合計仕事量を示すグラフである。サーバ装置2は、各車両1Cからそれらの仕事量を収集する。図22において、単位仕事量は、1台の車両1Cの標準的な仕事量を示す。例えば、なんらかの作業のために4台の車両1Cが稼働中であり、それらの合計仕事量が3台分の仕事量以下であるとき、1台の車両1Cが余剰であり、3台の車両1Cで作業を実施可能であると判断してもよい。図22に示すように、複数の車両1Cの合計仕事量を計算することにより、作業に必要な車両1Cの台数をユーザ(例えばサーバ装置2の管理者)に提示することができる。
図23は、図17の車両1Cにおける荷物3の脱落を示す概略図である。車両1Cの荷台に搭載された荷物3のうちの少なくとも1つが脱落した場合、撮影装置17から荷物までの距離が急激に増大し、このことは、荷物3の体積の急激な減少として体積計算器36により検出される。
図24は、図18の車両1C又はサーバ装置2によって実行される、荷物3の脱落の検出を説明するための図である。図24(a)は車両1Cの移動経路を示すマップであり、図24(b)は荷物3の体積の変化を示すグラフである。荷物3の集積場51において車両1Cの荷台1aに荷物3が搭載され、これにより、図24(b)に示すように、荷物3の体積が増大する。仕事量計算器37は、車両1Cが荷物3を搭載して移動しているとき(すなわち、車両1Cが目的地の他の集積場に到着する前)、かつ、荷物3の体積が急激に減少したときに、例えば表示装置14を介して、荷物3の脱落について警報を発生してもよい。荷物3の集積場以外で荷物3の体積が変化しているならば、荷物3の脱落の可能性がある。サーバ装置2は、車両1Cが荷物3を搭載して移動しているとき、かつ、荷物3の体積が急激に減少したときに、荷物3の体積が急激に減少した位置を記録してもよい。荷物3が搬送中に脱落した場所を可視化することにより、荷物3をより確実に搬送することができる。
図25は、図18の車両1C又はサーバ装置2によって実行される、荷物3の脱落の可能性の検出を説明するための図である。図25(a)は荷物3の体積の変化を示すグラフであり、図25(b)は車両1Cの加速度の変化を示すグラフである。図25(a)に示すように、荷物3の体積が非ゼロ値であれば、車両1Cの荷台に荷物3が搭載されていることがわかる。また、仕事量計算器37は、車両1Cの加速度をさらに計算してもよい。仕事量計算器37は、車両1Cが荷物3を搭載して移動しているとき、かつ、車両1Cの加速度が急激に減少したときに(例えば急ブレーキしたとき)、例えば表示装置14を介して、荷物3の脱落の可能性について警報を発生してもよい。車両1Cの加速度が急激に減少すると、荷物3の脱落の可能性がある。サーバ装置2は、車両1Cが荷物3を搭載して移動しているとき、かつ、車両1Cの加速度が急激に減少したときに、荷物3の脱落の可能性があった位置を記録してもよい。荷物3の脱落の可能性を可視化することにより、荷物3をより確実に搬送することができる。また、車両1Cの加速度に基づいて、荷物3の脱落をリアルタイムで検出することができる。
図26は、図18の車両1C又はサーバ装置2によって実行される、危険な区間の検出を説明するための図である。図26(a)は車両1Cの移動経路を示すマップであり、図26(b)は荷物3の体積の変化を示すグラフであり、図26(c)は車両1Cの速度の変化を示すグラフである。車両1Cが大きな体積の荷物3を荷台に搭載して高速に移動している場合、小さな体積の荷物3を荷台に搭載して(又は荷物なしで)低速に移動している場合よりも、衝突などの事故が起きた際の危険性が高いと考えられる。仕事量計算器37は、車両1Cの速度及び荷物3の体積の積が所定のしきい値(「第1のしきい値」ともいう)を超えたときに、例えば表示装置14を介して、事故が起きた際の危険性について警報を発生してもよい。サーバ装置2は、車両1Cの速度及び荷物3の体積の積が所定のしきい値(「第1のしきい値」)を超えた位置を記録してもよい。危険な区間であると判断された場所は、例えば、通路の幅を広げるなど、危険性を下げるための対策が行われてもよい。危険な区間を可視化することにより、荷物3をより安全に搬送することができる。
仕事量計算器37は、車両1Cの速度に代えて、車両1Cの加速度及び荷物3の体積の積が所定のしきい値を超えたときに、例えば表示装置14を介して、事故が起きた際の危険性について警報を発生してもよい。サーバ装置2は、車両1Cの速度に代えて、車両1Cの加速度及び荷物3の体積の積が所定のしきい値を超えた位置を記録してもよい。
図27は、図18のサーバ装置2によって実行される、車両1Cのルーティングを説明するためのグラフである。サーバ装置2は、荷物3の体積が変化することなく移動した移動経路を記録する。車両1Cの荷台に搭載された荷物3の体積が長距離にわたって変化していない場合、長距離にわたって荷台から荷物3が出し入れされず、作業に無駄があると考えられる。サーバ装置2は、車両1Cが荷台に荷物3を出し入れすることなく移動した移動経路の移動距離が所定の(「第2のしきい値」ともいう)を超えたとき、現在の移動距離よりも短い移動距離を有する移動経路を探索する。
サーバ装置2は、例えばダイクストラ法を用いて、移動経路における出発位置、到着位置、及び各コーナーにノードを設定し、エッジを通るために必要なコストとして距離を設定することにより、最短ルートを計算する。
図28は、図18のサーバ装置2によって実行される、車両1Cのルーティングの第1の例を説明するための図である。図28(a)は変更前の車両1Cの移動経路を示すマップであり、図28(b)は変更後の車両1Cの移動経路を示すマップである。集積場51,52の間で荷物3を搬送する場合を考える。図28(a)は、車両1Cに荷物3を搭載した状態が長く、遠回りしている場合を示す。この場合、サーバ装置2は、図28(b)に示すように、最適ルートを探索して車両1Cをこのルートに沿って移動させてもよい。
図29は、図18のサーバ装置2によって実行される、車両1Cのルーティングの第2の例を説明するための図である。図29(a)は変更前の車両1Cの移動経路を示すマップであり、図29(b)は変更後の車両1Cの移動経路を示すマップである。図29(a)は、集積場51,52の間で頻繁に荷物3をやり取りするが、それらの間の距離が遠い場合を示す。この場合、サーバ装置2は、集積場51,52の位置を変更することを、サーバ装置2の表示装置25に表示してもよい。
このように、荷物3の体積が変化することなく移動した移動経路を記録することにより、車両1Cの移動経路を最適化したり、集積場51,52又は荷物3の配置を最適化したりすることができる。
図30は、図18のサーバ装置2によって実行される、凹凸のある区間の検出を説明するための図である。図30(a)は車両1Cの移動経路を示すマップであり、図30(b)は荷物3の体積の変化を示すグラフである。サーバ装置2は、車両1Cの移動中に、所定のしきい値(「第3のしきい値」ともいう)を超えた移動距離にわたって荷物3の体積が変動し続けた範囲を記録する。荷物3の体積が少しだけ変動し続けている場合、車両1Cの荷台に搭載された荷物3が地面の凹凸によって振動させられていると考えられる。サーバ装置2は、例えば、荷物3の体積の単位時間当たりの分散を計算し、分散が所定のしきい値を越えたとき、凹凸のある区間であると判断してもよい。凹凸のある区間を可視化することにより、路面整備の要否を判断することができる。
以上に説明したように、車両1Cの移動距離及び荷物3の体積の積を車両1Cの仕事量として用いることにより、車両の保守の要否など、車両1Cのさまざまな態様を、移動距離のみを用いる場合よりも正確に評価することができる。
車両1Cは、荷物3の脱落などについて警報を発生するために、表示装置14に代えて、スピーカ又はブザーなど、音声による警報装置を備えてもよい。
次に、図31〜図32を参照して、第2の実施形態の第1の変形例について説明する。
第2の実施形態は、第1の実施形態に係る測位装置を備えることに限定されず、従来技術に係る任意の測位装置を備えてもよい。
図31は、第2の実施形態の第1の変形例に係る車両1Dの構成を示す概略図である。車両1Dは、図1の撮影装置11に代えて、測位装置18を備える。
図32は、図31の車両1Dを含む車両監視システムの構成を示すブロック図である。図32の測位システムは、少なくとも1つの車両1Dと、サーバ装置2とを含む。各車両1Dは、図18の車両1Cの撮影装置11及び処理装置12Cに代えて、測位装置18及び処理装置12Dを備える。測位装置18は、車両1Dの外部における既知の固定位置に設けられたRFIDタグなどの無線送信機を信号源として用いて、車両1Dの位置を測定する。処理装置12Dは、図18の処理装置12Cから特徴点抽出器31及び位置計算器32を除去した構成を有する。
図32の車両監視システムによれば、図18の車両監視システムと同様に、車両1Dの移動距離及び荷物3の体積の積を車両1Dの仕事量として用いることにより、車両の保守の要否など、車両1Dのさまざまな態様を従来技術よりも正確に評価することができる。
次に、図33〜図34を参照して、第2の実施形態の第2の変形例について説明する。
第2の実施形態は、車両の移動距離及び荷物の体積の積を車両の仕事量として用いることに限定されず、車両の移動距離及び荷物の重量の積を車両の仕事量として用いてもよい。
図33は、第2の実施形態の第2の変形例に係る車両1Eの構成を示す概略図である。車両1Eは、図17の撮影装置17に代えて、後述するように、荷台1aに搭載された荷物3の重量を測定する重量計を備える。
図34は、図33の車両1Dを含む車両監視システムの構成を示すブロック図である。図34の測位システムは、少なくとも1つの車両1Eと、サーバ装置2とを含む。各車両1Eは、図18の車両1Cの撮影装置17、体積計算器36、仕事量計算器37に代えて、重量計19及び仕事量計算器37Eを備える。重量計19は、荷台1aに搭載される荷物3の重量を測定する。仕事量計算器37Eは、車両1Eの移動距離及び荷物の重量に基づいて車両1Eの仕事量を計算する。
重量計19は、例えば、昇降機構1bに組み込まれてもよい。荷物3を荷台1aに積みこむとき、昇降機構1bにより荷物3を地面から荷台1aの高さまで上昇させる。このとき、昇降機構1bに組み込まれた重量計19により荷物3の重量を測定する。
車両1Eがフォークリフトである場合、例えば、フォークリフトのフォーク及びマスト(荷物を昇降させる機構)に重量計を組み込んでもよい。
図34に示すように車両に重量計を組み込むことに代えて、車両に重量計を組み込まず、荷物3の体積から荷物3の重量を計算してもよい。図17の車両1C又は図32の車両1Dにおいて、仕事量計算器37は、荷物3の体積に荷物3の密度を乗算して荷物3の重量を計算し、車両の移動距離及び荷物3の重量に基づいて車両の仕事量を計算してもよい。
第2の実施形態の第2の変形例によれば、車両の移動距離及び荷物3の重量の積を車両の仕事量として用いることにより、車両の移動距離及び荷物3の体積の積を車両の仕事量として用いる場合と同様に、車両の保守の要否など、車両のさまざまな態様を従来技術よりも正確に評価することができる。
第2の実施形態によれば、車両の移動距離及び荷物の体積の積、又は、車両の移動距離及び荷物の重量の積を車両の仕事量として用いることにより、車両の保守の要否など、車両のさまざまな態様を、移動距離のみを用いる場合よりも正確に評価することができる。
第2の実施形態によれば、車両の仕事量(活動量)を適切に可視化することができる。
第2の実施形態によれば、工場又は倉庫内の経路、棚、又は車両の配置を最適化することができる。
第2の実施形態によれば、危険な箇所を特定し、安全性を向上することができる。
本開示の第1の実施形態に係る測位装置及び車両は、撮影装置を用いて車両の位置を高精度に測定することに利用可能である。また、進行方向に面した車両の前方に荷台を備えた車両において、荷物によって撮影装置の視野が遮られることなく、車両の位置を高精度に測定することに利用可能である。
本開示の第2の実施形態に係る車両監視装置、車両、及び車両監視システムは、車両の動作を監視して、正確に車両の仕事量を測定することに利用可能である。
1,1A〜1E…車両、
1a…荷台、
1b…昇降機構、
1c…マスト、
2…サーバ装置、
3…荷物、
4,4−1,4−2…RFIDタグ、
5…マーカー、
6…照明装置、
7…時間的に変化する輝度のパターン、
11…撮影装置、
12、12A〜12E…処理装置、
13…無線通信装置、
14…表示装置、
15…駆動機構、
16…RFIDリーダー、
17…撮影装置、
18…測位装置、
19…重量計、
21…処理装置、
22…無線通信装置、
23…入力装置、
24…記憶装置、
25…表示装置、
31…特徴点抽出器、
32…位置計算器、
33…位置補正器、
34…マーカー認識器、
35…距離計算器、
36…体積計算器、
37,37E…仕事量計算器、
40〜45…画像、
51,52…荷物3の集積場。
1a…荷台、
1b…昇降機構、
1c…マスト、
2…サーバ装置、
3…荷物、
4,4−1,4−2…RFIDタグ、
5…マーカー、
6…照明装置、
7…時間的に変化する輝度のパターン、
11…撮影装置、
12、12A〜12E…処理装置、
13…無線通信装置、
14…表示装置、
15…駆動機構、
16…RFIDリーダー、
17…撮影装置、
18…測位装置、
19…重量計、
21…処理装置、
22…無線通信装置、
23…入力装置、
24…記憶装置、
25…表示装置、
31…特徴点抽出器、
32…位置計算器、
33…位置補正器、
34…マーカー認識器、
35…距離計算器、
36…体積計算器、
37,37E…仕事量計算器、
40〜45…画像、
51,52…荷物3の集積場。
Claims (10)
- 車両の位置を測定する測位装置であって、
前記車両の進行方向に対して逆向きである前記車両の後方を撮影するように前記車両に設置された撮影装置と、
前記撮影装置によって撮影された画像から特徴点を抽出する特徴点抽出器と、
前記画像の特徴点に基づいて前記車両の位置を計算する位置計算器とを備えた、
測位装置。 - 前記撮影装置は、前記車両が前方に移動しているとき、所定時間ごとに前記車両の後方を撮影する、
請求項1記載の測位装置。 - 前記特徴点抽出器は、所定時間だけ離れた第1及び第2の時刻にそれぞれ撮影された第1及び第2の画像における特徴点の座標を抽出する、
請求項1又は2記載の測位装置。 - 前記位置計算器は、
前記第1及び第2の画像における少なくとも5組の対応する特徴点の座標に基づいて、前記車両の移動を表す並進ベクトル及び回転行列を計算し、
複数の前記並進ベクトルを累積的に加算し、複数の前記回転行列を累積的に乗算することにより、所定の初期位置及び初期姿勢を基準として前記車両の位置及び姿勢を計算する、
請求項3記載の測位装置。 - 前記車両の外部における既知の固定位置に設けられた信号源を用いて、前記固定位置に関連付けられた位置信号を生成する位置信号生成器と、
前記位置計算器によって計算された位置を前記位置信号に基づいて補正する位置補正器とをさらに備えた、
請求項1〜4のうちの1つに記載の測位装置。 - 前記信号源は、前記固定位置に関連付けられた識別信号を送信する無線送信機を含み、
前記位置信号生成器は、前記識別信号を受信する無線受信機を含み、前記識別信号に基づいて前記位置信号を生成する、
請求項5記載の測位装置。 - 前記信号源は、前記固定位置に形成された識別画像を含み、
前記位置信号生成器は、前記撮影装置によって撮影された画像から前記識別画像を認識する画像認識器を含み、前記識別画像に基づいて前記位置信号を生成する、
請求項5記載の測位装置。 - 前記識別画像は、2次元的に配列された複数の矩形又は複数のドットを含むマーカーである、
請求項7記載の測位装置。 - 前記識別画像は、時間的に変化する輝度のパターンである、
請求項7記載の測位装置。 - 請求項1〜9のうちの1つに記載の測位装置を備えた車両。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249994A JP2021039388A (ja) | 2017-12-26 | 2017-12-26 | 測位装置及び車両 |
PCT/JP2018/043359 WO2019130931A1 (ja) | 2017-12-26 | 2018-11-26 | 測位装置及び車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249994A JP2021039388A (ja) | 2017-12-26 | 2017-12-26 | 測位装置及び車両 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021039388A true JP2021039388A (ja) | 2021-03-11 |
Family
ID=67063047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249994A Pending JP2021039388A (ja) | 2017-12-26 | 2017-12-26 | 測位装置及び車両 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021039388A (ja) |
WO (1) | WO2019130931A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022190694A1 (ja) | 2021-03-11 | 2022-09-15 | 国立研究開発法人情報通信研究機構 | 基板、基板の製造方法、及び単位セルの製造方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021157123A1 (ja) * | 2020-02-07 | 2021-08-12 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5147036B2 (ja) * | 2006-03-08 | 2013-02-20 | 株式会社国際電気通信基礎技術研究所 | 位置推定装置、位置推定方法及び位置推定プログラム |
JP2008009916A (ja) * | 2006-06-30 | 2008-01-17 | Toyota Central Res & Dev Lab Inc | 計測装置及び計測方法 |
JP6259233B2 (ja) * | 2013-09-11 | 2018-01-10 | 学校法人常翔学園 | 移動ロボット、移動ロボット制御システム、及びプログラム |
JP2017207942A (ja) * | 2016-05-19 | 2017-11-24 | 株式会社リコー | 画像処理装置、自己位置推定方法、及び、プログラム |
-
2017
- 2017-12-26 JP JP2017249994A patent/JP2021039388A/ja active Pending
-
2018
- 2018-11-26 WO PCT/JP2018/043359 patent/WO2019130931A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022190694A1 (ja) | 2021-03-11 | 2022-09-15 | 国立研究開発法人情報通信研究機構 | 基板、基板の製造方法、及び単位セルの製造方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019130931A1 (ja) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106874854B (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
JP7336752B2 (ja) | 測位装置及び移動体 | |
EP3905213B1 (en) | Positioning apparatus and moving body | |
US20160335509A1 (en) | Entity Recognition System | |
KR20120118478A (ko) | 교통 신호 맵핑 및 검출 | |
US20230213939A1 (en) | System and method for collaborative sensor calibration | |
CN112740274A (zh) | 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法 | |
CN110186459B (zh) | 导航方法、移动载体及导航系统 | |
US20220067973A1 (en) | Camera calibration apparatus and operating method | |
CN113033280A (zh) | 拖车姿态估计的系统和方法 | |
US20220128998A1 (en) | Navigation method, moving carrier and navigation system | |
WO2018057629A1 (en) | Autonomous vehicles performing inventory management | |
US20220366599A1 (en) | Positioning system and moving body for measuring position of moving body using image capturing apparatus | |
CN109946703A (zh) | 一种传感器姿态调整方法及装置 | |
US20220366596A1 (en) | Positioning system for measuring position of moving body using image capturing apparatus | |
WO2019130931A1 (ja) | 測位装置及び車両 | |
US20220076446A1 (en) | Camera orientation estimation | |
WO2020137311A1 (ja) | 測位装置及び移動体 | |
US11897387B2 (en) | Vehicle monitoring device, vehicle, and vehicle monitoring system | |
JP7486095B2 (ja) | 車両監視方法、車両監視装置、車両、及び車両監視システム | |
CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
US20200125111A1 (en) | Moving body control apparatus | |
CN113632029B (zh) | 信息处理装置、程序及信息处理方法 | |
Zheng et al. | Integrated navigation system with monocular vision and LIDAR for indoor UAVs | |
KR102316012B1 (ko) | 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법 |