JP2010066934A - 3次元モデルを用いた自己位置認識手法及び自己位置認識システム - Google Patents
3次元モデルを用いた自己位置認識手法及び自己位置認識システム Download PDFInfo
- Publication number
- JP2010066934A JP2010066934A JP2008231599A JP2008231599A JP2010066934A JP 2010066934 A JP2010066934 A JP 2010066934A JP 2008231599 A JP2008231599 A JP 2008231599A JP 2008231599 A JP2008231599 A JP 2008231599A JP 2010066934 A JP2010066934 A JP 2010066934A
- Authority
- JP
- Japan
- Prior art keywords
- self
- model
- image
- camera image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 13
- 238000009434 installation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000696 magnetic material Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】移動空間の3次元モデルを作成する手段21と、所定時間における移動体の位置及び方向からカメラ画像を取得する手段10と、所定時間における目標軌道上の目標位置及び方向を算出する手段17と、3次元モデルから目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成する手段15と、この複数のモデル画像とカメラ画像との色情報の一致度を算出する手段16と、この各一致度に基づいて、移動体の位置及び方向を認識する手段18とを備えた。
【選択図】図3
Description
予め記憶された目標軌道に沿って移動空間を移動する移動体の自己位置認識手法であって、移動空間の3次元モデルを作成するステップと、所定時間における移動体の位置及び方向からカメラ画像を取得するステップと、所定時間における目標軌道上の目標位置及び方向を算出するステップと、3次元モデルから目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成するステップと、この複数のモデル画像とカメラ画像との色情報の一致度を算出するステップと、この各一致度に基づいて、移動体の位置及び方向を認識するステップとを含む。
予め記憶された目標軌道に沿って移動空間を移動する移動体の自己位置認識システムであって、移動空間の3次元モデルを作成する手段と、所定時間における移動体の位置及び方向からカメラ画像を取得する手段と、所定時間における目標軌道上の目標位置及び方向を算出する手段と、3次元モデルから目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成する手段と、この複数のモデル画像とカメラ画像との色情報の一致度を算出する手段と、この各一致度に基づいて、移動体の位置及び方向を認識する手段とを備えた。
図1は、自己位置認識システムを搭載した移動体を示す図である。本実施形態では、移動体1は無人搬送車からなる。図1の通り、移動体1は、前方に向けてカメラ2を備える。カメラ2は、床面Fから一定のカメラ高さHに設置される。移動体1は、コントローラ3を備える。
図2は、目標軌道を説明するための図である。図2の通り、移動体1は、コントローラ3が操舵モータ40及び走行モータ50の駆動を制御して、予め記憶された2次元座標(XY座標)及び方向からなる目標軌道ST(図2の二点鎖線)に沿って操舵、減速、加速、停止及び進行等する。従って、コントローラ3は、所定時間間隔Δtごとの所定時間・・・t−1、t、t+1・・・において、移動体1が目標軌道STに沿って移動するための目標軌道上の目標位置(Xt,Yt)及び方向θtを算出可能とする。なお、本実施形態では、所定時間間隔Δtは、例えば約0.3秒である。
第1実施形態について説明する。
図3は、第1実施形態の自己位置認識システムを示すブロック図である。図4は、第1実施形態の自己位置認識手法を説明するフローチャート図である。図5は、第1実施形態の比較するモデル画像を説明するための図である。図6は、移動空間内の3次元モデルを示す概念図である。
第2実施形態について説明する。なお、第1実施形態と同じ内容については、詳細な説明を省略する。
図12は、第2実施形態の自己位置認識システムを示すブロック図である。図13及び図14は、第2実施形態の自己位置認識手法を説明するフローチャート図である。
図15は、基準線を規定したカメラ画像を示す図である。基準線規定手段12は、二値化したカメラ画像Rit(図8)における、対象物体(ラック)60と正面壁との境界によって形成される境界垂直線を基準線rRLt、lRLtと規定する(図13のステップS23)。本実施形態では、対象物体60は、垂直方向及び水平方向に延設する支柱等を組み立てて形成されるラック(棚)なので、境界垂直線が現れる。図15の通り、カメラ画像Rit内での座標系をIX−IY座標とし、基準線rRLt、lRLtの位置はIX軸方向の座標値とする。
次に、基準線rRLt、lRLtの拘束を行って、移動体1の方向θMを認識する手順について説明する。先ず、所定時間t−1において認識した移動体1の方向θLを基準方向とする。基準方向θLを中心とする任意の角度Ψを探索角度範囲とする。この探索角度範囲Ψを所定数(本例では7つ)に等分割し、φi(i=1,2,・・・,7)からなる集合Sφを決定する。Sφを(4)式に示す。
次に、移動体1の位置(XM,YM)を認識する手順について説明する。任意の変化量δとして、上記で求めた位置(XθM,YθM)を中心とする位置集合(Sx,Sy)を作成する。集合Sxを(5)式とし、集合Syを(6)式とする。従って、位置集合(Sx,Sy)は、集合Sxと集合Syとの全ての組合わせである9(=3×3)箇所の位置となり、位置(XθM,YθM)の周囲位置となる。なお、変化量δは、実空間における約5cmとする。
上記より認識されたモデル空間内での移動体1の位置(XM,YM)及び方向θMから、実空間内での移動体1の位置(XR,YR)及び方向θR をそれぞれ(7)式及び(8)式により決定する(図14のステップS35)。
障害物認識手段19は、自己位置(XR,YR)及び方向θR を認識した後、カメラ画像Ritとモデル画像ViMに基づいて障害物認識を行う(図14のステップS36)。モデル画像ViMは、移動体1の位置(XM,YM)及び方向θMに基づいて作成する。
目標軌道追従手段20は、上記によって認定した移動体1の位置(XR,YR)及び方向θRに基づいて、予め記憶された目標軌道ST(走行路)に沿って移動体1が追従するように、操舵モータ40及び走行モータ50を制御する(図14のステップS37)。
上記実施形態では、移動体1に前方に向けたカメラ2からのカメラ画像に基づいて自己位置を認識しているが、後方に向けたカメラ2からのカメラ画像を用いたり、前方からのカメラ画像と組合わせて認識してもよい。
2 カメラ
3 コントローラ
6 移動空間
60 対象物体
61 通路
Rit カメラ画像
Vit モデル画像
rRLt、lRLt 基準線
θM モデル空間における移動体の方向
XM,YM モデル空間における移動体の位置
θR 実空間における移動体の方向
XR,YR 実空間における移動体の位置
Claims (14)
- 予め記憶された目標軌道に沿って移動空間を移動する移動体の自己位置認識手法であって、前記移動空間の3次元モデルを作成するステップと、所定時間における前記移動体の位置及び方向からカメラ画像を取得するステップと、前記所定時間における前記目標軌道上の目標位置及び方向を算出するステップと、前記3次元モデルから前記目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成するステップと、この複数のモデル画像と前記カメラ画像との色情報の一致度を算出するステップと、この各一致度に基づいて、前記移動体の位置及び方向を認識するステップとを含むことを特徴とする自己位置認識手法。
- 前記移動空間に対象物体を設置するステップと、前記カメラ画像における前記対象物体の境界垂直線を基準線に規定するステップと、前記カメラ画像における前記基準線の位置を特定するステップと、前記3次元モデルにおける前記基準線の位置を特定するステップと、この特定した各基準線の位置に基づいて、前記3次元モデルから任意の位置及び方向における複数のモデル画像を形成するステップとを含むことを特徴とする請求項1に記載の自己位置認識手法。
- 前記対象物体が通路を形成する通路形成体であることを特徴とする請求項1又は2に記載の自己位置認識手法。
- 前記カメラ画像及び前記モデル画像を二値化処理するステップを含むことを特徴とする請求項1〜3のいずれかに記載の自己位置認識手法。
- 前記各一致度から2次又は3次曲線に近似して、前記曲線の極大値に基づいて前記移動体の位置及び方向の双方又は一方を認識するステップを含むことを特徴とする請求項1〜4のいずれかに記載の自己位置認識手法。
- 前記移動空間の入出庫管理システムからの情報に基づいて、前記3次元モデルにおける前記対象物体の形状を変更するステップを含むことを特徴とする請求項1〜5のいずれかに記載の自己位置認識手法。
- 前記カメラ画像及び前記モデル画像における前記対象物体以外からなる検出領域を抽出するステップと、この各検出領域を比較するステップと、この比較値と所定の閾値とに基づいて前記移動体の方向における障害物を認識するステップとを含むことを特徴とする請求項1〜6のいずれかに記載の自己位置認識手法。
- 予め記憶された目標軌道に沿って移動空間を移動する移動体の自己位置認識システムであって、前記移動空間の3次元モデルを作成する手段と、所定時間における前記移動体の位置及び方向からカメラ画像を取得する手段と、前記所定時間における前記目標軌道上の目標位置及び方向を算出する手段と、前記3次元モデルから前記目標位置及び方向の所定範囲内における複数の位置及び方向のモデル画像を形成する手段と、この複数のモデル画像と前記カメラ画像との色情報の一致度を算出する手段と、この各一致度に基づいて、前記移動体の位置及び方向を認識する手段とを備えたことを特徴とする自己位置認識システム。
- 前記移動空間に対象物体を設置する手段と、前記カメラ画像における前記対象物体の境界垂直線を基準線に規定する手段と、前記カメラ画像における前記基準線の位置を特定する手段と、前記3次元モデルにおける前記基準線の位置を特定する手段と、この特定した各基準線の位置に基づいて、前記3次元モデルから任意の位置及び方向における複数のモデル画像を形成する手段とを備えたことを特徴とする請求項8に記載の自己位置認識システム。
- 前記対象物体が通路を形成する通路形成体であることを特徴とする請求項8又は9に記載の自己位置認識システム。
- 前記カメラ画像及び前記モデル画像を二値化処理する手段を備えたことを特徴とする請求項8〜10のいずれかに記載の自己位置認識システム。
- 前記各一致度から2次又は3次曲線に近似して、前記曲線の極大値に基づいて前記移動体の位置及び方向の双方又は一方を認識する手段を備えたことを特徴とする請求項8〜11のいずれかに記載の自己位置認識システム。
- 前記移動空間の入出庫管理システムからの情報に基づいて、前記3次元モデルにおける前記対象物体の形状を変更する手段を備えたことを特徴とする請求項8〜12のいずれかに記載の自己位置認識システム。
- 前記カメラ画像及び前記モデル画像における前記対象物体以外からなる検出領域を抽出する手段と、この各検出領域を比較する手段と、この比較値と所定の閾値とに基づいて前記移動体の方向における障害物を認識する手段とを備えたことを特徴とする請求項8〜13のいずれかに記載の自己位置認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008231599A JP4806435B2 (ja) | 2008-09-10 | 2008-09-10 | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008231599A JP4806435B2 (ja) | 2008-09-10 | 2008-09-10 | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010066934A true JP2010066934A (ja) | 2010-03-25 |
JP4806435B2 JP4806435B2 (ja) | 2011-11-02 |
Family
ID=42192477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008231599A Active JP4806435B2 (ja) | 2008-09-10 | 2008-09-10 | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4806435B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012252477A (ja) * | 2011-06-02 | 2012-12-20 | Hitachi Ltd | 画像検索装置及び画像検索システム |
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
JP2013182523A (ja) * | 2012-03-02 | 2013-09-12 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理システム、画像処理方法 |
WO2014125719A1 (ja) * | 2013-02-15 | 2014-08-21 | 村田機械株式会社 | 搬送台車、搬送台車の駆動制御方法、及び搬送台車の駆動制御プログラム |
JP2018010412A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社リコー | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2019207618A (ja) * | 2018-05-30 | 2019-12-05 | 日本電気株式会社 | 情報処理システム |
JP2020149349A (ja) * | 2019-03-13 | 2020-09-17 | 三菱電機株式会社 | 点検支援システムおよび点検支援方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10281743A (ja) * | 1997-04-01 | 1998-10-23 | Komatsu Ltd | 共焦点光学装置及び該装置の合焦位置算定方法 |
JP2001072208A (ja) * | 1999-08-31 | 2001-03-21 | Nippon Seiki Co Ltd | 倉庫内無人車両誘導装置 |
JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
-
2008
- 2008-09-10 JP JP2008231599A patent/JP4806435B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10281743A (ja) * | 1997-04-01 | 1998-10-23 | Komatsu Ltd | 共焦点光学装置及び該装置の合焦位置算定方法 |
JP2001072208A (ja) * | 1999-08-31 | 2001-03-21 | Nippon Seiki Co Ltd | 倉庫内無人車両誘導装置 |
JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
JP2008039611A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012252477A (ja) * | 2011-06-02 | 2012-12-20 | Hitachi Ltd | 画像検索装置及び画像検索システム |
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
JP2013182523A (ja) * | 2012-03-02 | 2013-09-12 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理システム、画像処理方法 |
WO2014125719A1 (ja) * | 2013-02-15 | 2014-08-21 | 村田機械株式会社 | 搬送台車、搬送台車の駆動制御方法、及び搬送台車の駆動制御プログラム |
JPWO2014125719A1 (ja) * | 2013-02-15 | 2017-02-02 | 村田機械株式会社 | 搬送台車、搬送台車の駆動制御方法、及び搬送台車の駆動制御プログラム |
JP2018010412A (ja) * | 2016-07-12 | 2018-01-18 | 株式会社リコー | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2019207618A (ja) * | 2018-05-30 | 2019-12-05 | 日本電気株式会社 | 情報処理システム |
JP2020149349A (ja) * | 2019-03-13 | 2020-09-17 | 三菱電機株式会社 | 点検支援システムおよび点検支援方法 |
JP7246211B2 (ja) | 2019-03-13 | 2023-03-27 | 三菱電機株式会社 | 点検支援システムおよび点検支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4806435B2 (ja) | 2011-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4806435B2 (ja) | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム | |
CN106950972B (zh) | 一种无人搬运车agv及其路线纠偏方法 | |
CN108152823B (zh) | 一种基于视觉的无人驾驶叉车导航系统及其定位导航方法 | |
US9201425B2 (en) | Human-tracking method and robot apparatus for performing the same | |
US7336805B2 (en) | Docking assistant | |
CN110837814B (zh) | 车辆导航方法、装置及计算机可读存储介质 | |
CN110304386B (zh) | 机器人及机器人丢码后的重新定位方法 | |
US20220189055A1 (en) | Item detection device, item detection method, and industrial vehicle | |
WO2012166970A1 (en) | Deep lane navigation system for automatic guided vehicles | |
CN113342004B (zh) | 基于人工智能和视觉感知的多agv小车调度方法及系统 | |
Tsalatsanis et al. | Vision based target tracking and collision avoidance for mobile robots | |
EP4111285B1 (en) | Method for controlling an automatic guided vehicle and control system adapted to execute the method | |
KR101059927B1 (ko) | 무인 이송장치의 팔레트 위치 인식 장치 및 방법 | |
Rasmussen et al. | Perception and control strategies for driving utility vehicles with a humanoid robot | |
JP2009176031A (ja) | 自律移動体,自律移動体制御システムおよび自律移動体の自己位置推定方法 | |
KR20220050483A (ko) | 무인 반송 차량의 위치 인식 장치 및 방법 | |
CN115244585A (zh) | 用于控制货场上的车辆的方法、行驶控制单元和车辆 | |
Wu et al. | Adaptive ORB feature detection with a variable extraction radius in RoI for complex illumination scenes | |
Wang et al. | Autonomous pallet localization and picking for industrial forklifts based on the line structured light | |
CN115494836A (zh) | 检测系统、处理装置、移动体、检测方法以及存储介质 | |
Kazama et al. | Fundamental study on road detection method using multi-layered distance data with HOG and SVM | |
JP7482808B2 (ja) | 移動体の制御方法、移動体及びプログラム | |
Venkatesh et al. | Vision-Based Automated Guided Vehicle | |
US20190352144A1 (en) | Movable hoisting apparatus, arrangement and method | |
EP4206846A1 (en) | Control method for mobile object, mobile object, movement control system, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110803 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110812 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4806435 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140819 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |