JP2020023397A - 搬送装置 - Google Patents
搬送装置 Download PDFInfo
- Publication number
- JP2020023397A JP2020023397A JP2019145554A JP2019145554A JP2020023397A JP 2020023397 A JP2020023397 A JP 2020023397A JP 2019145554 A JP2019145554 A JP 2019145554A JP 2019145554 A JP2019145554 A JP 2019145554A JP 2020023397 A JP2020023397 A JP 2020023397A
- Authority
- JP
- Japan
- Prior art keywords
- pallet
- distance
- transport device
- image
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 17
- 230000032258 transport Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000003028 elevating effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
図10は、変形例1に係るコントローラ310Aの一部のブロック図である。この変形例では、2個の識別器340,342が用いられる。前段の識別器340は、距離画像D2を入力として受け、パレットまたはパレットの特定部位を識別可能に構成される。後段の識別器342は、識別器340の識別結果を利用して、穴を特定するように学習されている。たとえば前段の識別器340によりパレットが特定されると、距離画像D2のうち、パレットの部分が、後段の識別器342に入力される。後段の識別器342は、局所的な距離画像から、穴を特定可能に構成される。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。この変形例では、処理部350にパレットの幾何学的な情報を保持しなくてよいという利点がある。
識別器340を多層のニューラルネットワークで構成し、深層学習を用いてもよい。
測距センサによってある物体(被写体)を撮影する際に、物体と測距センサの位置関係によって、物体の見え方は大きく異なる。図11は、パレット800と測距センサ302の相対的な位置関係を示す図である。たとえばパレット800m#(#=l,c,r)は、測距センサ302と同じ高さに位置しており、パレット800u#は、測距センサ302より高い位置に存在しており、パレット800l#は、測距センサ302より低い位置に存在している。
図15(a)〜(c)は、変形例4に係るコントローラの処理を説明する図である。図15(a)は、あるシチュエーションにおいて得られた距離画像D2を示す。この距離画像D2が識別器340に入力され、パレット800の特定部位801が検出される。ただしその位置検出精度はそれほど高くはない。たとえば距離画像D2は複数の範囲900_1〜900_N(この例ではN=9)に分割されており、識別器340は、複数の範囲900_1〜900_Nのうち、特定部位801を含む範囲900を、注目領域(ROI:Region Of Interest)とし、ROIを部分距離画像D4としてパターンマッチング部360に供給する。またROIの位置を示す位置情報D5を、テンプレート画像生成部362に出力する。
テンプレート画像生成部362は、テンプレート画像D6を、位置情報D5にもとづいてリアルタイムで生成してもよい。テンプレート画像生成部362には、パレット800の3次元モデルのデータを格納しておく。そして、仮想的な3次元空間内に、測距センサとパレット800のモデルを配置し、測距センサによって撮影されるであろう特定部分の距離画像を生成することができる。この場合、さらに位置検出精度を高めることができる。
変形例3や4では、測距センサ302とパレット800の、水平方向/垂直方向に関する相対的な位置関係の違いについて議論した。変形例6では、測距センサ302とパレット800の奥行き方向の距離の違いについて検討する。測距センサ302からの見え方は、パレット800と測距センサ302の奥行き方向の距離によっても変化する。たとえばパレット800と測距センサ302が正対する場合であっても、それらの距離が変化すると、特定部位801の距離画像の大きさが変化する。
実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト(ハンドパレット)やAGV(Automatic Guided Vehicle)、フォークローダー(フォーク付きのホイルローダー)など、パレットを取り扱うさまざまな搬送装置に適用することができる。
602 車体
604 フォーク
606 昇降体
608 マスト
610 前輪
612 後輪
700 操縦席
702 イグニッションスイッチ
704 ステアリングホイール
706 リフトレバー
708 アクセルペダル
710 ブレーキペダル
712 前後進レバー
714 ダッシュボード
300 フォークリフト
302 測距センサ
303 カメラ
304 通知手段
306 ディスプレイ
308 スピーカ
310 コントローラ
320 マイコン
330 距離画像取得部
340 識別器
350 処理部
360 パターンマッチング部
362 テンプレート画像生成部
D1 測距データ
D2 距離画像
D3 画像データ
D4 部分距離画像
D5 位置情報
D6 テンプレート画像
800 パレット
801 特定部位
802 穴
804 桁
Claims (9)
- 測距センサと、
(i)前記測距センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、(ii)前記距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように機械学習により構成された識別器を有する演算部と、
を備えることを特徴とする搬送装置。 - 前記検出対象は、前記パレットの穴と穴を区切る桁を含むことを特徴とする請求項1に記載の搬送装置。
- 前記演算部は、予め保持している前記パレットの幾何学的な情報にもとづいて、前記穴の位置を特定することを特徴とする請求項2に記載の搬送装置。
- 前記検出対象を特定した後に、その結果を利用して、前記距離画像にもとづいて前記パレットの穴を特定することを特徴とする請求項1に記載の搬送装置。
- 前記パレットの穴の位置を、オペレータに視覚的に表示する表示部をさらに備えることを特徴とする請求項1から4のいずれかに記載の搬送装置。
- 現在の状態で前記搬送装置を走行させたときに、フォークが前記パレットの穴に挿入可能か否かをオペレータに通知する通知部をさらに備えることを特徴とする請求項1から4のいずれかに記載の搬送装置。
- 前記演算部は、前記識別器によって前記距離画像の中から前記検出対象の存在位置を示す位置情報を生成し、
前記演算部は、前記位置情報に応じたテンプレート画像を利用したテンプレートマッチングにより、前記検出対象の位置を相対的に高い精度で検出することを特徴とする請求項1から6のいずれかに記載の搬送装置。 - 複数の前記テンプレート画像が予め用意されており、
前記演算部は、前記識別器の出力にもとづいて前記検出対象の位置を特定し、前記複数のテンプレート画像の中から、特定した位置に対応するひとつを選択することを特徴とする請求項7に記載の搬送装置。 - 前記演算部は、前記テンプレート画像を、前記検出対象の存在位置にもとづいてリアルタイムで生成することを特徴とする請求項7に記載の搬送装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148358 | 2018-08-07 | ||
JP2018148358 | 2018-08-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020023397A true JP2020023397A (ja) | 2020-02-13 |
JP7300646B2 JP7300646B2 (ja) | 2023-06-30 |
Family
ID=69618232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145554A Active JP7300646B2 (ja) | 2018-08-07 | 2019-08-07 | 搬送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7300646B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220051461A (ko) * | 2020-10-19 | 2022-04-26 | 시그널시스템 주식회사 | 파렛트 홀 검출 장치 및 검출 방법 |
WO2023033550A1 (ko) * | 2021-08-31 | 2023-03-09 | 주식회사 파인에스엔에스 | 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법 |
US12055943B2 (en) | 2020-08-31 | 2024-08-06 | Mitsubishi Logisnext Co., LTD. | Pallet detection device, forklift, pallet detection method, and program |
JP7544649B2 (ja) | 2021-03-31 | 2024-09-03 | 住友重機械工業株式会社 | 荷役システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
JP2005346654A (ja) * | 2004-06-07 | 2005-12-15 | Glory Ltd | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
JP2007084162A (ja) * | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | フォークリフトにおける荷役作業支援装置 |
JP2010189130A (ja) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | フォークリフトの荷役支援装置 |
JP2015225453A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
US20160090283A1 (en) * | 2014-09-25 | 2016-03-31 | Bt Products Ab | Fork-Lift Truck |
JP2017151650A (ja) * | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | 物体状態特定方法、物体状態特定装置、および、搬送車 |
US20170316253A1 (en) * | 2016-04-27 | 2017-11-02 | Crown Equipment Corporation | Pallet detection using units of physical length |
-
2019
- 2019-08-07 JP JP2019145554A patent/JP7300646B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
JP2005346654A (ja) * | 2004-06-07 | 2005-12-15 | Glory Ltd | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
JP2007084162A (ja) * | 2005-09-20 | 2007-04-05 | Toyota Industries Corp | フォークリフトにおける荷役作業支援装置 |
JP2010189130A (ja) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | フォークリフトの荷役支援装置 |
JP2015225453A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
US20160090283A1 (en) * | 2014-09-25 | 2016-03-31 | Bt Products Ab | Fork-Lift Truck |
JP2017151650A (ja) * | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | 物体状態特定方法、物体状態特定装置、および、搬送車 |
US20170316253A1 (en) * | 2016-04-27 | 2017-11-02 | Crown Equipment Corporation | Pallet detection using units of physical length |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12055943B2 (en) | 2020-08-31 | 2024-08-06 | Mitsubishi Logisnext Co., LTD. | Pallet detection device, forklift, pallet detection method, and program |
KR20220051461A (ko) * | 2020-10-19 | 2022-04-26 | 시그널시스템 주식회사 | 파렛트 홀 검출 장치 및 검출 방법 |
KR102409821B1 (ko) * | 2020-10-19 | 2022-06-20 | 시그널시스템 주식회사 | 파렛트 홀 검출 장치 및 검출 방법 |
JP7544649B2 (ja) | 2021-03-31 | 2024-09-03 | 住友重機械工業株式会社 | 荷役システム |
WO2023033550A1 (ko) * | 2021-08-31 | 2023-03-09 | 주식회사 파인에스엔에스 | 영상 분석 기반 지게차 인터페이스 제공 장치 및 그 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7300646B2 (ja) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7300646B2 (ja) | 搬送装置 | |
KR102629651B1 (ko) | 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출 | |
KR102326097B1 (ko) | 물리적 길이의 단위를 사용하는 팔렛 검출 | |
JP6013884B2 (ja) | 物体検出装置及び物体検出方法 | |
JP6233345B2 (ja) | 路面勾配検出装置 | |
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
CN104956400B (zh) | 移动对象识别器、车辆及识别移动对象的方法 | |
JP6649796B2 (ja) | 物体状態特定方法、物体状態特定装置、および、搬送車 | |
US11410430B2 (en) | Surround view system having an adapted projection surface | |
US20200311964A1 (en) | Object detection device and object detection method | |
CN110893085A (zh) | 清洁机器人及其充电路径决定方法 | |
US12065341B2 (en) | Operation assisting apparatus for load handling vehicle | |
JP7029728B2 (ja) | 搬送システム、搬送装置、計算機、学習方法 | |
JPWO2019163378A5 (ja) | ||
JP4466963B2 (ja) | 車両前方画像表示装置及び方法 | |
US20230237809A1 (en) | Image processing device of person detection system | |
JP7192706B2 (ja) | 位置姿勢推定装置 | |
CN112611360A (zh) | 物体检测装置、车辆及物体检测处理方法 | |
WO2022004495A1 (ja) | 障害物検出装置及び障害物検出方法 | |
JP7236705B2 (ja) | 搬送装置の学習に使用する教師データの生成方法 | |
JP2018178878A (ja) | 産業車両 | |
JP2020142903A (ja) | 画像処理装置、および制御プログラム | |
JP2022152449A (ja) | 搬送装置の学習に使用する教師データの生成方法 | |
EP4216177A1 (en) | Image processing device of person detection system | |
JP7057053B1 (ja) | 荷役システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |