JP2020195336A - 位置姿勢推定装置及び位置姿勢推定方法 - Google Patents
位置姿勢推定装置及び位置姿勢推定方法 Download PDFInfo
- Publication number
- JP2020195336A JP2020195336A JP2019104149A JP2019104149A JP2020195336A JP 2020195336 A JP2020195336 A JP 2020195336A JP 2019104149 A JP2019104149 A JP 2019104149A JP 2019104149 A JP2019104149 A JP 2019104149A JP 2020195336 A JP2020195336 A JP 2020195336A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- fruit vegetable
- image
- fruit
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Image Analysis (AREA)
Abstract
Description
図1に示すように、本実施形態に係る位置姿勢推定装置10(以下、本実施形態に係る推定装置10ともいう。)は、果菜収穫装置12に適用される。果菜収穫装置12は、収穫対象の果菜14の三次元の位置及び姿勢を推定する推定装置10と、該推定装置10の推定結果に基づき動作することで果菜14を収穫するロボット16とを備える。
次に、本実施形態に係る推定装置10を含む果菜収穫装置12の動作について、図3〜図17を参照しながら説明する。図3〜図8は、果菜収穫装置12の動作を示すフローチャートである。また、図9〜図17は、図3〜図8の各フローチャート中の所定のステップに対応する図である。なお、この動作説明では、必要に応じて、図1及び図2も参照しながら説明する。
先ず、図3のステップS1において、ロボット16(図1及び図2参照)は移動を行い、収穫対象となる果菜14の手前に停止する。
次に、図3のステップS3の動作、すなわち、本実施形態に係る推定装置10の動作(位置姿勢推定方法であって、以下、「推定方法」ともいう。)について、図4〜図8のフローチャートと、図9〜図17の説明図とを参照しながら説明する。
次に、図4のステップS11の詳細について、図5のフローチャートと、図9の説明図とを参照しながら説明する。
次に、図4のステップS12の詳細について、図6のフローチャートと、図11の説明図とを参照しながら説明する。
次に、図4のステップS13の詳細について、図7のフローチャートと、図12A〜図12Cの説明図とを参照しながら説明する。
次に、図4のステップS15の詳細について、図8のフローチャートと、図13の説明図とを参照しながら説明する。
上記の説明では、ステップS11の中心位置の推定処理を実行した後に、ステップS12の特徴部の位置の抽出処理を実行する場合について説明した。本実施形態では、ステップS12の抽出処理の後にステップS11の推定処理を実行してもよいし、ステップS11、S12の各処理を同時並行で実行してもよい。
以上説明したように、本実施形態に係る推定装置10及び推定方法は、果菜14の位置及び姿勢を推定する。
18…画像取得部
20…画像処理部(中心位置推定部、特徴部抽出部)
22…信頼性評価部(推定結果評価部、抽出結果評価部)
24…姿勢推定部 56…距離画像
68…特徴部 72…中心位置
Claims (5)
- 果菜の位置及び姿勢を推定する位置姿勢推定装置において、
前記果菜の画像を取得する画像取得部と、
前記画像に基づいて、前記果菜の中心位置を推定する中心位置推定部と、
前記画像に基づいて、前記果菜の姿勢を決定付ける特徴部の位置を抽出する特徴部抽出部と、
推定された前記中心位置に対する信頼性を評価する推定結果評価部と、
抽出された前記特徴部の位置に対する信頼性を評価する抽出結果評価部と、
前記推定結果評価部及び前記抽出結果評価部の双方で信頼性が有ると評価された場合に、前記中心位置及び前記特徴部の位置から前記果菜の中心軸を推定し、推定した前記中心軸から前記果菜の姿勢を推定する姿勢推定部と、
を有する、位置姿勢推定装置。 - 請求項1記載の位置姿勢推定装置において、
前記画像取得部は、前記果菜の距離画像を取得し、
前記特徴部抽出部は、前記距離画像から、前記特徴部の三次元点群を抽出し、
前記抽出結果評価部は、前記特徴部の位置と前記中心位置との距離が前記果菜を模擬した球の半径に近く、前記特徴部の三次元点群が前記球の表面になく、且つ、該三次元点群を構成する点の数が一定数以上である場合、抽出された前記特徴部の位置に信頼性があると評価する、位置姿勢推定装置。 - 請求項1又は2記載の位置姿勢推定装置において、
前記画像取得部は、前記果菜の距離画像を取得し、
前記中心位置推定部は、前記距離画像から前記果菜の表面の三次元点群を抽出し、抽出した該三次元点群を、前記果菜を模擬した球にフィッティングすることにより、前記中心位置を推定し、
前記推定結果評価部は、前記果菜の表面の三次元点群が前記球の表面全体に広がり、前記画像取得部が前記果菜の二次元画像をさらに取得した際に、該二次元画像にフィッティングする第1円を設定し、前記球を前記二次元画像に投影した第2円を設定したときに、前記第1円と第2円との誤差が小さい場合、推定された前記中心位置に信頼性が有ると評価する、位置姿勢推定装置。 - 請求項1〜3のいずれか1項に記載の位置姿勢推定装置において、
前記特徴部は、前記果菜に連なる小果梗又は離層である、位置姿勢推定装置。 - 果菜の位置及び姿勢を推定する位置姿勢推定方法において、
画像取得部を用いて、前記果菜の画像を取得するステップと、
中心位置推定部を用いて、前記画像に基づき前記果菜の中心位置を推定し、一方で、特徴部抽出部を用いて、前記画像に基づき前記果菜の姿勢を決定付ける特徴部の位置を抽出するステップと、
推定結果評価部を用いて、推定された前記中心位置に対する信頼性を評価し、一方で、抽出結果評価部を用いて、抽出された前記特徴部の位置に対する信頼性を評価するステップと、
前記推定結果評価部及び前記抽出結果評価部の双方で信頼性が有ると評価された場合に、姿勢推定部を用いて、前記中心位置及び前記特徴部の位置から前記果菜の中心軸を推定し、推定した前記中心軸から前記果菜の姿勢を推定するステップと、
を有する、位置姿勢推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104149A JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104149A JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020195336A true JP2020195336A (ja) | 2020-12-10 |
JP7187388B2 JP7187388B2 (ja) | 2022-12-12 |
Family
ID=73647466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019104149A Active JP7187388B2 (ja) | 2019-06-04 | 2019-06-04 | 位置姿勢推定装置及び位置姿勢推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7187388B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137509A1 (ja) * | 2020-12-25 | 2022-06-30 | 日本電気株式会社 | 物体認識装置、物体認識方法、非一時的なコンピュータ可読媒体及び物体認識システム |
WO2023127000A1 (ja) * | 2021-12-27 | 2023-07-06 | 日立Astemo株式会社 | 認識システム及び物体認識方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09163853A (ja) * | 1995-12-19 | 1997-06-24 | Iseki & Co Ltd | 果実の画像処理装置 |
JP2001095348A (ja) * | 1999-10-01 | 2001-04-10 | Masateru Nagata | 果菜収穫用摘採ハンド及びそれを用いた果菜収穫方法 |
JP2012110256A (ja) * | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
JP2016115226A (ja) * | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム |
CN108470339A (zh) * | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
JP2018143214A (ja) * | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
CN109684997A (zh) * | 2018-12-20 | 2019-04-26 | 龙口盛福达食品有限公司 | 一种被遮挡圆形成熟果实的图像识别与定位方法 |
-
2019
- 2019-06-04 JP JP2019104149A patent/JP7187388B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09163853A (ja) * | 1995-12-19 | 1997-06-24 | Iseki & Co Ltd | 果実の画像処理装置 |
JP2001095348A (ja) * | 1999-10-01 | 2001-04-10 | Masateru Nagata | 果菜収穫用摘採ハンド及びそれを用いた果菜収穫方法 |
JP2012110256A (ja) * | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
JP2016115226A (ja) * | 2014-12-17 | 2016-06-23 | 日本電気株式会社 | 特徴量抽出装置、認識装置、情報処理システム、特徴量抽出方法およびプログラム |
JP2018143214A (ja) * | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
CN108470339A (zh) * | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
CN109684997A (zh) * | 2018-12-20 | 2019-04-26 | 龙口盛福达食品有限公司 | 一种被遮挡圆形成熟果实的图像识别与定位方法 |
Non-Patent Citations (2)
Title |
---|
上垣 俊平、他: "環境認識にAIを用いたトマト収穫ロボット", パナソニック技報, vol. 64, no. 1, JPN6022025869, May 2018 (2018-05-01), pages 54 - 59, ISSN: 0004811948 * |
矢口 裕明、他: "収穫装置と視覚認識に着目したトマト自動収穫ロボットの構成法", 日本ロボット学会誌, vol. 36巻10号, JPN6022025868, December 2018 (2018-12-01), pages 693 - 702, ISSN: 0004811947 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137509A1 (ja) * | 2020-12-25 | 2022-06-30 | 日本電気株式会社 | 物体認識装置、物体認識方法、非一時的なコンピュータ可読媒体及び物体認識システム |
WO2023127000A1 (ja) * | 2021-12-27 | 2023-07-06 | 日立Astemo株式会社 | 認識システム及び物体認識方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7187388B2 (ja) | 2022-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9911226B2 (en) | Method for cleaning or processing a room by means of an autonomously mobile device | |
JP6295645B2 (ja) | 物体検出方法及び物体検出装置 | |
US8446492B2 (en) | Image capturing device, method of searching for occlusion region, and program | |
US20090290758A1 (en) | Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors | |
JP4665857B2 (ja) | アームを誘導可能な移動体およびアームを誘導する方法 | |
US8644552B2 (en) | Markerless motion capturing apparatus and method | |
US9576368B2 (en) | Method and device for optically determining a position and/or orientation of an object in space using a two dimensional image to generate three dimensional information | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
JP2019194616A (ja) | 画像に基づく位置検出方法、装置、機器及び記憶媒体 | |
JP2019152924A (ja) | 自己位置同定システム、車両、及び処理装置 | |
JP7187388B2 (ja) | 位置姿勢推定装置及び位置姿勢推定方法 | |
US11614747B2 (en) | Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map | |
KR20170020419A (ko) | 평면들을 교차하여 장애물을 검출하는 장치 및 이러한 장치를 사용하는 검출 방법 | |
DK2651211T3 (en) | PROCEDURE AND APPARATUS FOR FITTING PUPPET COUPLES ON A Dairy Animal | |
CN110505398A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
KR101735325B1 (ko) | 점군 정합 장치 | |
JP2020195335A (ja) | 果菜収穫装置及び果菜収穫方法 | |
US11010916B2 (en) | Method of configuring camera position suitable for localization and robot implementing same | |
WO2020153844A1 (en) | Position-determining device | |
Bulanon et al. | Feedback control of manipulator using machine vision for robotic apple harvesting | |
CN114610035A (zh) | 回桩方法、装置及割草机器人 | |
Hoang et al. | Automatic calibration of camera and LRF based on morphological pattern and optimal angular back-projection error | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 | |
JP2022011821A (ja) | 情報処理装置、情報処理方法、移動ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |