JP2020077231A - 位置検出プログラム、位置検出方法及び位置検出装置 - Google Patents
位置検出プログラム、位置検出方法及び位置検出装置 Download PDFInfo
- Publication number
- JP2020077231A JP2020077231A JP2018210460A JP2018210460A JP2020077231A JP 2020077231 A JP2020077231 A JP 2020077231A JP 2018210460 A JP2018210460 A JP 2018210460A JP 2018210460 A JP2018210460 A JP 2018210460A JP 2020077231 A JP2020077231 A JP 2020077231A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- learning model
- position detection
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40609—Camera to monitor end effector as well as object to be handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
Description
(X,Y)=(s1(x1,y1)+s2(x2,y2)+・・・+sn(xn,yn))/(s1+s2+・・・+sn)
により計算する。ここで、nは検出位置グループに含まれる検出位置候補の数であり、si(i=1,2,・・・,n)は検出位置候補iの信頼度であり、(xi,yi)は検出位置候補iのバウンディングボックスの左上の点の座標である。バウンディングボックスの右下の点の座標も同様に計算される。
2 アーム
3 グリッパ
4 対象物体
5 ピッキングロボットシステム
6 カメラ
7 ロボット制御装置
10 位置検出装置
10a アンサンブル学習モデル
11 学習モデル
12 単純形状モデル
13 学習用データセット
32 変換部
50 コンピュータ
51 メインメモリ
52 CPU
53 LANインタフェース
54 HDD
55 スーパーIO
56 DVI
57 ODD
91 テンプレート画像
92 入力画像
93 探索窓
Claims (8)
- コンピュータに、
それぞれが相似形でない、単純形状の立体のデータを複数取得し、
取得した複数の前記データを用いて学習を行い、
撮像手段により撮像された画像を取得し、
前記学習に基づいて生成された第1学習モデルを用いて、取得した前記画像から物体の位置を検出する、
処理を実行させることを特徴とする位置検出プログラム。 - 前記コンピュータに、
前記位置から前記物体の把持位置を検出する
処理をさらに実行させることを特徴とする請求項1に記載の位置検出プログラム。 - 前記第1学習モデルは、複数の前記データをそれぞれ用いて学習を行って生成された複数の第2学習モデルに基づくアンサンブル学習モデルであることを特徴とする請求項1又は2に記載の位置検出プログラム。
- 前記第2学習モデルは、深層学習を用いる畳み込み型のニューラルネットワークであって、前記画像から物体の検出位置を示すバウンディングボックスを位置候補として検出物体の確からしさを示す信頼度を対応付けて複数作成し、
前記アンサンブル学習モデルは、第1の数の第2学習モデルからそれぞれ第2の数の位置候補を取得し、前記第1の数に前記第2の数を乗じた数の位置候補のバウンディングボックスの中に重なる領域がある場合には、重なる領域を有する位置候補をグループ化し、グループ化した位置候補の信頼度の合計をグループの信頼度とし、信頼度が最大であるグループ又は位置候補のバウンディングボックスを前記物体の位置の情報として出力することを特徴とする請求項3に記載の位置検出プログラム。 - 前記データは、シミュレータにより前記単純形状の立体のモデルから作成されたデータであることを特徴とする請求項1〜4のいずれか1つに記載の位置検出プログラム。
- 前記単純形状は、円柱、直方体、立方体、球及びバネを含むことを特徴とする請求項1〜5のいずれか1つに記載の位置検出プログラム。
- コンピュータが、
それぞれが相似形でない、単純形状の立体のデータを複数取得し、
取得した複数の前記データを用いて学習を行い、
撮像手段により撮像された画像を取得し、
前記学習に基づいて生成された第1学習モデルを用いて、取得した前記画像から物体の位置を検出する、
処理を実行することを特徴とする位置検出方法。 - それぞれが相似形でない、単純形状の立体のデータを複数取得し、取得した複数の前記データを用いて学習を行うモデル生成部と、
撮像手段により撮像された画像を取得し、前記学習に基づいて生成された第1学習モデルを用いて、取得した前記画像から物体の位置を検出する検出部と
を有することを特徴とする位置検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210460A JP7200610B2 (ja) | 2018-11-08 | 2018-11-08 | 位置検出プログラム、位置検出方法及び位置検出装置 |
US16/668,708 US11069086B2 (en) | 2018-11-08 | 2019-10-30 | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210460A JP7200610B2 (ja) | 2018-11-08 | 2018-11-08 | 位置検出プログラム、位置検出方法及び位置検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077231A true JP2020077231A (ja) | 2020-05-21 |
JP7200610B2 JP7200610B2 (ja) | 2023-01-10 |
Family
ID=70550293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210460A Active JP7200610B2 (ja) | 2018-11-08 | 2018-11-08 | 位置検出プログラム、位置検出方法及び位置検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11069086B2 (ja) |
JP (1) | JP7200610B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7350218B1 (ja) | 2022-04-15 | 2023-09-25 | 三菱電機株式会社 | 学習モデル生成装置、情報処理装置、学習モデル生成方法および情報処理方法 |
DE112021005280T5 (de) | 2020-12-25 | 2023-11-02 | Fanuc Corporation | Maschinelle Lernvorrichtung und ein maschinelles Lernverfahren |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11557026B2 (en) * | 2020-06-05 | 2023-01-17 | Advanced Micro Devices, Inc. | Automated artifact detection |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116599A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
-
2018
- 2018-11-08 JP JP2018210460A patent/JP7200610B2/ja active Active
-
2019
- 2019-10-30 US US16/668,708 patent/US11069086B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116599A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112021005280T5 (de) | 2020-12-25 | 2023-11-02 | Fanuc Corporation | Maschinelle Lernvorrichtung und ein maschinelles Lernverfahren |
JP7350218B1 (ja) | 2022-04-15 | 2023-09-25 | 三菱電機株式会社 | 学習モデル生成装置、情報処理装置、学習モデル生成方法および情報処理方法 |
WO2023199502A1 (ja) * | 2022-04-15 | 2023-10-19 | 三菱電機株式会社 | 学習モデル生成装置、情報処理装置、学習モデル生成方法および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11069086B2 (en) | 2021-07-20 |
US20200151906A1 (en) | 2020-05-14 |
JP7200610B2 (ja) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3401815B1 (en) | Determining an architectural layout | |
RU2700246C1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
Harris et al. | Applying hand gesture recognition for user guide application using MediaPipe | |
US11069086B2 (en) | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus | |
Wang et al. | Perception of demonstration for automatic programing of robotic assembly: framework, algorithm, and validation | |
US10937150B2 (en) | Systems and methods of feature correspondence analysis | |
Hu et al. | Physical interaction: Reconstructing hand-object interactions with physics | |
Panda et al. | Single and multiple view support order prediction in clutter for manipulation | |
CN116249607A (zh) | 用于机器人抓取三维物体的方法和装置 | |
Dong et al. | A review of robotic grasp detection technology | |
US10304258B2 (en) | Human feedback in 3D model fitting | |
Gao et al. | Parallel dual-hand detection by using hand and body features for robot teleoperation | |
CN111385813B (zh) | 用于重复活动序列中的循环持续时间测量的系统和方法 | |
Bose et al. | In-situ enhanced anchor-free deep CNN framework for a high-speed human-machine interaction | |
WO2018135326A1 (ja) | 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法 | |
Lee et al. | Robust multithreaded object tracker through occlusions for spatial augmented reality | |
Huang et al. | Hand gesture based intuitive CAD interface | |
Bhole et al. | Implementation of Virtual Mouse Control System Using Hand Gestures for Web Service Discovery | |
RU2745380C1 (ru) | Способ и система захвата объектов с помощью роботизированного устройства | |
US11620479B2 (en) | System for determining diverting availability of object recognition model | |
Zhang et al. | A Non-parametric RDP Algorithm Based on Leap Motion | |
Rungta | Using Novel Visuo-Tactile Sensors to Recognize Contact in Robotic Manipulation | |
Pannase | To analyze hand gesture recognition for electronic device control | |
Zholshiyeva et al. | A Real-Time Approach to Recognition of Kazakh Sign Language | |
Cardona López | Hand recognition using depth cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |