JP2021026599A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2021026599A JP2021026599A JP2019145399A JP2019145399A JP2021026599A JP 2021026599 A JP2021026599 A JP 2021026599A JP 2019145399 A JP2019145399 A JP 2019145399A JP 2019145399 A JP2019145399 A JP 2019145399A JP 2021026599 A JP2021026599 A JP 2021026599A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- learning
- image processing
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 claims abstract description 161
- 238000000034 method Methods 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
(1)視覚センサ(カメラ)11で撮像した画像(撮像面)上に原点Oを置くローカル座標系を定義する。
(2)予め、視覚センサ(カメラ)11をキャリブレーションしておくことで、ローカル座標系で表現された3次元点を撮像した画像上の2次元点に変換することができる。
(3)ローカル座標系にCADデータとして表現された対象物2を仮想的に配置する。配置されたCADデータはローカル座標系で表現される。視覚センサ(カメラ)11と対象物2の相対関係は、実際に対象物の検出を行うときの相対関係と略同じになるように設定する。
(4)輪郭線から所定の間隔で輪郭線上の3次元点群を取得する。必要があれば、CADデータの中からモデルパターンとして使う輪郭線を指定する。
(5)3次元点群を視覚センサ(カメラ)11で撮像した画像上に投影し、画像座標系上の2次元点群を求める。CADデータ上で明暗の向きを指定すれば、輝度勾配の方向も付加することができる。ここで、明暗の向きとは、輪郭線を境界とする二つの領域のどちらが明るいかを示すものである。
(6)求められた画像座標系上の2次元点群をモデル座標系で表現するように変換し、特徴点として記憶部13に記憶する。
以上説明したように、入力画像5は、CADデータに基づいて生成された画像情報であってもよい。このように、入力画像5には種々の方式を利用することができる。例えば、距離画像や3次元点群データを入力画像5として用いることもできる。
2 対象物
4 作業台
5 入力画像
10 画像処理装置(第1検出装置)
11 視覚センサ
12 画像処理部
13 記憶部
20 ロボット
21 ロボットハンド
25 ロボット制御装置
30 学習装置(第2検出装置)
50 モデルパターン
51 モデルパターン座標系
60 モデルパターン指定領域
70 画像座標系
100 セルコントローラ
110 ネットワークバス
Claims (6)
- 対象物を撮像した画像から前記対象物の像を検出する画像処理システムであって、
前記対象物の像の特徴を表すモデルパターンに基づいて、前記画像から前記対象物の像を検出する第1検出装置と、
前記第1検出装置による検出に用いられた画像を入力データとし、前記第1検出装置による検出結果を教師データとして、学習モデルを学習する学習装置と、
前記学習装置によって学習された学習モデルに基づいて、前記画像から前記対象物の像を検出する第2検出装置と、
を備える、画像処理システム。 - 前記第1検出装置による検出結果と前記第2検出装置による検出結果とのうち、検出結果に対する評価値が高い検出結果を選択する、請求項1に記載の画像処理システム。
- 前記第2検出装置による検出結果に対する評価値を、前記第1検出装置による検出結果に対する評価値と同一の方法で求める、請求項2に記載の画像処理システム。
- 前記第1検出装置による検出結果の所定期間における統計値と前記第2検出装置による検出結果の前記所定期間における統計値とのうち、統計値から算出される評価値が高い検出装置を選択するように切り替える、請求項1〜3のいずれか1項に記載の画像処理システム。
- 前記第1検出装置は、複数の対象物の像の特徴を表す複数のモデルパターンに基づいて、前記複数の対象物を撮像した複数の画像から前記複数の対象物の像を検出し、
前記学習装置は、前記第1検出装置による検出に用いられた前記複数の画像を入力データとし、前記第1検出装置による複数の検出結果を教師データとして、学習モデルを学習する、
請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記対象物の像の特徴を表すモデルパターンに基づいて、前記画像から前記対象物の像を検出する複数の第1検出装置を備え、
前記学習装置は、前記複数の第1検出装置による検出に用いられた前記複数の画像を入力データとし、前記複数の第1検出装置による複数の検出結果を教師データとして、学習モデルを学習する、
請求項1〜4のいずれか1項に記載の画像処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145399A JP7372076B2 (ja) | 2019-08-07 | 2019-08-07 | 画像処理システム |
US16/921,030 US11989928B2 (en) | 2019-08-07 | 2020-07-06 | Image processing system |
DE102020209080.7A DE102020209080A1 (de) | 2019-08-07 | 2020-07-21 | Bildverarbeitungssystem |
CN202010778676.9A CN112347837A (zh) | 2019-08-07 | 2020-08-05 | 图像处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145399A JP7372076B2 (ja) | 2019-08-07 | 2019-08-07 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021026599A true JP2021026599A (ja) | 2021-02-22 |
JP7372076B2 JP7372076B2 (ja) | 2023-10-31 |
Family
ID=74188434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145399A Active JP7372076B2 (ja) | 2019-08-07 | 2019-08-07 | 画像処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11989928B2 (ja) |
JP (1) | JP7372076B2 (ja) |
CN (1) | CN112347837A (ja) |
DE (1) | DE102020209080A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7482070B2 (ja) * | 2021-03-16 | 2024-05-13 | 株式会社東芝 | 学習方法、プログラム及び画像処理装置 |
CN114056920B (zh) * | 2021-09-30 | 2023-05-05 | 江西省通讯终端产业技术研究院有限公司 | 一种基于机器视觉的叠片机及其片料校准方法和控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005071125A (ja) * | 2003-08-26 | 2005-03-17 | Nippon Hoso Kyokai <Nhk> | 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム |
JP2014063281A (ja) * | 2012-09-20 | 2014-04-10 | Fujifilm Corp | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
JP2015219797A (ja) * | 2014-05-20 | 2015-12-07 | キヤノン株式会社 | 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6754390B2 (en) * | 2000-12-01 | 2004-06-22 | The United States Of America As Represented By The Secretary Of The Navy | Fusing outputs from multiple detection/classification schemes |
JP4613617B2 (ja) * | 2005-01-07 | 2011-01-19 | ソニー株式会社 | 画像処理システム、学習装置および方法、並びにプログラム |
US7965887B2 (en) * | 2005-12-01 | 2011-06-21 | Cognex Technology And Investment Corp. | Method of pattern location using color image data |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US8351712B2 (en) * | 2009-04-27 | 2013-01-08 | The Neilsen Company (US), LLC | Methods and apparatus to perform image classification based on pseudorandom features |
US10395764B2 (en) * | 2015-01-06 | 2019-08-27 | Aic Innovations Group, Inc. | Method and apparatus for recognition of patient activity |
JP6531823B2 (ja) * | 2015-04-02 | 2019-06-19 | 株式会社ニコン | 撮像システム、撮像装置、撮像方法、及び撮像プログラム |
DE102015114015A1 (de) * | 2015-08-24 | 2017-03-02 | Carl Zeiss Ag | Maschinelles lernen |
JP6348093B2 (ja) | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
JP6648925B2 (ja) * | 2015-12-17 | 2020-02-14 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 |
US10162308B2 (en) * | 2016-08-01 | 2018-12-25 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
EP4300381A3 (en) * | 2016-08-19 | 2024-03-20 | Movidius Limited | Systems and methods for distributed training of deep learning models |
JP6809250B2 (ja) * | 2017-01-23 | 2021-01-06 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
US11379688B2 (en) * | 2017-03-16 | 2022-07-05 | Packsize Llc | Systems and methods for keypoint detection with convolutional neural networks |
JP6974697B2 (ja) | 2017-05-26 | 2021-12-01 | 富士通株式会社 | 教師データ生成装置、教師データ生成方法、教師データ生成プログラム、及び物体検出システム |
JP6705777B2 (ja) * | 2017-07-10 | 2020-06-03 | ファナック株式会社 | 機械学習装置、検査装置及び機械学習方法 |
JP2019049780A (ja) * | 2017-09-07 | 2019-03-28 | 富士通株式会社 | 教師データ作成プログラム、教師データ作成装置、及び教師データ作成方法 |
US10474926B1 (en) * | 2017-11-16 | 2019-11-12 | Amazon Technologies, Inc. | Generating artificial intelligence image processing services |
KR102595787B1 (ko) * | 2018-02-27 | 2023-11-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP6958719B2 (ja) * | 2018-03-05 | 2021-11-02 | 日本電気株式会社 | 画像解析装置、画像解析方法および画像解析プログラム |
US11562505B2 (en) * | 2018-03-25 | 2023-01-24 | Cognex Corporation | System and method for representing and displaying color accuracy in pattern matching by a vision system |
JP7083189B2 (ja) * | 2018-03-29 | 2022-06-10 | 国立大学法人 奈良先端科学技術大学院大学 | 学習データセット作製方法及び装置 |
DE112019002848T5 (de) * | 2018-06-06 | 2021-04-01 | Cognex Corporation | System und verfahren zum auffinden und klassifizieren von mustern in einem bild mit einem bildverarbeitungssystem |
TWI684925B (zh) * | 2018-10-17 | 2020-02-11 | 新漢智能系統股份有限公司 | 自動建立物件辨識模型的方法 |
US11301718B2 (en) * | 2018-12-28 | 2022-04-12 | Vizit Labs, Inc. | Systems, methods, and storage media for training a machine learning model |
US11023763B2 (en) * | 2019-03-19 | 2021-06-01 | Boston Dynamics, Inc. | Detecting boxes |
US11250296B2 (en) * | 2019-07-24 | 2022-02-15 | Nvidia Corporation | Automatic generation of ground truth data for training or retraining machine learning models |
US20210035015A1 (en) * | 2019-07-31 | 2021-02-04 | GE Precision Healthcare LLC | Annotation pipeline for machine learning algorithm training and optimization |
-
2019
- 2019-08-07 JP JP2019145399A patent/JP7372076B2/ja active Active
-
2020
- 2020-07-06 US US16/921,030 patent/US11989928B2/en active Active
- 2020-07-21 DE DE102020209080.7A patent/DE102020209080A1/de active Pending
- 2020-08-05 CN CN202010778676.9A patent/CN112347837A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005071125A (ja) * | 2003-08-26 | 2005-03-17 | Nippon Hoso Kyokai <Nhk> | 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム |
JP2014063281A (ja) * | 2012-09-20 | 2014-04-10 | Fujifilm Corp | 眼の開閉判断方法及び装置、プログラム、並びに監視映像システム |
JP2015219797A (ja) * | 2014-05-20 | 2015-12-07 | キヤノン株式会社 | 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7372076B2 (ja) | 2023-10-31 |
DE102020209080A1 (de) | 2021-02-11 |
US11989928B2 (en) | 2024-05-21 |
CN112347837A (zh) | 2021-02-09 |
US20210042576A1 (en) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10430650B2 (en) | Image processing system | |
US20200159256A1 (en) | Method for detecting target object, detection apparatus and robot | |
JP6396516B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
JP6527178B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
JP7071054B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019028843A (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
US11625842B2 (en) | Image processing apparatus and image processing method | |
JP2019046095A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP2015194901A (ja) | 追跡装置および追尾システム | |
JP2017120672A5 (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
JP7372076B2 (ja) | 画像処理システム | |
JP7186128B2 (ja) | 物品認識システムおよび物品認識方法 | |
CN116985141B (zh) | 一种基于深度学习的工业机器人智能控制方法及系统 | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP2020021212A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6265784B2 (ja) | 姿勢推定システム、プログラムおよび姿勢推定方法 | |
JP2017033556A (ja) | 画像処理方法及び電子機器 | |
US11559888B2 (en) | Annotation device | |
JP2021182320A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20220230459A1 (en) | Object recognition device and object recognition method | |
JP2019105588A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
US20230011093A1 (en) | Adjustment support system and adjustment support method | |
Seiffert | Prototyping a controlled robotic arm with digital image processing to detect smartphone screen edges: Prototipação de um braço robótico controlado com processamento de imagem digital para detectar bordas de tela de smartphone | |
TW202317045A (zh) | 手術機械臂控制系統及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7372076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |