JP2019067278A - 識別コード読取装置及び機械学習装置 - Google Patents
識別コード読取装置及び機械学習装置 Download PDFInfo
- Publication number
- JP2019067278A JP2019067278A JP2017194037A JP2017194037A JP2019067278A JP 2019067278 A JP2019067278 A JP 2019067278A JP 2017194037 A JP2017194037 A JP 2017194037A JP 2017194037 A JP2017194037 A JP 2017194037A JP 2019067278 A JP2019067278 A JP 2019067278A
- Authority
- JP
- Japan
- Prior art keywords
- identification code
- image
- data
- learning
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 5
- 238000004381 surface treatment Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000004821 distillation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000002173 cutting fluid Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Toxicology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
Description
●黒セル(黒バー)と白セル(白バー)とのコントラストが低い
●黒セル(黒バー)と白セル(白バー)とが反転して検出される
●生産物の表面形状などが原因で識別コードの形状が歪んで検出される
●打痕やドリル孔等で形成され識別コードの規格を厳密に満たしていない
●表面に付着した切削液等の影響で識別コードの一部の色合い等が異なって検出される
●手順1)識別コードとしたい文字列を決定する。
●手順2)文字列から理想的な識別コードを生成する。これを教師データとする。
●手順3)実際に識別コードを読み取る面に対して、識別コードを付与する。
●手順4)付与した識別コードを様々な状況で撮像した画像を入力データとする。
●手順5)入力データ、教師データの対を学習データとして、学習データを多数集める。
●手順6)学習データで学習器の学習を行う。
図1は第1の実施形態による識別コード読取装置の要部を示す概略的なハードウェア構成図である。識別コード読取装置1は、例えばロボットを制御するロボットコントローラにインタフェースや有線/無線ネットワークを介して接続されたパソコン等のコンピュータとして実装することができる。また、識別コード読取装置1は、例えばロボットを制御するロボットコントローラにインタフェースや有線/無線ネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、クラウドコンピュータ等のサーバコンピュータとして実装することができる。本実施形態による識別コード読取装置1が備えるCPU11は、識別コード読取装置1を全体的に制御するプロセッサである。CPU11は、ROM12に格納されたシステム・プログラムをバス20を介して読み出し、該システム・プログラムに従って識別コード読取装置1全体を制御する。RAM13には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。
出力部40は、デコード部30によりデコードされた文字列を表示装置などの外部装置へと出力する。
なお、三層以上の層を為すニューラルネットワーク(CNN:Convolutional Neural Networkを含む)を用いた、いわゆるディープラーニングの手法を用いることも可能である。
また、上記した実施形態では、視覚センサ4で撮像した識別コードの画像に対して正規化以外の前処理は行なっていないが、学習部110による理想的な画像の推定を行なう前に、画像中に映っている識別コードの位置や姿勢や大きさが、理想的な識別コードと同じになるように画像に変換を加えてもよい。
2 ロボットコントローラ
3 識別コード付与装置
4 視覚センサ
5 ロボット
6 識別コード生成装置
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
18,19,21 インタフェース
20 バス
30 デコード部
40 出力部
100 機械学習装置
101 プロセッサ
102 ROM
103 RAM
104 不揮発性メモリ
106 状態観測部
108 ラベルデータ取得部
110 学習部
112 誤差計算部
114 モデル更新部
122 画像出力部
170 システム
172 ネットワーク
Claims (8)
- 生産物の表面に付与された識別コードを、視覚センサを用いて読み取る識別コード読取装置であって、
前記視覚センサで読み取った識別コードの画像に対する前記識別コードの理想的な画像の推定を学習する機械学習装置を備え、
前記機械学習装置は、
前記視覚センサで読み取った識別コードの画像に係る読取画像データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記識別コードの理想的な画像に係る理想画像データを、ラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを用いて、前記読取画像データと、前記理想画像データとを関連付けて学習する学習部と、
を備える識別コード読取装置。 - 前記学習部による学習結果を用いて前記読取画像データから前記識別コードの理想的な画像を推定して出力する画像出力部を更に備える、
請求項1に記載の識別コード読取装置。 - 前記画像出力部は、複数の読取画像データのそれぞれから推定される前記識別コードの複数の理想的な画像に基づいて、前記識別コードの理想的な画像を推定して出力する、
請求項2に記載の識別コード読取装置。 - 前記状態観測部は、更に前記生産物の素材、表面処理の方法、又は識別コードを付与する方法に係る付与状態データを環境の現在状態を表す状態変数として観測する、
請求項1〜3のいずれか1つに記載の識別コード読取装置。 - 前記読み取り画像データは、前記視覚センサがアーム先端部に固定された、或いは、前記生産物がアーム先端部に把持された、ロボットを制御して前記識別コードを読み取ることで得られたものである、
請求項1〜4のいずれか1つに記載の識別コード読取装置。 - 請求項5に記載の識別コード読取装置における学習用データの取得方法であって、
前記視覚センサがアーム先端部に固定された、或いは、前記生産物アーム先端部に把持された、ロボットを制御して前記識別コードを読み取ることにより少なくとも1つの前記読み取り画像データを取得するステップ、
を実行する学習用データの取得方法。 - 請求項5に記載の識別コード読取装置における学習用データの付与方法であって、
識別コード付与装置がアームの先端部に固定された、或いは、前記生産物がアーム先端部に把持されたロボットを制御して前記識別コードを前記生産物に付与するステップ、
を実行する学習用データの付与方法。 - 視覚センサで読み取った識別コードの画像に対する前記識別コードの理想的な画像の推定を学習する機械学習装置であって、
前記視覚センサで読み取った識別コードの画像に係る読取画像データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記識別コードの理想的な画像に係る理想画像データを、ラベルデータとして取得するラベルデータ取得部と、
前記状態変数と前記ラベルデータとを用いて、前記読取画像データと、前記理想画像データとを関連付けて学習する学習部と、
を備える機械学習装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194037A JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
CN201811158864.0A CN109614830B (zh) | 2017-10-04 | 2018-09-30 | 识别代码读取装置以及机器学习装置 |
US16/150,430 US10960550B2 (en) | 2017-10-04 | 2018-10-03 | Identification code reading apparatus and machine learning device |
DE102018007826.5A DE102018007826A1 (de) | 2017-10-04 | 2018-10-04 | Identifikationscode-lesevorrichtung und maschinelle lernvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194037A JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019067278A true JP2019067278A (ja) | 2019-04-25 |
JP6683666B2 JP6683666B2 (ja) | 2020-04-22 |
Family
ID=65728142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017194037A Active JP6683666B2 (ja) | 2017-10-04 | 2017-10-04 | 識別コード読取装置及び機械学習装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10960550B2 (ja) |
JP (1) | JP6683666B2 (ja) |
CN (1) | CN109614830B (ja) |
DE (1) | DE102018007826A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022211064A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | 情報読取装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3961477B1 (en) | 2020-08-24 | 2023-06-07 | Saint-Gobain Glass France | Method for detecting and reading a matrix code marked on a glass substrate |
US11854163B2 (en) | 2021-01-18 | 2023-12-26 | Keyence Corporation | Optical information reading device |
US11694048B2 (en) | 2021-03-03 | 2023-07-04 | Keyence Corporation | Optical information reading device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3822592B2 (ja) * | 2003-10-24 | 2006-09-20 | 東芝テリー株式会社 | 無線タグ所有物体の特定装置及び方法 |
JP2007090448A (ja) * | 2005-09-27 | 2007-04-12 | Honda Motor Co Ltd | 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット |
US9164507B2 (en) * | 2013-12-06 | 2015-10-20 | Elwha Llc | Systems and methods for modeling driving behavior of vehicles |
US9881349B1 (en) * | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
US9805296B2 (en) * | 2016-02-23 | 2017-10-31 | The Chinese University Of Hong Kong | Method and apparatus for decoding or generating multi-layer color QR code, method for recommending setting parameters in generation of multi-layer QR code, and product comprising multi-layer color QR code |
CN108698178B (zh) | 2016-02-26 | 2020-12-15 | 株式会社富士 | 机器人手臂控制系统 |
CN107077659A (zh) * | 2016-09-26 | 2017-08-18 | 达闼科技(北京)有限公司 | 一种智能库存管理系统、服务器、方法、终端和程序产品 |
JP6266746B2 (ja) | 2016-12-28 | 2018-01-24 | 株式会社キーエンス | 光学的情報読取装置 |
CN107220577A (zh) * | 2017-05-12 | 2017-09-29 | 广州智慧城市发展研究院 | 一种基于机器学习的二维码定位方法及系统 |
-
2017
- 2017-10-04 JP JP2017194037A patent/JP6683666B2/ja active Active
-
2018
- 2018-09-30 CN CN201811158864.0A patent/CN109614830B/zh active Active
- 2018-10-03 US US16/150,430 patent/US10960550B2/en active Active
- 2018-10-04 DE DE102018007826.5A patent/DE102018007826A1/de active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022211064A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | 情報読取装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109614830A (zh) | 2019-04-12 |
US20190099892A1 (en) | 2019-04-04 |
JP6683666B2 (ja) | 2020-04-22 |
US10960550B2 (en) | 2021-03-30 |
CN109614830B (zh) | 2021-06-01 |
DE102018007826A1 (de) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816624B (zh) | 外观检查装置 | |
CN108960036B (zh) | 三维人体姿态预测方法、装置、介质及设备 | |
CN109614830B (zh) | 识别代码读取装置以及机器学习装置 | |
JP2019093472A (ja) | 制御装置及び機械学習装置 | |
CN106256512B (zh) | 包括机器视觉的机器人装置 | |
CN109693146B (zh) | 寿命推定装置以及机器学习装置 | |
JP7458741B2 (ja) | ロボット制御装置及びその制御方法及びプログラム | |
JP2018195107A (ja) | 画像処理システム | |
JP2019013993A (ja) | 熱変位補正装置 | |
CN114730407A (zh) | 使用神经网络对工作环境中的人类行为进行建模 | |
US11562479B2 (en) | Inspection apparatus, inspection method, and non-volatile storage medium | |
JP7148322B2 (ja) | 画像処理装置 | |
JP7209657B2 (ja) | 情報処理装置及び方法 | |
WO2021095509A1 (ja) | 推定システム、推定装置および推定方法 | |
US11059180B2 (en) | Control device and machine learning device | |
JP7136329B2 (ja) | 異常検知装置、制御方法、及びプログラム | |
JP7401537B2 (ja) | システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体 | |
CN116724224A (zh) | 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置 | |
US20200202178A1 (en) | Automatic visual data generation for object training and evaluation | |
JP2019106213A5 (ja) | ||
Shobhit et al. | Vision Transformer and Attention-Based Melanoma Disease Classification | |
WO2023181277A1 (ja) | 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体 | |
CN115668283A (zh) | 机器学习装置和机器学习系统 | |
US20190287189A1 (en) | Part supply amount estimating device and machine learning device | |
KR20240057354A (ko) | 자기 지도 학습 기반 객체의 6자유도 자세 추정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190906 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6683666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |