JP2020525305A - ロボットによる製品の品質検査改良方法及びシステム - Google Patents
ロボットによる製品の品質検査改良方法及びシステム Download PDFInfo
- Publication number
- JP2020525305A JP2020525305A JP2019571669A JP2019571669A JP2020525305A JP 2020525305 A JP2020525305 A JP 2020525305A JP 2019571669 A JP2019571669 A JP 2019571669A JP 2019571669 A JP2019571669 A JP 2019571669A JP 2020525305 A JP2020525305 A JP 2020525305A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- mechanical arm
- product
- sections
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000007689 inspection Methods 0.000 title abstract description 19
- 230000006872 improvement Effects 0.000 title abstract description 4
- 230000007547 defect Effects 0.000 claims abstract description 172
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000003213 activating effect Effects 0.000 claims abstract 6
- 238000003860 storage Methods 0.000 claims description 23
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 2
- 230000002950 deficient Effects 0.000 description 49
- 230000002093 peripheral effect Effects 0.000 description 29
- 230000006854 communication Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 239000012636 effector Substances 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000003908 quality control method Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 239000000039 congener Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
- G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Mechanical Engineering (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
各種の基本システムサービスを処理するための工程と、ハードウェアに関するタスクを実行するための工程とを含むオペレーティングシステム210と、
サーバシステム200を、1つ又は複数の通信ネットワークインターフェース204(有線又は無線)、及び、例えば、インターネット、携帯電話ネットワーク、移動データネットワーク、その他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ又は複数の通信ネットワーク106(図1)を介してその他のコンピュータ(例えば、メカニカルアーム300、図3)に接続するためのネットワーク通信モジュール212と、
1つ又は複数の周辺装置から受信されたデータを処理し、処理されたデータを解析するための画像検査モジュール214であって、幾つかの実施例において、目視検査モジュールにより、処理されたデータと(複数の)欠陥モデル220(例えば、欠陥リスト600、図6A)とを比較する画像検査モジュール214と、
欠陥を記録して報告するための報告モジュール216と、
例えば、
1つ又は複数の欠陥モデル220、
1つ又は複数の基準及び閾値222、及び、
コンテンツ224
といったサーバシステムに関連するデータを記憶するためのサーバデータベース218と、
を含むプログラム、モジュールとデータ構造、又はその部分集合や上位集合を記憶する。
各種の基本システムサービスを処理するための工程と、ハードウェアに関するタスクを実行するための工程とを含むオペレーティングシステム314と、
メカニカルアーム300を、1つ又は複数の通信ネットワークインターフェース304(有線又は無線)、及び、例えば、インターネット、携帯電話ネットワーク、移動データネットワーク、その他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つ又は複数の通信ネットワーク106(図1)を介してその他のコンピュータ(例えば、その他の周辺装置、サーバシステム200、回転可能な基台311)に接続するためのネットワーク通信モジュール316と、
アクチュエータ309を制御し、かつ、取込装置312を製品の隣りに位置付けるための位置付けモジュール318と、
(複数の)取込装置312を制御し、かつ、(複数の)取込装置312により取り込まれた対応する画像や映像(又はその他のデータ)を処理するための取込モジュール320と、
(例えば、位置検出装置310により)メカニカルアーム300の位置を確定し、かつ、この位置情報をその他の周辺装置、及び/又はサーバシステム200に供給するための位置検出モジュール322(例えば、GPS、Wi−Fi、又は混合位置付けモジュール)と、
取込装置312により取り込まれたデータを利用し、製品の欠陥を検出するための画像検査モジュール324と、
例えば、
1つ又は複数の欠陥モデル328、
コンテンツ330、及び、
運動学のアルゴリズム及びその他の方程式332
といったメカニカルアーム300に関連するデータを記憶するためのデータベース326と
を含むプログラム、モジュールとデータ構造、又はその部分集合や上位集合を記憶する。
幾つかの実施例において、メカニカルアーム440用の逆運動学の方程式の例は下記の方程式で表される。
Claims (20)
- メカニカルアームであって、
複数のセクションと、
前記メカニカルアームの端部に位置するカメラと、
複数の回転関節であって、各回転関節はそれぞれ、前記複数のセクションのうちの2つのセクションを接続し、又は、前記カメラと前記複数のセクションのうちの1つのセクションとを接続する、複数の回転関節と、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムを記憶するためのメモリと
を備え、前記1つ又は複数のプログラムは、
製品の表面の第1画像を取り込むコマンドを受信し、
前記複数の回転関節を作動させることにより、前記カメラを前記製品の表面とほぼ隣接する第1位置に位置決めし、
前記カメラが前記第1位置に位置決めされると、前記カメラを介して、前記製品の表面の第1画像を取り込み、及び、
前記第1画像を取り込んだ後、
前記第1画像における欠陥及び前記欠陥の前記第1画像における相対的な位置を識別するように、前記第1画像を処理し、
前記カメラの第1位置及び前記欠陥の前記第1画像における相対的な位置に基づいて、前記カメラの第2位置を確定し、
前記複数の回転関節を作動させることにより、前記カメラを前記第1位置から前記第2位置に改めて位置決めし、前記第2位置と前記製品の表面は、前記第1位置と前記製品の表面との空間関係と異なる空間関係を有し、及び、
前記カメラが前記第2位置に位置決めされると、前記カメラを介して、前記製品の表面の第2画像を取り込む
ための命令を含むメカニカルアーム。 - 前記カメラが前記第1位置に位置決めされたとき、前記カメラと前記製品の表面との間に第1距離が置かれ、
前記カメラが前記第2位置に改めて位置決めされたとき、前記カメラと前記製品の表面との間に第2距離が置かれ、
前記第2距離が前記第1距離よりも小さい
請求項1に記載のメカニカルアーム。 - 前記カメラが第1位置に位置決めされたとき、前記カメラが第1焦点距離に設置され、
前記カメラが前記第2位置に改めて位置決めされたとき、前記カメラが第2焦点距離に設置され、
前記第2焦点距離が前記第1焦点距離よりも大きい
請求項1に記載のメカニカルアーム。 - 前記1つ又は複数のプログラムは、
前記製品の表面の第1画像及び前記カメラの第1位置から、前記製品のサイズを確定し、確定されたサイズに基づき、前記メカニカルアームのために作業空間を割り当てる
ための命令をさらに含む請求項1に記載のメカニカルアーム。 - 前記メカニカルアームのために確定された作業空間において、前記カメラを前記第1位置に位置決めすること、及び前記カメラを前記第1位置から前記第2位置に改めて位置決めすることを実行する請求項4に記載のメカニカルアーム。
- 前記複数の回転関節は、前記メカニカルアームに4自由度を付与する請求項1に記載のメカニカルアーム。
- 前記複数の回転関節は、前記メカニカルアームに5自由度を付与する請求項1に記載のメカニカルアーム。
- 前記複数の回転関節における第1群の回転関節は、第1軸周りに回転し、
前記複数の回転関節における第2群の回転関節は、第2軸周りに回転する
請求項1に記載のメカニカルアーム。 - 前記第1群の回転関節は、本体回転関節であり、
前記第2群の回転関節は、端部回転関節である
請求項8に記載のメカニカルアーム。 - 前記1つ又は複数のプログラムは、
前記複数の回転関節を作動させることにより、前記カメラを1つ又は複数の追加の位置に改めて位置決めし、各追加の位置はそれぞれ、前記製品における対応する追加の表面とほぼ隣接し、
前記カメラが前記1つ又は複数の追加の位置に位置決めされると、前記カメラを介して、前記製品における対応する各追加の表面の追加の画像を取り込む
ための命令をさらに含む請求項1に記載のメカニカルアーム。 - 前記製品は、回転可能な基台に置かれ、
前記1つ又は複数のプログラムは、前記第1画像を取り込んだ後、前記欠陥の前記第1画像における相対的な位置に応じて、前記回転可能な基台を回転させ、
前記回転可能な基台を回転させた後、前記第2画像を取り込むための命令をさらに含む
請求項1に記載のメカニカルアーム。 - 複数のセクションと、メカニカルアームの端部に位置するカメラと、複数の回転関節とを備え、各回転関節はそれぞれ、前記複数のセクションのうちの2つのセクションを接続し、又は、前記カメラと前記複数のセクションのうちの1つのセクションとを接続するメカニカルアームにおいて、
製品の表面の第1画像を取り込むコマンドを受信することと、
前記複数の回転関節を作動させることにより、前記カメラを前記製品の表面とほぼ隣接する第1位置に位置決めすることと、
前記カメラが前記第1位置に位置決めされると、前記カメラを介して、前記製品の表面の第1画像を取り込むことと、
前記第1画像を取り込んだ後、
前記第1画像における欠陥及び前記欠陥の前記第1画像における相対的な位置を識別するように、前記第1画像を処理し、
前記カメラの第1位置及び前記欠陥の前記第1画像における相対的な位置に基づいて、前記カメラの第2位置を確定し、
前記複数の回転関節を作動させることにより、前記カメラを前記第1位置から前記第2位置に改めて位置決めし、前記第2位置と前記製品の表面は、前記第1位置と前記製品の表面との空間関係と異なる空間関係を有し、及び
前記カメラが前記第2位置に位置決めされると、前記カメラを介して、前記製品の表面の第2画像を取り込むことと
を含む品質検査改良方法。 - 前記カメラが前記第1位置に位置決めされたとき、前記カメラと前記製品の表面との間に第1距離が置かれ、
前記カメラが前記第2位置に改めて位置決めされたとき、前記カメラと前記製品の表面との間に第2距離が置かれ、
前記第2距離が前記第1距離よりも小さい
請求項12に記載の方法。 - 前記カメラが第1位置に位置決めされたとき、前記カメラが第1焦点距離に設置され、
前記カメラが前記第2位置に改めて位置決めされたとき、前記カメラが第2焦点距離に設置され、
前記第2焦点距離が前記第1焦点距離よりも大きい
請求項12に記載の方法。 - 前記メカニカルアームにおいて、
前記製品の表面の第1画像及び前記カメラの第1位置から、前記製品のサイズを確定することと、
確定されたサイズに基づき、前記メカニカルアームのために作業空間を割り当てることと
をさらに含む請求項12に記載の方法。 - 前記メカニカルアームのために確定された作業空間において、前記カメラを前記第1位置から前記第2位置に改めて位置決めすることを実行する請求項15に記載の方法。
- 前記第1群の回転関節は、本体回転関節であり、
前記第2群の回転関節は、端部回転関節である
請求項12に記載の方法。 - 前記メカニカルアームにおいて、
前記複数の回転関節を作動させることにより、前記カメラを1つ又は複数の追加の位置に改めて位置決めし、各追加の位置はそれぞれ、ほぼ前記製品における対応する追加の表面と隣接することと、
前記カメラが前記1つ又は複数の追加の位置に位置付けられると、前記カメラにより、前記製品における対応する各追加の表面の追加の画像を取り込むことと
をさらに含む請求項12に記載の方法。 - 前記製品は、回転可能な基台に置かれ、
前記第1画像を取り込んだ後、前記欠陥の前記第1画像における相対的な位置に応じて、前記回転可能な基台を回転させることと、
前記回転可能な基台を回転させた後、前記第2画像を取り込むことと
をさらに含む請求項12に記載の方法。 - メカニカルアームの1つ又は複数のプロセッサにより実行されるように構成された1つ又は複数のプログラムを記憶する非一時的コンピュータ読み出し可能記憶媒体であって、前記メカニカルアームは、複数のセクションと、前記メカニカルアームの端部に位置するカメラと、複数の回転関節とを有し、各回転関節はそれぞれ、前記複数のセクションの2つのセクションを接続し、又は、前記カメラと前記複数のセクションのうちの1つのセクションとを接続し、前記1つ又は複数のプログラムは命令を含み、前記命令は前記1つ又は複数のプロセッサにより実行されると、前記メカニカルアームは、
製品の表面の第1画像を取り込むコマンドを受信し、
前記複数の回転関節を作動させることにより、前記カメラを前記製品の表面とほぼ隣接する第1位置に位置決めし、
前記カメラが前記第1位置に位置決めされると、前記カメラを介して、前記製品の表面の第1画像を取り込み、及び
前記第1画像を取り込んだ後、
前記第1画像における欠陥及び前記欠陥の前記第1画像における相対的な位置を識別するように、前記第1画像を処理し、
前記カメラの第1位置及び前記欠陥の前記第1画像における相対的な位置に基づいて、前記カメラの第2位置を確定し、
前記複数の回転関節を作動させることにより、前記カメラを前記第1位置から前記第2位置に改めて位置決めし、前記第2位置と前記製品の表面は、前記第1位置と前記製品の表面との空間関係と異なる空間関係を有し、及び、
前記カメラが前記第2位置に位置決めされると、前記カメラを介して、前記製品の表面の第2画像を取り込む
ようにする非一時的コンピュータ読み出し可能記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/694,115 US10269108B2 (en) | 2017-09-01 | 2017-09-01 | Methods and systems for improved quality inspection of products using a robot |
US15/694,115 | 2017-09-01 | ||
PCT/CN2018/090307 WO2019041952A1 (en) | 2017-09-01 | 2018-06-07 | METHODS AND SYSTEMS FOR ENHANCED PRODUCT QUALITY CONTROL USING A ROBOT |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020525305A true JP2020525305A (ja) | 2020-08-27 |
JP6865865B2 JP6865865B2 (ja) | 2021-04-28 |
Family
ID=65517363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571669A Active JP6865865B2 (ja) | 2017-09-01 | 2018-06-07 | ロボットによる製品の品質検査改良方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10269108B2 (ja) |
EP (1) | EP3618980B1 (ja) |
JP (1) | JP6865865B2 (ja) |
CN (1) | CN110678275B (ja) |
WO (1) | WO2019041952A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017207069A1 (de) * | 2017-04-27 | 2018-10-31 | Robert Bosch Gmbh | Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung |
JP6646034B2 (ja) * | 2017-12-14 | 2020-02-14 | ファナック株式会社 | ロボットシステム |
WO2019167090A1 (en) * | 2018-03-02 | 2019-09-06 | G.T. Une S.R.L. | System, software application and method of advanced interaction with transportable containers |
JP7073785B2 (ja) | 2018-03-05 | 2022-05-24 | オムロン株式会社 | 画像検査装置、画像検査方法及び画像検査プログラム |
JP7079123B2 (ja) * | 2018-03-15 | 2022-06-01 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム |
WO2019187779A1 (ja) * | 2018-03-27 | 2019-10-03 | 株式会社日立製作所 | 倉庫システム |
US11838688B2 (en) * | 2018-05-28 | 2023-12-05 | MMAPT IP Pty Ltd. | System for capturing media of a product |
KR102547723B1 (ko) * | 2018-06-29 | 2023-06-27 | 주식회사 고영테크놀러지 | 플리퍼 장치 및 이를 이용한 대상물 검사방법 |
US20220005172A1 (en) * | 2018-11-21 | 2022-01-06 | Sony Group Corporation | Work determination system, work determination apparatus, and work determination method |
IL263399B (en) * | 2018-11-29 | 2022-09-01 | Inspekto A M V Ltd | Centralized analyzes of multiple devices for visual inspection of a production line |
TWI696529B (zh) * | 2018-11-30 | 2020-06-21 | 財團法人金屬工業研究發展中心 | 自動定位方法以及自動控制裝置 |
US11183050B2 (en) * | 2019-07-26 | 2021-11-23 | Arrie Mitchell | Three-dimensional scanning and tracking device |
CN110500999A (zh) * | 2019-08-09 | 2019-11-26 | 唐山英莱科技有限公司 | 一种基于视觉装置的相对位置测量方法 |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
US11103998B2 (en) | 2019-12-12 | 2021-08-31 | Mujin, Inc. | Method and computing system for performing motion planning based on image information generated by a camera |
CN110926368A (zh) * | 2019-12-16 | 2020-03-27 | 茂名职业技术学院 | 一种水果姿态图像采集装置 |
CN111251296B (zh) * | 2020-01-17 | 2021-05-18 | 温州职业技术学院 | 一种适用于码垛电机转子的视觉检测系统 |
US11772833B1 (en) * | 2020-03-30 | 2023-10-03 | Amazon Technologies, Inc. | Systems and methods for automated custom shipping containers |
US20230222646A1 (en) * | 2020-05-29 | 2023-07-13 | Lam Research Corporation | Automated visual-inspection system |
US20220051395A1 (en) * | 2020-08-11 | 2022-02-17 | Baker Hughes Oilfield Operations Llc | Automated defect detection |
CN116368349A (zh) * | 2020-09-29 | 2023-06-30 | 基托夫系统有限公司 | 检查目标的语义分割 |
CN112428264B (zh) * | 2020-10-26 | 2021-12-07 | 中国计量大学 | 一种机器人臂的矫正方法及系统 |
CN114880888B (zh) * | 2022-07-08 | 2022-09-09 | 四川大学 | 多旋转关节机器人末端效应器位姿相关动力学的预测方法 |
US12101559B2 (en) * | 2022-10-18 | 2024-09-24 | Jun-Fu Technology Inc | Wafer position status inspection apparatus |
NL2034006B1 (en) * | 2023-01-23 | 2024-07-30 | Sanders Machb B V | Device for inspecting products |
WO2024181994A1 (en) * | 2023-03-01 | 2024-09-06 | Siemens Corporation | Robotic visual tactile surface inspection system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004317190A (ja) * | 2003-04-14 | 2004-11-11 | Neomax Co Ltd | 高速凹凸判定可能な表面検査方法及び表面検査システム |
JP2005121599A (ja) * | 2003-10-20 | 2005-05-12 | Komatsu Ltd | プレス成形品の欠陥検査装置 |
JP2005292136A (ja) * | 2004-03-30 | 2005-10-20 | General Electric Co <Ge> | 多重解像度検査システム及びその動作方法 |
JP2007155412A (ja) * | 2005-12-01 | 2007-06-21 | Nippon Mini Computer System Kk | 外観検査装置及び外観検査方法 |
JP2010080969A (ja) * | 2009-11-24 | 2010-04-08 | Hitachi Ltd | 試料の観察方法およびその装置 |
JP2012514193A (ja) * | 2008-12-24 | 2012-06-21 | スネクマ | 機械部品の非破壊検査の方法 |
JP2013092430A (ja) * | 2011-10-25 | 2013-05-16 | Kojima Press Industry Co Ltd | 表面検査方法 |
JP2015135253A (ja) * | 2014-01-16 | 2015-07-27 | アイシン精機株式会社 | 欠陥検査装置 |
JP6088679B1 (ja) * | 2016-02-19 | 2017-03-01 | ファナック株式会社 | カメラの画像により故障を判定するロボットシステムの故障診断装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4620353A (en) * | 1981-06-15 | 1986-11-04 | Pryor Timothy R | Electro-optical and robotic casting quality assurance |
US6959108B1 (en) | 2001-12-06 | 2005-10-25 | Interactive Design, Inc. | Image based defect detection system |
US7390040B2 (en) * | 2002-04-22 | 2008-06-24 | Milos Misha Subotincic | End effector with multiple pick-up members |
CN1234006C (zh) * | 2002-12-20 | 2005-12-28 | 宝山钢铁股份有限公司 | 扫描式带钢表面检测方法和装置 |
WO2004096502A1 (en) * | 2003-04-28 | 2004-11-11 | Stephen James Crampton | Cmm arm with exoskeleton |
JP2006208258A (ja) * | 2005-01-31 | 2006-08-10 | Aisin Seiki Co Ltd | 欠陥検査方法および欠陥検査装置 |
EP1932629B1 (en) * | 2006-12-11 | 2019-04-24 | ABB Research Ltd. | A method and a control system for monitoring the condition of an industrial robot |
US20120093422A1 (en) | 2010-10-14 | 2012-04-19 | Ya-Chen Hsu | Method for sorting balls by image recognition |
EP2602763B1 (en) * | 2011-12-09 | 2014-01-22 | C.R.F. Società Consortile per Azioni | Method for monitoring the quality of the primer layer applied on a motor-vehicle body before painting |
CN202676614U (zh) * | 2012-06-14 | 2013-01-16 | 孙征 | 产品外观自动检测系统 |
SG10201708537XA (en) * | 2013-06-07 | 2017-11-29 | Asti Holdings Ltd | Systems and methods for automatically verifying correct die removal from film frames |
EP3194884B1 (en) | 2014-09-19 | 2023-11-01 | Hexagon Metrology, Inc | Multi-mode portable coordinate measuring machine |
TWI558999B (zh) * | 2014-11-05 | 2016-11-21 | 財團法人工業技術研究院 | 瑕疵檢測方法及其裝置 |
CN204330609U (zh) * | 2014-12-09 | 2015-05-13 | 深圳明锐理想科技有限公司 | 六轴机械手aoi检测系统 |
CN105478529B (zh) | 2015-02-02 | 2017-10-27 | 广东工业大学 | 全自动冲压生产线制品表面质量在线检测系统及方法 |
CN205262988U (zh) * | 2015-12-16 | 2016-05-25 | 常熟宝升精冲材料有限公司 | 一种生产精冲材的平整机带钢表面检测仪 |
US10184916B2 (en) * | 2016-01-15 | 2019-01-22 | The Boeing Company | Systems, methods, and devices for probe assemblies for variable curvature and variable angle configurations |
CN106226325B (zh) * | 2016-07-22 | 2019-07-26 | 广东工业大学 | 一种基于机器视觉的座椅表面缺陷检测系统及其方法 |
CN106383126A (zh) * | 2016-10-24 | 2017-02-08 | 张家港清研再制造产业研究院有限公司 | 一种用于再制造汽车零部件检测的装置及方法 |
-
2017
- 2017-09-01 US US15/694,115 patent/US10269108B2/en active Active
-
2018
- 2018-06-07 CN CN201880035033.6A patent/CN110678275B/zh active Active
- 2018-06-07 JP JP2019571669A patent/JP6865865B2/ja active Active
- 2018-06-07 EP EP18851341.0A patent/EP3618980B1/en active Active
- 2018-06-07 WO PCT/CN2018/090307 patent/WO2019041952A1/en unknown
-
2019
- 2019-03-05 US US16/293,417 patent/US10580125B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004317190A (ja) * | 2003-04-14 | 2004-11-11 | Neomax Co Ltd | 高速凹凸判定可能な表面検査方法及び表面検査システム |
JP2005121599A (ja) * | 2003-10-20 | 2005-05-12 | Komatsu Ltd | プレス成形品の欠陥検査装置 |
JP2005292136A (ja) * | 2004-03-30 | 2005-10-20 | General Electric Co <Ge> | 多重解像度検査システム及びその動作方法 |
JP2007155412A (ja) * | 2005-12-01 | 2007-06-21 | Nippon Mini Computer System Kk | 外観検査装置及び外観検査方法 |
JP2012514193A (ja) * | 2008-12-24 | 2012-06-21 | スネクマ | 機械部品の非破壊検査の方法 |
JP2010080969A (ja) * | 2009-11-24 | 2010-04-08 | Hitachi Ltd | 試料の観察方法およびその装置 |
JP2013092430A (ja) * | 2011-10-25 | 2013-05-16 | Kojima Press Industry Co Ltd | 表面検査方法 |
JP2015135253A (ja) * | 2014-01-16 | 2015-07-27 | アイシン精機株式会社 | 欠陥検査装置 |
JP6088679B1 (ja) * | 2016-02-19 | 2017-03-01 | ファナック株式会社 | カメラの画像により故障を判定するロボットシステムの故障診断装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3618980A1 (en) | 2020-03-11 |
JP6865865B2 (ja) | 2021-04-28 |
WO2019041952A1 (en) | 2019-03-07 |
US10269108B2 (en) | 2019-04-23 |
EP3618980A4 (en) | 2020-05-27 |
US10580125B2 (en) | 2020-03-03 |
US20190206045A1 (en) | 2019-07-04 |
CN110678275B (zh) | 2021-01-26 |
CN110678275A (zh) | 2020-01-10 |
EP3618980B1 (en) | 2022-04-06 |
US20190073760A1 (en) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020525305A (ja) | ロボットによる製品の品質検査改良方法及びシステム | |
JP7568727B2 (ja) | Ai外観検査のためのシステム及び方法 | |
CN110621984B (zh) | 用于改进质量检查的方法和系统 | |
CN109101966B (zh) | 基于深度学习的工件识别定位和姿态估计系统和方法 | |
US20160195390A1 (en) | Inspecting components using mobile robotic inspection systems | |
JP2019530261A (ja) | 改良されたカメラ較正システム、標的、およびプロセス | |
US20180264648A1 (en) | Method and apparatus for controlling robot | |
US20180286030A1 (en) | System and method for testing an electronic device | |
KR20140034816A (ko) | 휴대형 광학 측정 검사 시스템 | |
US20170151676A1 (en) | Optical measurement of object location in three dimensions | |
US20160065901A1 (en) | Thermal pattern monitoring of machine | |
US20240328774A1 (en) | CMM Downtime System | |
US20190159748A1 (en) | Method and apparatus for calibrating an x-ray system | |
JPWO2015011782A1 (ja) | 検査装置 | |
JP2014126494A (ja) | 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム | |
WO2020142496A1 (en) | Application-case driven robot object learning | |
US20220084188A1 (en) | Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium | |
Ferreira et al. | Smart system for calibration of automotive racks in Logistics 4.0 based on CAD environment | |
US20220101558A1 (en) | Automated Tuning and Calibration of a Computer Vision System | |
Gao et al. | A screen-based method for automated camera intrinsic calibration on production lines | |
US20230191634A1 (en) | Multistep Visual Assistance for Automated Inspection | |
TWI662248B (zh) | 三維空間觸控面板雙指檢測方法與系統 | |
US20220261943A1 (en) | Image processing device, image processing method, production system, product manufacturing method, and storage medium | |
Su et al. | Design of Multi-CPU Automatic Sorting System Based on Machine Vision | |
Kulpate et al. | Precise 3d positioning of a robotic arm using a single camera and a flat mirror |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |