JP2019194565A - マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法 - Google Patents

マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法 Download PDF

Info

Publication number
JP2019194565A
JP2019194565A JP2019026431A JP2019026431A JP2019194565A JP 2019194565 A JP2019194565 A JP 2019194565A JP 2019026431 A JP2019026431 A JP 2019026431A JP 2019026431 A JP2019026431 A JP 2019026431A JP 2019194565 A JP2019194565 A JP 2019194565A
Authority
JP
Japan
Prior art keywords
machine vision
image data
workplace
automated machine
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019026431A
Other languages
English (en)
Inventor
タイラー・エドワード・カーツ
Edward Kurtz Tyler
ライリー・ハリソン・ハンソンスミス
Harrison Hansonsmith Riley
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019194565A publication Critical patent/JP2019194565A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/10—Aligning parts to be fitted together
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/10—Aligning parts to be fitted together
    • B23P19/102—Aligning parts to be fitted together using remote centre compliance devices
    • B23P19/105—Aligning parts to be fitted together using remote centre compliance devices using sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40565—Detect features of object, not position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Automatic Assembly (AREA)
  • Manipulator (AREA)

Abstract

【課題】マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が提供される。【解決手段】マシンビジョン方法は画像データを取り込むステップ、特定の形態に対応する態様を備えるフィルタを画像データに適用するステップ、物体が特定の形態を有するか決定するステップを含む。システムは、作業場の画像データを取り込むように構成されたカメラシステムと、カメラシステムに通信可能に接続され、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備えるコントローラーと、を備え、コンピュータ可読命令は、実行されるときにコントローラーに、画像データにフィルタを適用させるとともに、フィルタを適用することに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定させる。マシンビジョン方法およびシステムを利用するロボット装着方法およびシステムも開示される。【選択図】図１

Description

本開示はマシンビジョン（machine vision）に関する。
製造はますますより自動化されてきている。現行のロボット製造システムは反復作業で非常に効率的であるが、このシステムは、環境の変化あるいは要員または他の上流側入力によって導入されるミスに必ずしも適応していない。例えば、ねじ付き締め具上にナットを装着する役割を果たすナット締めロボット（nut running robot）（例えば、ナット装着エンドエフェクタ（nut installation end effector）を有するロボットアーム）が不正確にサイズ決定または構成されたねじ付き締め具上にナットを装着すると、人員はミスを認識するだけでなく、その後にミスを修正しなければならなくなる。
マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が開示される。
作業場（work field）内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための本開示による自動化マシンビジョン方法は、作業場の画像データをカメラシステムから取り込むステップと、フィルタ済みデータを作成するために画像データにフィルタを適用するステップであって、フィルタが、1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含む、適用するステップと、適用するステップに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定するステップと、を含む。本開示によるロボット装着方法は、本開示による自動化マシンビジョン方法を実行するステップであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、実行するステップと、決定するステップに基づいて、ロボットアームを使用して構成要素を物体に対する所定の構成で装着するステップと、を含む。
作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための本開示によるマシンビジョンシステムは、作業場の画像データを取り込むように構成されたカメラシステムと、カメラシステムから画像データを受信するためにカメラシステムに通信可能に接続されたコントローラーと、を備える。コントローラーは、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、フィルタ済みデータを作成するために画像データにフィルタを適用することであって、フィルタが、1つまたは複数の所定の形態のうちの特定の形態に対応する態様を備える、ことと、フィルタを適用することに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定することと、を行わせる。本開示によるロボット装着システムは、本開示によるマシンビジョンシステムおよびロボットアームを備え、カメラシステムは、ロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる。ロボットアームは、物体が特定の特徴を有するというコントローラーによる決定に部分的に基づいて、構成要素を物体に対する所定の構成で装着するように構成される。
本開示による方法を概略的に示す流れ図である。 本開示によるシステムを概略的に示す図である。 本開示によるロボット装着システム例を示す幾分概略的な図である。 航空機生産および保守点検方法体系を概略的に示す流れ図である。 航空機を概略的に示すブロック図である。
一般に、上記の図には、所与の例に含まれる可能性のある要素が実線で示され、所与の例に随意である要素が破線で示されている。しかし、実線で示されている要素は、本開示のすべての例にとって不可欠ではなく、実線で示されている要素は、本開示の範囲から逸脱することなく特定の例から除外されてもよい。
マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が本明細書に開示される。図1は、作業場304内の物体302が1つまたは複数の所定の形態306を有するかどうかを決定するための自動化マシンビジョン方法100を概略的に示す流れ図を提供し、図2は、作業場304内の物体302が1つまたは複数の所定の形態306を有するかどうかを決定するための自動化マシンビジョンシステム300の概略図を提供する。図1の方法100および図2のシステム300の概略図は限定されるものではなく、本明細書での議論から理解されるように、他の方法100、方法100の各ステップ、システム300、およびシステム300の各要素は本開示の範囲内にあり、図示したステップの数より多いまたは少ないステップを有する方法100、ならびに図示した要素の数より多いまたは少ない要素を有するシステム300を含む。やはり本明細書での議論から理解されるように、方法100は、図示されている順に実行される図1の概略的に示されているステップを有する必要はない。システム300は本開示による方法100を実行または実施するように構成されるものと言われることがあり、すべての方法100が本開示によるシステム300によって実行または実施される必要はなく、すべてのシステム300が本開示による方法100を実行または実施する必要はない。
既述のように、方法100およびシステム300は、作業場304内の物体302が1つまたは複数の所定の形態306（例えば、物体302の物理的もしくは構造的形態または特定の箇所もしくは方位）を有するかどうかを決定する。したがって、物体302の形態306が存在すると予期される形態であるか、あるいは物体302の箇所に存在すると所望される物体に対応することを確認することにより、方法100およびシステム300は、物体302が適正な物体であるかどうかを、例えばその後の運転によって処理される準備ができているかどうかを決定することができる。追加としてまたは別法として、方法100およびシステム300は、物体302が、完全に装着されている、適切に配置されている、明確な構成要素が組み付けられている、などの所望の構成であるかどうかを決定することができる。逆に、方法100またはシステム300が、物体302の形態が存在すると予期される形態306ではないか、あるいは物体302の箇所に存在すると所望される物体または物体の構成に対応することを決定する場合、その後の運転が回避されてもよく、あるいは別の運転が、物体302を適正な物体に置き換えること、その後の処理の前に物体302をさらに操作すること、などにより行われてもよい。したがって、いくつかの方法100およびシステム300は品質管理方法および品質管理システムと言われることがある。
方法100およびシステム300は、開始または作動したときに、方法100またはシステム300の最終目標をもたらすために必要なステップが人間のユーザからの外部入力を必要とせずにシステムまたはシステムの構成部品によって完全に自動化され得る限りにおいて、自動化方法および自動化システムと言われることがある。
作業場304は、製造環境や生産環境などにおける任意適当な作業場とすることができる。例示的で非排他的な例として、作業場304は、組立段階または製造段階でのビークル、航空機、機械などの生産物または生産物の一部を含むことができる。より具体的な例として、作業場304は、2つ以上の構成要素を一体に組み立てるために締め具が装着される生産物の領域を含むことができる。このような例では、物体302は締め具を含むことができるが、方法100およびシステム300は、物体302の任意適当な構成に対して実施または構成され得る。
特に図1を参照し、一般に図2を参照すると、方法100は、作業場304の画像データをカメラシステム308から取り込むステップ102と、フィルタ済みデータを作成するために画像データにフィルタを適用するステップ104であって、フィルタが1つまたは複数の所定の形態306のうちの特定の形態に対応する態様を含む、適用するステップ104と、適用するステップ104に少なくとも部分的に基づいて、物体302が特定の形態を有するかどうかを決定するステップ106と、を含む。言い換えると、作業場304に関連する画像データが取り込まれ、特定の形態に対応する態様を有するフィルタが画像データに適用され、フィルタ済みデータから、物体302が特定の形態を有するか否かが決定される。例示的で非排他的な例として、物体302がねじ付き締め具である場合、フィルタは、物体302が配置される所であると予期される物体のねじ山構造（例えば、ねじ山ピッチ）に対応する態様を有することができ、フィルタリングの結果、ねじ付き締め具が存在すると予期されるねじ山ピッチを有するか否かが決定される。
特に図2を参照すると、システム300は、作業場304の画像データを取り込むように構成されたカメラシステム308と、カメラシステム308から画像データを受信するためにカメラシステム308に通信可能に接続されたコントローラー310と、を備える。コントローラー310は、本開示による方法100を実行または実施するように構成されるものと言われることがある。追加としてまたは別法として、コントローラー310は、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、フィルタ済みデータを作成するために画像データにフィルタを適用させ、フィルタが1つまたは複数の所定の形態306のうちの特定の形態に対応する態様を備え、フィルタの適用に少なくとも部分的に基づいて、物体302が特定の形態を有するかどうかを決定させる。
コントローラー310は、本明細書で論じられるコントローラー310の機能を実行するように構成された任意適当な1つまたは複数の装置とすることができる。例えば、コントローラー310は、電子コントローラー、専用コントローラー、特殊目的コントローラー、パーソナルコンピュータ、特殊目的コンピュータ、ディスプレイ装置、論理装置、メモリ装置、ならびに／あるいは本開示によるシステムおよび／または方法の態様を実施するためのコンピュータ実行可能命令を保存するのに適したコンピュータ可読媒体を有するメモリ装置のうちの1つまたは複数を含むことができる。追加としてまたは別法として、コントローラー310は、本開示による方法または方法のステップを実施するための非一時的コンピュータ可読記憶装置、すなわちメモリ、コンピュータ実行可能命令を格納するのに適した媒体、またはソフトウェアを含むことができる、または読み出すように構成することができる。この種の媒体の例としては、CD-ROM、ディスク、ハードドライブ、フラッシュメモリ、などがある。本明細書では、記憶装置、すなわちコンピュータ実行可能命令を有する装置および媒体、ならびにコンピュータ実施方法および本開示による他の方法が、米国特許法第101条に従って特許取得できると見なされる主題の範囲内にあると考えられる。
方法100およびシステム300のいくつかの例では、カメラシステム308は、作業場304に対して既知または決定済み位置および方位に配置される。例えば、カメラシステム308の視点からの物体302のサイズ、形状、および方位は、取り込んだ画像データ（例えば、物体302に対応する画素の収集）、したがって物体302が特定の形態を有するかどうかを決定するための画像データの対応する分析に影響を及ぼす。したがって、カメラシステム308および作業場304に関連する座標系が、これらの例による方法100およびシステム300を運転実施するために既知の方法で整列または少なくとも調整される必要がある。したがって、いくつかの方法100は、作業場304に対するカメラシステム308の位置および／または方位、ならびに／あるいはカメラシステム308に対する作業場304の位置および／または方位を決定または取得するステップをさらに含むものと言われることがあり、同様に、いくつかのシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、作業場304に対するカメラシステム308の位置および／または方位、ならびに／あるいはカメラシステム308に対する作業場304の位置および／または方位を決定または取得させ得る。
いくつかのそのような例では、カメラシステム308および作業場304の一方または両方が既知の位置または決定済み位置に配置されてもよく、システム300のコントローラー310は、例えば、物体302が1つまたは複数の所定の形態を有するかどうかを決定するときに既知の位置または決定済み位置を考慮に入れる。これは、システム300の箇所および／または方位を表す座標系を決定および／または確立すること、作業場304の箇所および／または方位を表す座標系を決定および／または確立すること、カメラシステム308の箇所および／または方位を表す座標系を決定および／または確立すること、ならびに／あるいは上記の座標系のうちの2つ以上の間の関係、オフセット、および／または差異を決定および／または確立すること、を含むことができる。
例えば、カメラシステム308および作業場304の一方または両方が、カメラシステム308および／または作業場304の正確な位置を検知するように構成された、製造または生産環境内の屋内位置決めシステムなどの測位システムに関連付けられてもよく、または同位置決めシステムによって監視されてもよい。追加としてまたは別法として、カメラシステム308は空間に固定されてもよく、作業場304はカメラシステム308の視野の中に移動させられてもよく、作業場304は、例えば、精密ツーリングによって正確に配置されるか、またはシステム300によって視覚システムかタッチプローブのどちらかで実行されるグローバル再同期運転（global resync operation）で大まかに配置される。あるいは、作業場304は空間に固定されてもよく、カメラシステム308は、作業場304がカメラシステム308の視野に入るように移動させられてもよく、カメラシステム308は、例えば、精密ツーリングによって正確に配置されるか、またはシステム300によって視覚システムかタッチプローブのどちらかで実行されるグローバル再同期運転で大まかに配置される。あるいは、作業場304の数学的モデル、すなわち描写が、カメラシステム308と作業場304との間の相対方位を推定、確立および／または決定するために利用され得る。作業場304のこの数学的モデル、すなわち描写は、例えば、作業場304のCADモデルまたは作業場304のCADモデルの2次元投影を含むことができ、かつ／または同CADモデルまたは同2次元投影とすることができる。
方法100およびシステム300のいくつかの例では、カメラシステム308はロボットアームなどのカメラマウント312によって支持される。すなわち、カメラシステム308は、ロボットアームのエンドエフェクタに取り付けられ得る、同エンドエフェクタと共に取り付けられ得る、または同エンドエフェクタとして取り付けられ得る。いくつかのこのようなシステム300では、コントローラー310は、作業場304に対するカメラシステム308の箇所および方位を受信するためにカメラマウント312に通信可能に接続される。既述のように、作業場304に対するカメラシステム308の箇所および方位を考慮に入れる、知る、決定する、かつ／または定量化することで、物体302が特定の形態を有するかどうかを決定するための画像データの分析が容易になる。
方法100およびシステム300のいくつかの例では、画像データは色データを含む。例えば、形態306は特定の色とすることができる。しかしながら、物体の色が必要とされないか、あるいは物体302が所望の物体に対応するか否かの示度となる適用例では、画像データは色データを含んでいなくてもよい。したがって、このような例では、カメラシステム308は白黒データまたはグレースケールデータを取り込むことができる。
いくつかの方法100は、図1に概略的に示されているように、取り込むステップ102中に作業場304を照らすステップ108をさらに含む。したがって、いくつかのシステム300は、図2に概略的に示されているように、カメラシステム308が画像データを取り込むときに作業場304を照らすように構成された照明装置314をさらに備えることができる。例えば、照明装置314は、カメラシステム308が画像データを取り込むときにフラッシュが作業場304を照らすように、カメラシステム308に通信可能に接続されたフラッシュ装置またはカメラシステム308の構成要素を備えることができる。
図1に概略的に示されているように、いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データから、作業場304の物体302ではない部分に対応するデータを作業場304の物体302ではない部分の既知の色に基づいて減算するステップ110をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令はさらに、実行されるときに、コントローラーに作業場304の物体302ではない部分に対応するデータを減算させる。例えば、いくつかの適用例では、作業場304は、作業場304内に存在する1つまたは複数の物体302以外の色が均等であり得る。より具体的な例として、作業場304は未加工または塗装状態のシート材料を含み、未加工または塗装状態は特定の色を有することができる。したがって、特定の色に関連するデータは、作業場304内の1つまたは複数の物体302に関連するデータのみ、または一般に同データのみが残るように画像データから減算され得る。追加としてまたは別法として、色データの減算はクロマキーイング（chroma keying）と言われることがある。
いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データをHSV（色相、彩度、明暗）ドメインに変換するステップ112をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は実行されるときに、さらにコントローラーに、フィルタを適用する前に画像データをHSVドメインに変換させる。画像データのHSVドメインへのこのような変換は、すべての方法100およびシステム300に必要ではないが、作業場304の物体302ではない部分に関連するデータの減算を容易にすることができる。
追加としてまたは別法として、いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データを1つまたは複数の所定の形態306の推定形態に基づいて二値閾値化するステップ114と、二値閾値化するステップ114に応答して、1つまたは複数の画素群を推定形態の候補として特定するステップ116と、をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、フィルタを適用する前に、画像データを1つまたは複数の所定の形態306の推定形態に基づいて二値閾値化させ、画像データが二値閾値であるのに応答して、1つまたは複数の画素群を推定形態の候補として特定させる。例示的で非排他的な例として、推定形態は、作業場304内にあると予期される、または作業場304内にあると所望される物体に関連する色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数とすることができる。いくつかの例では、推定形態は、作業場304に関連するデータベースに基づいて作業場304内にあるべき予期または所望される物体に対応する。例えば、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が特定の色などの推定形態を有する場合、推定形態に基づいて二値閾値化するステップ114により、推定形態の候補として画素、すなわち画像データのサブセットを特定するのが容易になる。より具体的な例として、生産物の特定の組立に使用されることを目的とした締め具、または締め具の一部は特定の色を有することができる。特定の色に基づいて画像データを二値閾値化することにより、特定の色に対応する特定の画素群は、物体302が実際、存在すると所望される物体であるか否かを、あるいは物体302が完全に装着される、適切に配置される、明確な構成要素が組み付けられる、などの所望の構成であるか否かを最終決定するためにさらに処理するために画像データ内に特定される。
いくつかのそのような方法100は、二値閾値化するステップ114の後で画像データをノイズ除去する（すなわち、画像データにノイズフィルタ（例えば、二値ノイズフィルタ）を適用する）ステップ118をさらに含み、その場合、1つまたは複数の画素群を特定するステップ116はノイズ除去するステップ118にさらに応答する。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、画像データが二値閾値化された後で画像データからノイズ除去させ（すなわち、画像データにノイズフィルタ（例えば、二値ノイズフィルタ）を適用させ）、1つまたは複数の画素群を特定すると、画像データがノイズ除去されるのにさらに応答する。例えば、作業場304が照らされたか否かに応じてかつ／または作業場304の照明の程度または質に応じて、二値閾値化ステップ114後の画像データはノイズが多いことがあり、ノイズ除去するステップ118は、画像データをきれいにするとともに、物体302が実際、存在すると所望される物体であるか否かを、あるいは物体302が完全に装着される、適切に配置される、明確な構成要素が組み付けられる、などの所望の構成であるか否かを最終決定するのを容易にすることができる。
いくつかの方法100およびシステム300では、特定の形態は、特定の形態の存在が決定されていて、フィルタ済み画像データを作成するときにフィルタが画像データに適用される一態様に対応するものであり、1つまたは複数の所定の形態の推定テクスチャである。いくつかのそのような例では、推定テクスチャは、作業場304に関連するデータベースに基づいて作業場304内にあるべき予期または所望される物体に対応する。例えば、既述のように、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が特定のテクスチャなどの推定形態を有する場合、フィルタを適用することで、物体302が推定形態を有するか否かを最終決定するのが容易になる。より具体的な例として、生産物の特定の組立に使用されることを目的とした締め具は、締め具に特定のねじ山サイズ、すなわちピッチに対応するテクスチャを与えるねじ山を有することができる。
方法100およびシステム300のいくつかの例では、フィルタはガボールフィルタ（Gabor filter）である。例えば、所望の締め具に関連するねじ山ピッチの場合、作業場304および／またはカメラシステム308に関連する相対位置および／または相対方位データならびに／あるいは絶対位置および／または相対方位データ（例えば、方法100の間にかつ／またはシステム300によって知られるまたは取得される）に基づいて、適切なガボールフィルタが選択または導出され、二値閾値化するステップ114の結果として特定された1つまたは複数の画素群などの画像データに適用され得る。画素群へのガボールフィルタの応答が大きくなるほど、画素群が作業場304内にあると所望される物体の形態（例えば、特定のねじ山ピッチ）を実際に表しているという確信も大きくなる。
例示的で非排他的な例として、所望の締め具は既知のねじ山ピッチを有することができる、既知のねじ山ピッチは既知の締め具の縦軸線に沿って画定され得る。システム300内の、作業場304内の、かつ／またはカメラシステム308に対する物体302の箇所は、（例えば本明細書で論じたように、方法100の間にかつ／またはシステム300を利用する間に）知られ得るかつ／または取得され得る。この既知のねじ山ピッチは、対応する既知の波長を表すことができ、縮尺された波長を発生させるために物体302の箇所に基づいて物体302の透視投影などによって縮尺され得る。次いで、この縮尺された波長は、ガボールフィルタ、または方向性ガボールフィルタ群を作成する、生成する、かつ／または選択するために利用され得る。次いで、ガボールフィルタ、または方向性ガボールフィルタ群は画像データに適用され得る。画像データが、既知のねじ山ピッチを有する所望の締め具を含む場合（すなわち、物体302が所望の締め具である場合）、ガボールフィルタは強い応答を示すことになる。逆に、画像データが、既知のねじ山ピッチを有する所望の締め具を含まない場合（すなわち、物体302が所望の締め具でない場合）、ガボールフィルタは弱い応答、またはさらに弱い応答を示すことになる。
別の例示的で非排他的な例として、物体302の縦軸線は、カメラシステム308の結像面に対して角度をなして、または同結像面に対して向きを定めれてもよい。これらの条件下では、上記の縮尺された波長にはさらに、角度補正されかつ縮尺された波長を生成するかつ／または発生させるために角度補正係数を乗じることができる。次いで、この角度補正されかつ縮尺された波長は、上述したように、画像データに適用され得るガボールフィルタ、または方向性ガボールフィルタ群を作成する、生成する、かつ／または選択するために利用され得る。角度補正係数の一例は、物体302の縦軸線が結像面に対して向きを定められる角度の余弦を含む、または同余弦である。
別の例示的で非排他的な例として、カメラシステム308は、物体302の周り、物体302の箇所の周り、および／または物体302の縦軸性の周りを回転され得る。カメラシステム308のこの回転は画像面の回転をもたらし、それによって物体302に関する3次元情報を提供するとともに、システム300が方向性ガボールフィルタ群を利用することが可能になる。
いくつかの方法100およびシステム300では、フィルタ済みデータは、物体302を表すための候補である1つまたは複数の画素ブロブを含む、または同1つまたは複数の画素ブロブと言われることがある。いくつかのそのような方法100は、フィルタを適用するステップ104の後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブ（すなわち、局所グルーピング）を分析するステップ120をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、フィルタを適用した後で1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析させる。例えば、1つまたは複数のブロブ形態は、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含むことができる。いくつかのそのような方法100およびシステム300では、1つまたは複数のブロブ形態は、作業場304に関連するデータベース内の1つまたは複数の所定の形態306に関連する。既述のように、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が、1つまたは複数のブロブの予期される面積、偏心度、寸法、明度、相関、および／または均質度に対応する推定形態を有する場合、1つまたは複数のブロブを分析することで、物体302が1つまたは複数の所定の形態を有するか否かを最終決定するのが容易になる。
いくつかのそのような方法100は、1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態306を特定するように機械学習モデルを訓練するステップ122をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態306を特定するように機械学習モデルを訓練させる。例示的で非排他的な例として、機械学習モデルは、サポートベクターマシン（SVM）とすることができる。
いくつかの方法100およびシステム300では、カメラシステム308はステレオカメラシステムであり、したがって画像データは2つの画像を含む。そのような方法100は、フィルタ済みデータの点群を作成するステップ124をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラー310にフィルタ済みデータの点群を作成させる。
いくつかのそのような方法100は、画像データを取り込むステップ102中に、作業場304上に光テクスチャを投影するステップ126をさらに含む。対応するシステム300は、作業場304上に光テクスチャを投影するように構成されたプロジェクタ316をさらに備える。いくつかのそのような方法100およびシステム300では光テクスチャはパターンを含むが、他のそのような方法100およびシステム300では光テクスチャはランダムである。作業場304上に光テクスチャを投影することにより、カメラシステム308によって取り込まれた2つの画像は点群を作成するために分解され得る。例えば、いくつかの方法100では、点群を作成するステップ124は、光テクスチャに基づいて2つの画像から視差マップを生成するステップ128を含む。
より具体的には、いくつかの方法100は、物体302に関連する画素を選択するステップ130と、物体302に関連する画素を作業場304に関連するデータベースからの予期または所望される物体のコンピュータモデル（例えばCADモデル）と比較するステップ132と、をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、物体302に関連する画素を選択させ、物体302に関連する画素を作業場304に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較させる。例示的で非排他的な例として、締め具のコンピュータモデルは、締め具のシャフトに対応する円筒体を表現したものを含むことができ、コンピュータモデルを物体302に関連する画素と比較するステップは、法線推定値および半径推定値を使用することにより円筒体を画素に適合させることを含むことができる。
いくつかの適用例では、作業場304は複数の物体302を含む。したがって、いくつかの方法100は、複数の物体のそれぞれに関連して実行される。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラー310に複数の物体302のそれぞれが特定の形態を有するかどうかを決定させる。
引き続き図1および図2を参照すると、ロボット装着方法200およびロボット装着システム400もまた本開示の範囲内にある。図1に概略的に示されているように、また一般に図2を参照すると、ロボット装着方法200は、本開示による自動化マシンビジョン方法100を実行するステップであって、カメラシステム308がロボットアーム402のエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、ステップと、実行された方法100の決定するステップ106に基づいて、ロボットアーム402に構成要素を物体302に対する所定の構成で装着するよう指示するステップ202と、ロボットアーム402を使用して構成要素を物体302に対する所定の構成で装着するステップ204と、を含む。図2に概略的に示されているように、ロボット装着システム400は、本開示による自動化マシンビジョンシステム300とロボットアーム402とを備え、カメラシステム308は、ロボットアーム402のエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられるものであり、ロボットアーム402は、物体302がコントローラー310から受信された特定の形態および命令を有するかどうかのコントローラー310による決定に部分的に基づいて構成要素を物体302に対する所定の構成で装着するように構成される。すなわち、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、ロボットアームに構成要素を物体に対する所定の構成で装着するよう指示させる。
ここで図3を参照すると、ロボット装着システム401の形をとるロボット装着システム400の例示的で非排他的な例が示されている。必要に応じて、図2の概略図の参照番号は、ロボット装着システム401の対応する部品を明示するために用いられるが、図3の例は非排他的であり、ロボット装着システム400を図3の例示的実施形態に限定するものではない。すなわち、ロボット装着システム400は、図示のロボット装着システム401の特定の実施形態に限定されるものではなく、ロボット装着システム400は、図2の概略図および／または図3の実施形態ならびにこれらの実施形態の変形形態に例示され、これらの実施形態および変形形態を参照して論じられるロボット装着システム400の様々な態様、構成、特徴、特性などのうちのいくつかを、すべてのそのような態様、構成、特徴、特性などを含める必要なしに組み込むことができる。簡潔にする目的で、それぞれの前述した構成要素、部品、部分、態様、領域など、またはそれらの変形形態は、やはりロボット装着システム401に関して論じられ、例示され、かつ／またはラベルを付され得るが、前述した形態、変形形態などがロボット装着システム401で利用され得ることは本開示の範囲内にある。
図3に示されているように、ロボット装着システム401は、エンドエフェクタ404、カメラシステム308およびナットランナ（nut runner）406を有するロボットアーム402を備える。ロボットアーム402は、シート材料414から延伸する締め具の形をとる複数の物体302を含む作業場304に対して配置される。より具体的には、図示の例では、複数のボルト408がシート材料414を貫通して延伸していて、ボルト408のサブセットがボルト408上に装着されたナット410を有し締め具対412を画定している。コントローラー310は、カメラシステム308、ナットランナ406、およびロボットアーム402と通信する状態で概略的に示されており、この動作的通信は稲妻で概略的に示してあるが、有線および／または無線でよい。したがって、ロボット装着システム401は、本開示による方法100および方法200を実行するように構成される。より具体的には、ロボット装着システム401は、正しいボルト408およびナット410が存在するかどうか、ボルト408がナット410の動作的受容のために適切にまたは完全に配置されているかどうか、ナットが対応するボルト408上に適切にかつ動作可能に配置されているかどうか、どのボルト408がナット410をまだ必要としているか、など、物体302が1つまたは複数の所定の形態を有するかどうかを決定するためにマシンビジョンシステム300を利用する。次いで、そのような決定に基づいて、ロボットアーム402は、ナットランナ406を利用して追加のナット410を動作可能に装着することができ、かつ／または、例えば、正しくないボルト408が配置されている所またはボルト408がナット410を受容するために動作可能に配置されていない所にナット410を装着することができない。
ここで図4および図5を参照すると、本開示の諸実施形態が、図4に示されている航空機の製造および保守点検方法500ならびに図5に示されている航空機600の状況で説明され得る。すなわち、方法500は、本開示による方法100および方法200の一方または両方を含むことができ、航空機600は、航空機600が例えば作業場304を含む状態で、本開示によるシステム300またはシステム400を利用して製造または保守点検することができる。
プレ生産中、例示的な方法500は、航空機600の仕様および設計504ならびに材料調達506を含むことができる。生産中、航空機600の構成要素および部分組立品の製造508ならびにシステム統合510が行われる。その後、航空機600は、就航中514に置かれるために認証および搬送512を経ることがある。顧客による就航中、航空機600は、日常整備および保守点検516（変更、再構成、改修なども含み得る）が予定される。
方法500の工程はそれぞれ、システム統合者、第三者、および／またはオペレータ（例えば顧客）によって実行または実施されてもよい。この説明のために、システム統合者は、制限なく、任意の数の航空機製造業者および主要システム下請業者を含むことができ、第三者は、制限なく、任意の数の売主、下請業者、および供給業者を含むことができ、オペレータは、航空会社、リース会社、軍事団体、保守点検組織などとすることができる。
図5に示すように、例示的な方法500で生産される航空機600は、複数のシステム604および内部606と共に機体602を含むことができる。高レベルシステム604の例は、推進システム608、電気システム610、油圧システム612、および環境システム614のうちの1つまたは複数を含む。任意の数の他のシステムが含まれていてもよい。航空宇宙の例が示されているが、本明細書で開示される本発明の原理は、自動車産業などの他の産業に適用されてもよい。
本明細書で開示される装置および方法は、生産および保守点検方法500の段階のうちのいずれか1つまたは複数の段階で用いられてもよい。例えば、生産段階508に対応する構成要素または部分組立品は、航空機600が就航中に生産される構成要素または部分組立品と同様の方法で製作または製造されてもよい。さらに、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、例えば、実質的に航空機600の組立を促進するまたは航空機600のコストを節減することにより、生産段階508および510で利用されてもよい。同様に、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、航空機600が就航中に、例えば制限なく、整備および保守点検516に利用されてもよい。
本開示による発明的主題の例示的で非排他的な例が以下に列挙した項に記述される。
A項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための自動化マシンビジョン方法であって、
作業場の画像データをカメラシステムから取り込むステップと、
フィルタ済みデータを作成するために画像データにフィルタを適用するステップであって、フィルタが1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含む、ステップと、
フィルタを適用するステップに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定するステップと、
を含む、自動化マシンビジョン方法。
A1項．（i）カメラシステムが作業場に対して既知の位置および方位に配置されること、および
（ii）自動化マシンビジョン方法が、カメラシステムと作業場との間の相対方位を決定するステップをさらに含むこと、
の少なくとも一方である、A項に記載の自動化マシンビジョン方法。
A2項．カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、A項またはA1項に記載の自動化マシンビジョン方法。
A3項．画像データが色データを含む、A項からA2項のいずれか一項に記載の自動化マシンビジョン方法。
A4項．取り込むステップ中に作業場を照らすステップ
をさらに含む、A項からA3項のいずれか一項に記載の自動化マシンビジョン方法。
A5項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データから、作業場の物体ではない部分に対応するデータを作業場の物体ではない部分の既知の色に基づいて減算するステップ
をさらに含む、A項からA4項のいずれか一項に記載の自動化マシンビジョン方法
A6項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データをHSVドメインに変換するステップ
をさらに含む、A項からA5項のいずれか一項に記載の自動化マシンビジョン方法。
A7項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データを1つまたは複数の所定の形態の推定形態に基づいて二値閾値化するステップと、
二値閾値化するステップに応答して、1つまたは複数の画素群を推定形態の候補として特定するステップと、
をさらに含む、A項からA6項のいずれか一項に記載の自動化マシンビジョン方法。
A7．1項．推定形態が、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、A7項に記載の自動化マシンビジョン方法。
A7．2項．推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、A7項からA7．1項のいずれか一項に記載の自動化マシンビジョン方法。
A7．3項．二値閾値化するステップの後で画像データをノイズ除去するステップ
をさらに含み、
1つまたは複数の画素群を特定するステップが、ノイズ除去するステップにさらに応答する、
A7項からA7．2項のいずれか一項に記載の自動化マシンビジョン方法。
A8項．特定の形態が、1つまたは複数の所定の形態の推定テクスチャである、A項からA7．3項のいずれか一項に記載の自動化マシンビジョン方法。
A8．1項．推定テクスチャが、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、A8項に記載の自動化マシンビジョン方法。
A8．2項．推定テクスチャが締め具のねじ山サイズに対応する、A8項またはA8．1項に記載の自動化マシンビジョン方法。
A9項．フィルタがガボールフィルタである、A項からA8．2項のいずれか一項に記載の自動化マシンビジョン方法。
A10項．フィルタ済みデータが、物体を表すための候補である1つまたは複数の画素ブロブを含む、A項からA9項のいずれか一項に記載の自動化マシンビジョン方法。
A10．1項．フィルタを適用するステップの後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析するステップ
をさらに含む、A10項に記載の自動化マシンビジョン方法。
A10．1．1項．1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含む、A10．1項に記載の自動化マシンビジョン方法。
A10．1．1．1項．1つまたは複数のブロブ形態が、作業場に関連するデータベース内の1つまたは複数の所定の形態に関連する、A10．1．1項に記載の自動化マシンビジョン方法。
A10．1．2項．1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態を特定するように機械学習モデルを訓練するステップをさらに含む、A10項からA10．1．1．1項のいずれか一項に記載の自動化マシンビジョン方法。
A11項．カメラシステムがステレオカメラシステムであり、画像データが2つの画像を含み、自動化マシンビジョン方法が、
フィルタ済みデータの点群を作成するステップ
をさらに含む、A項からA10．1．2項のいずれか一項に記載の自動化マシンビジョン方法。
A11．1項．画像データを取り込むステップ中に、作業場上に光テクスチャを投影するステップ
をさらに含む、A11項に記載の自動化マシンビジョン方法。
A11．1．1項．光テクスチャがパターンを含む、A11．1項に記載の自動化マシンビジョン方法。
A11．1．2項．光テクスチャがランダムである、A11．1項に記載の自動化マシンビジョン方法。
A11．1．3項．点群を作成するステップが、光テクスチャに基づいて2つの画像から視差マップを生成するステップを含む、A11．1項からA11．1．2項のいずれか一項に記載の自動化マシンビジョン方法。
A11．1．3．1項．物体に関連する画素を選択するステップと、
物体に関連する画素を、作業場に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較するステップと、
をさらに含む、A11．1．3項に記載の自動化マシンビジョン方法。
A12項．物体が締め具または締め具対を含む、A項からA11．1．3．1項のいずれか一項に記載の自動化マシンビジョン方法。
A13項．作業場が複数の物体を含み、方法が複数の物体のそれぞれに関連して実行される、A項からA12項のいずれか一項に記載の自動化マシンビジョン方法。
A14項．作業場がシート材料から延伸する複数の物体を含む、A項からA13項のいずれか一項に記載の自動化マシンビジョン方法。
A14．1項．A5項から従属する場合、作業場の物体ではない部分がシート材料に対応する、A14項に記載の自動化マシンビジョン方法。
A15項．1つまたは複数の所定の形態が、色、サイズ、形状、しるし、およびねじ山構造のうちの1つまたは複数を含む、A項からA14．1項のいずれか一項に記載の自動化マシンビジョン方法。
A16項．C項からC15項のいずれか一項に記載のマシンビジョンシステムによって実行される、A項からA15項のいずれか一項に記載の自動化マシンビジョン方法。
B項．A項からA16のいずれか一項に記載の自動化マシンビジョン方法を実行するステップであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、ステップと、
決定するステップに基づいて、ロボットアームに構成要素を物体に対する所定の構成で装着するよう指示するステップと、
ロボットアームを使用して構成要素を物体に対する所定の構成で装着するステップと、
を含むロボット装着方法。
B1項．物体および構成要素が締め具対を含む、B項に記載のロボット装着方法。
C項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するためのマシンビジョンシステムであって、
作業場の画像データを取り込むように構成されたカメラシステムと、
カメラシステムから画像データを受信するためにカメラシステムに通信可能に接続されたコントローラーと、
を備え、コントローラーは、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、
フィルタ済みデータを作成するために画像データにフィルタを適用させ、フィルタは1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含み、
フィルタの適用に少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定させる、
マシンビジョンシステム。
C1項．カメラマウントであって、カメラシステムがカメラマウントによって支持される、カメラマウント
をさらに備え、
コントローラーが、作業場に対するカメラシステムの箇所および方位のデータを受信するためにカメラマウントに通信可能に接続される、C項に記載のマシンビジョンシステム。
C1．1項．カメラマウントがロボットアームである、C1項に記載のマシンビジョンシステム。
C2項．画像データが色データを含む、C項からC1．1項のいずれか一項に記載のマシンビジョンシステム。
C3項．カメラシステムが画像データを取り込むときに作業場を照らすように構成された照明装置
をさらに備える、C項からC2項のいずれか一項に記載のマシンビジョンシステム。
C4項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データから、作業場の物体ではない部分に対応するデータを作業場の物体ではない部分の既知の色に基づいて減算させる、C項からC3項のいずれか一項に記載のマシンビジョンシステム。
C5項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データをHSVドメインに変換させる、C項からC4項のいずれか一項に記載のマシンビジョンシステム。
C6項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データを1つまたは複数の所定の形態の推定形態に基づいて二値閾値化させ、
画像データが二値閾値であるのに応答して、1つまたは複数の画素群を推定形態の候補として特定させる、C項からC5項のいずれか一項に記載のマシンビジョンシステム。
C6．1項．推定形態が、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、C6項に記載のマシンビジョンシステム。
C6．2項．推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、C6項またはC6．1項に記載のマシンビジョンシステム。
C6．3項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
画像データが二値閾値化された後で画像データをノイズ除去させ、
1つまたは複数の画素群を特定すると、画像データがノイズ除去されるのにさらに応答する、C6項からC6．2項のいずれか一項に記載のマシンビジョンシステム。
C7項．特定の形態が、1つまたは複数の所定の形態の推定テクスチャである、C項からC6．3項のいずれか一項に記載のマシンビジョンシステム。
C7．1項．推定テクスチャが、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、C7項に記載のマシンビジョンシステム。
C7．2項．推定テクスチャが締め具のねじ山サイズに対応する、C7項またはC7．1項に記載のマシンビジョンシステム。
C8項．フィルタがガボールフィルタである、C項からC7．2項のいずれか一項に記載のマシンビジョンシステム。
C9項．フィルタ済みデータが、物体を表すための候補である1つまたは複数の画素ブロブを含む、C項からC8項のいずれか一項に記載のマシンビジョンシステム。
C9．1項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用した後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析させる、C9項に記載のマシンビジョンシステム。
C9．1．1項．1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含む、C9．1項に記載のマシンビジョンシステム。
C9．1．1．1項．1つまたは複数のブロブ形態が、作業場に関連するデータベース内の1つまたは複数の所定の形態に関連する、C9．1．1項に記載のマシンビジョンシステム。
C9．1．2項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態を特定するように機械学習モデルを訓練させる、C9項からC9．1．1．1項のいずれか一項に記載のマシンビジョンシステム。
C10項．カメラシステムがステレオカメラシステムであり、画像データが2つの画像を含み、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、
フィルタ済みデータの点群を作成させる、C項からC9．1．2項のいずれか一項に記載のマシンビジョンシステム。
C10．1項．作業場上に光テクスチャを投影するように構成されたプロジェクタをさらに備える、C10項に記載のマシンビジョンシステム。
C10．1．1項．光テクスチャがパターンを含む、C10．1項に記載のマシンビジョンシステム。
C10．1．2項．光テクスチャがランダムである、C10．1項に記載のマシンビジョンシステム。
C10．1．3項．点群を作成するステップが、光テクスチャに基づいて2つの画像から視差マップを生成することを含む、C10．1項からC10．1．2項のいずれか一項に記載のマシンビジョンシステム。
C10．1．3．1項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
物体に関連する画素を選択させ、
物体に関連する画素を作業場に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較させる、C10．1．3項に記載のマシンビジョンシステム。
C11項．物体が締め具または締め具対を含む、C項からC10．1．3．1項のいずれか一項に記載のマシンビジョンシステム。
C12項．作業場が複数の物体を含み、コンピュータ可読命令は、実行されるときに、さらにコントローラーに複数の物体のそれぞれが特定の形態を有するかどうかを決定させる、C項からC11項のいずれか一項に記載のマシンビジョンシステム。
C13項．作業場がシート材料から延伸する複数の物体を含む、C項からC12項のいずれか一項に記載のマシンビジョンシステム。
C13．1項．C4項から従属する場合、作業場の物体ではない部分がシート材料に対応する、C13項に記載のマシンビジョンシステム。
C14項．1つまたは複数の所定の形態が、色、サイズ、形状、しるし、およびねじ山構造のうちの1つまたは複数を含む、C項からC13．1項のいずれか一項に記載のマシンビジョンシステム。
C15項．A項からA16項のいずれか一項に記載の自動化マシンビジョン方法を実行するように構成される、C項からC14項のいずれか一項に記載のマシンビジョンシステム。
C16項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するためにC項からC15項のいずれか一項に記載のマシンビジョンシステムを使用すること。
D項．ロボット装着システムであって、
C項からC15項のいずれか一項に記載のマシンビジョンシステムと、
ロボットアームであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられ、同エンドエフェクタと共に取り付けられ、または同エンドエフェクタとして取り付けられ、ロボットアームは、物体が特定の形態を有するというコントローラーによる決定に部分的に基づいて構成要素を物体に対する所定の構成で装着するように構成される、ロボットアームと、
を備え、
コンピュータ可読命令は、実行されるときに、さらにコントローラーに、構成要素を物体に対する所定の構成で装着するようロボットアームに指示させる、ロボット装着システム。
D1項．物体および構成要素が締め具対を含む、D項に記載のロボット装着システム。
D2項．構成要素を物体に対する所定の構成で装着するためにD項またはD1項に記載のロボット装着システムを使用すること。
本明細書では、「適合される（adapted）」および「構成される（configured）」という用語は、要素、構成要素、または他の主題が、所与の機能を果たすように設計されかつ／または意図されていることを意味する。したがって、「適合される」および「構成される」という用語の使用は、所与の要素、構成要素、または他の主題が単純に所与の機能を果たす「能力がある（capable of）」ことを意味すると解釈されるべきではなく、その要素、構成要素、または他の主題がその機能を果たす目的で特に選択され、作成され、実装され、利用され、プログラム化され、かつ／または設計されることを意味すると解釈されるべきである。特定の機能を果たすように適合されるものとして記載されている要素、構成要素、および／または他の記載された主題は、追加としてまたは別法として、その機能を果たすように構成されるものと言われることがあり、逆も同様であることもまた、本開示の範囲内にある。同様に、特定の機能を果たすように構成されるものとして記載されている主題は、追加としてまたは別法として、その機能を果たすように作動するものと言われることがある。
本明細書では、第1の存在物と第2の存在物との間に配置される「および／または（and／or）」という用語は、（1）第1の存在物、（2）第2の存在物、（3）第1の存在物および第2の存在物、のうちの1つを意味する。「および／または」と共に列挙されている複数の存在物は同様に、すなわち存在物のうちの「1つまたは複数」が等位結合されていると解釈されるべきである。随意に、他の存在物は、具体的に特定された存在物に関係しているかどうかにかかわらず、「および／または」節によって具体的に特定された存在物以外に存在し得る。したがって、非限定的な例として、「備える（comprising）」などの非限定的言語と共に用いられる場合に「Aおよび／またはB」に言及することは、一例ではAのみ（随意にB以外の存在物を含む）を、別の例ではBのみ（随意にA以外の存在物を含む）を、別の例ではAとBの両方（随意に他の存在物を含む）を参照することができる。これらの存在物は、要素、動き、構造、ステップ、運転、値などを参照することができる。
本明細書で開示される、装置の様々な開示済み要素および方法のステップは、本開示によるすべての装置および方法に必要ではなく、本開示は、本明細書で開示される様々な要素およびステップのすべての新規かつ非自明の組合せおよび副組合せを含む。さらに、本明細書で開示される様々な要素およびステップのうちの1つまたは複数が、開示済み装置または方法の全体とは別の独立した発明の主題を規定することができる。したがって、このような発明の主題は、本明細書で明白に開示される特定の装置および方法に関連する必要はなく、このような発明の主題は、本明細書で明白には開示されない装置および／または方法における有用性を見いだすことができる。
100 自動化マシンビジョン方法
200 ロボット装着方法
300 自動化マシンビジョンシステム
302 物体
304 作業場
306 所定の形態
308 カメラシステム
310 コントローラー
312 カメラマウント
314 照明装置
316 プロジェクタ
400 ロボット装着システム
401 ロボット装着システム
402 ロボットアーム
404 エンドエフェクタ
406 ナットランナ
408 ボルト
410 ナット
412 締め具対
414 シート材料
500 航空機の製造および保守点検方法
504 仕様および設計
506 材料調達
508 機械要素および部分組立品の製造、生産段階
510 システム統合
512 認証および搬送
514 就航中
516 日常整備および保守点検
600 航空機
602 機体
604 高レベルシステム
606 内部
608 推進システム
610 電気システム
612 油圧システム
614 環境システム

Claims (13)

  1. 作業場（304）内の物体（302）が1つまたは複数の所定の形態（306）を有するかどうかを決定するための自動化マシンビジョン方法（100）であって、前記自動化マシンビジョン方法（100）が、
    前記作業場（304）の画像データをカメラシステム（308）から取り込むステップ（102）と、
    フィルタ済みデータを作成するために前記画像データにフィルタを適用するステップ（104）であって、前記フィルタが、前記1つまたは複数の所定の形態（306）のうちの特定の形態に対応する態様を含む、ステップ（104）と、
    前記適用するステップ（104）に少なくとも部分的に基づいて、前記物体（302）が前記特定の形態を有するかどうかを決定するステップ（106）と、
    を含む自動化マシンビジョン方法（100）。
  2. （i）前記カメラシステム（308）が前記作業場（304）に対して既知の位置および方位に配置されること、および
    （ii）前記自動化マシンビジョン方法（100）が、前記カメラシステム（308）と前記作業場（304）との間の相対方位を決定するステップ（106）をさらに含むこと、
    のうちの少なくとも一方である、請求項1に記載の自動化マシンビジョン方法（100）。
  3. 前記画像データを取り込むステップ（102）の後で、かつ前記フィルタを適用するステップ（104）の前に、
    前記画像データをHSVドメインに変換するステップ（112）と、
    前記作業場（304）の前記物体（302）ではない部分の既知の色に基づいて、前記作業場（304）の前記物体（302）ではない前記部分に対応するデータを前記画像データから減算するステップ（110）と、
    をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
  4. 前記画像データを取り込むステップ（102）の後で、かつ前記フィルタを適用するステップ（104）の前に、
    前記1つまたは複数の所定の形態（306）の推定形態に基づいて、前記画像データを二値閾値化するステップ（114）であって、前記推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、二値閾値化するステップ（114）と、
    前記二値閾値化するステップ（114）に応答して、1つまたは複数の画素群を前記推定形態の候補として特定するステップ（116）と、
    をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
  5. 前記推定形態が、前記作業場（304）に関連するデータベースに基づいて前記作業場（304）内にあるべき予期または所望される物体に対応する、請求項4に記載の自動化マシンビジョン方法（100）。
  6. 前記二値閾値化するステップ（114）の後で前記画像データをノイズ除去するステップ（118）
    をさらに含み、
    前記1つまたは複数の画素群を特定するステップ（116）が、前記ノイズ除去するステップ（118）にさらに応答する、請求項4に記載の自動化マシンビジョン方法（100）。
  7. 前記特定の形態が、前記1つまたは複数の所定の形態（306）の推定テクスチャであり、前記推定テクスチャが、前記作業場（304）に関連するデータベースに基づいて前記作業場（304）内にあるべき予期または所望される物体に対応する、請求項1に記載の自動化マシンビジョン方法（100）。
  8. 前記推定テクスチャが締め具のねじ山サイズに対応する、請求項7に記載の自動化マシンビジョン方法（100）。
  9. 前記フィルタがガボールフィルタである、請求項7に記載の自動化マシンビジョン方法（100）。
  10. 前記フィルタ済みデータが、前記物体（302）を表すための候補である1つまたは複数の画素ブロブを含み、前記自動化マシンビジョン方法（100）が、
    前記フィルタを適用するステップ（104）の後で、1つまたは複数のブロブ形態の存在を決定するために前記1つまたは複数の画素ブロブを分析するステップ（120）であって、前記1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含み、前記1つまたは複数のブロブ形態が、前記作業場（304）に関連するデータベース内の前記1つまたは複数の所定の形態（306）に関連する、ステップ（120）
    をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
  11. 前記カメラシステム（308）がステレオカメラシステムであり、前記画像データが2つの画像を含み、前記自動化マシンビジョン方法（100）が、
    前記画像データを取り込むステップ（102）中に、前記作業場（304）上に光テクスチャを投影するステップ（126）と、
    前記フィルタ済みデータの点群を作成するステップ（124）であって、前記点群を作成するステップ（124）が、前記光テクスチャに基づいて前記2つの画像から視差マップを生成するステップ（128）を含む、ステップ（124）と、
    前記物体（302）に関連する画素を選択するステップ（130）と、
    前記物体（302）に関連する前記画素を、前記作業場（304）に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較するステップ（132）と、
    をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
  12. 前記物体（302）が締め具または締め具対（412）を含む、請求項1に記載の自動化マシンビジョン方法（100）。
  13. 作業場（304）内の物体（302）が1つまたは複数の所定の形態（306）を有するかどうかを決定するためのマシンビジョンシステム（300）であって、前記マシンビジョンシステム（300）が、
    前記作業場（304）の画像データを取り込むように構成されたカメラシステム（308）と、
    前記カメラシステム（308）から前記画像データを受信するために前記カメラシステム（308）に通信可能に接続されたコントローラー（310）と、
    を備え、
    前記コントローラー（310）は、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、前記コンピュータ可読命令は、実行されるときに前記コントローラー（310）に、
    フィルタ済みデータを作成するために前記画像データにフィルタを適用することであって、前記フィルタが、前記1つまたは複数の所定の形態（306）のうちの特定の形態に対応する態様を含む、ことと、
    前記フィルタを適用することに少なくとも部分的に基づいて、前記物体（302）が前記特定の形態を有するかどうかを決定することと、
    を行わせる、マシンビジョンシステム（300）。
JP2019026431A 2018-03-28 2019-02-18 マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法 Pending JP2019194565A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/939,127 US10657419B2 (en) 2018-03-28 2018-03-28 Machine vision and robotic installation systems and methods
US15/939,127 2018-03-28

Publications (1)

Publication Number Publication Date
JP2019194565A true JP2019194565A (ja) 2019-11-07

Family

ID=65443701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019026431A Pending JP2019194565A (ja) 2018-03-28 2019-02-18 マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法

Country Status (4)

Country Link
US (2) US10657419B2 (ja)
EP (1) EP3557478B1 (ja)
JP (1) JP2019194565A (ja)
CN (1) CN110315529A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220060601A (ko) * 2020-11-04 2022-05-12 전남대학교산학협력단 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593931B2 (en) 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
EP4024034A1 (en) * 2021-01-05 2022-07-06 The Boeing Company Methods and apparatus for measuring fastener concentricity
WO2024043775A1 (en) 2022-08-25 2024-02-29 Sime Darby Plantation Intellectual Property Sdn Bhd Autonomous method and system for detecting, grabbing, picking and releasing of objects
CN117798654B (zh) * 2024-02-29 2024-05-03 山西漳电科学技术研究院(有限公司) 汽轮机轴系中心智能调整系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317953B1 (en) 1981-05-11 2001-11-20 Lmi-Diffracto Vision target based assembly
US4843708A (en) 1987-04-23 1989-07-04 Nissan Motor Co., Ltd. Assembly method for component parts and system
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
US5727300A (en) 1995-02-07 1998-03-17 The Boeing Company Fastener verification system
US6448549B1 (en) * 1995-08-04 2002-09-10 Image Processing Systems, Inc. Bottle thread inspection system and method of operating the same
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
GB0125079D0 (en) 2001-10-18 2001-12-12 Cimac Automation Ltd Auto motion:robot guidance for manufacturing
US7343034B2 (en) * 2003-10-30 2008-03-11 Illinois Tool Works Inc Method of inspecting threaded fasteners and a system therefor
US7755761B2 (en) 2004-11-12 2010-07-13 The Boeing Company Self-normalizing contour drilling machine
US20070188606A1 (en) 2006-02-16 2007-08-16 Kevin Atkinson Vision-based position tracking system
US7362437B2 (en) 2006-03-28 2008-04-22 The Boeing Company Vision inspection system device and method
US8050486B2 (en) 2006-05-16 2011-11-01 The Boeing Company System and method for identifying a feature of a workpiece
US20080181485A1 (en) * 2006-12-15 2008-07-31 Beis Jeffrey S System and method of identifying objects
US8224121B2 (en) 2007-06-15 2012-07-17 The Boeing Company System and method for assembling substantially distortion-free images
US8978967B2 (en) 2007-10-31 2015-03-17 The Boeing Campany Intelligent fastener system
US9302785B2 (en) 2007-11-29 2016-04-05 The Boeing Company Engine installation using machine vision for alignment
US7876216B2 (en) 2008-06-25 2011-01-25 The Boeing Company Object location and reporting system for harsh RF environments
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
GB2486658A (en) 2010-12-21 2012-06-27 Crane Electronics Torque tool positioning system
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
JP5507595B2 (ja) * 2012-02-17 2014-05-28 ファナック株式会社 ロボットを用いた物品組付け装置
US9299118B1 (en) 2012-04-18 2016-03-29 The Boeing Company Method and apparatus for inspecting countersinks using composite images from different light sources
US10473558B2 (en) * 2012-11-13 2019-11-12 Ues, Inc. Automated high speed metallographic system
US9761002B2 (en) 2013-07-30 2017-09-12 The Boeing Company Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
US9568906B2 (en) 2013-09-18 2017-02-14 The Boeing Company Robotic object coating system
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9789549B2 (en) 2015-07-07 2017-10-17 The Boeing Company Robotic system and drilling end effector for robotic system
US10002431B2 (en) * 2015-11-03 2018-06-19 The Boeing Company Locating a feature for robotic guidance
US10066925B2 (en) 2016-02-02 2018-09-04 The Boeing Company Point cloud processing apparatus and method
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
US10217031B2 (en) * 2016-10-13 2019-02-26 International Business Machines Corporation Identifying complimentary physical components to known physical components
US10671835B2 (en) * 2018-03-05 2020-06-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Object recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220060601A (ko) * 2020-11-04 2022-05-12 전남대학교산학협력단 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.
KR102463522B1 (ko) 2020-11-04 2022-11-04 전남대학교산학협력단 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법.

Also Published As

Publication number Publication date
US20200242413A1 (en) 2020-07-30
EP3557478B1 (en) 2023-12-27
US20190303721A1 (en) 2019-10-03
CN110315529A (zh) 2019-10-11
EP3557478A2 (en) 2019-10-23
US10657419B2 (en) 2020-05-19
EP3557478A3 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
JP2019194565A (ja) マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法
US9471057B2 (en) Method and system for position control based on automated defect detection feedback
CN113125458B (zh) 钢结构涂层状态的检查与评估方法及系统
EP1995553B1 (en) System and method for identifying a feature of a workpiece
EP3418726A1 (en) Defect detection apparatus, defect detection method, and program
EP3049793B1 (en) Structural hot spot and critical location monitoring
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
CN110328665B (zh) Led模组的装配方法及装置、存储介质、处理器
Kim et al. A vision-based system for monitoring block assembly in shipbuilding
EP3775854A1 (en) System for the detection of defects on a surface of at least a portion of a body and method thereof
Aijazi et al. Detecting and analyzing corrosion spots on the hull of large marine vessels using colored 3D lidar point clouds
US20230053085A1 (en) Part inspection system having generative training model
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
CN111486790A (zh) 一种电池全尺寸检测方法与装置
CN107886530A (zh) 一种改进的基于sift特征的图像配准算法
CN112070748A (zh) 金属油管缺陷检测方法和装置
US20230112264A1 (en) Systems and methods for composite fabrication with ai quality control modules
JP2013182395A (ja) 対象物検査装置、対象物検査方法及び対象物検査プログラム
CN101150651A (zh) 一种获得差分图像的预处理方法
CN110335274B (zh) 一种三维模具缺陷检测方法及装置
CN113689495A (zh) 基于深度学习的孔心检测方法及其孔心检测装置
GB2590468A (en) Analysing surfaces of vehicles
KR20180085479A (ko) 다양한 단면 형상을 가진 객체의 생산 수량 검수 자동화를 위한 장치 및 방법
JP2011141202A (ja) 部品検査装置及びプログラム
US20230245299A1 (en) Part inspection system having artificial neural network