JP2021131853A - Arオーバーレイを使用した変化検出方法及びシステム - Google Patents
Arオーバーレイを使用した変化検出方法及びシステム Download PDFInfo
- Publication number
- JP2021131853A JP2021131853A JP2021010668A JP2021010668A JP2021131853A JP 2021131853 A JP2021131853 A JP 2021131853A JP 2021010668 A JP2021010668 A JP 2021010668A JP 2021010668 A JP2021010668 A JP 2021010668A JP 2021131853 A JP2021131853 A JP 2021131853A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- physical object
- reference model
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title description 52
- 238000001514 detection method Methods 0.000 title description 45
- 230000003190 augmentative effect Effects 0.000 claims abstract description 13
- 238000011960 computer-aided design Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 22
- 230000007547 defect Effects 0.000 description 14
- 238000007689 inspection Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000010146 3D printing Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002648 laminated material Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30144—Printing quality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Materials Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
概要
ARベースの変化検出システム
例示的なコンピュータ及び通信システム
Claims (22)
- 物理的物体と前記物理的物体に対応する参照モデルとの間の差異を検出するためのコンピュータ実行方法であって、
前記物理的物体の現実世界画像を取得することと、
前記参照モデルから生成された三次元(3D)オーバーレイを前記現実世界画像内の前記物理的物体上に投影することによって、拡張現実(AR)画像を生成することであって、前記AR画像を生成することは、前記参照モデルの姿勢を前記物理的物体の姿勢に位置合わせすることを含むことと、
生成された前記AR画像及び前記現実世界画像に基づいて、前記物理的物体と前記参照モデルとの間の前記差異を検出することと、
を含む、方法。 - 前記参照モデルの前記姿勢を前記物理的物体の前記姿勢に位置合わせすることは、前記現実世界画像内及び前記参照モデルから生成された前記画像内の整合キーポイントを特定することを含む、請求項1に記載の方法。
- 前記現実世界画像及び前記AR画像を前記ユーザに交互に表示することにより、前記ユーザが前記現実世界画像又は前記AR画像に注釈を付加して、検出された前記差異の位置及び/又は大きさを示すことを容易にすることを更に含む、請求項1に記載の方法。
- 前記AR画像と前記現実世界画像との間の1つ以上の差異を自動的に計算することと、
計算された前記差異の位置及び/又は大きさを示す注釈を自動的に生成することと、
を更に含む、請求項1に記載の方法。 - 前記AR画像と前記現実世界画像との間の前記1つ以上の差異が、色差、テクスチャの違い、又は構造的差異を含む、請求項4に記載の方法。
- 前記色差を計算することは、
前記AR画像と前記現実世界画像との間の色値の差を画素レベルで計算することと、
前記色値の前記差を二値化することによって差分マスクを生成することと、
を含む、請求項5に記載の方法。 - 前記色差を計算することは、前記AR画像と前記現実世界画像との間のカラーキャリブレーションの違いを求めることを更に含む、請求項6に記載の方法。
- 前記構造的差異を計算することは、
前記AR画像のエッジマップ及び前記現実世界画像のエッジマップを生成することと、
前記エッジマップを相互から減算することと、
を含む、請求項5に記載の方法。 - 前記現実世界画像内の前記物理的物体及び前記物理的物体の前記姿勢を認識するように認識エンジンを訓練することを更に含む、
請求項1に記載の方法。 - モデルデータベースにアクセスして、認識された前記物理的物体に基づく参照モデルを取得することであって、前記モデルデータベースは、複数のコンピュータ支援設計(CAD)モデル、複数の3Dメッシュ、及び参照物体の画像のうちの1つ以上を含むことを更に含む、
請求項9に記載の方法。 - 前記物理的物体と前記参照モデルとの間の検出された前記差異の位置、大きさ、又は種類を含む差分ファイルを出力することを更に含む、請求項1に記載の方法。
- 物理的物体と前記物理的物体に対応する参照モデルとの間の差異を検出するためのコンピュータシステムであって、
プロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行されると、前記プロセッサに方法を実行させる命令を記憶している記憶デバイスであって、前記方法は、
前記物理的物体の現実世界画像を取得することと、
前記参照モデルから生成された3Dオーバーレイを前記現実世界画像内の前記物理的物体上に投影することによって、拡張現実(AR)画像を生成することであって、前記AR画像を生成することは、前記参照モデルの姿勢を前記物理的物体の姿勢に位置合わせすることを含むことと、
生成された前記AR画像及び前記現実世界画像に基づいて、前記物理的物体と前記参照モデルとの間の前記差異を検出することと、
を含む、記憶デバイスと、
を備える、コンピュータシステム。 - 前記参照モデルの前記姿勢を前記物理的物体の前記姿勢に位置合わせすることは、前記現実世界画像内及び前記参照モデルから生成された前記画像内の整合キーポイントを特定することを含む、請求項12に記載のコンピュータシステム。
- 前記方法は、前記現実世界画像及び前記AR画像を前記ユーザに交互に表示することにより、前記ユーザが前記現実世界画像又は前記AR画像に注釈を付加して、検出された前記差異の位置及び/又は大きさを示すことを容易にすることを更に含む、請求項12に記載のコンピュータシステム。
- 前記方法は、
前記AR画像と前記現実世界画像との間の差異を自動的に計算することと、
計算された前記差異の位置及び/又は大きさを示す注釈を自動的に生成することと、
を更に含む、請求項12に記載のコンピュータシステム。 - 前記AR画像と前記現実世界画像との間の前記差異が、色差、テクスチャの違い、又は構造的差異を含む、請求項15に記載のコンピュータシステム。
- 前記色差を計算することは、
前記AR画像と前記現実世界画像との間の色値の差を画素レベルで計算することと、
前記色値の前記差を二値化することによって差分マスクを生成することと、
を含む、請求項16に記載のコンピュータシステム。 - 前記色差を計算することは、前記AR画像と前記現実世界画像との間のカラーキャリブレーションの違いを求めることを更に含む、請求項17に記載のコンピュータシステム。
- 前記構造的差異を計算することは、
前記AR画像のエッジマップ及び前記現実世界画像のエッジマップを生成することと、
前記エッジマップを相互から減算することと、
を含む、請求項16に記載のコンピュータシステム。 - 前記方法は、
前記現実世界画像内の前記物理的物体及び前記物理的物体の前記姿勢を認識するように認識エンジンを訓練することを更に含む、
請求項12に記載のコンピュータシステム。 - 前記方法は、
モデルデータベースにアクセスして、認識された前記物理的物体に基づく参照モデルを取得することであって、前記モデルデータベースは、複数のコンピュータ支援設計(CAD)モデル、複数の3Dメッシュ、及び参照物体の画像のうちの1つ以上を含むことを更に含む、
請求項20に記載のコンピュータシステム。 - 前記方法は、前記物理的物体と前記参照モデルとの間の検出された前記差異の位置、大きさ、又は種類を含む差分ファイルを出力することを更に含む、請求項12に記載のコンピュータシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/795,379 US11288792B2 (en) | 2020-02-19 | 2020-02-19 | Method and system for change detection using AR overlays |
US16/795,379 | 2020-02-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131853A true JP2021131853A (ja) | 2021-09-09 |
JP2021131853A5 JP2021131853A5 (ja) | 2024-02-01 |
Family
ID=74550458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021010668A Pending JP2021131853A (ja) | 2020-02-19 | 2021-01-26 | Arオーバーレイを使用した変化検出方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11288792B2 (ja) |
EP (1) | EP3869454A1 (ja) |
JP (1) | JP2021131853A (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8591225B2 (en) * | 2008-12-12 | 2013-11-26 | Align Technology, Inc. | Tooth movement measurement by automatic impression matching |
CN103988226B (zh) * | 2011-08-31 | 2017-09-26 | Metaio有限公司 | 用于估计摄像机运动以及用于确定实境三维模型的方法 |
US9508146B2 (en) * | 2012-10-31 | 2016-11-29 | The Boeing Company | Automated frame of reference calibration for augmented reality |
US9336629B2 (en) * | 2013-01-30 | 2016-05-10 | F3 & Associates, Inc. | Coordinate geometry augmented reality process |
US20170092003A1 (en) | 2015-09-30 | 2017-03-30 | Schlumberger Technology Corporation | Applying Augmented Reality to an Object |
US9886771B1 (en) | 2016-05-20 | 2018-02-06 | Ccc Information Services Inc. | Heat map of vehicle damage |
US10055882B2 (en) * | 2016-08-15 | 2018-08-21 | Aquifi, Inc. | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function |
US10204448B2 (en) * | 2016-11-04 | 2019-02-12 | Aquifi, Inc. | System and method for portable active 3D scanning |
US20180350056A1 (en) * | 2017-06-01 | 2018-12-06 | Tesla, Inc. | Augmented reality application for manufacturing |
WO2019067641A1 (en) | 2017-09-26 | 2019-04-04 | Aquifi, Inc. | SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY |
US20210145608A1 (en) * | 2018-02-12 | 2021-05-20 | Massachusetts Institute Of Technology | Quantitative Design And Manufacturing Framework For A Biomechanical Interface Contacting A Biological Body Segment |
-
2020
- 2020-02-19 US US16/795,379 patent/US11288792B2/en active Active
-
2021
- 2021-01-26 JP JP2021010668A patent/JP2021131853A/ja active Pending
- 2021-02-02 EP EP21154874.8A patent/EP3869454A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11288792B2 (en) | 2022-03-29 |
US20210256674A1 (en) | 2021-08-19 |
EP3869454A1 (en) | 2021-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4537104B2 (ja) | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 | |
US20050151963A1 (en) | Transprojection of geometry data | |
JP6688088B2 (ja) | 情報処理装置およびその制御方法 | |
US10692291B2 (en) | Apparatus, method, and medium for generating a 3D model of a finger using captured image | |
JP7311285B2 (ja) | 航空機の自動塗装品質検査 | |
JP2011191312A (ja) | 画像処理装置 | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11222418B2 (en) | System and method for automated surface assessment | |
WO2019177539A1 (en) | Method for visual inspection and apparatus thereof | |
JP2022507678A (ja) | 自動目視検査プロセスにおけるセットアップ段階の最適化 | |
CN115713476A (zh) | 基于激光焊接的视觉检测方法、装置及可读存储介质 | |
US11989928B2 (en) | Image processing system | |
CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
CN111435429A (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
US9305235B1 (en) | System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths | |
CA3240186A1 (en) | Interactive visualizations for industrial inspections | |
JP6311461B2 (ja) | 視線分析システムおよび視線分析装置 | |
CN111937038B (zh) | 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪 | |
JP2015212891A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2021131853A (ja) | Arオーバーレイを使用した変化検出方法及びシステム | |
JP2007026423A (ja) | 画像処理装置および画像処理方法 | |
EP4352451A1 (en) | Texture mapping to polygonal models for industrial inspections | |
BARON et al. | APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION. | |
US11138807B1 (en) | Detection of test object for virtual superimposition | |
US20170301134A1 (en) | Method for creating three-dimensional documentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210208 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240124 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240530 |