CN117916581A - 检查支援系统、检查支援方法及检查支援程序 - Google Patents
检查支援系统、检查支援方法及检查支援程序 Download PDFInfo
- Publication number
- CN117916581A CN117916581A CN202380013420.0A CN202380013420A CN117916581A CN 117916581 A CN117916581 A CN 117916581A CN 202380013420 A CN202380013420 A CN 202380013420A CN 117916581 A CN117916581 A CN 117916581A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- cad model
- defect
- actual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims description 29
- 230000007547 defect Effects 0.000 claims abstract description 112
- 238000006243 chemical reaction Methods 0.000 claims abstract description 74
- 230000009466 transformation Effects 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 45
- 238000004088 simulation Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000002950 deficient Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
检查支援系统具备形状识别部、缺陷检测部、坐标变换参数估计部、三维CAD模型变更部、二维模拟图像提取部及描绘部。形状识别部根据由摄像装置拍摄的二维实际图像来识别检查对象物的形状。缺陷检测部检测包含于二维实际图像中的检查对象物的缺陷。坐标变换参数估计部根据所识别出的形状及三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与拍摄了二维实际图像的摄像装置的视点对应的第2坐标系的坐标变换参数。三维CAD模型变更部使用坐标变换参数来变更三维CAD模型的视点信息的位置及方向。二维模拟图像提取部从视点信息被变更之后的三维CAD模型中提取二维模拟图像。描绘部通过将包含缺陷图像的二维实际图像与二维模拟图像进行匹配来将缺陷图像描绘在三维CAD模型上。
Description
技术领域
本发明涉及一种检查支援系统、检查支援方法及检查支援程序。
本申请根据2022年3月28日在日本专利局申请的日本特愿2022-051343号主张优先权，并将其内容援用于此。
背景技术
检查员肉眼检查检查对象物(还包括产品、机器零件或制造过程的中间生产物)来判定缺陷的尺寸等并将其记入报告书中时，会花费时间和精力，并且根据检查员的能力差异，准确性会产生偏差。作为用于解决这种课题的方法，近年来提出有如下技术：通过对用摄像机等摄像装置拍摄检查对象物而得到的二维实际图像进行分析，使得能够判定缺陷的尺寸等。
例如，在专利文献1中公开有支援检查工作的方法，在该检查工作中，通过预先对拍摄存在三维CAD模型的检查对象物而得到的二维实际图像进行分析来判定存在于检查对象物中缺陷的尺寸等检查工作。在该文献中，识别包含于二维实际图像中的检查对象物的形状，通过将包含于该形状中的基准部分与包含于从与检查对象物对应的三维CAD模型中提取的二维模拟图像中的基准部分进行比较来将包含于二维实际图像中的缺陷描绘在三维CAD模型上。如此，通过将缺陷描绘在三维CAD模型上，能够在三维CAD模型上判定缺陷的尺寸。
以往技术文献
专利文献
专利文献1：日本特开2021-21669号公报
发明内容
发明要解决的技术课题
在上述专利文献1中，为了将缺陷描绘在三维CAD模型上，通过将根据包含于二维实际图像中的检查对象物的形状确定的基准部分与三维CAD模型上的基准部分进行比较来进行坐标变换。为了精度良好地进行这种坐标变换，需要将包含于由摄像装置得到的二维实际图像中的检查对象物的位置或方向与在三维CAD模型中设定的位置/方向对准，因此自由度低。若包含于二维实际图像中的检查对象物的位置或方向与在三维CAD模型中设定的位置/方向相差很大，则描绘在三维CAD模型中的缺陷的位置会发生偏移，导致尺寸等的判定精度下降。
本发明的至少一实施方式是鉴于上述的情况而完成的，其目的在于提供一种能够支援实施能够通过简单的操作导出检查对象物中的缺陷的三维位置及尺寸的检查的检查支援系统、检查支援方法及检查支援程序。
用于解决技术课题的手段
为了解决上述课题，本发明的至少一实施方式所涉及的检查支援系统具备：
形状识别部，用于根据二维实际图像识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
缺陷检测部，用于检测包含于所述二维实际图像中的所述检查对象物的缺陷；
坐标变换参数估计部，用于根据由所述形状识别部识别出的所述形状及所述检查对象物的三维CAD模型来估计坐标变换参数，所述坐标变换参数用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系；
三维CAD模型变更部，用于使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
二维模拟图像提取部，用于从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
描绘部，用于通过将包含缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上，所述缺陷图像表示由所述缺陷检测部检测出的所述缺陷。
为了解决上述课题，本发明的至少一实施方式所涉及的检查支援方法包括如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
为了解决上述课题，本发明的至少一实施方式所涉及的检查支援程序，其用于使计算机执行如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
发明效果
根据本发明的至少一实施方式，可提供一种能够支援实施能够通过简单的操作导出检查对象物中的缺陷的三维位置及尺寸的检查的检查支援系统、检查支援方法及检查支援程序。
附图说明
图1是表示一实施方式所涉及的检查支援系统的概略结构的框图。
图2是表示图1的客户终端及服务器的硬件结构的概略图。
图3是用于说明基于图1的形状识别部的基准部分的检测方法的概念图。
图4是概念性地表示基于通过PNP估计的坐标变换参数的第1坐标系与第2坐标系的对应关系的图。
图5是表示一实施方式所涉及的检查支援方法的流程图。
图6是由摄像装置拍摄的二维实际图像的一例。
图7是表示三维CAD模型的默认姿势的示意图。
图8是表示图7的三维CAD模型的位置或方向中的至少一个被三维CAD模型变更部变更之后的姿势的示意图。
图9是表示另一实施方式所涉及的检查支援系统的概略结构的框图。
图10是构成为变分自编码器的图9的坐标变换参数修正部的概略性的结构图。
具体实施方式
以下，参考附图对本发明的若干个实施方式进行说明。但是，作为实施方式而记载的或附图所示的构成要件的尺寸、材质、形状、其相对配置等并不旨在将本发明的范围限定于此，只不过是说明例。
图1是表示一实施方式所涉及的检查支援系统1的概略结构的框图。检查支援系统1为用于在对检查对象物2实施检查工作时支援检查对象物2中的缺陷的检测或与检查工作有关的报告书的创建的系统。检查支援系统1的用户可以为进行检查工作的工作人员，也可以为使用检查对象物2的使用者，也可以为其他第三者。并且，由检查支援系统1检测的缺陷为能够根据外观判别的缺陷，其种类例如为裂纹、凹陷、划痕、涂布不良、氧化、薄化、污垢等。
检查对象物2可以为产品整体，也可以为构成产品的零件(例如，机器零件)等。并且，检查对象物2可以为新产品，也可以为修补品，也可以为已设置的设备。检查对象物2例如可以为燃气涡轮机的动叶片、静叶片、分割环、燃烧器等。
检查支援系统1包含至少一个计算机装置而构成。检查支援系统1可以构成为单个装置，在图1中，包含作为能够介由通信网络4彼此通信的通信终端的客户终端6及服务器8而构成，客户终端6及服务器8协作而实现检查支援系统1的功能。
另外，通信网络4可以为WAN(Wide Area Network：广域网)或LAN(Local AreaNetwork：局域网)，并且也可以是无线或有线。
在此，图2是表示图1的客户终端6及服务器8的硬件结构的概略图。客户终端6具备用于与服务器8进行通信的通信部10、用于存储各种数据的存储部11、用于输出各种信息的输出部12、用于接受用户的输入的输入部13及用于进行各种运算的运算部14。服务器8具备用于与客户终端6进行通信的通信部15、用于存储各种数据的存储部16及用于进行各种运算的运算部18。在客户终端6及服务器8中，这些内部结构彼此介由总线连接。
通信部10、15为具备用于进行有线通信或无线通信的NIC(Network InterfaceCard controller：网络接口卡)的通信接口，能够进行客户终端6与服务器8之间的通信。
存储部11、16由RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)等构成，分别存储用于执行在客户终端6及服务器8中实施的各种控制处理的程序(例如，检查支援程序、后述的已学习模型)或各种控制处理中所需要的数据。
各种数据中包括多个对象物的三维CAD模型。在本实施方式中，在服务器8所具有的存储部16中存储三维CAD模型。多个对象物的三维CAD模型一般需要大的存储容量，因此通过预先存储于服务器8侧的存储部16中，能够防止客户终端6侧的存储容量受压迫。在该情况下，例如能够通过笔记本电脑之类的小型终端或便携式终端实现客户终端6，因此对便利性提高是有效的。
多个对象物中包括前述的检查对象物2。三维CAD模型是指在实际尺寸的三维虚拟空间上以网格图像表示该对象物的三维的CAD数据。网格图像能够旋转、放大、缩小，三维CAD模型构成为能够从任意的视点提取二维模拟图像。
另外，存储部11、16可以由单个存储装置构成，也可以由多个存储装置构成。并且，存储部11、16也可以为外部存储装置。
输出部12例如由显示器装置、扬声器装置等输出装置构成。输出部12为用于向用户提示各种信息的输出接口。
输入部13为用于从外部输入为了实施各种处理而所需要的信息的输入接口，例如由操作按钮、键盘、指针设备、麦克风等输入装置构成。这种信息中除了由用户进行的指示以外，还包括与如后述那样由摄像装置获取的二维实际图像有关的数据等。
运算部14、18由CPU(Central Processing Unit：中央处理器)、GPU(GraphicsProcessing Unit：图形处理器)等处理器构成。运算部14、18通过执行存储于存储部11、16中的程序来控制系统整体的动作。
接着，对构成检查支援系统1的客户终端6及服务器8的功能性结构进行具体说明。如图1所示，客户终端6具备图像获取部30、形状识别部32、缺陷检测部34及报告书创建部36。并且，服务器8具备坐标变换参数估计部40、三维CAD模型变更部41、图像提取部42及描绘部44。
另外，在本实施方式中，例示出了这些功能性结构跨越客户终端6及服务器8而配置的情况，但也可以配置于客户终端6或服务器8中的任一个。例如，可以通过将示于图1中的服务器8侧的结构配置于客户终端6来由客户终端6单体实现本实施方式，而不使用服务器8。并且，客户终端6或服务器8中的一个所具备的功能性结构可以适当地配置于另一个中。如此，检查支援系统1所具备的功能性结构能够根据其用途适当地变更布局。
图像获取部30获取由摄像装置50拍摄检查对象物2所得的二维实际图像。摄像装置50例如为与可见光对应的摄像机，构成为获取拍摄检查对象物2所得的图像即二维实际图像。基于摄像装置50的二维实际图像的获取可以在与检查支援系统1、尤其与输入二维实际图像的客户终端6相同的场所进行，也可以在不同的场所(远程地点)进行。与这种二维实际图像有关的数据通过输入到客户终端6的输入部13来获取。
形状识别部32识别图像获取部30所获取的二维实际图像中的检查对象物2的二维形状。形状识别部32可以构成为通过在二维实际图像中检测检查对象物2的多个基准部分来识别包含于二维实际图像中的检查对象物2的形状。
在此，图3是用于说明基于图1的形状识别部32的基准部分的检测方法的概念图。另外，在图3中，例示出了检查对象物2正面观察时为三角形状的情况，但其形状并不受限定。
首先，形状识别部32构成为检测检查对象物2的特征部分作为基准部分。在一实施方式中，特征部分为角部。另外，特征部分只要是有助于识别形状的部分即可，例如可以为成为标记之类的标志、商标、钥匙孔、按钮等。
在一实施方式中的基准部分的检测方法中，使用机器学习(例如，SSD(SingleShot MultiBox Detector：单发多框检测器)技术)。SSD技术被已知为通过深度学习检测图像内的物体的方法。具体而言，如图3所示，形状识别部32使用默认框B0在二维实际图像P1内进行搜索，检测检查对象物2的角部作为基准部分。基准部分的形状根据表示每个像素的红色、绿色、蓝色成分的RGB值、与其他像素比较的色调及亮度信息来识别。
其结果，检测出与三个角部对应的默认框B1、B2、B3作为基准部分。并且，形状识别部32通过将亮度信息包含于输入中，例如即使在由于二维实际图像P1的一部分不清晰而具有一些亮度变动的情况下，也能够检测基准部分。这种基于亮度信息的基准部分的检测，例如能够通过使用估计模型从包含一些亮度变动的二维实际图像P1中检测基准部分，该估计模型是通过将对亮度赋予了偏差的图像用作学习数据的机器学习来构建的。
如此，在形状识别部32中，根据RGB值、色调及亮度信息检测基准部分，因此能够减小由亮度的变动引起的检测的误差。并且，当通过深度学习的机器学习识别基准部分的形状时，与操作员通过基于主观的判断来确定基准部分的情况相比，由操作员进行的工作自动化，还能够实现缩短工作时间。
另外，在另一实施方式中，作为基准部分的检测中使用的机器学习的其他方法，例如还能够使用基于区域的卷积神经网络(R-CNN：Region Based Convolutional NeuralNetworks)或YOLO(You Only Look Once：你只看一次)。
缺陷检测部34检测包含于二维实际图像中的检查对象物2的缺陷。缺陷检测部34可以使用机器学习了包含检查对象物2的多个对象物的每一个的二维实际图像与在多个对象物中可能产生的缺陷图像的关联性的已学习模型来检测检查对象物2的缺陷。例如，缺陷检测部34可以构成为对二维实际图像的各像素的RGB值进行分析，并根据其对比度或色调的图案分类来判定缺陷。
坐标变换参数估计部40根据由形状识别部32识别出的形状及检查对象物2的三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与二维实际图像对应的第2坐标系的坐标变换参数。坐标变换参数为用于变换第1坐标系及第2坐标系中的彼此的坐标点的参数，作为其估计方法的一种，有PNP(Perspective-Points Problem：透视点问题)。换言之，坐标变换参数为用于根据如下的基准部分来估计规定第1坐标系中的摄像装置的视点信息的位置及姿势的参数，该基准部分为在与三维CG软件上处理的三维CAD模型对应的第1坐标系中由三维坐标表示的n点(n为任意的自然数)的基准部分和在与二维实际图像对应的第2坐标系中由二维坐标表示的那些基准部分。
在此，图4是概念性地表示基于通过PNP估计的坐标变换参数的第1坐标系与第2坐标系的对应关系的图。在PNP中，估计坐标变换参数(平移矢量或旋转矩阵等)作为用于进行与在3D图形软件上处理的三维CAD模型对应的世界坐标系即第1坐标系中的n点的三维坐标(X1、X2、……)和与拍摄了包含这些点的二维实际图像的摄像装置50的视点对应的第2坐标系中的n点的二维坐标(x1、x2、……)的变换的参数。
PNP中的坐标变换参数的估计例如在第1坐标系及第2坐标系中以使彼此对应的基准部分一致的方式进行。具体而言，坐标变换参数估计部40根据由形状识别部32识别出的所述形状例如通过使用机器学习的自动检测或由用户进行的手动输入来确定二维实际图像中的检查对象物2的多个第1基准部分(第2坐标系中的多个坐标点)，并且在三维CAD模型中预先登记多个第2基准部分(第1坐标系中的多个坐标点)。第2基准部分的登记通过预先在数据库等中登记第2基准部分来进行。这种第2基准部分的登记例如也可以通过画面显示三维CAD模型并在该画面上由操作员利用光标或指针等指定来进行。然后，以使第1基准部分与第2基准部分一致的方式估计坐标变换参数。
坐标变换参数中包含摄像装置50的外部参数。外部参数是指为了规定第1坐标系中的摄像装置50的位置及方向(自由度：6)而所需要的参数。即，不是相对位置，而是用于在第1坐标系中再现与二维实际图像的摄像位置相同的场所的参数，例如由平移矢量或旋转矩阵表示。
并且，坐标变换参数中也可以包含摄像装置50的内部参数。摄像装置50的内部参数是指与摄像装置50的主体(透镜)有关的参数，例如为焦距f或光学中心。另外，光学中心对应于第2坐标系的原点，是透镜固有的参数，表示为二维坐标(Cu，Cv)。在该情况下，与三维CAD模型对应的第1坐标系中的特征点的三维坐标(Xw，Yw，Zw)和与二维实际图像对应的第2坐标系中的特征点的二维坐标(u，v)的关系式由以下表示。
返回到图1，三维CAD模型变更部41使用由坐标变换参数估计部40估计的坐标变换参数来变更检查对象物2的三维CAD模型的视点信息的位置及方向。由此，由从在三维CAD模型的描绘软件上位于特定的位置及方向的摄像机的视点表示的三维CAD模型的视点信息被变更为对应于与拍摄了二维实际图像的摄像装置50的视点对应的位置及方向。
图像提取部42根据基于形状识别部32的识别结果并参考视点信息被三维CAD模型变更部41变更的三维CAD模型，从该三维CAD模型中提取与二维实际图像对应的二维模拟图像。
描绘部44将表示缺陷检测部34所检测出的缺陷的缺陷图像调整为与二维模拟图像匹配，并将调整后的缺陷图像描绘在三维CAD模型上。该调整可以在描绘之前或描绘时执行，也可以在一次描绘之后对已描绘的缺陷图像执行。描绘有缺陷图像的状态的三维CAD模型可以显示于输出部12的显示器装置。
例如，描绘部44使用几何变换(平面变换)例如仿射变换等变换方法，将对象图像的基准部分(多个坐标点)作为输入值来将二维实际图像变换为二维模拟图像的坐标系，由此投影到三维CAD模型上。此时，三维CAD模型的视点信息如上所述那样被变更，因此在描绘部44中，通过按照变换的坐标定义缺陷并进行投影来进行在三维CAD模型上的描绘。
例如，描绘部44可以在二维实际图像与二维模拟图像之间比较根据多个基准部分的位置关系规定的边的长度，并根据它们的相似比来放大或缩小缺陷图像。描绘部44也可以在二维实际图像与二维模拟图像之间比较多个基准部分的位置关系来进行缺陷图像的纵横比的调整、平行移动、线性变换等。
另外，在本实施方式中，关于描绘部44对缺陷图像进行了变换的情况进行了例示，但作为其他变换的例子，也可以使用仿射变换、射影变换、相似变换、逆变换、透视变换等。
报告书创建部36根据三维CAD模型的尺寸数据导出检查对象物2中的缺陷的三维位置及尺寸，并创建包含位置及尺寸的导出结果的报告书。所创建的报告书可以存储于存储部11中，也可以发送到其他装置(例如，管理报告书的服务器装置)。
接着，对由具有上述结构的检查支援系统1实施的检查支援方法进行说明。图5是表示一实施方式所涉及的检查支援方法的流程图。
首先，作为实施检查支援方法的前阶段，使用摄像装置50拍摄检查对象物2(步骤S1)。在步骤S1中，能够对检查对象物2从任意的位置及方向进行拍摄，由摄像装置50得到的二维实际图像作为数据输入到客户终端6中。
在客户终端6中，通过图像获取部30获取二维实际图像作为从摄像装置50输入的数据(步骤S2)。接着，在客户终端6中，通过形状识别部32检测步骤S2中所获取的二维实际图像中的检查对象物2的基准部分来识别检查对象物2的形状(步骤S3)。
接着，坐标变换参数估计部40访问与在步骤S3中识别形状时检测出的基准部分有关的学习模型(步骤S4)，估计坐标变换参数(步骤S5)。具体而言，如上所述，坐标变换参数的估计方法例如通过PNP来进行。
接着，三维CAD模型变更部41使用步骤S5中所估计的坐标变换参数(例如，平移矢量或旋转矩阵等)来变更三维CAD模型的位置或方向中的至少一个(步骤S6)。
在此，参考图6～图8对基于三维CAD模型变更部41的处理进行具体说明。图6是由摄像装置50拍摄的二维实际图像的一例，图7是表示三维CAD模型的默认姿势的示意图，图8是表示图7的三维CAD模型的位置或方向中的至少一个被三维CAD模型变更部41变更之后的姿势的示意图。
如图6所示，在由摄像装置50拍摄的二维实际图像中，映入有检查对象物2的多个基准部分C1～C8中的C1～C7。另一方面，在图7所示的三维CAD模型的默认姿势下，只能确认图6所示的检查对象物2所具有的多个基准部分的一部分(具体而言，在图7中可看到与图6共同的基准部分C2～C8，但看不到图6的基准部分C1)。如图8所示，具有这种默认姿势的三维CAD模型通过具有图6所示的默认姿势的三维CAD模型的位置或方向中的至少一个根据坐标变换参数被变更而成为与图6所示的二维实际图像对应的姿势，从而包含所有基准部分C1～C7。
接着，服务器8的图像提取部42从视点信息被三维CAD模型变更部41变更的三维CAD模型中提取包含与从二维实际图像检测出的检查对象物2的多个基准部分对应的部分的二维模拟图像(步骤S7)。在步骤S7中，例如可以通过将视点信息被变更的三维CAD模型显示于画面上，并获取该画面的屏幕截图来提取二维模拟图像。在该情况下，在获取屏幕截图时，可以实际在画面上显示视点信息被变更的三维CAD模型来进行，也可以不在画面上进行显示而运算地进行。该提取中可以使用渲染或已学习模型。
接着，客户终端6的缺陷检测部34根据步骤S2中所获取的二维实际图像对服务器8进行检查对象物2的缺陷的检测指示(步骤S8)。接收到检测指示的服务器8访问预先准备的用于缺陷检测的学习模型(步骤S9)，使用该学习模型执行缺陷检测(步骤S10)。
客户终端6从服务器8中获取步骤S10的检测结果，并根据该检测结果来判别检查对象物2中是否存在缺陷(步骤S11)。当判别为检查对象物2中无缺陷时(步骤S11：“否”)，跳过步骤S12～S14，通过报告书创建部36创建表示无缺陷的报告书(步骤S15)。
另一方面，当判别为检查对象物2无缺陷时(步骤S11：“否”)，服务器8的描绘部44以使表示步骤S10中所检测出的缺陷的二维实际图像(即，缺陷图像)与二维模拟图像匹配的方式进行匹配化(步骤S12)，并将调整后的缺陷图像描绘在三维CAD模型上(步骤S13)。然后，客户终端6获取与描绘有缺陷图像的三维CAD模型有关的数据(例如，尺寸数据)(步骤S14)，通过报告书创建部36根据该数据导出检查对象物2中的缺陷的三维位置及尺寸，并创建包含该导出结果的报告书(步骤S15)。
图9是表示另一实施方式所涉及的检查支援系统1’的概略结构的框图。与前述的实施方式相比，检查支援系统1’还具备坐标变换参数修正部46。坐标变换参数修正部46通过基于机器学习的噪声去除来修正由坐标变换参数估计部40估计的坐标变换参数。
在坐标变换参数估计部40中，如上所述，以使在二维实际图像中确定的基准部分与在三维CAD模型上确定的基准部分一致的方式估计坐标变换参数。在此，对坐标变换参数估计部40的各基准部分的检测例如通过服务器8内的基于图像分析的测量、由操作员进行的手动指定或使用机器学习模型的机器学习来进行。因此，根据图像分析中的测量误差、操作员手动输入时的人为误差或机器学习模型中的不确定性，有时在所估计的坐标变换参数中存在误差。在本实施方式中，通过具备坐标变换参数修正部46来进行坐标变换参数的修正，以使这种误差变小。基于坐标变换参数修正部46的坐标变换参数的修正例如能够通过基于机器学习的噪声去除来进行。
图10是构成为变分自编码器(Autoencoder)的图9的坐标变换参数修正部46的概略性的结构图。在图10中，坐标变换参数修正部46包括作为神经网络的一种的编码器46a及解码器46b。对编码器46a赋予坐标变换参数作为输入，并进行维度压缩。就从编码器的输出而言，确定平均及方差，并修正为根据这些规定的分布成为标准正态分布。然后，修正结果由解码器46b复原，由此成为具有原来的维度的修正后的坐标变换参数。在这种坐标变换参数修正部46中，不会再现包含于所输入的修正前的坐标变换参数中的异常，而是修正为正常的值而输出。
另外，在上述实施方式中，关于使用变分自编码器(VAEs)的坐标变换参数修正部46进行了例示，但除此以外，例如也可以使用生成对抗网络(GAN：Generat ive AdersarialNetworks)、主成分分析(Principal Component Analysi s)、k平均法(k-meansClustering)、向量量化(VQ：Vector Quantization)等。
如此，检查支援系统1’通过具备坐标变换参数修正部46，能够减小图像分析中的测量误差、操作员手动输入时的人为误差或基于机器学习模型中的不确定性的坐标变换参数的误差。其结果，能够精度良好地进行对三维CAD模型的缺陷图像的描绘。
如上所述，包含于坐标变换参数的估计中使用的二维实际图像中的检查对象物的形状例如通过图像分析或由工作人员进行的手动输入来识别，因此这些方法中伴有非常大的误差。根据上述的方式，通过使用基于机器学习的噪声去除来修正所估计的坐标变换参数，由此减少由这种误差引起的影响，能够有效地提高使用坐标变换参数的坐标变换的精度。
如以上说明，根据上述各实施方式，根据包含于二维实际图像中的检查对象物的形状及检查对象物的三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与拍摄了二维实际图像的摄像装置的视点对应的第2坐标系的坐标变换参数。使用这种坐标变换参数，以与包含于二维实际图像中的检查对象物对应的方式变更三维CAD模型的视点信息的位置及方向。如此，通过使用坐标变换参数以与二维实际图像对应的方式变更三维CAD模型的位置及方向，操作员无需进行操作而能够抑制两者的位置及方向的偏移。而且，如此通过在位置及方向被变更的三维CAD模型上描绘包含于二维实际图像中的缺陷图像，能够进行三维CAD模型上的缺陷的精度良好的测量。
此外，可以在不脱离本发明的宗旨的范围内将上述的实施方式中的构成要件适当地替换为众所周知的构成要件，并且，可以适当地组合上述的实施方式。
上述各实施方式中所记载的内容例如可以如下掌握。
(1)一方式所涉及的检查支援系统具备：
形状识别部，用于根据二维实际图像识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
缺陷检测部，用于检测包含于所述二维实际图像中的所述检查对象物的缺陷；
坐标变换参数估计部，用于根据由所述形状识别部识别出的所述形状及所述检查对象物的三维CAD模型来估计坐标变换参数，所述坐标变换参数用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系；
三维CAD模型变更部，用于使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
二维模拟图像提取部，用于从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
描绘部，用于通过将包含缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上，所述缺陷图像表示由所述缺陷检测部检测出的所述缺陷。
根据上述(1)的方式，根据包含于二维实际图像中的检查对象物的形状及检查对象物的三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与拍摄了二维实际图像的摄像装置的视点对应的第2坐标系的坐标变换参数。该坐标变换参数例如包含平移矢量或旋转矩阵，是用于将第1坐标系变换为作为二维坐标系的第2坐标系的参数。换言之，坐标变换参数为用于根据如下的基准部分来估计规定第1坐标系中的摄像装置的视点信息的位置及姿势的参数，该基准部分为在与三维CG软件上处理的三维CAD模型对应的第1坐标系中由三维坐标表示的n点(n为任意的自然数)的基准部分和在与二维实际图像对应的第2坐标系中由二维坐标表示的那些基准部分。使用这种坐标变换参数，以与包含于二维实际图像中的检查对象物对应的方式变更三维CAD模型的视点信息的位置和/或方向。如此，通过使用坐标变换参数以与二维实际图像对应的方式变更三维CAD模型的视点信息的位置及方向，操作员无需进行操作而能够抑制两者的位置及方向的偏移。而且，如此通过在视点信息的位置及方向被变更的三维CAD模型上描绘包含于二维实际图像中的缺陷图像，能够进行三维CAD模型上的缺陷的精度良好的测量。
(2)在另一方式中，在上述(1)的方式中，
所述坐标变换参数估计部根据由所述形状识别部识别出的所述形状来预先确定所述二维实际图像中的所述检查对象物的多个第1基准部分，并以使在所述三维CAD模型中预先登记的多个第2基准部分与所述多个第1基准部分一致的方式估计所述坐标变换参数。
根据上述(2)的方式，以使对包含于二维实际图像中的检查对象物预先确定的第1基准部分与在三维CAD模型中预先登记的第2基准部分一致的方式估计坐标变换参数。通过使用如此估计的坐标变换参数，能够将三维CAD模型的视点信息的位置或姿势与包含于二维实际图像中的检查对象物的位置或姿势对准，并能够有效地抑制描绘在三维CAD模型中的缺陷的位置或方向产生偏移。
(3)在另一方式中，在上述(1)或(2)的方式中，
所述坐标变换参数包含用于规定所述第1坐标系中的所述摄像装置的位置及姿势的外部参数。
根据上述(3)的方式，通过在坐标变换参数中包含外部参数，能够将与三维CAD模型对应的第1坐标系适当地变换为与二维实际图像对应的第2坐标系。
(4)在另一方式中，在上述(3)的方式中，
所述坐标变换参数还包含与所述摄像装置有关的内部参数。
根据上述(4)的方式，坐标变换参数中例如包含作为摄像装置固有的参数的焦距或光学中心等内部参数。由此，即使在使用不同的摄像装置进行了二维实际图像的获取的情况下，也能够使用考虑到每个摄像装置固有的特性(规格差异或个体差异等)的坐标变换参数将与三维CAD模型对应的第1坐标系适当地变换为与二维实际图像对应的第2坐标系。
(5)在另一方式中，在上述(1)至(4)中的任一方式中，
所述描绘部通过根据所述二维实际图像与所述二维模拟图像的比较结果对包含所述缺陷图像的所述二维实际图像进行平面变换来调整要描绘的所述缺陷图像的位置及尺寸。
根据上述(5)的方式，比较二维实际图像和二维模拟图像并根据它们的位置关系、形状、尺寸等的差异来调整缺陷图像的位置及尺寸。在该情况下，例如与比较表示检查对象物的轮廓的线彼此来调整缺陷图像的位置及尺寸的情况相比，能够简化处理或提高调整精度。
(6)在另一方式中，在上述(1)至(5)中的任一方式中，
还具备：报告书创建部，根据基于所述三维CAD模型的尺寸数据投影到所述三维CAD模型上的所述缺陷图像来导出所述检查对象物中的所述缺陷的三维位置及尺寸，并创建包含所述位置及尺寸的导出结果的报告书。
根据上述(6)的方式，创建包含缺陷的三维位置及尺寸的报告书，因此可减轻创建报告书的工作负担。并且，通过在多个事例中收集对同一个三维CAD模型的缺陷的位置及尺寸的信息，还能够做统计(例如，当缺陷为凹陷时，能够根据统计数据来确定容易凹陷的位置)。
(7)在另一方式中，在上述(1)至(6)中的任一方式中，
还具备：坐标变换参数修正部，用于通过基于机器学习的噪声去除来修正所述坐标变换参数。
如上所述，包含于坐标变换参数的估计中使用的二维实际图像中的检查对象物的形状例如通过图像分析或由工作人员进行的手动输入来识别，因此这些方法中伴有非常大的误差。根据上述(7)的方式，通过使用基于机器学习的噪声去除来修正所估计的坐标变换参数，由此减少由这种误差引起的影响，能够有效地提高使用坐标变换参数的坐标变换的精度。
(8)一方式所涉及的检查支援方法包括如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
根据上述(8)的方式，根据包含于二维实际图像中的检查对象物的形状及检查对象物的三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与拍摄了二维实际图像的摄像装置的视点对应的第2坐标系的坐标变换参数。该坐标变换参数例如包含平移矢量或旋转矩阵，是用于将第1坐标系变换为作为二维坐标系的第2坐标系的参数。换言之，坐标变换参数为用于根据如下的基准部分来估计规定第1坐标系中的摄像装置的视点信息的位置及姿势的参数，该基准部分为在与三维CG软件上处理的三维CAD模型对应的第1坐标系中由三维坐标表示的n点(n为任意的自然数)的基准部分和在与二维实际图像对应的第2坐标系中由二维坐标表示的那些基准部分。使用这种坐标变换参数，以与包含于二维实际图像中的检查对象物对应的方式变更三维CAD模型的视点信息的位置或方向中的至少一个。如此，通过使用坐标变换参数以与二维实际图像对应的方式变更三维CAD模型的视点信息的位置及方向，操作员无需进行操作而能够抑制两者的位置及方向的偏移。而且，如此通过在视点信息的位置及方向被变更的三维CAD模型上描绘包含于二维实际图像中的缺陷图像，能够进行三维CAD模型上的缺陷的精度良好的测量。
(9)一方式所涉及的检查支援程序，其使计算机执行如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置或方向中的至少一个；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
根据上述(9)的方式，根据包含于二维实际图像中的检查对象物的形状及检查对象物的三维CAD模型来估计用于将与三维CAD模型对应的第1坐标系变换为与拍摄了二维实际图像的摄像装置的视点对应的第2坐标系的坐标变换参数。该坐标变换参数例如包含平移矢量或旋转矩阵，是用于将第1坐标系变换为作为二维坐标系的第2坐标系的参数。换言之，坐标变换参数为用于根据如下的基准部分来估计规定第1坐标系中的摄像装置的视点信息的位置及姿势的参数，该基准部分为在与三维CG软件上处理的三维CAD模型对应的第1坐标系中由三维坐标表示的n点(n为任意的自然数)的基准部分和在与二维实际图像对应的第2坐标系中由二维坐标表示的那些基准部分。使用这种坐标变换参数，以与包含于二维实际图像中的检查对象物对应的方式变更三维CAD模型的视点信息的位置及方向。如此，通过使用坐标变换参数以与二维实际图像对应的方式变更三维CAD模型的视点信息的位置及方向，操作员无需进行操作而能够抑制两者的位置及方向的偏移。而且，如此通过在视点信息的位置及方向被变更的三维CAD模型上描绘包含于二维实际图像中的缺陷图像，能够进行三维CAD模型上的缺陷的精度良好的测量。
符号说明
1-检查支援系统，2-检查对象物，4-通信网络，6-客户终端，8-服务器，10-通信部，11-存储部，12-输出部，13-输入部，14-运算部，15-通信部，16-存储部，18-运算部，30-图像获取部，32-形状识别部，34-缺陷检测部，36-报告书创建部，40-坐标变换参数估计部，41-三维CAD模型变更部，42-图像提取部，44-描绘部，50-摄像装置。
Claims (9)
1.一种检查支援系统，其具备：
形状识别部，用于根据二维实际图像识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
缺陷检测部，用于检测包含于所述二维实际图像中的所述检查对象物的缺陷；
坐标变换参数估计部，用于根据由所述形状识别部识别出的所述形状及所述检查对象物的三维CAD模型来估计坐标变换参数，所述坐标变换参数用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系；
三维CAD模型变更部，用于使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
二维模拟图像提取部，用于从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
描绘部，用于通过将包含缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上，所述缺陷图像表示由所述缺陷检测部检测出的所述缺陷。
2.根据权利要求1所述的检查支援系统，其中，
所述坐标变换参数估计部根据由所述形状识别部识别出的所述形状来预先确定所述二维实际图像中的所述检查对象物的多个第1基准部分，并以使在所述三维CAD模型中预先登记的多个第2基准部分与所述多个第1基准部分一致的方式估计所述坐标变换参数。
3.根据权利要求1或2所述的检查支援系统，其中，
所述坐标变换参数包含用于规定所述第1坐标系中的所述摄像装置的位置及姿势的外部参数。
4.根据权利要求3所述的检查支援系统，其中，
所述坐标变换参数还包含与所述摄像装置有关的内部参数。
5.根据权利要求1或2所述的检查支援系统，其中，
所述描绘部通过根据所述二维实际图像与所述二维模拟图像的比较结果对包含所述缺陷图像的所述二维实际图像进行平面变换来调整要描绘的所述缺陷图像的位置及尺寸。
6.根据权利要求1或2所述的检查支援系统，其还具备：
报告书创建部，根据基于所述三维CAD模型的尺寸数据投影到所述三维CAD模型上的所述缺陷图像来导出所述检查对象物中的所述缺陷的三维位置及尺寸，并创建包含所述位置及尺寸的导出结果的报告书。
7.根据权利要求1或2所述的检查支援系统，其还具备：
坐标变换参数修正部，用于通过基于机器学习的噪声去除来修正所述坐标变换参数。
8.一种检查支援方法，其包括如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
9.一种检查支援程序，其用于使计算机执行如下步骤：
根据二维实际图像来识别包含于所述二维实际图像中的检查对象物的形状，所述二维实际图像通过用摄像装置拍摄所述检查对象物而得到；
检测包含于所述二维实际图像中的所述检查对象物的缺陷；
根据所述形状及所述检查对象物的三维CAD模型来估计用于将与所述三维CAD模型对应的第1坐标系变换为与拍摄了所述二维实际图像的所述摄像装置的视点对应的第2坐标系的坐标变换参数；
使用所述坐标变换参数来变更所述检查对象物的三维CAD模型的视点信息的位置及方向；
从所述视点信息被变更之后的所述三维CAD模型中提取与所述二维实际图像对应的二维模拟图像；及
通过将包含表示所述缺陷的缺陷图像的所述二维实际图像与所述二维模拟图像进行匹配来将所述缺陷图像描绘在所述三维CAD模型上。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022051343 | 2022-03-28 | ||
| JP2022-051343 | 2022-03-28 | ||
| PCT/JP2023/000032 WO2023188671A1 (ja) | 2022-03-28 | 2023-01-05 | 点検支援システム、点検支援方法、及び、点検支援プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117916581A true CN117916581A (zh) | 2024-04-19 |
Family
ID=88200199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380013420.0A Pending CN117916581A (zh) | 2022-03-28 | 2023-01-05 | 检查支援系统、检查支援方法及检查支援程序 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JPWO2023188671A1 (zh) |
| KR (1) | KR20240044495A (zh) |
| CN (1) | CN117916581A (zh) |
| DE (1) | DE112023000151T5 (zh) |
| WO (1) | WO2023188671A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197728B (zh) * | 2023-11-07 | 2024-01-23 | 成都千嘉科技股份有限公司 | 通过可穿戴摄像设备进行实时燃气放散作业识别的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210049086A (ko) * | 2018-06-29 | 2021-05-04 | 델타레이 비브이 | 투영각의 동적 선택에 의한 물품 검사 |
| JP2021021669A (ja) | 2019-07-30 | 2021-02-18 | 三菱パワー株式会社 | 点検支援方法、点検支援システム、及び点検支援プログラム |
| US11587254B2 (en) * | 2019-12-13 | 2023-02-21 | Meta Platforms Technologies, Llc | Raycast calibration for artificial reality head-mounted displays |
| JP7344188B2 (ja) | 2020-09-18 | 2023-09-13 | 株式会社東芝 | 画像処理装置、及び画像処理システム |
-
2023
- 2023-01-05 DE DE112023000151.0T patent/DE112023000151T5/de active Pending
- 2023-01-05 KR KR1020247008488A patent/KR20240044495A/ko unknown
- 2023-01-05 WO PCT/JP2023/000032 patent/WO2023188671A1/ja active Application Filing
- 2023-01-05 CN CN202380013420.0A patent/CN117916581A/zh active Pending
- 2023-01-05 JP JP2024511265A patent/JPWO2023188671A1/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE112023000151T5 (de) | 2024-04-04 |
| WO2023188671A1 (ja) | 2023-10-05 |
| JPWO2023188671A1 (zh) | 2023-10-05 |
| KR20240044495A (ko) | 2024-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2680765C1 (ru) | Автоматизированное определение и обрезка неоднозначного контура документа на изображении | |
| JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| CN106981091B (zh) | 人体三维建模数据处理方法及装置 | |
| US20060221417A1 (en) | Image processing method, three-dimensional position measuring method and image processing apparatus | |
| JP2006155563A (ja) | 動作分析装置 | |
| WO2019177539A1 (en) | Method for visual inspection and apparatus thereof | |
| WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
| JP4193519B2 (ja) | 物体識別方法および物体識別装置 | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| EP4009038A1 (en) | Method and device for detecting mechanical equipment parts | |
| WO2021102741A1 (zh) | 一种免疫层析检测的图像分析方法以及系统 | |
| JP2021021669A (ja) | 点検支援方法、点検支援システム、及び点検支援プログラム | |
| CN111461101A (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
| CN117916581A (zh) | 检查支援系统、检查支援方法及检查支援程序 | |
| US10395090B2 (en) | Symbol detection for desired image reconstruction | |
| JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
| JP3886471B2 (ja) | 画像処理装置 | |
| US11989928B2 (en) | Image processing system | |
| CN117218633A (zh) | 一种物品检测方法、装置、设备及存储介质 | |
| US9305235B1 (en) | System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths | |
| CN113362221A (zh) | 用于门禁的人脸识别系统与人脸识别方法 | |
| CN113191336B (zh) | 基于图像识别的电力隐患识别方法及系统 | |
| JP2011022084A (ja) | 三次元姿勢測定装置および三次元姿勢測定方法 | |
| CN111563883B (zh) | 屏幕视觉定位方法、定位设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |