CN110352431A - 图像处理系统和用于进行图像处理的计算机程序 - Google Patents
图像处理系统和用于进行图像处理的计算机程序 Download PDFInfo
- Publication number
- CN110352431A CN110352431A CN201880014768.0A CN201880014768A CN110352431A CN 110352431 A CN110352431 A CN 110352431A CN 201880014768 A CN201880014768 A CN 201880014768A CN 110352431 A CN110352431 A CN 110352431A
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- recognition failures
- data
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 title description 6
- 238000010801 machine learning Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 18
- 238000013461 design Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000005764 inhibitory process Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000010894 electron beam technology Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000001878 scanning electron micrograph Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的在于:兼顾对使用了识别器的图像识别所使用的对照图像进行学习的图像处理系统的数据量的抑制和识别器的识别性能提高。为了达到上述目的,提出一种具备使用对照图像来识别图像的识别器(9)的图像处理系统,该图像处理系统具备对图像识别所需要的对照图像数据进行机器学习的机器学习引擎(1),该机器学习引擎使用识别失败了的图像(2),搜索识别成功了的图像(3),向通过该搜索得到的识别成功了的图像,附加根据通过上述输入装置选择出的上述识别失败了的图像的部分图像而得到的信息,生成修正对照图像数据(13)。
Description
技术领域
本发明涉及使根据图像信息进行图像识别的图像识别器进行机器学习的图像处理系统和计算机程序,具体涉及使利用对照图像识别被对照图像的图像识别器进行机器学习的图像处理系统和计算机程序。
背景技术
以前,利用图像分析技术,从图像提取特征量,与事先登记在数据库等中的信息进行比较对照,由此判别对象物。作为判别对象物的机器学习的算法,已知神经网络和支持向量机。对于任意的方法,识别精度都根据选择怎样的特征量而有很大变动,因此特征量的选择方法是重要的。
近年来,开发出了被关注的称为CNN(Convolutional Neural Network:卷积神经网络)的深层学习器(非专利文献1)。CNN是机器学习器的一种,是系统自动地提取图像的特征并学习来判定对象是什么的方法。此前重要的特征量的选择也是系统自动提取,因此,可以认为今后准备怎样的学习数据是重要的。在专利文献1、专利文献2中,介绍了向学习数据追加噪声并进行学习,从而能够对噪声进行深度(robust)的判别的技术。
现有技术文献
专利文献
专利文献1:日本特开平5-54195号公报
专利文献2:日本特开平10-63789号公报
非专利文献
非专利文献1:Alex Krizhevshy,Llya Sutskever,and Geoffrey E Hinton,“Image Net Classification with Deep Convolutional Neural Networks”,AdvancesInNeural Information Processing Systems,Vol.25,pp.1106-1114,2012.
发明内容
发明要解决的问题
在机器学习中,使用大量的学习数据来提高识别性能。有时为了准备大量的学习数据和使用大量的学习数据进行学习,而花费数周~数月的时间。也可以考虑向根据检查、测量的目的来识别用于半导体检查、测量的扫描电子显微镜(Scanning ElectronMicroscope:SEM)输出的图像的识别器(图像处理装置)导入机器学习,提高识别能力,但即使预先使用学习数据进行机器学习,实际上也必须在进行半导体检查时,进行追加学习,用于应对伴随着因SEM特有的带电造成的对比度降低、亮度不均匀、噪声等(以下称为干扰)的新种类的图像。
在学习数据的准备中,需要制作与图像对应的正确的判别的结果(以下称为真值),与大量的学习数据对应的真值的制作工作花费人工和时间。另外,根据学习数据的规模也需要用于进行学习的学习时间,因此,利用了大量的学习数据的学习有可能妨碍生产线运行,可以认为是困难的。
因此,以下提出了一种图像处理系统和计算机程序,其目的在于:使用实际上识别失败的图像和识别成功的图像,确定成为失败的原因的干扰,制作与该干扰相关的学习数据,由此抑制学习数据的数量,缩短学习时间。
用于解决问题的手段
作为用于达到上述目的的一个实施例,提出一种图像处理系统,其具备使用对照图像来识别图像的运算处理装置,该图像处理系统具备:显示装置,其显示上述图像;输入装置,其选择上述图像的部分图像;存储器,其存储用于识别上述图像的对照图像数据;机器学习引擎,其对上述运算处理装置的图像识别所需要的上述对照图像数据进行机器学习,其中,该机器学习引擎使用上述运算处理装置识别失败了的图像,搜索存储在上述存储器中的上述运算处理装置识别成功了的图像,向通过该搜索得到的识别成功了的图像,附加根据通过上述输入装置选择出的上述识别失败了的图像的部分图像而得到的信息,生成修正对照图像数据。
另外,作为用于达到上述目的的其他实施例,提出一种计算机可读存储介质,其存储了通过处理器执行的计算机指令,上述计算机指令为了生成使用对照图像来识别被对照图像的识别器的学习数据,使用利用了上述对照图像数据的识别失败了的被对照图像数据,搜索使用了上述对照图像数据的识别成功了的被对照图像数据,向通过该搜索得到的识别成功了的被对照图像数据,附加根据上述识别失败了的被对照图像的部分选择而得到的信息,生成修正对照图像数据。
发明效果
根据上述结构,能够实现兼顾学习数据量的抑制和识别器的识别性能提高。
附图说明
图1是表示图像生成装置的实施例的图。
图2是表示图像生成装置的GUI画面的实施例的图。
图3是表示图像生成装置的实施例的图。
图4是表示干扰确定部的实施例的图。
图5是表示对比度差异检测部的实施例的图。
图6是表示亮度值差异检测部的实施例的图。
图7是表示噪声差异检测部的实施例的图。
图8是表示对比度差异判定部的实施例的图。
图9是表示干扰图像生成的实施例的图。
图10是表示对比度差异加法部的实施例的图。
图11是表示亮度值差异加法部的实施例的图。
图12是表示噪声差异加法部的实施例的图。
图13是表示干扰图像生成的实施例的图。
图14是表示识别部和图像生成装置的实施例的图。
图15是表示干扰确定部的实施例的图。
图16是表示亮度反转检测部的实施例的图。
图17是表示亮度反转加法部的实施例的图。
图18是表示图像生成处理的实施例的图。
图19是表示干扰确定处理的实施例的图。
图20是表示干扰加法处理的实施例的图。
图21是说明半导体测量系统的一个例子的图。
图22是扫描电子显微镜的概要说明图。
图23是表示学习用图像数据的一个例子的图。
具体实施方式
以下,说明图像处理系统和计算机程序,利用机器学习来更新使用对照图像而识别被对照图像的识别器的对照图像的图像处理系统、或使运算处理装置执行上述更新的计算机程序,进行以下的处理:搜索与利用了上述识别器的识别失败了的图像(以下称为失败图像)类似的识别成功了的图像(以下称为成功图像)的类似图像处理;得到通过根据上述失败图像和通过上述类似图像搜索部搜索出的成功图像的图像信息进行比较而计算出的差异信息的干扰确定处理;根据通过上述干扰确定处理计算出的差异信息而制作图像的干扰图像生成处理。
根据上述结构,能够节省学习数据的真值制作工作的工时,能够减少学习数据,缩短学习时间。
以下说明的实施例所示例的图像生成装置涉及灵活利用了机器学习的半导体检查中的追加学习的用于谋求减少学习数据和缩短学习时间的图像生成方法、以及图像生成装置。另外,作为其具体的一个例子,表示使用识别失败了的图像数据和识别成功了的图像生成学习用的图像数据的例子。
以下,使用附图说明具有生成灵活利用了机器学习的半导体检查中的追加学习的学习数据的功能的装置、测量检查系统。更具体地说,说明具备作为测量装置的一种的测长扫描电子显微镜(Critical Dimension-Scanning Electron Microscope:CD-SEM)的装置、系统。
此外,在以下的说明中,示例带电粒子束装置作为形成图像的装置,并且作为其一个实施例,说明利用了SEM的例子,但并不限于此,例如也可以采用在样本上扫描粒子束而形成图像的聚焦粒子束(Focused Ion Beam:FIB)装置作为带电粒子束装置。其中,为了高精度地测量更加细微的图案,要求极高的倍率,因此一般在分辨率方面,理想的是使用优于FIB装置的SEM。
图21是多个测量、或检查装置与网络连接的测量、检查系统的概要说明图。该系统主要构成为:测量半导体晶圆、光掩模等的图案尺寸的CD-SEM2401、通过向样本照射电子束取得图像并根据该图像与预先登记的参照图像的比较来提取缺陷的缺陷检查装置2402与网络连接。另外,网络上连接有在半导体器件的设计数据上设定测量位置、测量条件等的条件设定装置2403、根据半导体器件的设计数据和半导体制造装置的制造条件等模拟图案的做工的模拟器2404、以及存储登记了半导体器件的布局数据、制造条件的设计数据的存储介质2405。在条件设定装置2403中,设置有显示后述那样的GUI(图形用户界面)图像的显示装置、输入必要的信息的输入装置。
设计数据例如用GDS格式、OASIS格式等表现,并以预定的形式存储。此外,对于设计数据,只要显示设计数据的软件能够显示其格式形式,并作为图形数据处理,则其种类是任意的。另外,存储介质2405也可以内置于测量装置、检查装置的控制装置、或条件设定装置2403、模拟器2404中。此外,在CD-SEM2401、以及缺陷检查装置2402中,具备各自的控制装置,对各装置进行必要的控制,但也可以在这些控制装置中,安装上述模拟器的功能、测量条件等的设定功能。
在SEM中,从电子源释放的电子束通过多级的透镜而汇聚,并且汇聚的电子束通过扫描偏向器在样本上一维或二维扫描。
通过电子束的扫描而从样本释放的二次电子(Secondary Electron:SE)或后方散射电子(Backscatered Electron:BSE)被检测器检出,与上述扫描偏向器的扫描同步地,存储在帧存储器等存储介质中。通过安装在控制装置内的运算装置,对存储在该帧存储器中的图像信号进行累计。另外,能够对任意的大小、位置、以及方向进行通过扫描偏向器的扫描。
通过各SEM的控制装置进行以上那样的控制等,经由通信线路网络将电子束的扫描的结果、所得到的图像、信号发送到条件设定装置2403。此外,在本例子中,将控制SEM的控制装置和条件设定装置2403作为分别的装置进行说明,但并不限于此,既可以通过条件设定装置2403统一进行装置的控制和测量处理,也可以通过各控制装置一起进行SEM的控制和测量处理。
另外,在上述条件设定装置2403或控制装置中,存储有用于执行测量处理的程序,依照该程序进行测量、或运算。
另外,条件设定装置2403具有根据半导体的设计数据制作控制SEM的动作的程序(制法)的功能,作为制法设定部而发挥功能。具体地说,在设计数据、图案的轮廓线数据、或实施了模拟的设计数据上,设定希望的测量点、自动聚焦、自动标记(auto stigma)、寻址点等用于进行对于SEM来说必要的处理的位置等,根据该设定,制作用于自动控制SEM的样本台、偏向器等的程序。另外,为了制作后述的模版,内置或存储有使从设计数据提取成为模版的区域的信息并根据该提取信息制作模版的处理器、或通用的处理器制作模版的程序。
图22是扫描电子显微镜的概要结构图。通过引出电极2502从电子源2501引出并通过未图示的加速电极加速了的电子束2503在通过作为汇聚透镜的一个实施例的聚光透镜2504汇聚后,通过扫描偏向器2505,在样本2509上一维或二维地进行扫描。电子束2503通过施加到内置于样本台2508中的电极的负电压而减速,并且通过物镜2506的透镜作用而汇聚,照射到样本2509上。
如果电子束2503照射到样本2509,则从该照射位置释放出二次电子、以及后方散射电子那样的电子2510。释放出的电子2510由于基于施加到样本的负电压的加速作用,向电子源方向加速,与变换电极2512冲撞,使得产生二次电子2511。从变换电极2512释放的二次电子2511被检测器2513捕获,根据捕获的二次电子量,检测器2513的输出I变化。未图示的显示装置的亮度与该输出I对应地变化。例如,在形成二维像的情况下,通过取得向扫描偏向器2505的偏向信号与检测器2513的输出I的同步,来形成扫描区域的图像。另外,图22示例的扫描电子显微镜具备在电子束的扫描区域中移动的偏向器(未图示)。
此外,在图22的例子中,说明了通过变换电极暂时对从样本释放的电子进行变换并检测的例子,但当然并不限于这样的结构,例如也可以构成为在加速后的电子的轨道上配置电子放大管、检测器的检测面。控制装置2514具有控制扫描电子显微镜的各结构并且根据检测出的电子形成图像的功能、根据被称为线轮廓的检测电子的强度分布来测量形成在样本上的图案的图案宽度的功能。
接着,说明制作利用了机器学习的轮廓线提取的学习用图像数据的图像生成装置9的一个实施例。图像生成装置具备专用的处理器或通用的处理器,在通用的处理器的情况下,被后述的生成学习图像数据的程序控制。图像生成装置作为机器学习引擎而发挥功能。既可以通过内置于控制装置2514内、或内置了图像处理的运算装置执行机器学习,也可以经由网络,使外部的运算装置(例如条件设定装置2403)执行机器学习。
图1是说明制作学习用图像数据的图像生成装置的一个例子的图。在图像生成装置1中,使用识别失败了的图像(以下称为识别失败图像)数据2、识别成功了的图像(以下称为识别成功图像)数据3,制作学习用图像数据4。首先,在类似图像搜索部11中使用识别失败图像数据2,搜索与识别失败图像类似的识别成功图像数据3内的图像数据。
然后,通过干扰确定部12比较识别失败图像数据2和通过类似图像搜索部11搜索出的识别成功图像数据,调查是否没有由于因带电造成的对比度降低、亮度不均匀、噪声等干扰而有很大不同的干扰。根据识别失败图像和识别成功图像,对对比度、亮度变化、噪声进行比较,确定差异大的干扰。
然后,在干扰图像生成部13中,向识别成功图像数据附加通过干扰确定部12确定的干扰的差异而生成图像,存储为学习用图像数据4。由于是识别成功的图像,所以在识别时制作了真值,不产生真值制作工作。另外,将在识别失败图像中产生的干扰反映到识别成功图像,将其作为学习用图像数据,使用CNN进行学习,由此在学习后也能够进行识别失败图像的识别。在对识别失败图像赋予真值,并附加设想的干扰而制作学习用图像数据的情况下,还附加实际上没有发生的干扰地进行学习,因此包含冗余的学习数据。在本实施例中,通过将实际产生的干扰与成功图像进行比较,来确定并制作与该干扰相关的学习用图像数据。因此,能够减少学习数据,能够缩短学习时间。
可以考虑指定判断为人通过目视确认识别结果的图像而失败了的图像,来制作识别失败图像数据。
在图2中表示目视确认利用了学习的轮廓线提取的识别结果图像时的GUI的一个例子。GUI画面例如被显示在条件设定装置2403的显示装置,通过指示设备、键盘等输入装置输入必要的信息。在图2中,对每个闭合图形图案显示出识别结果。
在该例子中,识别对象是四角为圆角的矩形图案,如果能够提取/识别其轮廓线,则与对照图像之间的匹配评分高,成为识别成功的图像。识别失败的图像包含在没有出现粗框的矩形a那样的轮廓线的地方提取的区域、在出现了b那样的轮廓线的地方没有提取的区域、或c那样的接近地产生了a和b的区域,因此与对照图像之间的匹配评分低,识别失败。
后述的识别器为了根据识别失败了的图像执行机器学习,例如优选以要识别为成功图像而评分不足,但是也将产生某种程度的评分的图像登记为识别失败图像的方式进行编程。例如,可以如匹配成功的评分Ths>作为失败图像而取得的评分的范围Thf1~Thf2>应该明确作为失败的评分Thof那样,预先设定用于进行识别的评分,在类似度判定时,将评分为Thf1~Thf2的被对照图像识别为用于机器学习的图像数据,存储到预定的存储介质中。
用户通过用矩形只显示并指示识别失败的图像区域,能够将除此以外的没有用矩形指示的区域全部作为成功图像区域(识别成功图像)。在显示出的识别结果上,重叠地显示a、b、c的矩形框地,一边通过目视进行确认,一边设定为识别失败了的图像区域(识别失败图像)。
利用机器学习进行轮廓线的提取/识别的真值赋予的工作也考虑到白色带的方向,一边确认峰值位置,一边赋予轮廓线的真值,非常花费时间。因此,认为希望尽量不需要进行真值赋予。
在类似图像搜索部11中,搜索与识别失败图像数据类似的识别成功图像数据。可以考虑通过利用了图像的标准化相关的匹配处理来搜索类似度高的图像。
另外,也可以考虑如图3所示那样,使用与识别失败图像对应的设计数据5,求出与该设计数据类似的识别成功图像所对应的设计数据,由此搜索与识别失败图像数据类似的识别成功图像数据。
另外,如图2所示,大多在一张图像中存在多个识别对象,因此,也可以考虑从识别结果图像的一张图像内搜索与识别失败图像类似的识别成功图像。
图23是表示包含成功图像、在GUI画面上选择出的部分失败图像的学习图像数据的一个例子的图。学习图像数据将成功图像数据和失败图像的指定位置的图像数据关联地存储在存储器中。在存储的数据中,存储有对成功图像和失败部分图像进行合成所得的合成图像,既可以进行使用该合成图像(修正对照图像)的对照处理,也可以在进行图像识别时,合成成功图像和失败部分图像而生成对照图像。
图4是说明干扰确定部12的一个例子的图。根据识别失败图像2和识别成功图像3分别计算对比度,通过对比度差异检测121求出其差异。通过对比度差异判定部124判定在识别失败图像2和识别成功图像3中对比度是否有很大不同。在亮度值差异检测部122中,求出识别失败图像2和识别成功图像3各自的亮度值的差异。然后,通过亮度值差异判定部125判定在识别失败图像2和识别成功图像3中亮度值是否有很大不同。在噪声差异检测部123中,求出识别失败图像2和识别成功图像3各自的噪声量的差异。然后,通过噪声差异判定部126判定在识别失败图像2和识别成功图像3中噪声是否有很大不同。
图5是说明对比度差异检测121的一个例子的图。在平滑化部1211中使用平滑化滤波器等对识别失败图像2进行图像的平滑化,除去图像的亮度值的陡峭的噪声分量。然后,在最大值检测部1213和最小值检测部1214中,求出图像的亮度值的最大值Lmax和最小值Lmin。在对比度计算部中,使用最大值Lmax和最小值Lmin,计算(Lmax-Lmin)/(Lmax+Lmin)。同样,在对比度计算部1218中也对识别成功图像3计算对比度,在对比度差异计算部1219中求出各个对比度的差异。对比度的求取方法并不限于该例子,也可以将识别失败图像2和识别成功图像3各自的最大值和最小值的差作为对比度。在任意的情况下,都使用最大值和最小值的差求出对比度。
图6是说明亮度值差异检测122的一个例子的图。在平滑化部1221、1222中使用平滑滤波器等对识别失败图像2和识别成功图像3充分进行平滑,求出图像的平缓的亮度变化。然后,在亮度值差异计算部1223中计算各个图像的亮度值的差异。
图7是说明噪声差异检测123的一个例子的图。在平滑化部1231、1232中使用平滑化滤波器等对识别失败图像2和识别成功图像3进行平滑化,除去噪声分量,在噪声计算部1233、1234中,求出识别失败图像2和识别成功图像3与分别经过了平滑化部1231、1232的图像的亮度值的差异,计算该差异值的变化作为噪声。在噪声差异计算部1235中计算分别求出的噪声的差异值。
图8是说明对比度差异判定部124的一个例子的图。预先设定用于判定对比度的差异是否大的阈值1251,在比较判定部1252中对对比度差异检测121输出的对比度差异的值和阈值进行比较。在比阈值1251大的情况下,输出“1”的值,在除此以外的情况下,输出“0”。
另外,亮度值差异判定部125和噪声差异判定部126也与对比度差异判定部124同样地,分别预先设定用于进行判定的阈值,与该阈值进行比较而进行判定。在比阈值大的情况下,输出亮度值的差异的值、噪声的差异的值。除此以外,分别输出“0”。在该情况下,可以考虑将此后的各个图像生成的运算复位,输出不许可存储到学习用图像数据4中的信号。
另外,在对比度、亮度值、噪声的全部差异不大的情况下,向用户通知该情况的主旨。另外,在该情况下,对识别失败图像进行真值赋予操作,将识别失败图像作为学习用图像数据。
图9是说明干扰图像生成部13的一个例子的图。在通过干扰确定部12判断为对比度的差异大的情况下,生成通过对比度差异加法部131向识别成功图像3加上对比度的差异所得的图像。另外,在通过干扰确定部12判断为亮度值的差异大的情况下,生成通过亮度差异加法部132向识别成功图像3加上亮度值的差异所得的图像。另外,在通过干扰确定部12判断为噪声的差异大的情况下,生成通过噪声加法部133向识别成功图像3加上噪声的差异所得的图像。
图10是说明对比度差异加法部131的一个例子的图。通过减法器1312求出识别失败图像2的最大值-最小值,通过减法器1313求出识别成功图像3的最大值-最小值,通过除法器1314求出(识别失败图像2的最大值-最小值)/(识别成功图像3的最大值-最小值)。然后,能够将通过减法器1311减去了根据识别成功图像求出的最小值所得的图像,通过乘法器1315,乘以通过除法器1314求出的(识别失败图像2的最大值-最小值)/(识别成功图像3的最大值-最小值)。然后,通过加法器加上识别失败图像2的最小值来实现。
亮度值差异加法部132如图11那样通过加法器1321将识别成功图像3加上通过干扰确定部12求出的亮度值的差异,而生成图像。例如,可以将由于在失败图像中产生的带电而背景变黑那样的亮度不均匀与成功图像相加。
图12是说明噪声差异加法部133的一个例子的图。噪声差异加法部133将根据通过干扰确定部12求出的识别失败图像2的噪声123a和识别成功图像3的噪声123b通过噪声调整1331而制作的噪声,通过加法器1332与识别成功图像相加,来生成图像。在噪声调整1331中,考虑到已经产生的噪声的量地向识别成功图像3加上噪声。例如,在以正态分布产生了识别失败图像3的噪声123a时,只加上比识别成功图像3的噪声123b的值大的值的噪声。另外,在以正态分布产生了识别失败图像3的噪声123a时,同样以正态分布产生识别成功图像3的噪声123b,将其绝对值的差异作为噪声而进行相加。在识别成功图像3的噪声比识别失败图像2的噪声大的情况下,可以认为相加的噪声为0。以上分别分为对比度差异加法部131、亮度差异加法器132、噪声差异加法部133而制作图像,但也可以考虑如图13所示那样,制作分别组合的图像。最初,通过对比度差异加法部131将失败图像加上对比度的差异,接着通过亮度值差异加法部132加上亮度值的差异,最后通过噪声差异加法部133加上噪声的差异。此处的处理的顺序可以改变。由此,能够制作加上了对比度、亮度值、以及噪声的图像。
图14是说明还包含识别部的图像生成装置的一个例子的图。已经进行了学习的识别部9对识别用图像数据10的图像进行识别,将识别结果存储在识别结果图像数据7中。
识别部9是使用预先存储在存储器中的对照图像执行识别图像的图像处理的运算处理装置。更具体地说,判定被对照图像与对照图像的类似度,根据其评分,对搜索对象的图像进行搜索。例如,将评分为预定值以上的图像识别为搜索对象图像。识别为搜索对象图像的图像作为识别成功图像存储在预定的存储介质中,另一方面,评分小于预定值的图像作为识别失败图像,为了以后的机器学习而存储在预定的存储介质中。
如在图2中说明的那样,如果能够按照四角为圆角的矩形的图案对识别对象进行识别,则能够提取四角为圆角的矩形的轮廓线。
如图2所示,通过失败区域图像指示部8在GUI上显示识别结果图像数据7的图像数据。如果用户通过失败区域图像指示部8在显示在GUI上的识别结果图像中指示了识别失败图像区域,则将所指示的图像区域存储到识别失败图像数据2。另外,将没有指示的图像区域,例如图2所示的提取了四角为圆角的矩形的轮廓线的图像区域存储到识别成功图像数据3。在图像生成部1中,使用识别失败图像数据和识别成功图像数据,生成学习用的图像数据。在图像生成装置1的类似图像/设计数据搜索部14中,搜索与识别失败图像数据2类似的成功图像。使用设计数据或图像数据,搜索与识别失败图像的类似度高的识别成功图像。然后,通过干扰确定部12比较搜索出的识别成功图像数据和识别失败图像数据,确定差异大的干扰(对比度、亮度变化、噪声)。然后,在干扰图像生成部13中,生成将所确定的干扰反映到识别成功图像3所得的图像,存储到学习用图像数据4。在识别器9中,使用存储在该学习用图像数据4中的图像数据进行学习。通过使用加上了在识别失败了的图像中产生的干扰的成功图像进行学习,能够对在识别失败了的图像中产生的干扰进行深度识别。
以上,是使用SEM图像的情况下的干扰,但例如在使用OM图像的情况下,由于处理而引起亮度的反转等干扰。在该情况下,在干扰确定部12中,需要图15所示那样的检测亮度反转的干扰的功能。在该亮度反转检测部127中,使用识别失败图像2和识别成功图像3的图像检测亮度反转,通过亮度反转判定部128判定是否引起了亮度的反转。
在亮度反转检测部127中,如图16所示,通过图像相关计算部1271计算识别失败图像2和识别成功图像3的图像相关性。如果有亮度的反转,则负的相关性大。在亮度反转判定部128中,与预先设定的阈值进行比较,在负的相关性比阈值大的情况下,能够判定为引起了反转。另外,在所说明的干扰图像生成部13中设置图17所示的亮度反转部134,在通过亮度反转判定部128判定为引起了亮度反转的情况下,生成针对识别成功图像使亮度值反转所得的图像。
在图18中表示图像生成处理的实施例的一个例子。在图像生成处理S10中,首先在识别失败图像选择处理S11中选择识别失败的图像。如使用图2说明的那样进行以下处理,即用户从识别结果图像中选择识别失败了的图像区域(以下称为识别失败图像)。接着,在类似图像搜索处理S12中,从识别成功了的图像数据中,搜索与在识别失败图像选择处理S11中选择出的识别失败图像类似的识别成功图像。然后,在干扰确定处理S13中,根据识别失败图像和识别成功图像,比较对比度、亮度变化、噪声等干扰,确定在识别失败图像和识别成功图像中有很大不同的干扰。然后,在干扰加法处理S14中,生成将在干扰确定处理S13中确定的干扰反映到识别成功处理所得的图像。在图19中表示干扰确定处理的实施例的一个例子。在干扰确定部处理S20中,首先在对比度差异检测/判定处理S21中,根据识别失败图像和识别成功图像分别计算对比度,求出其差异,进行差异值与确定阈值的大小判定。在差异值比确定阈值大的情况下,判断为在识别失败图像和识别成功图像中对比度的干扰有很大不同。
在亮度值差异检测/判定处理S22中,求出识别失败图像和识别成功图像的图像(亮度值)的差异,进行差异值与确定阈值的大小判定。在差异值比确定阈值大的情况下,判断为在识别失败图像和识别成功图像中亮度不均匀的干扰有很大不同。
在噪声差异检测/判定处理S23中,求出识别失败图像和识别成功图像的噪声的大小的差异,进行差异值与确定阈值的大小判定。在差异值比确定阈值大的情况下,判断为在识别失败图像和识别成功图像中噪声的干扰有很大不同。
在此,是对比度差异检测/判定处理S21、亮度值差异检测/判定处理S22、噪声差异检测/判定处理S23的顺序,但也可以是不同顺序。
在图20中表示干扰加法处理的实施例的一个例子。在干扰加法处理S30中,进行对比度差异加法处理S31、亮度值差异加法处理S32、噪声差异加法处理S33。在对比度差异检测/判定处理S21中,在通过对比度差异检测/判定处理S21判断为在识别失败图像和识别成功图像中对比度的干扰有很大不同的情况下,将识别成功图像的对比度与识别失败图像的对比度合并。具体地说,与使用图5和图9、10说明的内容相同。
在亮度值差异加法处理S32中,在通过亮度值差异检测/判定处理S22判断为在识别失败图像和识别成功图像中亮度不均匀的干扰有很大不同的情况下,分别对识别失败图像和识别成功图像进行强的平滑化,求出识别失败图像-识别成功图像的差异图像,制作将其与识别成功图像相加所得的图像。与使用图6和图11说明的内容相同。
在噪声差异加法处理S33中,在通过噪声差异检测/判定处理S23判断为在识别失败图像和识别成功图像中噪声的干扰有很大不同的情况下,制作将在识别失败图像中引起的噪声与识别成功图像相加所得的图像。与使用图7和图12说明的内容相同。
在此,是对比度差异加法处理S31、亮度值差异加法处理S32、噪声差异加法处理S33的顺序,但也可以是不同顺序。
附图标记说明
1:图像生成装置;2:识别失败图像数据;3:识别成功图像数据;4:学习用图像数据;5:设计数据;6:设计数据;7:识别结果图像数据;8:失败区域图像指示部;9:识别部;10:识别用图像数据;11:类似图像搜索部;12:干扰确定部;13:干扰图像生成部;121:对比度差异检测部;122:亮度差异检测部;123:噪声差异检测部;124:对比度差异判定部;125:亮度差异判定部;126:噪声差异判定部;127:亮度反转检测部;128:亮度反转判定部;131:对比度差异加法部;132:亮度差异加法部;133:噪声差异加法部;134:亮度反转部;121a:识别失败图像的最大值;121b:识别失败图像的最小值;121c:识别成功图像的最大值;121d:识别成功图像的最小值;123a:识别失败图像的噪声;123b:识别成功图像的噪声。
Claims (11)
1.一种图像处理系统,其具备使用对照图像来识别图像的运算处理装置,该图像处理系统的特征在于,具备:
显示装置,其显示上述图像;
输入装置,其选择上述图像的部分图像;
存储器,其存储用于识别上述图像的对照图像数据;
机器学习引擎,其对上述运算处理装置的图像识别所需要的上述对照图像数据进行机器学习,其中,
该机器学习引擎使用上述运算处理装置识别失败了的图像,搜索存储在上述存储器中的上述运算处理装置识别成功了的图像,向通过该搜索得到的识别成功了的图像,附加根据通过上述输入装置选择出的上述识别失败了的图像的部分图像而得到的信息,生成修正对照图像数据。
2.根据权利要求1所述的图像处理系统,其特征在于,
上述运算处理装置求出通过上述输入装置选择出的部分图像和上述识别成功了的图像的与该部分图像对应的对应图像之间的差异,上述机器学习引擎使用该差异信息,生成上述修正对照图像数据。
3.根据权利要求1所述的图像处理系统,其特征在于,
上述运算处理装置使用与上述识别失败了的图像对应的设计数据,执行上述识别成功了的图像的搜索。
4.根据权利要求1所述的图像处理系统,其特征在于,
上述运算处理装置进行上述识别失败了的图像的部分图像和上述识别成功了的图像的对比度、亮度值以及噪声的差异运算,根据该差异运算结果,作为生成上述修正对照图像数据的附加信息。
5.根据权利要求1所述的图像处理系统,其特征在于,
上述显示装置重叠地显示通过上述输入装置选择出的上述识别失败了的图像的部分图像和通过搜索得到的识别成功了的图像。
6.根据权利要求1所述的图像处理系统,其特征在于,
上述输入装置从上述识别失败了的图像中,以像素为单位指定多处上述部分图像。
7.根据权利要求1所述的图像处理系统,其特征在于,
在对上述运算处理装置识别成功了的图像的搜索的结果而得到了多个识别成功了的图像的情况下,上述机器学习引擎使用通过上述输入装置的输入而选择出的识别成功了的图像,生成上述修正对照图像。
8.根据权利要求1所述的图像处理系统,其特征在于,
在对上述识别成功了的图像的搜索的结果而没有找到图像的情况下,上述运算处理装置在上述显示装置上显示该情况的主旨。
9.根据权利要求1所述的图像处理系统,其特征在于,
上述机械学习引擎在上述搜索的结果而没有找到图像的情况下,显示上述识别失败了的图像的同时,使能够通过上述输入装置输入用于生成上述修正对照图像数据的信息。
10.一种计算机可读存储介质,其存储了通过处理器执行的计算机指令,其特征在于,
上述计算机指令为了生成使用对照图像来识别被对照图像的识别器的学习数据,使用利用了上述对照图像数据的识别失败了的被对照图像数据,搜索使用了上述对照图像数据的识别成功了的被对照图像数据,向通过该搜索得到的识别成功了的被对照图像数据,附加根据上述识别失败了的被对照图像的部分选择而得到的信息,生成修正对照图像数据。
11.根据权利要求10所述的计算机可读存储介质,其存储了通过处理器执行的计算机指令,其特征在于,
上述计算机指令求出从上述识别失败了的被对照图像中选择出的部分图像和上述识别成功了的被对照图像的与该部分图像对应的对应图像之间的差异,上述机器学习引擎使用该差异信息,生成上述修正对照图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310270799.5A CN116152507A (zh) | 2017-03-27 | 2018-03-15 | 图像处理系统及图像处理方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017060351A JP6731370B2 (ja) | 2017-03-27 | 2017-03-27 | 画像処理システム及び画像処理を行うためのコンピュータープログラム |
JP2017-060351 | 2017-03-27 | ||
PCT/JP2018/010307 WO2018180562A1 (ja) | 2017-03-27 | 2018-03-15 | 画像処理システム及び画像処理を行うためのコンピュータープログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310270799.5A Division CN116152507A (zh) | 2017-03-27 | 2018-03-15 | 图像处理系统及图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110352431A true CN110352431A (zh) | 2019-10-18 |
CN110352431B CN110352431B (zh) | 2023-07-18 |
Family
ID=63675752
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310270799.5A Pending CN116152507A (zh) | 2017-03-27 | 2018-03-15 | 图像处理系统及图像处理方法 |
CN201880014768.0A Active CN110352431B (zh) | 2017-03-27 | 2018-03-15 | 图像处理系统、计算机可读存储介质以及系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310270799.5A Pending CN116152507A (zh) | 2017-03-27 | 2018-03-15 | 图像处理系统及图像处理方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11176405B2 (zh) |
JP (1) | JP6731370B2 (zh) |
KR (2) | KR102435492B1 (zh) |
CN (2) | CN116152507A (zh) |
TW (2) | TW201835815A (zh) |
WO (1) | WO2018180562A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832433A (zh) * | 2020-06-24 | 2020-10-27 | 科络克电子科技(上海)有限公司 | 一种由图像提取物体特性的装置及其工作方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112996963B (zh) * | 2018-10-31 | 2022-12-02 | 住友建机株式会社 | 挖土机、挖土机支援系统 |
AU2020280263A1 (en) * | 2019-05-18 | 2022-01-06 | Looplearn Pty Ltd | Localised, loop-based self-learning for recognising individuals at locations |
JP2021117548A (ja) * | 2020-01-22 | 2021-08-10 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7288870B2 (ja) * | 2020-02-05 | 2023-06-08 | 株式会社日立製作所 | 画像を生成するシステム |
CN115176327A (zh) * | 2020-03-30 | 2022-10-11 | 株式会社日立高新技术 | 诊断系统 |
JP7351812B2 (ja) * | 2020-07-27 | 2023-09-27 | 株式会社日立製作所 | 荷電粒子線装置および帯電評価方法 |
CN113505700A (zh) * | 2021-07-12 | 2021-10-15 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
WO2024111303A1 (ja) * | 2022-11-22 | 2024-05-30 | パナソニックIpマネジメント株式会社 | 学習システム、学習方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148012A (ja) * | 1999-11-19 | 2001-05-29 | Minolta Co Ltd | 対応点探索方法および装置 |
US20050084155A1 (en) * | 2003-10-21 | 2005-04-21 | Manabu Yumoto | Image collating apparatus, image collating method, image collating program and computer readable recording medium recording image collating program |
CN101127119A (zh) * | 2006-08-14 | 2008-02-20 | 株式会社日立高新技术 | 图案检查装置以及半导体检查系统 |
WO2013099367A1 (ja) * | 2011-12-27 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、補正器、プログラムおよび記録媒体 |
US20150262370A1 (en) * | 2014-03-14 | 2015-09-17 | Omron Corporation | Image processing device, image processing method, and image processing program |
WO2016182607A1 (en) * | 2015-05-14 | 2016-11-17 | Sri International | Selecting optimal image from mobile device captures |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0554195A (ja) | 1991-08-29 | 1993-03-05 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
JPH0650738A (ja) | 1992-07-31 | 1994-02-25 | Toyota Motor Corp | 画像輪郭線検出装置 |
JPH06333008A (ja) * | 1993-05-19 | 1994-12-02 | Fujitsu General Ltd | 画像輪郭指定用入力装置 |
JP3434976B2 (ja) * | 1996-06-28 | 2003-08-11 | 三菱電機株式会社 | 画像処理装置 |
JP3449392B2 (ja) | 1996-08-27 | 2003-09-22 | 日本電信電話株式会社 | 識別関数学習方法 |
JP2007052575A (ja) * | 2005-08-17 | 2007-03-01 | Konica Minolta Holdings Inc | メタデータ付与装置およびメタデータ付与方法 |
US20110106734A1 (en) | 2009-04-24 | 2011-05-05 | Terrance Boult | System and appartus for failure prediction and fusion in classification and recognition |
KR101034117B1 (ko) * | 2009-11-13 | 2011-05-13 | 성균관대학교산학협력단 | 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치 |
JP5546317B2 (ja) * | 2010-03-31 | 2014-07-09 | 株式会社デンソーアイティーラボラトリ | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム |
US9152861B2 (en) * | 2011-03-04 | 2015-10-06 | Nec Corporation | Individual product identification system, individual product identification method, and device and program used by same |
JP2013084074A (ja) * | 2011-10-07 | 2013-05-09 | Sony Corp | 情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラム |
US9053595B2 (en) * | 2012-02-02 | 2015-06-09 | Jared Grove | Coin identification system and method using image processing |
JP5808371B2 (ja) | 2013-08-28 | 2015-11-10 | ヤフー株式会社 | 画像認識装置、画像認識方法及び画像認識プログラム |
US9518934B2 (en) | 2014-11-04 | 2016-12-13 | Kla-Tencor Corp. | Wafer defect discovery |
JP2016099668A (ja) | 2014-11-18 | 2016-05-30 | キヤノン株式会社 | 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム |
CN105844202A (zh) * | 2015-01-12 | 2016-08-10 | 芋头科技(杭州)有限公司 | 一种影像识别系统及方法 |
JP6904249B2 (ja) | 2015-03-19 | 2021-07-14 | 日本電気株式会社 | オブジェクト検出装置、オブジェクト検出方法およびプログラム |
US10659766B2 (en) * | 2015-10-30 | 2020-05-19 | Canon Kabushiki Kaisha | Confidence generation apparatus, confidence generation method, and imaging apparatus |
-
2017
- 2017-03-27 JP JP2017060351A patent/JP6731370B2/ja active Active
-
2018
- 2018-03-15 US US16/493,432 patent/US11176405B2/en active Active
- 2018-03-15 CN CN202310270799.5A patent/CN116152507A/zh active Pending
- 2018-03-15 KR KR1020217027367A patent/KR102435492B1/ko active IP Right Grant
- 2018-03-15 WO PCT/JP2018/010307 patent/WO2018180562A1/ja active Application Filing
- 2018-03-15 KR KR1020197022591A patent/KR102336431B1/ko active IP Right Grant
- 2018-03-15 CN CN201880014768.0A patent/CN110352431B/zh active Active
- 2018-03-16 TW TW107109018A patent/TW201835815A/zh unknown
- 2018-03-16 TW TW108122862A patent/TWI697849B/zh active
-
2021
- 2021-10-18 US US17/503,438 patent/US11836906B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148012A (ja) * | 1999-11-19 | 2001-05-29 | Minolta Co Ltd | 対応点探索方法および装置 |
US20050084155A1 (en) * | 2003-10-21 | 2005-04-21 | Manabu Yumoto | Image collating apparatus, image collating method, image collating program and computer readable recording medium recording image collating program |
CN101127119A (zh) * | 2006-08-14 | 2008-02-20 | 株式会社日立高新技术 | 图案检查装置以及半导体检查系统 |
WO2013099367A1 (ja) * | 2011-12-27 | 2013-07-04 | Necソフト株式会社 | 画像認識装置、画像認識方法、補正器、プログラムおよび記録媒体 |
US20150262370A1 (en) * | 2014-03-14 | 2015-09-17 | Omron Corporation | Image processing device, image processing method, and image processing program |
WO2016182607A1 (en) * | 2015-05-14 | 2016-11-17 | Sri International | Selecting optimal image from mobile device captures |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832433A (zh) * | 2020-06-24 | 2020-10-27 | 科络克电子科技(上海)有限公司 | 一种由图像提取物体特性的装置及其工作方法 |
CN111832433B (zh) * | 2020-06-24 | 2023-12-29 | 奇点微(上海)光电科技有限公司 | 一种由图像提取物体特性的装置及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102435492B1 (ko) | 2022-08-24 |
KR102336431B1 (ko) | 2021-12-08 |
KR20210111335A (ko) | 2021-09-10 |
US20200134355A1 (en) | 2020-04-30 |
JP2018163524A (ja) | 2018-10-18 |
CN110352431B (zh) | 2023-07-18 |
KR20190103283A (ko) | 2019-09-04 |
US11836906B2 (en) | 2023-12-05 |
JP6731370B2 (ja) | 2020-07-29 |
TWI697849B (zh) | 2020-07-01 |
TW201835815A (zh) | 2018-10-01 |
CN116152507A (zh) | 2023-05-23 |
WO2018180562A1 (ja) | 2018-10-04 |
US20220036116A1 (en) | 2022-02-03 |
TW201945982A (zh) | 2019-12-01 |
US11176405B2 (en) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110352431A (zh) | 图像处理系统和用于进行图像处理的计算机程序 | |
JP7002949B2 (ja) | 画像評価方法及び画像評価装置 | |
TW201946185A (zh) | 生成可用於半導體試樣的檢查的訓練集 | |
JP4199939B2 (ja) | 半導体検査システム | |
JP4695239B2 (ja) | 形状特徴に基づく欠陥検出方法及び装置 | |
JP5313939B2 (ja) | パターン検査方法、パターン検査プログラム、電子デバイス検査システム | |
JP4982544B2 (ja) | 合成画像形成方法及び画像形成装置 | |
KR101987726B1 (ko) | 전자선식 패턴 검사 장치 | |
KR20180081820A (ko) | 다이 내부 검사에 있어서의 등록 및 설계 주변부에서 야기된 노이즈의 저감 | |
KR20220002572A (ko) | 화상 처리 프로그램, 화상 처리 장치 및 화상 처리 방법 | |
WO2021255819A1 (ja) | 画像処理方法、形状検査方法、画像処理システム及び形状検査システム | |
JP2002243428A (ja) | パターン検査方法およびその装置 | |
JP2014106388A (ja) | 自動合焦点検出装置及びそれを備える荷電粒子線顕微鏡 | |
JP6207893B2 (ja) | 試料観察装置用のテンプレート作成装置 | |
JP6078356B2 (ja) | テンプレートマッチング条件設定装置、及び荷電粒子線装置 | |
JP7438311B2 (ja) | 画像処理システムおよび画像処理方法 | |
US20220335594A1 (en) | Defect Inspection Apparatus and Defect Inspection Method | |
KR102678481B1 (ko) | 하전 입자 빔 장치 | |
KR20230018315A (ko) | 하전 입자선 장치의 촬상 화상에 따른 조건 결정 방법, 장치 및 프로그램 | |
JP2001208700A (ja) | 検査方法及び検査装置 | |
JP5396496B2 (ja) | 合成画像形成方法及び画像形成装置 | |
JPH04370947A (ja) | 電子ビーム装置用測定点変換方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |