KR20140116551A

KR20140116551A - 표면의 삼차원 구조를 측정하는 방법 및 장치

Info

Publication number: KR20140116551A
Application number: KR1020147023980A
Authority: KR
Inventors: 에반 제이 립닉; 이 키아오; 잭 더블유 라이; 데이비드 엘 호펠트
Original assignee: 쓰리엠 이노베이티브 프로퍼티즈 캄파니
Priority date: 2012-01-31
Filing date: 2013-01-30
Publication date: 2014-10-02
Also published as: WO2013116299A1; CN104254768A; BR112014018573A2; BR112014018573A8; EP2810054A4; JP2015513070A; EP2810054A1; US20150009301A1

Abstract

방법은 하나 이상의 촬상 센서에 의해 표면을 촬상하는 단계를 포함하고, 표면과 촬상 센서는 상대적 병진 운동한다. 촬상 센서는 표면 좌표계의 x-y 평면에 대해 영이 아닌 각도로 정렬된 초점 평면을 갖는 렌즈를 포함한다. 표면의 이미지들의 시퀀스는 기록되고 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성한다. 초점 선예도 값은 볼륨의 각각의 (x,y) 위치마다 결정되고, (x,y) 위치는 카메라 좌표계의 z방향에 직교하는 평면에 있다. 초점 선예도 값을 이용하여, 카메라 좌표계의 z방향을 따라 최대 초점 심도(z_m)가 볼륨의 각각의 (x,y) 위치마다 결정되고, 최대 초점의 깊이(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치가 결정될 수 있다.

Description

표면의 삼차원 구조를 측정하는 방법 및 장치{METHOD AND APPARATUS FOR MEASURING THE THREE DIMENSIONAL STRUCTURE OF A SURFACE}

관련 출원과의 상호 참조

본 출원은 2012년 1월 31일 출원되고 그 개시내용의 전부가 본 명세서에 참고로 포함되는 미국 가출원 61/593,197호의 이익을 주장한다.

본 개시내용은 표면의 삼차원 구조를 결정하는 방법 및 광학 검사 장치에 관한 것이다. 다른 한 양태에서, 본 개시내용은 이동하는 재료 웨브의 검사를 위한 컴퓨터화 시스템과 같은 재료 검사 시스템에 관한 것이다.

생산 라인 상에서 제품이 제조될 때 제품의 품질을 연속적으로 감시하기 위해 온라인 측정 및 검사 시스템이 이용되었다. 검사 시스템은 작업자가 결함 제품을 신속하게 식별하고 공정 변수의 변화의 효과를 평가할 수 있게 하는 실시간 피드백(real-time feedback)을 제공할 수 있다. 제조된 제품이 제조 공정을 통해 진행할 때 그것의 품질을 감시하기 위해, 촬상에 기초한 검사 시스템이 이용되기도 한다.

검사 시스템은, 예를 들어, CCD 또는 CMOS 카메라와 같은 센서를 이용하여 제품 재료의 선택된 부분의 디지털 이미지를 포착한다. 검사 시스템의 프로세서는 포착된 재료 샘플의 디지털 이미지를 신속하게 평가하여, 샘플, 또는 그것의 선택된 구역이 소비자에게 판매하기에 적합하게 무결함인지를 결정하기 위한 알고리즘을 적용한다.

온라인 검사 시스템은 제조 공정 동안 웨브 재료의 이동하는 표면의 이차원(2D) 이미지 특성을 분석할 수 있고, 예를 들어, 화장품 점결함 및 스트리크(streak)와 같은 비교적 대규모의 비균일성을 검출할 수 있다. 삼각 측량 점 센서(triangulation point sensor)와 같은 다른 기법이 생산 라인 속도에서 대략적으로 수 미크론(micron)의 표면 구조 깊이 분해능을 달성할 수 있지만, 웨브 표면 상의 단일점에 대해서만 적용되고(그것들이 점 센서이므로), 그와 같이 표면 특성에 대한 매우 한정된 양의 유용한 삼차원 (3D) 정보를 제공한다. 레이저 라인 삼각 측량 시스템과 같은 다른 기법이 생산 라인 속도에서 웨브 표면의 완전 3D 적용범위를 달성할 수 있지만, 낮은 공간 분해능을 가지며, 그와 같이 웨브 컬 및 어터(web curl and utter)와 같은 대규모 표면 편차를 감시하기 위해서만 유용하다.

예를 들어, 레이저 프로필로메트리(laser profilometry), 간섭 기법(interferometry) 및 3D 현미경 관찰 검사(초점 심도(DFF, Depth from Focus)에 기초한)와 같은 3D 검사 기법이 표면 분석을 위해 이용되었다. DFF 표면 분석 시스템은 좁은 피사계 심도를 갖는 카메라 및 렌즈로 물체를 촬상한다. 물체가 고정적으로 유지될 때, 카메라 및 렌즈가 z-축을 따라(즉, 렌즈의 광축에 평행하게) 다양한 위치에서 깊이 방향으로 스캔(scan)되어, 각각의 위치에서 이미지를 포착한다. 카메라가 다수의 z-축 위치에서 스캔됨에 따라, 물체의 표면 상의 점들은 표면 위로의 그것들의 높이에 따라 상이한 이미지 슬라이스(different image slice)들에서 초점이 맞추어진다. 이 정보를 이용하여, 물체 표면의 3D 구조가 비교적 정밀하게 추정될 수 있다.

본 개시내용은 표면의 삼차원 구조를 결정하기 위한 개선된 방법 및 광학 검사 장치를 제공하는 것을 목적으로 하며, 또한 이동하는 재료 웨브의 검사를 위한 컴퓨터화 시스템과 같은 재료 검사 시스템을 제공하는 것을 목적으로 한다.

한 양태에서, 본 개시내용은, 하나 이상의 촬상 센서(imaging sensor)에 의해 표면을 촬상하는 단계로서, 표면과 촬상 센서는 상대적 병진 운동(relative translational motion)하고, 센서는 표면 좌표계(surface coordinate system)에서 x-y 평면에 대해 영이 아닌 시야각(non-zero viewing angle)으로 정렬된 초점 평면(focal plane)을 갖는 렌즈를 포함하는, 상기 촬상하는 단계; 표면의 이미지들의 시퀀스(sequence of images)를 기록하는 단계; 기록된 이미지들을 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계; 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값(sharpness of focus value)을 결정하는 단계로서, (x,y) 위치는 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 결정하는 단계; 초점 선예도 값을 이용하여, 볼륨에서의 각각의 (x,y) 위치마다 카메라 좌표계의 z방향을 따라 최대 초점 심도(z_m)를 결정하는 단계; 및 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계를 포함하는, 방법에 관한 것이다.

다른 한 양태에서, 본 개시내용은, 촬상 센서에 의해 표면의 이미지들의 시퀀스를 포착하는 단계로서, 표면과 촬상 센서는 상대적 병진 운동하고, 촬상 센서는 표면 좌표계에서 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈(telecentric lens)를 포함하는, 상기 포착하는 단계; 시퀀스의 각각의 이미지에서 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계; 기록된 이미지들의 시퀀스를 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 기록된 이미지들의 시퀀스의 각각의 이미지는 볼륨에서의 층을 포함하는, 상기 형성하는 단계; 볼륨 내의 각각의 픽셀(pixel)마다 초점 선예도 값을 계산하는 단계로서, 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계; 초점 선예도 값에 기초하여, 볼륨 내의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계; 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및 삼차원 점 위치에 기초하여 표면의 삼차원 모델을 구성하는 단계를 포함하는, 방법에 관한 것이다.

또다른 한 양태에서, 본 개시내용은, 텔레센트릭 렌즈를 갖는 촬상 센서로서, 렌즈는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 표면과 촬상 센서는 상대적 병진 운동하고, 센서는 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및 프로세서를 포함하며, 상기 프로세서는, 시퀀스의 각각의 이미지에서 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계; 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 기록된 이미지들의 시퀀스의 각각의 이미지는 볼륨에서의 층을 포함하는, 상기 형성하는 단계; 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계; 초점 선예도 값에 기초하여, 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계; 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 삼차원 위치에 기초하여 표면의 삼차원 모델을 구성하는 단계를 포함하는, 장치에 관한 것이다.

또다른 한 양태에서, 본 개시내용은, 고정식 촬상 센서를 이동하는 재료 웨브(moving web of material)에 대해 영이 아닌 시야각으로 배치하는 단계로서, 촬상 센서는 이동하는 웨브의 표면을 촬상하고 상기 표면의 이미지들의 시퀀스를 형성하기 위한 텔레센트릭 렌즈를 포함하는, 상기 배치하는 단계; 및 이미지들의 시퀀스를 처리하여, 이미지들을 기록하고, 기록된 이미지들을 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하며, 카메라 좌표계의 z방향에 직교하는 평면에 있는 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값을 결정하고, 볼륨에서의 각각의 (x,y) 위치마다 카메라 좌표계의 z방향을 따라 최대 초점 심도(z_m)를 결정하며, 최대 초점 심도(z_m)에 기초하여, 이동하는 웨브의 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계를 포함하는, 방법에 관한 것이다.

또다른 한 양태에서, 본 개시내용은, 웨브 재료의 이동하는 표면을 실시간으로 검사하고 상기 표면의 삼차원 모델을 계산하는 방법에 관한 것으로, 고정식 센서에 의해 표면의 이미지들의 시퀀스를 포착하는 단계로서, 촬상 센서는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는 상기 포착하는 단계; 시퀀스의 각각의 이미지에서 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계; 기록된 이미지들의 시퀀스를 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 기록된 이미지들의 시퀀스의 각각의 이미지는 볼륨에서의 층을 포함하는, 상기 형성하는 단계; 볼륨 내의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계; 초점 선예도 값에 기초하여, 볼륨 내의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계; 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및 삼차원 위치에 기초하여 표면의 삼차원 모델을 구성하는 단계를 포함한다.

또다른 한 양태에서, 본 개시내용은, 웨브 재료를 실시간으로 검사하는 온라인 컴퓨터화 검사 시스템(online computerized inspection system)에 관한 것으로서, 카메라 및 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서로서, 렌즈는 이동하는 표면의 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 센서는 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및 프로세서를 포함하며, 상기 프로세서는, 시퀀스의 각각의 이미지에서 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계; 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 기록된 이미지들의 시퀀스의 각각의 이미지는 볼륨에서의 층을 포함하는 상기 형성하는 단계; 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는 상기 계산하는 단계; 초점 선예도 값에 기초하여, 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계; 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 삼차원 위치에 기초하여 표면의 삼차원 모델을 구성하는 단계를 포함한다.

또다른 한 양태에서, 본 개시내용은, 소프트웨어 명령을 포함하는 비일시적인 컴퓨터 판독 가능 매체(non-transitory computer readable medium)에 관한 것이고, 소프트웨어 명령은, 컴퓨터 프로세서가, 온라인 컴퓨터화 검사 시스템에 의해 웨브 재료의 이동하는 표면의 이미지들의 시퀀스를 수신하는 단계로서, 이미지들의 시퀀스는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서에 의해 포착되는, 상기 수신하는 단계; 시퀀스의 각각의 이미지에서 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계; 기록된 이미지들의 시퀀스를 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 기록된 이미지들의 시퀀스의 각각의 이미지는 볼륨에서의 층을 포함하는 상기 형성하는 단계; 볼륨 내의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는 상기 계산하는 단계; 초점 선예도 값에 기초하여, 볼륨 내의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계; 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 삼차원 위치에 기초하여 표면의 삼차원 모델을 구성는 단계를 포함한다.

또다른 양태에서, 본 개시내용은, 촬상 센서를 표면에 대해 병진운동시키는 단계로서, 센서는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 포함하는 상기 병진운동시키는 단계; 촬상 센서에 의해 표면을 촬상하여 이미지들의 시퀀스를 획득하는 단계; 표면 상의 점들의 삼차원 위치를 추정하여 표면을 표현하는 삼차원 점들의 세트를 제공하는 단계; 및 삼차원 점들의 세트를 처리하여 선택된 좌표계에서의 표면의 레인지 맵(range-map)을 발생시키는 단계를 포함하는, 방법에 관한 것이다.

또다른 한 양태에서, 본 개시내용은, (a) 하나 이상의 촬상 센서에 의해 표면을 촬상하여 이미지들의 시퀀스를 획득하는 단계로서, 표면과 촬상 센서는 상대적 병진 운동하고, 센서는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 포함하는, 상기 획득하는 단계; (b) 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계; (c) 초점 평면이 y축과 교차하는 표면 좌표계의 y-좌표를 계산하는 단계; (d) 최종 이미지에서의 표면의 겉보기 변위(apparent shift)에 기초하여, 표면 상의 변이점(transitional point)들을 결정하는 단계로서, 변이점들은 최종 이미지에서 렌즈의 시야를 벗어났지만, 시퀀스에서 최종 이미지 이전의 이미지에서는 렌즈의 시야에 있는, 상기 결정하는 단계; (e) 표면 상의 모든 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계; (f) 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (f)를 반복하는 단계; 및 (g) 시퀀스의 이미지로부터의 변이점들의 카메라 좌표계에서의 삼차원 위치를 축적하여 병진운동하는 표면을 나타내는 점 클라우드(point cloud)를 형성하는 단계를 포함하는, 방법에 관한 것이다.

또다른 한 실시예에서, 본 개시내용은, 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 갖는 촬상 센서로서, 표면과 촬상 센서는 상대적 병진 운동하고, 센서는 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는 상기 촬상 센서; 및 프로세서를 포함하는 장치에 관한 것이며, 상기 프로세서는, (a) 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계; (b) 초점 평면이 y축과 교차하는 표면 좌표계의 y-좌표를 계산하는 단계; (c) 최종 이미지에서의 표면의 겉보기 변위에 기초하여, 표면 상의 변이점들을 결정하는 단계로서, 변이점들은 최종 이미지에서 렌즈의 시야를 벗어났지만, 시퀀스에서 최종 이미지 이전의 이미지에서는 렌즈의 시야에 있는, 상기 결정하는 단계; (d) 표면 상의 모든 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계; (e) 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (d)를 반복하는 단계; (f) 시퀀스의 이미지로부터의 변이점들의 카메라 좌표계에서의 삼차원 위치를 축적하여 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 포함한다.

또다른 한 양태에서, 본 개시내용은, 웨브 재료를 실시간으로 검사하는 온라인 컴퓨터화 검사 시스템에 관한 것으로서, 카메라 및 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서로서, 렌즈는 이동하는 표면의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 센서는 표면을 촬상하여 그것들의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및 프로세서를 포함하고, 상기 프로세서는, (a) 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계; (b) 초점 평면이 y축과 교차하는 표면 좌표계의 y-좌표를 계산하는 단계; (c) 최종 이미지에서의 표면의 겉보기 변위에 기초하여, 표면 상의 변이점들을 결정하는 단계로서, 변이점들은 최종 이미지에서 렌즈의 시야를 벗어났지만, 시퀀스에서 최종 이미지 이전의 이미지에서는 렌즈의 시야에 있는, 상기 결정하는 단계; (d) 표면 상의 모든 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계; (e) 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (d)를 반복하는 단계; (f) 시퀀스의 이미지로부터의 변이점들의 카메라 좌표계에서의 삼차원 위치를 축적하여 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 포함한다.

또다른 한 양태에서, 본 개시내용은, 컴퓨터 프로세서가, (a) 온라인 컴퓨터화 검사 시스템에 의해, 웨브 재료의 이동하는 표면의 이미지들의 시퀀스를 수신하는 단계로서, 이미지들의 시퀀스는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서에 의해 포착되는, 상기 수신하는 단계; (b) 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계; (c) 초점 평면이 y축과 교차하는 표면 좌표계의 y-좌표를 계산하는 단계; (d) 최종 이미지에서의 표면의 겉보기 변위에 기초하여, 표면 상의 변이점들을 결정하는 단계로서, 변이점들은 최종 이미지에서 렌즈의 시야를 벗어났지만, 시퀀스에서 최종 이미지 이전의 이미지에서는 렌즈의 시야에 있는 상기 결정하는 단계; (e) 표면 상의 모든 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계; (f) 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (e)를 반복하는 단계; (g) 시퀀스의 이미지로부터의 변이점들의 카메라 좌표계에서의 삼차원 위치를 축적하여 병진운동하는 표면을 나타내는 점 클라우드를 형성하게 하는 소프트웨어 명령을 포함하는 단계를 포함하는, 비일시적인 컴퓨터 판독 가능 매체에 관한 것이다.

본 발명의 하나 이상의 실시예의 상세 사항이 첨부 도면 및 아래의 설명에서 기술된다. 본 발명의 기타 특징, 목적 및 장점은 상세한 설명, 도면, 및 청구의 범위로부터 명백해질 것이다.

도 1은 광학 검사 장치의 사시도이다.
도 2는 도 1의 장치를 이용하여 표면의 구조를 결정하는 방법을 예시하는 플로우차트이다.
도 3은 도 1의 장치를 이용하여 표면의 구조를 결정하는 다른 한 방법을 예시하는 플로우차트이다.
도 4는 도 3으로부터 획득된 점 클라우드를 처리하여 표면의 맵을 생성하는 방법을 예시하는 플로우차트이다.
도 5는 예시적 웨브 제조 공장의 검사 시스템의 예시적 실시예의 개략적 블록도이다.
도 6은 예 1의 광학 검사 장치에 의해 획득된 3개의 이미지들의 사진이다.
도 7a 내지 도 7c는 예 1의 광학 검사 장치에 의해 결정된 샘플의 표면의 3개의 상이한 도면들이다.
도 8a 내지 도 8c는 제각기 22.3°, 38.1°, 및 46.5°의 시야각(θ)으로 예 3에서 설명된 도 1의 장치를 이용하여 형성된 표면 재구성이다.
도 9a 내지 도 9c는 제각기 22.3°, 38.1°, 및 46.5°의 시야각(θ)으로 예 3에서 설명된 도 1의 장치를 이용하여 형성된 표면 재구성이다.

현재 구입 가능한 표면 검사 시스템들은 그것들의 분해능, 속도, 또는 시야에 대한 제한으로 인해 표면의 3D 표면 구조에 관한 유용한 온라인 정보를 제공할 수 없다. 본 개시내용은 고정식 센서를 포함하는 온라인 검사 시스템에 관한 것이며, DFF 시스템들과 달리, 센서의 촬상 렌즈의 초점 평면의 병진운동을 요구하지 않는다. 오히려, 이 개시내용에서 설명되는 시스템은 표면의 병진 운동을 활용하여 표면 상의 점들이 다양한 초점 평면들을 자동으로 통과하게 하여 표면의 3D 모델을 신속하게 제공하고, 그와 같이 재료 웨브가 생산 라인 상에서 처리될 때 그것이 연속적으로 감시되는 온라인 검사 응용에 유용하다.

도 1은 센서 시스템(10)의 개략적 예시이며, 그것은 재료(12)의 표면(14)을 촬상하기 위해 이용된다. 표면(14)은 하나 이상의 촬상 센서 시스템(18)에 대해 병진운동된다. 표면(14)은 촬상 센서 시스템(18)에 의해 촬상되며, 그것은 도 1에서 고정식일지라도, 다른 실시예들에서는 센서 시스템(18)이 이동식이고 표면(14)이 고정식으로 유지될 수 있을 것이다. 아래에서 설명을 더 명료하게 하기 위해, 가정되는 것은, 촬상 센서 시스템(18)과 표면(14)의 상대 운동이 서로에 대해 상대 운동하는 두개의 좌표계를 생성하기도 한다는 점이다. 예를 들어, 도 1에 도시된 바와 같이, 촬상 센서 시스템(18)은 카메라 좌표계와 관련해서 설명될 수 있으며, 거기에서 z방향(z_c)은 CCD 또는 CMOS 카메라(22)의 렌즈(20)의 광축과 정렬된다. 도 1을 다시 보면, 표면(14)은 표면 좌표계와 관련해서 설명될 수 있으며, 거기에서 축(z_s)은 표면 위의 높이이다.

도 1에 도시된 실시예에서, 표면(14)은 화살표 A의 방향으로 방향(y_s)을 따라 알려진 속도로 촬상 센서 시스템(18)을 향해 이동하고 있고, 삼차원 (3D) 구조(방향(z_s)을 따라 연장함)를 갖는 복수의 특징부(16)를 포함한다. 그러나, 다른 실시예들에서, 표면(14)은 촬상 센서 시스템(18)으로부터 알려진 속도로 멀어지게 이동하고 있을 수 있다. 촬상 센서 시스템(18)에 관한 표면(14)의 병진운동 방향, 또는 표면(14)에 관한 촬상 센서(18)의 수 및/또는 배치는 원하는 대로 변화될 수 있어서, 촬상 센서 시스템(18)은 표면(14)의 영역들, 또는 특징부(16)의 특정한 부분들의 더 완전한 관측을 확보하게 할 수 있다. 촬상 센서 시스템(18)은 렌즈 시스템(20) 및, 예를 들어, CCD 또는 CMOS 카메라(22)에 속하는 센서를 포함한다. 하나 이상의 임의의 광원(32)이 이용되어 표면(14)을 조명할 수 있다.

렌즈(20)는 표면(14)의 표면 좌표계의 x-y 평면에 대해 영이 아닌 각도(θ)로 정렬된 초점 평면(24)을 갖는다. 렌즈 초점 평면과 표면 좌표계의 x-y 평면 사이의 시야각(θ)은 시스템(10)에 의해 분석될 표면(14) 및 특징부(16)의 특성에 따라 선택될 수 있다. 어떤 실시예에서, 병진운동하는 표면(14)이 촬상 센서 시스템(18)을 향해 이동하고 있는 도 1에서와 같은 배열을 가정하자면, θ는 90° 미만인 예각이다. 표면(14)이 촬상 센서 시스템(18)을 향해 이동하고 있는 다른 실시예에서, 시야각(θ)은 약 20° 내지 약 60°이고, 약 40°의 각도가 유용한 것으로 밝혀졌다. 어떤 실시예에서는, 표면(14)이 촬상될 때 시야각(θ)이 주기적으로 또는 꾸준히 변화되어 특징부(16)의 더 균일하거나 및/또는 완전한 관측을 제공할 수 있다.

렌즈 시스템(20)은 장치(10)의 의도된 용도에 따라 광범위하게 다양한 렌즈들을 포함할 수 있지만, 텔레센트릭 렌즈들이 특히 유용한 것으로 밝혀졌다. 본 출원에서, 용어 텔레센트릭 렌즈는 정투영(orthographic projection)의 근사값을 구하는 임의의 렌즈 또는 렌즈 시스템을 의미한다. 텔레센트릭 렌즈는 렌즈로부터의 거리에 의한 어떤 배율 변화도 없다. 텔레센트릭 렌즈에 너무 근접하거나 또는 그로부터 너무 먼 물체는 초점을 벗어날 수 있지만, 그 결과 얻어지는 흐릿한 이미지는 초점이 맞춰진 이미지와 동일한 크기를 가질 것이다.

센서 시스템(10)은 프로세서(30)를 포함하며, 그것은 촬상 센서 시스템(18)에 내장되어 있거나, 그것에 대해 외장되어 있거나 또는 그로부터 떨어져 있을 수 있다. 프로세서(30)는 촬상 센서 시스템(18)에 의해 획득된 이동하는 표면(14)의 일련의 이미지들을 분석한다.

프로세서(30)는 초기에 촬상 센서 시스템(18)에 의해 획득된 일련의 이미지들을 시퀀스로 기록한다. 이 이미지 기록이 계산되어, 표면(14) 상의 동일한 물리적 점에 대응하는 일련의 이미지들에서의 점들을 정렬시킨다. 시스템(10)에 의해 활용되는 렌즈(20)가 텔레센트릭이면, 촬상 센서 시스템(18)에 의해 수집되는 이미지들의 배율은 렌즈로부터의 거리에 의해 변하지 않는다. 결과적으로, 촬상 센서 시스템(18)에 의해 획득된 이미지는 한 이미지를 다른 한 이미지에 대해 병진운동시킴으로써 기록될 수 있으며, 어떤 치수 조정(scaling) 또는 다른 기하학적 변형(geometric deformation)도 요구되지 않는다. 비-텔레센트릭 렌즈(non-telecentric lens)(20)가 촬상 센서 시스템(18)에서 이용될 수 있지만, 그러한 렌즈는 이미지 기록을 더 어렵고 복잡하게 할 수 있으며, 프로세서(30)의 더 많은 처리 용량을 요구한다.

시퀀스의 다른 한 이미지에 의해 한 이미지를 기록하기 위해 그 이미지가 병진운동되어야 하는 양은 이미지들 사이의 표면(14)의 병진운동에 의존한다. 표면(14)의 병진운동 속도가 알려져 있으면, 촬상 센서 시스템(18)에 의해 획득된 한 이미지로부터 다음 이미지로의 표면(14) 샘플의 이동도 알려지며, 프로세서(30)는 표면(14)의 단위 이동 당 이미지가 병진운동되어야 하는 양 및 방향만 결정하면 된다. 프로세서(30)에 의해 이루어지는 이러한 결정은, 예를 들어, 촬상 센서 시스템(18)의 특성, 렌즈(20)의 초점, 표면 좌표계의 x-y 평면에 대한 초점 평면(24)의 시야각(θ), 및 카메라(22)의 회전(만일 있다면)에 의존한다.

물리적 표면(14)의 단위 이동 당 x 방향 및 y 방향으로의 이미지의 병진운동을 나타내는 두개의 파라미터 D_x 및 D_y를 가정하자. 양 D_x 및 D_y는 픽셀/mm의 단위를 갖는다. 제각기 시각 t₁ 및 t₂에서 두개의 이미지 I_t1(x,y) 및 I_t2(x,y)가 획득되면, 프로세서(30)에는 샘플 표면(14)이 t₁으로부터 t₂까지 이동한 거리 d가 제공되고, 그러면, 다음의 공식에 따라 I_t2(x,y)를 병진운동시킴으로써 이러한 이미지들이 기록된다:

.

환산 계수(scale factor) D_x 및 D_y는 보정 절차(calibration procedure)를 통해 오프라인으로 추정될 수도 있다. 이미지들의 시퀀스에서, 독특한 주요점들이 촬상 센서 시스템(18)에 의해 획득된 이미지들의 시퀀스를 통해 병진운동할 때 프로세서(30)는 그 점들을 자동으로 선택하고 추적한다. 그 후, 이 정보가 프로세서에 의해 이용되어 표면(14)의 물리적 샘플의 단위 병진운동 당 특징부 점의 예상 변위를 계산한다(픽셀로). 추적은 프로세서에 의해 정규화 템플릿 매칭 알고리즘(normalized template matching algorithm)을 이용하여 수행될 수 있다.

표면(14)의 모든 이미지들이 정렬되었으면, 프로세서(30)는 기록된 이미지들의 시퀀스를 렌즈(20)의 초점 평면에 직교하는 방향(z_c)을 따라 서로 스태킹하여 볼륨을 형성한다. 이 볼륨에서의 각각의 층은 시퀀스의 이미지이며, 기록에서 계산된 바와 같이 x 방향 및 y 방향으로 변위된다. 시퀀스의 각각의 이미지가 획득되었을 때 표면(14)의 상대적 위치가 알려지면, 볼륨의 각각의 층은 그 당시의 특정한 변위의 위치에서 그것이 샘플(14)을 통해 각도(θ)(도 1 참조)로 잘라내어지는 것처럼 초점 평면(24)을 따라 표면(14)의 스냅샷(snapshot)을 나타낸다.

이미지 시퀀스가 정렬되었으면, 프로세서(30)는 볼륨의 각각의 (x,y) 위치에서의 초점의 선예도를 계산하며, (x,y) 위치의 평면은 볼륨의 z_c 방향에 직교한다. 어떤 이미지 데이터도 갖지 않은 볼륨에서의 위치들은 무시되는데, 그것들은 영인 선예도(zero sharpness)를 갖는 것으로 간주될 수 있기 때문이다. 프로세서(30)는 선예도 미터법(sharpness metric)을 이용하여 초점의 선예도를 결정한다. 몇몇 적합한 선예도 미터법들이 문헌 [Nayar and Nakagawa, Shape from Focus, IEEE Transactions on Pattern Recognition and Machine Intelligence, vol. 16, no. 8, pages 824-831 (1994)]에서 설명되어 있다.

예를 들어, 수정된 라플라시안 선예도 미터법(modified Laplacian sharpness metric)이 적용되어, 시퀀스의 모든 이미지들에서의 각각의 픽셀에서

양을 계산할 수 있다. 유한 차분법(finite differences)을 이용하여 편도함수(partial derivative)가 계산될 수 있다. 이 미터법 뒤에서 직관할 수 있는 것은, 그것이 에지 검출자(edge detector)로서 간주될 수 있으며, 분명히 예리한 초점의 구역들은 아웃오브포커스 구역(out-of-focus region)보다 더 또렷한 에지를 가질 것이라는 점이다. 이 미터법을 계산한 후, 중앙값 필터가 이용되어 결과들을 이미지들의 시퀀스에서의 각각의 픽셀 주변에 국소적으로 합산할 수 있다.

프로세서(30)가 시퀀스의 모든 이미지들에 대한 초점 선예도 값을 계산하였으면, 프로세서(30)는 앞서의 단계들에서 기록된 이미지들을 z_c 방향을 따라 스태킹함으로써 형성되는 볼륨과 유사한 초점 선예도 볼륨(sharpness of focus volume)을 계산한다. 초점 선예도 볼륨을 형성하기 위해, 프로세서는 기록된 이미지 볼륨에서의 각각의 (x,y) 픽셀 값을 그 픽셀에 대한 초점 측정의 대응하는 선예도로 대체한다. 이 기록된 스택(registered stack)에서의 각각의 층(평면 x_c-y_c에서의 x-y 평면에 대응하는)은 이제 전처럼 기록된 층을 갖는 "초점 선예도(sharpness of focus)" 이미지이므로, 표면(14) 상의 동일한 물리적 위치에 대응하는 이미지 위치가 정렬된다. 그와 같이, 볼륨에서의 한 위치 (x,y)가 선택되면, 초점 선예도 값들이 z_c-방향으로 상이한 층들을 통해 이동하면서 관측되고, 그 위치에서 촬상된 점이 초점이 맞추어질 때(즉, 그것이 카메라(22)의 초점 평면(24)과 교차할 때), 초점의 선예도가 최대 값으로 되며, 그 층으로부터 어떤 방향으로든 z_c 축을 따라 멀어짐에 따라 선예도 값이 감소할 것이다.

초점 선예도 볼륨에서의 각각의 층(x-y 평면에 대응하는)은 초점 평면(24)의 위치에서의 표면(14)을 통한 한 슬라이스에 대응하므로, 샘플(14)이 방향 A를 따라 이동할 때, 표면(14)을 통한 다양한 슬라이스들이 그것들의 표면을 따라 상이한 위치들에서 수집된다. 그와 같이, 초점 선예도 볼륨에서의 각각의 이미지가 상이한 상대적 위치에서 표면(14)을 통한 물리적 슬라이스에 대응하므로, 이상적으로 점 (x,y)이 최선예 초점이 맞춰지는 위치에서의 슬라이스는 대응하는 점의 샘플 상의 삼차원 (3D) 위치를 결정한다. 그러나, 실제로 초점 선예도 볼륨은 슬라이스들의 별개의 세트를 가질 수 있으며, 그것은 표면(14)을 따라 빽빽하게 또는 균일하게 이격되지 않을 수 있다. 그래서 가장 있음직하게는, 최대 초점의 실제의 (이론적) 깊이(초점 선예도가 최대화되는 깊이)는 슬라이스들 사이에서 발생할 것이다.

이어서 프로세서(30)는 그 점을 통한 최선예 초점을 갖는 초점 선예도 볼륨에서의 슬라이스의 이론적 위치의 근사값을 구함으로써 표면(14) 상의 각각의 점의 3D 위치를 추정한다.

한 실시예에서, 프로세서는 초점 선예도 볼륨에서의 슬라이스 깊이(z_c)를 통해 각각의 위치 (x,y)에서의 측정된 초점 선예도 값에 대해 정규 곡선(Gaussian curve)을 맞춤으로써 최선예 초점의 이러한 이론적 위치의 근사값을 구한다. 슬라이스 깊이(z_c)의 함수로서의 초점 선예도 값에 대한 모델은 다음과 같이 주어지며,

,

여기에서, z_m은 볼륨에서의 위치 (x,y)에 대한 최대 초점의 이론적 심도이고, σ는 적어도 부분적으로 촬상 렌즈(도 1의 렌즈(20) 참조)의 피사계 심도로부터 초래되는 가우시안의 표준 편차이다. 이러한 곡선 맞춤은 단순한 최소 제곱 비용 함수(least-squares cost function)를 최소화함으로써 이루어질 수 있다.

다른 한 실시예에서, 가우시안 알고리즘이 특정한 응용에서의 이용에 대해 엄청나게 계산상 고비용이거나 또는 시간 소모적이면, 정확도를 실질적으로 희생하지 않고 더 신속하게 실행하는 근사값 구하기 알고리즘이 이용될 수 있다. 이차 함수(quadratic function)는 각각의 위치 (x,y)에서의 선예도 프로필 샘플(sharpness profile sample)에 맞춰질 수 있지만, 단지 최대 선예도 값을 갖는 위치 근처의 샘플들만 이용한다. 그래서, 표면 상의 각각의 점에 대해, 우선 최고 선예도 값을 갖는 심도가 탐색되고, 이 심도의 어느 쪽에서든 소수의 샘플들이 선택된다. 폐쇄형으로 풀어질 수 있는 표준 최소 제곱 공식을 이용하여 이차 함수가 이러한 소수의 샘플들에 맞춰진다. 드문 경우에, 데이터에 노이즈(noise)가 있을 때, 이차 함수의 포물선이 상향 개방될 수 있으며, 이 경우에, 맞춤의 결과는 버려지고, 최대 선예도 샘플의 심도가 단순하게 대신 이용된다. 다른 방식으로는, 심도가 이차 함수의 이론적 최대의 위치로서 취해지며, 그것은 일반적으로 별개의 샘플들 중 두개 사이에 있을 수 있다.

볼륨에서의 각각의 위치 (x,y)에 대해 이론적 최대 초점 심도(z_m)가 근사값이 구해질 때, 프로세서(30)는 샘플의 표면 상의 각각의 점의 3D 위치를 추정한다. 이 점 클라우드는 그 후 표준 삼각망 생성 알고리즘을 이용하여 표면(14)의 표면 모델로 변환된다.

도 2는 재료(12)의 표면(14)의 샘플 구역의 표면을 특성화하기 위해 도 1의 장치를 작동시키는 배치 방법(batch method)(200)을 예시하는 플로우차트이다. 단계 202에서, 병진운동하는 표면이 표면의 평면에 대해 영이 아닌 각도로 정렬된 초점 평면을 갖는 렌즈를 포함하는 센서에 의해 촬상된다. 단계 204에서, 프로세서는 표면의 이미지들의 시퀀스를 기록하며, 단계 206에서는 기록된 이미지들이 z_c 방향을 따라 스태킹하여 볼륨을 형성한다. 단계 208에서, 프로세서는 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값을 결정하고, (x,y) 위치는 z_c 방향에 대해 직교하는 평면에 있다. 단계 210에서, 프로세서는 초점 선예도 값을 이용하여 볼륨에서의 각각의 (x,y) 위치마다 z_c 방향을 따라 최대 초점 심도(z_m)를 결정한다. 단계 212에서, 프로세서는 최대 초점 심도(z_m)에 기초하여, 표면 상의 각각의 점의 삼차원 위치를 결정한다. 임의의 단계 214에서, 프로세서는 삼차원 위치에 기초하여, 표면의 삼차원 모델을 형성할 수 있다.

도 2에서 설명된 전체적인 절차에서, 프로세서(30)는 배치 모드에서 작동하며, 모든 이미지들이 촬상 센서 시스템(18)에 의해 획득된 후 그것들이 함께 처리되는 것을 의미한다. 그러나, 다른 실시예에서, 촬상 센서 시스템(18)에 의해 획득된 이미지 데이터는 이러한 데이터가 이용 가능해질 때 증분적으로 처리될 수 있다. 아래에서 도 3에서 추가로 설명된 바와 같이, 증분 처리 방법은 2단계(two phase)로 진행하는 알고리즘을 활용한다. 먼저, 온라인에서, 표면(14)이 병진운동하고 새로운 이미지들이 연속적으로 획득될 때, 프로세서(30)는 표면(14) 상의 점들이 촬상될 때 그것들의 3D 위치를 추정한다. 이러한 온라인 처리의 결과는 샘플 재료(12)의 표면(14)을 타나내는 3D 점들의 세트(즉, 점 클라우드(point cloud))이다. 그 후, 오프라인에서, (모든 이미지가 획득되고 3D 위치들이 추정된 후), 이 점 클라우드가 사후 처리되어(도 4) 적절한 좌표계에서의 매끈한 레인지 맵(smooth range-map)을 발생시킨다.

도 3에서의 공정(500)을 보면, 표면(14)이 촬상 센서 시스템(18)에 대해 병진운동함에 따라, 이미지들의 시퀀스가 촬상 센서 시스템(18)에 의해 획득된다. 시퀀스에서 새로운 이미지가 획득될 때마다, 단계 502에서 프로세서(30)가, 예를 들어, 위에서 배치 공정의 설명에서 상세하게 설명된 수정된 라플라시안 선예도 미터법과 같은 적절한 알고리즘을 이용하여 새롭게 획득된 이미지에서의 각각의 픽셀마다 초점 선예도의 근사값을 구한다. 단계 504에서, 프로세서(30)는 그 후 초점 평면(24)이 y축에 교차하는 표면 좌표계에서 y좌표를 계산한다. 단계 506에서, 시퀀스의 최종 이미지에서의 표면의 겉보기 변위에 기초하여, 프로세서는 렌즈(20)의 시야를 방금 벗어났지만, 시퀀스의 이전의 이미지에서는 시야에 있었던 표면(14) 상의 변이점을 탐색한다. 단계 508에서, 프로세서는 그 후 그러한 모든 변이점들의 3D 위치를 추정한다. 시퀀스에서 새로운 이미지가 받아들여질 때마다, 프로세서는 변이점들의 3D 위치의 추정을 반복하고, 그 후 이러한 3D 위치들을 축적하여 표면(14)을 나타내는 점 클라우드를 형성한다.

도 3에서의 단계들이 순차적으로 설명될지라도, 효율을 향상시키기 위해 증분 처리 방법이 멀티스레드 시스템(multi-threaded system)으로서 구현될 수도 있다. 예를 들어, 단계 502는 한 스레드에서 수행되고, 단계 504 내지 단계 508은 다른 한 스레드에서 일어날 수 있다. 단계 510에서, 점 클라우드는 도 4에서 설명된 바와 같이 추가로 처리되어 표면(14)의 레인지 맵을 형성한다.

도 4의 공정(550)을 보면, 단계 552에서 프로세서(30)는 카메라(20)의 이미지 평면(24)에 평행하게 직사각형 격자 상의 점 클라우드에서 점들의 샘플을 재샘플링(re-sampling)함으로써 제1 레인지 맵을 형성한다. 단계 554에서, 프로세서는 제1 레인지 맵에서의 아웃라이어(outliers)들을 임의적으로 검출하고 억제한다. 단계 556에서, 프로세서는 임의의 추가적 노이즈 제거 단계(de-noising step)를 수행하여 재구성된 표면의 맵에서 노이즈를 제거한다. 단계 558에서, X-Y 평면(x_s-y_s)이 표면(14)의 이동의 평면과 정렬되는 표면 좌표계 상에서 재구성된 표면이 회전되어 표현되고, 표면 좌표계의 z_s 축은 표면(14)에 직교한다. 단계 560에서, 프로세서는 표면 좌표계에서의 격자 상에서 보간하고 재샘플링하여 제2 레인지 맵을 형성한다. 표면 상의 각각의 (x,y) 위치마다, X 축(x_s)이 방향 A(도 1)에 직교하고 y축 (y_s)은 방향 A에 평행한 이 제2 레인지 맵에서, Z-좌표(z_s)는 표면(14) 상의 특징부(16)의 표면 높이를 나타낸다.

예를 들어, 특징부(16)(도 1)와 같은 조각 부분들을 포함하는 샘플 재료(12)의 웨브형 롤(web-like roll)들의 구조화 표면(14)을 검사하고 특성화하기에는 본 명세서에 설명된 표면 분석 방법 및 장치가 특히 적합하지만, 그것에 한정되지는 않는다. 일반적으로, 웨브 롤들은 한 방향(일반적으로 도 1에서의 방향 A에 수직한 크로스 웨브 방향(cross-web direction))으로 일정한 치수를 갖고 직교 방향(일반적으로 도 1에서의 방향 A에 평행한 다운 웨브 방향(down-web direction))으로 예정되거나 또는 미정의 길이를 갖는 임의의 시트형 재료일 수 있는 제조된 웨브 재료를 가질 수 있을 것이다. 예는 금속, 종이, 직물 재료, 부직 재료, 유리, 연마재, 가요성 회로 또는 그것들의 조합과 같은 질감을 가진 불투명 표면을 갖는 재료를 포함하지만, 거기에 한정되지는 않는다. 어떤 실시예에서는, 제조 중에 웨브 재료를 검사하고 특성화하기 위해 도 1의 장치가 하나 이상의 검사 시스템에서 활용될 수 있다. 제품으로 합할 개별적 시트들로 변환할 준비가 된 마무리된 웨브 롤을 생성하기 위해, 마무리되지 않은 웨브 롤들이 하나의 웨브 제조 공장 내에서든, 또는 다수의 제조 공장 내에서든 다수의 공정 라인 상에서 처리될 수 있다. 각각의 공정마다, 웨브 롤은 제조 공정에 웨브를 공급하는 소스 롤(source roll)로 이용된다. 각각의 공정 후, 웨브는 시트 또는 조각 부분들로 변환될 수 있거나, 또는 웨브 롤 내로 다시 수집되고 상이한 제품 라인으로 이동되거나 또는 상이한 제조 공장으로 운송되고, 그 후 거기에서 그것이 풀리고, 처리되며, 다시 롤로 수집될 수 있다. 이 공정은 결국 마무리된 시트, 조각 부분 또는 웨브 롤이 생성되기까지 반복된다. 많은 응용에서, 시트, 조각, 또는 웨브 롤의 각각의 웨브 재료들이 하나 이상의 웨브 제조 공장의 하나 이상의 생산 라인에서 도포되는 수많은 코팅을 가질 수 있다. 코팅은 일반적으로 제1 제조 공정의 경우에는 베이스 웨브 재료의, 또는 후속 제조 공정의 경우에는 이전에 도포된 코팅의 노출된 표면에 도포된다. 코팅의 예는 접착제, 하드코트, 저 점착성 배면 코팅, 금속화 코팅, 중성 밀도 코팅, 전기 도전성 또는 비도전성 코팅, 또는 그것들의 조합을 포함한다.

도 5에 도시된 검사 시스템(300)의 예시적 실시예에서는, 웨브(312)의 샘플 구역이 두 개의 지지롤(323, 325)의 사이에 배치된다. 검사 시스템(300)은 롤을 수집하고 샘플 구역(312)으로부터의 정보를 배치하도록 기준표시(fiducial mark) 판독기(302)를 제어하는 기준표시 제어기(301)를 포함한다. 또한, 기준표시 제어기(301)는 웨브(312) 및/또는 지지 롤러(323, 325)의 선택된 샘플 구역에 결합된 하나 이상의 고정밀 인코더(encoder)로부터의 위치 신호를 수신할 수 있다. 위치 신호에 기초하여, 기준표시 제어기(301)는 각각의 검출된 기준표시마다 위치 정보를 결정한다. 기준표 제어기(301)는 웨브(312)의 표면(314) 상의 특징부들의 치수에 관한 검출된 데이터와의 조합을 위해 롤 및 위치 정보를 분석 컴퓨터(329)에 전달한다.

시스템(300)은 하나 이상의 고정식 센서 시스템(318A 내지 318N)을 추가로 포함하고, 그것들의 각각은 임의의 광원(332) 및 이동하는 웨브(312)의 표면(314)에 대해 예각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈(320)를 포함한다. 센서 시스템(318)은 웨브가 처리될 때 연속적으로 이동하는 웨브(312)의 표면(314)에 아주 가깝게 배치되고, 웨브(312)의 표면(314)을 스캔하여 디지털 이미지 데이터를 얻는다.

이미지 데이터 획득 컴퓨터(327)는 센서 시스템(318)의 각각으로부터 이미지 데이터를 수집하고 이미지 데이터를 분석 컴퓨터(329)에 전송한다. 분석 컴퓨터(329)는 이미지 획득 컴퓨터(327)로부터의 이미지 데이터의 스트림을 처리하고, 위에서 설명된 배치 또는 증분 이미지 처리 알고리즘들 중 하나 이상에 의해 디지털 이미지를 분석한다. 분석 컴퓨터(329)는 적절한 사용자 인터페이스 상의 결과를 표시할 수 있거나 및/또는 결과를 데이터베이스(331)에 저장할 수 있다.

도 5에 도시된 검사 시스템(300)은 웨브 표면(314)의 3D 특성을 측정하고 잠재적 결함 재료를 식별하기 위해 웨브 제조 공장 내에서 이용될 수 있다. 표면의 3D 구조가 추정되면, 검사 시스템(300)은, 예를 들어, 웨브 표면(314) 상의 특징부들의 위치, 형상, 높이, 충실도(fidelity) 등과 같은 많은 유형의 유용한 정보를 제공할 수 있다. 검사 시스템(300)은 웨브가 제조될 때 실시간으로 이러한 표면 특성들 중 임의의 것에서의 심각한 결함을 나타내는 출력 데이터를 제공할 수도 있다. 예를 들어, 컴퓨터화 검사 시스템은 웨브 제조 공장 내에서 공정 엔지니어와 같은 사용자에게 웨브 표면(314)에서의 구조적 결함, 변칙, 또는 사양을 벗어난(out of spec) 재료(이하에서는, 포괄적으로 결함이라고 지칭함)의 존재 및 그것들의 심각성에 관해 실시간 피드백을 제공하고, 그럼으로써 사용자가 생산을 현저하게 지연시키거나 또는 대량의 무용한 재료를 생성함이 없이 문제를 해결하기 위해 공정 조건들을 조절함으로써 재료의 특정한 배치 또는 일련의 배치들에서 나오는 결함들에 신속하게 응답하게 할 수 있다. 컴퓨터화 검사 시스템(300)은 궁극적으로 결함에 대한 등급 라벨을 할당함으로써(예를 들어, "양호" 또는 "열악") 또는 연속적인 스케일(scale) 또는 더 정확하게 샘플링된 스케일에 대한 주어진 샘플의 비균일성 정도의 측정치를 생성함으로써 심각성 정도를 계산하기 위한 알고리즘을 적용할 수 있다.

분석 컴퓨터(329)는, 웨브(314)에 대한 롤 식별 정보 및 가능하게는 각각의 측정된 특징부마다의 위치 정보를 비롯한, 웨브(314)의 샘플 구역의 표면 특성에 관한 결함 등급 또는 다른 정보를 데이터베이스(331) 내에 저장할 수 있다. 예를 들어, 분석 컴퓨터(329)는, 공정 라인의 좌표계 내에서의 결함을 비롯한, 각각의 측정된 영역의 공간 위치 또는 이미지 구역을 결정하기 위해, 기준표시 제어기(301)에 의해 생성되는 위치 데이터를 활용할 수 있다. 즉, 기준표시 제어기(301)로부터의 위치 데이터에 기초하여, 분석 컴퓨터(329)는 현재의 공정 라인에 의해 이용되는 좌표계 내에서의 각각의 비균일성 영역마다 x_s, y_s, 및 가능하게는 z_s 위치 또는 범위를 결정한다. 예를 들어, 좌표계는 x 치수(x_s)가 웨브(312)를 가로지르는 거리를 나타내고, y 치수(y_s)가 웨브의 길이 방향으로의 거리를 나타내며, z 치수(z_s)가 웨브의 높이를 나타내도록 정의될 수 있으며, 그것은 웨브에 이전에 도포된 코팅, 재료 또는 다른 층들의 수에 기초할 수 있다. 또한, x, y, z 좌표계의 원점은 공정 라인 내에서의 물리적 위치에서 정의될 수 있고, 전형적으로 웨브(312)의 초기 공급 위치와 관련된다.

데이터베이스(331)는 하나 이상의 데이터베이스 서버 상에서 실행되는 데이터 저장 파일 또는 하나 이상의 데이터베이스 관리 시스템(database management system)(DBMS)을 비롯한 다수의 상이한 형태들 중 어느 것에서든 구현될 수 있다. 데이터베이스 관리 시스템은, 예를 들어, 상관적(relational)(RDBMS), 계층적(hierarchical)(HDBMS), 다차원적(multidimensional)(MDBMS), 객체 지향적(object oriented)(ODBMS 또는 OODBMS) 또는 객체 상관적(object relational)(ORDBMS) 데이터베이스 관리 시스템일 수 있다. 한 예로서, 데이터베이스(331)은 미국, 워싱턴, 레드몬드 소재의 마이크로소프트 코포레이션(Microsoft Corporation)으로부터 상품명 에스큐엘 서버(SQL Server)로 구입 가능한 상관적 데이터베이스로서 구현된다.

공정이 종료되었으면, 분석 컴퓨터(329)는 데이터베이스(331)에서 수집된 데이터를 통신망(339)을 통해 변환 제어 시스템(340)에 전송할 수 있다. 예를 들어, 분석 컴퓨터(329)는 각각의 특징부마다의 롤 정보뿐만 아니라 특징부 치수 및/또는 변칙 정보 및 제각각의 서브 이미지(sub-image)를 후속적 오프라인 상세 분석을 위해 변환 제어 시스템(340)에 전달할 수 있다. 예를 들어, 특징부 치수 정보는 데이터베이스(331)와 변환 제어 시스템(340) 사이의 데이터베이스 동기화에 의해 전달될 수 있다.

어떤 실시예에서는, 분석 컴퓨터(329)가 아니라, 변환 제어 시스템(340)이 제품들 중에서, 각각의 변칙이 결함을 유발할 수 있는 제품들을 결정할 수 있다. 마무리된 웨브 롤에 대한 데이터가 데이터베이스(331)에 수집되었으면, 데이터는 변환 사이트에 전달되거나 및/또는 웨브 롤 상의 변칙을, 제거 가능하거나 또는 세척 가능한 표시로 웨브의 표면 상에 직접, 또는 웨브 상의 변칙을 표시하기 전 또는 표시하는 동안에 웨브에 부착될 수 있는 커버 시트 상에, 표시하기 위해 이용될 수 있다.

분석 컴퓨터(329)의 구성요소들은, 적어도 부분적으로, 하나 이상의 하드웨어 마이크로프로세서, 디지털 신호 처리기(digital signal processor)(DSP), 주문형 반도체(application specific integrated circuit)(ASIC), 필드 프로그램 가능 게이트 어레이(field programmable gate array)(FPGA), 또는 임의의 다른 동등한 집적적 또는 개별적 논리 회로뿐만 아니라, 그러한 구성요소들의 임의의 조합을 비롯한, 분석 컴퓨터(329)의 하나 이상의 프로세서들에 의해 실행되는 소프트웨어 명령으로서 구현될 수 있다. 소프트웨어 명령은, 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read only memory)(ROM), 프로그램 가능한 판독 전용 메모리(programmable read only memory)(PROM), 소거 가능하고 프로그램 가능한 판독 전용 메모리(erasable programmable read only memory)(EPROM), 전자적으로 소거 가능하고 프로그램 가능한 판독 전용 메모리(electronically erasable programmable read only memory)(EEPROM), 플래시 메모리(flash memory), 하드 디스크(hard disk), CD-롬(ROM), 플로피 디스크(floppy disk), 카세트(cassette), 자기 매체(magnetic media), 광학 매체, 또는 다른 컴퓨터-판독 가능 저장 매체와 같은, 비일시적인 컴퓨터 판독 가능 매체 내에 저장될 수 있다.

제조 공장 내에 배치된 바로서 예시적으로 도시되었을지라도, 분석 컴퓨터(329)는, 예를 들어, 중앙 위치에서 또는 변환 사이트에서 제조 공장의 외부에 배치될 수 있다. 예를 들어, 분석 컴퓨터(329)는 변환 제어 시스템(340) 내에서 작동할 수 있다. 다른 한 예에서, 설명된 구성요소들은 단일의 계산 플랫폼에서 실행되고 동일한 소프트웨어 시스템에 통합될 수 있다.

이제, 이 개시내용의 주제가 다음의 비제한적인 예들을 참조하여 설명될 것이다.

예

예 1

장치가 도 1에서의 개요에 따라 구성되었다. 텔레센트릭 렌즈를 포함하는 CCD 카메라는 이동 가능한 스테이지 상의 샘플 연마재 재료에 지향되었다. 텔레센트릭 렌즈의 초점 평면은 샘플 재료의 표면 좌표계의 x-y 평면에 대해 대략적으로 40°의 시야각(도 1에서의 θ)으로 배향되었다. 샘플 재료는 대략적으로 300μm의 증분으로 스테이지 상에서 수평방향으로 병진운동되었고, 이미지는 각각의 증분에서 카메라에 의해 포착되었다. 도 6은 샘플 재료가 일련의 300μm 증분을 통해 이동될 때 카메라에 의해 촬상되는 샘플 재료의 표면의 3개의 이미지를 도시한다.

분석 컴퓨터와 관련된 프로세서가 카메라에 의해 획득된 샘플 표면의 이미지들을 분석하였다. 프로세서는 이미지들의 시퀀스를 기록하였고, 기록된 이미지들을 z_c 방향을 따라 스태킹하여 볼륨을 형성하였으며, 위에서 설명된 수정된 라플라시안 초점 선예도 미터법을 이용하여 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값을 결정하였다. 초점 선예도 값을 이용하여, 프로세서는 볼륨에서의 각각의 (x,y) 위치마다 z_c방향을 따라 최대 초점 심도(z_m)를 계산하였고, 최대 초점 심도(z_m)에 기초하여, 샘플의 표면 상의 각각의 점의 삼차원 위치를 결정하였다. 컴퓨터는, 삼차원 위치에 기초하여, 도 6의 표면의 삼차원 모델을 형성하였고, 그것은 도 7a 내지 도 7c에 3개의 상이한 투시도로 도시되어 있다.

도 7a 내지 도 7c에 도시된 이미지들에서의 재구성된 표면은 현실적이고 정밀하며, 연마재와 같은 웨브 재료인 경우의 특징부 선예도, 크기 및 배향과 같은 다수의 관심 양이 이 표면으로부터 계산될 수 있었다. 그러나, 도 7c는 재구성된 표면에 몇 개의 틈 또는 구멍(hole)이 있다는 것을 도시한다. 이러한 구멍은 샘플들이 촬상된 방식의 결과이다. 도 1에 개략적으로 도시된 바와 같이, 샘플 상의 큰 특징부들의 배면 상의 표면의 부분들(이 경우에는, 연마재의 알갱이들)은 상대적으로 낮은 시야각으로 인해 카메라에 의해 결코 관측될 수 없다. 이러한 데이터 결핍은 아마도 상이한 각도로부터 동시에 샘플을 관측하는 두개의 카메라를 이용하는 것을 통해 경감될 수 있다.

예 2

연마재 재료의 몇몇 샘플들이 본 개시내용에서 설명된 증분 공정에 의해 스캔되었다. 샘플들은 또한 공초점 센서를 이용하여 오프라인 레이저 조면계(profilometer)에 의해 스캔되었다. 그 후, 각각의 샘플의 두 개의 표면 프로필이 상이한 방법으로부터 획득된 데이터 세트로부터 재구성되었고, 문헌 [Chen and Medioni, Object Modeling by Registration of Multiple Range Images, Proceedings of the IEEE International Conference on Robotics and Automation, 1991]에서 설명된 반복적 최근접점(ICP) 매칭 알고리즘(Iterated Closest-Point (ICP) matching algorithm)의 변형을 이용하여 두 개의 재구성을 기록함으로써 결과가 비교되었다. 그 후, 샘플 상의 각각의 위치 (x, y)마다 표면 높이 추정치(z_s)가 비교되었다. 2의 배율을 갖는 렌즈를 이용하여, 샘플 1은 12μm의 중앙 거리 잔류치(median range residual value)를 나타내고, 샘플 2는 9μm의 중앙 거리 잔류치를 나타내었다. 부정확한 기록일지라도, 위에서 설명된 증분 처리 기법으로부터의 스캔은 오프 라인 레이저 조면계에 의해 취해진 스캔에 비교적 근사하게 맞았다.

예 3

이 예에서, 8개의 상이한 샘플(다양한 유형의)을 제각각 3개의 상이한 시야각: θ = 22.3°; 38.1°; 및 46.5°로부터 재구성함으로써 카메라 입사각(θ)(도 1)의 재구성된 3D 표면에 대한 효과가 평가되었다(샘플의 표면은 도 1에 도시된 카메라를 향해 이동하고 있었다). 22.3°; 38.1°; 및 46.5°인 이러한 상이한 시야각으로부터의 두 개의 상이한 표면의 3D 재구성의 예는 도 8a 내지 도 8c 및 도 9a 내지 도 9c에 제각기 도시되어 있다. 이러한 결과뿐만 아니라, 다른 샘플(도 8 내지 도 9에 도시되지 않은)의 재구성에 기초하여, 어떤 정성적 관측이 이루어질 수 있다.

첫째로, 더 작은 시야각으로 재구성된 표면일수록 추정된 표면에서 더 큰 구멍들을 노출한다. 이 것은, 도 9a에 도시된 바와 같이, 큰 피크의 뒤에서 특히 두드러진다. 이것은 예상된 것인데, θ가 작을 때 이러한 피크 뒤의 더 많은 표면이 카메라로부터 가려질 것이기 때문이다. 결과는, 전체적인 표면 재구성이 더 높은 시야각으로부터의 것보다 덜 완전하다는 것이다.

둘째로, 더 큰 시야각(도 8c 및 도 9c에서와 같은)이 더 완전한 재구성을 산출할지라도, 그것들은 표면 추정에서의 더 높은 노이즈 레벨을 초래하기도 한다는 것도 관찰될 수 있다. 이것은 표면 상의 가파른 수직 에지 상에서 더 명확하다. 이것은 아마도 가파른 수직 에지 상에 더 적은 수의 픽셀을 가짐으로써, 시야각이 하향(top-down)에 더 가까우므로, 노이즈에 대한 민감성이 증가하기 때문이다.

이러한 관측뿐만 아니라, 이러한 실험의 모든 결과들의 주관적 시각 검사에 기초하여, 중간 시야각 (38:1°)이 이 예에서 모든 평가된 구성 중에서 가장 좋은 결과를 낳는 것으로 보인다. 이 방식으로 재구성된 시퀀스는 완전성과 낮은 노이즈 레벨 사이의 균형을 이루는 것으로 보여진다.

본 발명의 다양한 실시예가 설명되었다. 상기 및 기타의 실시예들은 다음의 특허청구범위의 범위 내에 있다.

Claims

하나 이상의 촬상 센서에 의해 표면을 촬상하는 단계로서, 상기 표면과 상기 촬상 센서는 상대적 병진 운동(relative translational motion)하고, 상기 센서는 표면 좌표계(surface coordinate system)에서 x-y 평면에 대해 영이 아닌 시야각(non-zero viewing angle)으로 정렬된 초점 평면(focal plane)을 갖는 렌즈를 포함하는, 상기 촬상하는 단계;
상기 표면의 이미지들의 시퀀스(sequence of images)를 기록하는 단계;
기록된 이미지들을 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계;
상기 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값(sharpness of focus value)을 결정하는 단계로서, 상기 (x,y) 위치는 상기 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 결정하는 단계;
상기 초점 선예도 값을 이용하여, 상기 볼륨에서의 각각의 (x,y) 위치마다 상기 카메라 좌표계의 z방향을 따라 최대 초점 심도(z_m)를 결정하는 단계; 및
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계를 포함하는, 방법.
제1항에 있어서, 이미지들은 상기 표면 상의 기준점을 정렬함으로써 기록되는, 방법.
제1항에 있어서, 상기 삼차원 위치에 기초하여, 상기 표면의 삼차원 모델을 형성하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 렌즈는 텔레센트릭 렌즈(telecentric lens)를 포함하는, 방법.
제1항에 있어서, 상기 표면이 고정식 촬상 센서를 향해 이동될 때, 상기 시야각은 90° 미만인, 방법.
제1항에 있어서, 상기 초점 선예도 값은 각각의 (x,y) 위치에서의 수정된 라플라시안 선예도 미터법(modified Laplacian sharpness metric)을 적용함으로써 결정되는, 방법.
제1항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 z방향을 따라 상기 최대 초점 심도(z_m)를 추정하기 위한 정규 곡선(Gaussian curve)을 맞춤으로써 결정되는, 방법.
제1항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 볼륨의 각각의 위치 (x,y)에서 상기 초점 선예도 값에 대해 이차 함수(quadratic function)를 맞춤으로써 결정되는, 방법.
제3항에 있어서, 상기 삼차원 점 위치들에 대해 삼각망 생성 알고리즘(triangular meshing algorithm)을 적용하여 상기 표면의 상기 모델을 형성하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 촬상 센서는 CCD 또는 CMOS 카메라를 포함하는, 방법.
촬상 센서에 의해 표면의 이미지들의 시퀀스를 포착하는 단계로서, 상기 표면과 상기 촬상 센서는 상대적 병진 운동하고, 상기 촬상 센서는 표면 좌표계에서 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는, 상기 포착하는 단계;
상기 시퀀스의 각각의 이미지에서 상기 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계;
상기 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 상기 기록된 이미지들의 시퀀스에서의 각각의 이미지는 상기 볼륨에서의 층을 포함하는, 상기 형성하는 단계;
상기 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 상기 픽셀은 상기 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계;
상기 초점 선예도 값에 기초하여, 상기 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계;
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및 선택적으로
상기 삼차원 점 위치에 기초하여 상기 표면의 삼차원 모델을 구성하는 단계를 포함하는, 방법.
제11항에 있어서, 상기 초점 선예도 값은 각각의 (x,y) 위치에서 수정된 라플라시안 선예도 미터법을 적용함으로써 결정되는, 방법.
제11항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 z방향을 따라 상기 초점 선예도 값(z_m)을 추정하기 위한 정규 곡선을 맞춤으로써 결정되는, 방법.
제11항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 볼륨의 각각의 위치 (x,y)에서 상기 초점 선예도 값에 대해 이차 함수를 맞춤으로써 결정되는, 방법.
제11항에 있어서, 상기 삼차원 점 위치들에 대해 삼각망 생성 알고리즘을 적용하여 상기 표면의 상기 모델을 형성하는 단계를 포함하는, 방법.
텔레센트릭 렌즈를 포함하는 촬상 센서로서, 상기 렌즈는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 상기 표면과 상기 촬상 센서는 상대적 병진 운동하며, 상기 센서는 상기 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는 상기 촬상 센서; 및
프로세서(processor)를 포함하고,
상기 프로세서는,
상기 시퀀스의 각각의 이미지에서 상기 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계;
상기 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 상기 기록된 이미지들의 시퀀스에서의 각각의 이미지는 상기 볼륨에서의 층을 포함하는, 상기 형성하는 단계;
상기 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 상기 픽셀은 상기 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계;
상기 초점 선예도 값에 기초하여, 상기 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계;
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및
상기 삼차원 위치에 기초하여 상기 표면의 삼차원 모델을 구성하는 단계를 실행하는, 장치.
제16항에 있어서, 상기 표면은 재료 웨브인, 장치.
제16항에 있어서, 상기 표면을 조명하기 위한 광원을 추가로 포함하는, 장치.
제16항에 있어서, 상기 센서는 CCD 또는 CMOS 카메라를 포함하는, 장치.
제19항에 있어서, 상기 프로세서는 상기 카메라에 내장되어 있는, 장치.
제19항에 있어서, 상기 프로세서는 상기 카메라로부터 멀리 떨어져 있는, 장치.
고정식 촬상 센서를 이동하는 재료 웨브(moving web of material)에 대해 영이 아닌 시야각으로 배치하는 단계로서, 상기 촬상 센서는 상기 이동하는 웨브의 표면을 촬상하고 상기 표면의 이미지들의 시퀀스를 형성하기 위한 텔레센트릭 렌즈를 포함하는, 상기 배치하는 단계; 및
상기 이미지들의 시퀀스를 처리하여,
상기 이미지들을 기록하고,
상기 기록된 이미지들을 카메라 좌표계의 z방향을 따라 스태킹하여 볼륨을 형성하며,
상기 카메라 좌표계의 z방향에 직교하는 평면에 있는 상기 볼륨에서의 각각의 (x,y) 위치마다 초점 선예도 값을 결정하고,
상기 볼륨에서의 각각의 (x,y) 위치마다 상기 카메라 좌표계의 z방향을 따라 최대 초점 심도(z_m)를 결정하며,
상기 최대 초점 심도(z_m)에 기초하여, 상기 이동하는 웨브의 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계를 포함하는, 방법.
제22항에 있어서, 상기 촬상 센서는 CCD 또는 CMOS 카메라를 포함하는, 방법.
제22항에 있어서, 상기 프로세서는 상기 CCD 카메라에 대해 외장되어 있는, 방법.
제22항에 있어서, 상기 삼차원 위치에 기초하여, 상기 이동하는 웨브의 상기 표면의 삼차원 모델을 형성하는 단계를 추가로 포함하는, 방법.
제22항에 있어서, 상기 초점 선예도 값은 각각의 (x,y) 위치에서 수정된 라플라시안 선예도 미터법을 적용함으로써 결정되는, 방법.
제22항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 z방향을 따라 상기 최대 초점 심도(z_m)를 추정하기 위한 정규 곡선을 맞춤으로써 결정되는, 방법.
제22항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 볼륨의 각각의 위치 (x,y)에서 상기 초점 선예도 값에 대해 이차 함수를 맞춤으로써 결정되는, 방법.
제22항에 있어서, 상기 삼차원 점 위치들에 대해 삼각망 생성 알고리즘을 적용하여 상기 표면의 상기 모델을 형성하는 단계를 포함하는, 방법.
웨브 재료의 이동하는 표면을 실시간으로 검사하고 상기 표면의 삼차원 모델을 계산하는 방법으로서,
고정식 센서에 의해 상기 표면의 이미지들의 시퀀스를 포착하는 단계로서, 상기 촬상 센서는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는, 상기 포착하는 단계;
상기 시퀀스의 각각의 이미지에서 상기 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계;
상기 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 상기 기록된 이미지들의 시퀀스에서의 각각의 이미지는 상기 볼륨에서의 층을 포함하는, 상기 형성하는 단계;
상기 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 상기 픽셀은 상기 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계;
상기 초점 선예도 값에 기초하여, 상기 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계;
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및
상기 삼차원 위치에 기초하여 상기 표면의 삼차원 모델을 구성하는 단계를 포함하는, 방법.
제30항에 있어서, 상기 초점 선예도 값은 각각의 (x,y) 위치에서 수정된 라플라시안 선예도 미터법을 적용함으로써 결정되는, 방법.
제30항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 z방향을 따라 상기 최대 초점 심도(z_m)를 추정하기 위한 정규 곡선을 맞춤으로써 결정되는, 방법.
제30항에 있어서, 상기 표면 상의 각각의 점의 깊이는 상기 볼륨의 각각의 위치 (x,y)에서 상기 초점 선예도 값에 대해 이차 함수를 맞춤으로써 결정되는, 방법.
제30항에 있어서, 상기 삼차원 점 위치들에 대해 삼각망 생성 알고리즘을 적용하여 상기 표면의 상기 모델을 형성하는 단계를 포함하는, 방법.
웨브 재료를 실시간으로 검사하는 온라인 컴퓨터화 검사 시스템(online computerized inspection system)으로서,
카메라 및 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서로서, 상기 렌즈는 이동하는 표면의 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 상기 센서는 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및
프로세서를 포함하고,
상기 프로세서는,
상기 시퀀스의 각각의 이미지에서 상기 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계;
상기 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 상기 기록된 이미지들의 시퀀스에서의 각각의 이미지는 상기 볼륨에서의 층을 포함하는, 상기 형성하는 단계;
상기 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 상기 픽셀은 상기 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계;
상기 초점 선예도 값에 기초하여, 상기 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계;
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및
상기 삼차원 위치에 기초하여 상기 표면의 삼차원 모델을 구성하는 단계를 실행하는, 온라인 컴퓨터화 검사 시스템.
소프트웨어 명령을 포함하는 비일시적인 컴퓨터 판독 가능 매체(non-transitory computer readable medium)로서,
상기 소프트웨어 명령은, 컴퓨터 프로세서가,
온라인 컴퓨터화 검사 시스템에 의해 웨브 재료의 이동하는 표면의 이미지들의 시퀀스를 수신하는 단계로서, 상기 이미지들의 시퀀스는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서에 의해 포착되는, 상기 수신하는 단계;
상기 시퀀스의 각각의 이미지에서 상기 표면 상의 기준점을 정렬하여 기록된 이미지들의 시퀀스를 형성하는 단계;
상기 기록된 이미지들의 시퀀스를 카메라 좌표계에서의 z방향을 따라 스태킹하여 볼륨을 형성하는 단계로서, 상기 기록된 이미지들의 시퀀스에서의 각각의 이미지는 상기 볼륨에서의 층을 포함하는, 상기 형성하는 단계;
상기 볼륨 내에서의 각각의 픽셀마다 초점 선예도 값을 계산하는 단계로서, 상기 픽셀은 카메라 좌표계의 z방향에 직교하는 평면에 있는, 상기 계산하는 단계;
상기 초점 선예도 값에 기초하여, 상기 볼륨 내에서의 각각의 픽셀마다 최대 초점 심도 값(z_m)을 계산하는 단계;
상기 최대 초점 심도(z_m)에 기초하여, 상기 표면 상의 각각의 점의 삼차원 위치를 결정하는 단계; 및
상기 삼차원 위치에 기초하여 상기 표면의 삼차원 모델을 구성하는 단계를 실행하게 하는, 비일시적인 컴퓨터 판독 가능 매체.
촬상 센서를 표면에 대해 병진운동시키는 단계로서, 상기 센서는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 포함하는, 상기 병진운동시키는 단계;
상기 촬상 센서에 의해 상기 표면을 촬상하여 이미지들의 시퀀스를 획득하는 단계;
상기 표면 상의 점들의 삼차원 위치를 추정하여 상기 표면을 표현하는 삼차원 점들의 세트를 제공하는 단계; 및
상기 삼차원 점들의 세트를 처리하여 선택된 좌표계에서의 상기 표면의 레인지 맵(range-map)을 발생시키는 단계를 포함하는, 방법.
(a) 하나 이상의 촬상 센서에 의해 표면을 촬상하여 이미지들의 시퀀스를 획득하는 단계로서, 상기 표면과 상기 촬상 센서는 상대적 병진 운동하고, 상기 센서는 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 포함하는, 상기 획득하는 단계;
(b) 상기 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계;
(c) 상기 초점 평면이 y축과 교차하는 상기 표면 좌표계의 y-좌표를 계산하는 단계;
(d) 상기 최종 이미지에서의 상기 표면의 겉보기 변위(apparent shift)에 기초하여, 상기 표면 상의 변이점(transitional point)들을 결정하는 단계로서, 상기 변이점들은 상기 최종 이미지에서 상기 렌즈의 시야를 벗어났지만, 상기 시퀀스에서 상기 최종 이미지 이전의 이미지에서는 상기 렌즈의 시야에 있는, 상기 결정하는 단계;
(e) 상기 표면 상의 모든 상기 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계;
(f) 상기 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (f)를 반복하는 단계; 및
(g) 상기 시퀀스의 이미지로부터의 상기 변이점들의 상기 카메라 좌표계에서의 상기 삼차원 위치를 축적하여 상기 병진운동하는 표면을 나타내는 점 클라우드(point cloud)를 형성하는 단계를 포함하는, 방법.
제38항에 있어서, 상기 초점 선예도 값은 수정된 라플라시안 선예도 미터법을 적용함으로써 결정되는, 방법.
제38항에 있어서, 상기 표면 상의 각각의 변이점의 삼차원 위치는 상기 카메라 좌표계의 상기 z방향을 따라 상기 최대 초점 심도(z_m)를 추정하기 위한 정규 곡선을 맞춤으로써 결정되는, 방법.
제38항에 있어서, 상기 표면 상의 각각의 변이점의 삼차원 위치는 각각의 픽셀마다 상기 초점 선예도 값들에 대해 이차 함수를 맞춤으로써 결정되는, 방법.
제38항에 있어서, 상기 카메라 좌표계의 직사각형 격자 상의 상기 점 클라우드에서 상기 점들을 재샘플링(re-sampling)함으로써 상기 병진운동하는 표면의 제1 레인지 맵을 형성하는 단계를 추가로 포함하는, 방법.
제42항에 있어서, 상기 제1 레인지 맵으로부터 노이즈(noise)를 제거하는 단계를 추가로 포함하는, 방법.
제38항에 있어서, 상기 표면 좌표계에 대해 상기 제1 레인지 맵을 회전시키는 단계를 추가로 포함하는, 방법.
제44항에 있어서, 상기 표면 좌표계의 격자 상의 제1 레인지 맵을 재샘플링함으로써 제2 레인지 맵을 형성하는 단계를 추가로 포함하는, 방법.
제38항에 있어서, 상기 표면이 고정식 촬상 센서를 향해 이동될 때, 상기 시야각은 약 38°인, 방법.
제38항에 있어서, 상기 렌즈는 텔레센트릭 렌즈인, 방법.
표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 렌즈를 포함하는 촬상 센서로서, 상기 표면과 상기 촬상 센서는 상대적 병진 운동하고, 상기 센서는 상기 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및
프로세서를 포함하고,
상기 프로세서는,
(a) 상기 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계;
(b) 상기 초점 평면이 y축과 교차하는 상기 표면 좌표계의 y-좌표를 계산하는 단계;
(c) 상기 최종 이미지에서의 상기 표면의 겉보기 변위에 기초하여, 상기 표면 상의 변이점들을 결정하는 단계로서, 상기 변이점들은 상기 최종 이미지에서 상기 렌즈의 시야를 벗어났지만, 상기 시퀀스에서 상기 최종 이미지 이전의 이미지에서는 상기 렌즈의 시야에 있는, 상기 결정하는 단계;
(d) 상기 표면 상의 모든 상기 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계;
(e) 상기 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (d)를 반복하는 단계; 및
(f) 상기 시퀀스의 이미지로부터의 상기 변이점들의 상기 카메라 좌표계에서의 상기 삼차원 위치를 축적하여 상기 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 실행하는, 장치.
제48항에 있어서, 상기 표면은 재료 웨브인, 장치.
제48항에 있어서, 상기 렌즈는 텔레센트릭 렌즈인, 장치.
웨브 재료의 이동하는 표면을 실시간으로 검사하고 표면의 삼차원 모델을 계산하는 방법으로서,
(a) 고정식 센서에 의해 상기 표면의 이미지들의 시퀀스를 포착하는 단계로서, 상기 촬상 센서는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는, 상기 포착하는 단계;
(b) 상기 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계;
(c) 상기 초점 평면이 y축과 교차하는 상기 표면 좌표계의 y-좌표를 계산하는 단계;
(d) 상기 최종 이미지에서의 상기 표면의 겉보기 변위에 기초하여, 상기 표면 상의 변이점들을 결정하는 단계로서, 상기 변이점들은 상기 최종 이미지에서 상기 렌즈의 시야를 벗어났지만, 상기 시퀀스에서 상기 최종 이미지 이전의 이미지에서는 상기 렌즈의 시야에 있는, 상기 결정하는 단계;
(e) 상기 표면 상의 모든 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계;
(f) 상기 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (f)를 반복하는 단계; 및
(g) 상기 시퀀스의 이미지로부터의 상기 변이점들의 상기 카메라 좌표계에서의 상기 삼차원 위치를 축적하여 상기 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 포함하는, 방법.
제51항에 있어서, 상기 초점 선예도 값은 수정된 라플라시안 선예도 미터법을 적용함으로써 결정되는, 방법.
제51항에 있어서, 상기 표면 상의 각각의 변이점의 상기 삼차원 위치는 상기 카메라 좌표계의 상기 z방향을 따라 상기 최대 초점 심도(z_m)를 추정하기 위한 정규 곡선을 맞춤으로써 결정되는, 방법.
제51항에 있어서, 상기 표면 상의 각각의 변이점의 상기 삼차원 위치는 각각의 픽셀마다 상기 초점 선예도 값들에 대해 이차 함수를 맞춤으로써 결정되는, 방법.
제51항에 있어서, 상기 카메라 좌표계의 직사각형 격자 상의 상기 점 클라우드에서 상기 점들을 재샘플링함으로써 상기 병진운동하는 표면의 제1 레인지 맵을 형성하는 단계를 추가로 포함하는, 방법.
제55항에 있어서, 상기 제1 레인지 맵으로부터 노이즈를 제거하는 단계를 추가로 포함하는, 방법.
제51항에 있어서, 표면 좌표계에 대해 상기 제1 레인지 맵을 회전시키는 단계를 추가로 포함하는, 방법.
제57항에 있어서, 상기 표면 좌표계의 격자 상의 제1 레인지 맵을 재샘플링함으로써 제2 레인지 맵을 형성하는 단계를 추가로 포함하는, 방법.
제51항에 있어서, 상기 표면이 고정식 촬상 센서를 향해 이동될 때, 상기 시야각은 약 38°인, 방법.
웨브 재료를 실시간으로 검사하는 온라인 컴퓨터화 검사 시스템으로서,
카메라 및 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서로서, 상기 렌즈는 이동하는 표면의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖고, 상기 센서는 상기 표면을 촬상하여 상기 표면의 이미지들의 시퀀스를 형성하는, 상기 촬상 센서; 및
프로세서를 포함하고,
상기 프로세서는,
(a) 상기 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계;
(b) 상기 초점 평면이 y축과 교차하는 상기 표면 좌표계의 y-좌표를 계산하는 단계;
(c) 상기 최종 이미지에서의 상기 표면의 겉보기 변위에 기초하여, 상기 표면 상의 변이점들을 결정하는 단계로서, 상기 변이점들은 상기 최종 이미지에서 상기 렌즈의 시야를 벗어났지만, 상기 시퀀스에서 상기 최종 이미지 이전의 이미지에서는 상기 렌즈의 시야에 있는, 상기 결정하는 단계;
(d) 상기 표면 상의 모든 상기 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계;
(e) 상기 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (d)를 반복하는 단계; 및
(f) 상기 시퀀스의 이미지로부터의 상기 변이점들의 상기 카메라 좌표계에서의 상기 삼차원 위치를 축적하여 상기 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 실행하는, 온라인 컴퓨터화 검사 시스템.
소프트웨어 명령을 포함하는 비일시적인 컴퓨터 판독 가능 매체로서,
상기 소프트웨어 명령은, 컴퓨터 프로세서가,
(a) 온라인 컴퓨터화 검사 시스템에 의해 웨브 재료의 이동하는 표면의 이미지들의 시퀀스를 수신하는 단계로서, 상기 이미지들의 시퀀스는 카메라, 및 표면 좌표계의 x-y 평면에 대해 영이 아닌 시야각으로 정렬된 초점 평면을 갖는 텔레센트릭 렌즈를 포함하는 고정식 촬상 센서에 의해 포착되는, 상기 수신하는 단계;
(b) 상기 이미지들의 시퀀스의 최종 이미지에서의 매 픽셀마다 초점 선예도 값을 결정하는 단계;
(c) 상기 초점 평면이 y축과 교차하는 상기 표면 좌표계의 y-좌표를 계산하는 단계;
(d) 상기 최종 이미지에서의 상기 표면의 겉보기 변위에 기초하여, 상기 표면 상의 변이점들을 결정하는 단계로서, 상기 변이점들은 상기 최종 이미지에서 렌즈의 시야를 벗어났지만, 상기 시퀀스에서 상기 최종 이미지 이전의 이미지에서는 상기 렌즈의 시야에 있는, 상기 결정하는 단계;
(e) 상기 표면 상의 모든 상기 변이점들의 카메라 좌표계에서의 삼차원 위치를 결정하는 단계;
(f) 상기 촬상 센서에 의해 획득된 각각의 새로운 이미지마다 단계 (a) 내지 단계 (e)를 반복하는 단계; 및
(g) 상기 시퀀스의 이미지로부터의 상기 변이점들의 상기 카메라 좌표계에서의 상기 삼차원 위치를 축적하여 상기 병진운동하는 표면을 나타내는 점 클라우드를 형성하는 단계를 실행하게 하는, 비일시적인 컴퓨터 판독 가능 매체.