KR100538471B1 - 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 - Google Patents
선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 Download PDFInfo
- Publication number
- KR100538471B1 KR100538471B1 KR10-2004-0003352A KR20040003352A KR100538471B1 KR 100538471 B1 KR100538471 B1 KR 100538471B1 KR 20040003352 A KR20040003352 A KR 20040003352A KR 100538471 B1 KR100538471 B1 KR 100538471B1
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional image
- dimensional
- image
- missing
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013213 extrapolation Methods 0.000 title 1
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 230000003139 buffering effect Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 2
- 238000012800 visualization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B17/00—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined
- A43B17/02—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined wedge-like or resilient
- A43B17/03—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined wedge-like or resilient filled with a gas, e.g. air
- A43B17/035—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined wedge-like or resilient filled with a gas, e.g. air provided with a pump or valve
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B17/00—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined
- A43B17/08—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined ventilated
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
본 발명은 단안에 의한 2차원 평면 이미지와 제트버퍼에 저장된 이미지의 거리정보를 이용하여 3차원 입체영상을 생성하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 입체영상 생성시스템은, 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링수단과; 상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링수단과; 상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산부와; 상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링수단과; 상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성부와; 상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성수단을 포함한다.
Description
본 발명은 컴퓨터를 이용하여 3차원 그래픽의 입체영상을 생성하는 시스템 및 방법에 관한 것으로서, 보다 상세하게는 단안에 의한 2차원 평면 이미지와 제트버퍼에 저장된 이미지의 거리정보를 이용하여 3차원 입체영상을 생성하는 시스템 및 방법에 관한 것이다.
한쪽 눈(단안)만을 사용하여 3차원 물체를 바라보면, 원근, 평행이동, 물체의 상대적인 크기, 겹침, 광휘와 그림자, 초점적응 등의 현상이 지각된다. 이 지각된 현상들에 의해 물체와의 3차원 거리감이 느껴지기는 하나 그 정도는 매우 약하다. 그러나, 양쪽 눈(양안)을 모두 사용하여 3차원 물체를 바라보면, 단안에 의한 지각이외에도 양안의 수렴각에 의하여 물체가 투사되는 눈의 망막위치가 달라지고, 이로 인해 얻어지는 서로 다른 2개의 이차원 이미지를 융합하여 입체영상을 생성한다. 이때, 수렴각은 관찰자와 3차원 물체와의 거리에 따라 달라지기 때문에 이 수렴각에 따라 3차원 거리감이 지각된다.
위에서 설명한 바와 같은 양안을 이용한 지각특성을 이용한 것이 입체화법(stereography)으로서, 이러한 입체영상을 생성하는 여러 가지 기술적 방법이 제안되고 있다.
종래의 입체영상 생성방법은 하나의 물체를 왼쪽 눈과 오른쪽 눈 각각에 대해 각각의 이차원 이미지들을 생성하는 방법을 사용하였다. 즉, 하나의 물체를 서로 다른 두 개의 투영중심(center of projection)(예컨대, 오른쪽 눈과 왼쪽 눈)에 대하여 이차원 평면에 투영된 이미지를 생성한다. 이를 위하여 2개의 이차원 이미지는 각각 응용-명세 프로세싱(application-specific processing), 씬 프로세싱(scene processing), 폴리곤 프로세싱(polygon processing), 픽셀 프로세싱(pixel processing)을 수행하여 화면에 디스플레이된다.
종래의 입체영상 생성방법은 씬 프로세싱부터 픽셀 프로세싱까지의 과정을 2개의 이차원 이미지에 대해 각각 두 번씩 수행해야 하기 때문에, 컴퓨터 계산시간이 두 배로 필요하며, 이로 인해 3차원 시뮬레이션이나 애니메이션에 적용하기 곤란한 문제점이 있다.
이러한 문제점을 해결하기 위한 종래기술로서 대한민국등록특허 0381817호가 있다. 이 선행등록특허는 삼차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하고, 상기 제 1 이차원 이미지의 색정보를 프레임버퍼에 저장하고 거리정보를 제트버퍼에 저장하는 제 1 단계와; 상기 제 1 이차원 이미지와 상기 프레임버퍼에 저장된 색정보 및 제트버퍼에 저장된 거리정보를 이용하여 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 제 2 단계와; 상기 제 1 이차원 이미지와 제 2 이차원 이미지를 이용하여 입체영상을 생성하는 제 3 단계로 이루어진다.
이 선행등록특허에 의하면, 3차원 모델에 대해 제 1 이차원 이미지만을 생성하고, 이 생성된 제 1 이차원 이미지를 계산식에 적용하여 제 2 이차원 이미지를 생성한 후, 이 두 개의 이차원 이미지들을 이용하여 입체영상을 생성한다. 이러한 선행등록특허에 의하면 제 2 이차원 이미지를 계산식에 의해 쉽고 빠르게 생성할 수 있기 때문에 입체영상을 쉽고 빠르게 생성할 수 있는 효과가 있다.
그러나, 제 2 이차원 이미지를 생성할 때 제 1 이차원 이미지에는 보이지 않고 제 2 이차원 이미지에만 보이는 부분을 고려하지 않기 때문에, 생성된 입체영상에 오류가 발생하는 문제점이 있다. 이를 도면을 참조하여 상세하게 설명한다.
도 3 내지 도 8은 왼쪽 눈과 오른쪽 눈의 시점의 차이로 인해 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 다양한 상태를 도시한 도면으로서, 도 3은 왼쪽 눈과 오른쪽 눈의 시점의 차이로 인한 3차원 모델 공간의 차이를 도시한 도면이다.
이하에 설명에서는 왼쪽 눈으로 본 이차원 이미지를 제 1 이차원 이미지라고 하고, 오른쪽 눈으로 본 이차원 이미지를 제 2 이차원 이미지라고 가정한다.
도 3에서, P는 이차원 투영평면(Projection Plan)으로서 3차원 모델이 이차원 평면상에 투영되는 가상의 평면이고, P1과 P2는 투영된 평면상에 나타나는 이차원 이미지의 경계이다. 도 3에 도시된 바와 같이 동일한 투영 평면에 나타나는 왼쪽 눈으로 본 제 1 이차원 이미지와 오른쪽 눈으로 본 제 2 이차원 이미지는 3차원 모델 공간의 서로 다른 영역을 포함한다.
선행등록특허는 왼쪽 눈에 대응하는 제 1 이차원 이미지만을 이용하여 제 2 이차원 이미지를 계산하기 때문에 제 1 이차원 이미지에는 나타나지 않고 제 2 이차원 이미지에는 나타나는 영상은 포함할 수 없으며, 이로 인해 최종 생성된 입체영상에 오류가 발생한다. 도 4 내지 도 8을 참조하여 다양한 경우에 대해 설명한다.
도 4는 두 눈의 위치 차이로 인하여 3차원 모델의 면의 각도가 변화하여 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 면 b-c를 도시한 도면이다. 도면에서, 모델의 면 a-b를 보는 왼쪽 눈의 시각을 La-Lb라고 하고, 면 a-b를 보는 오른쪽 눈의 시각을 Ra-Rb라고 하고, 면 b-c를 보는 오른쪽 눈의 시각을 Rb-Rc라고 한다. 면 b-c는 왼쪽 눈에 대응하는 제 1 이차원 이미지에서는 La-Lb에 가려져서 나타나지 않으나, 오른쪽 눈에 대응하는 제 2 이차원 이미지에서는 Rb-Rc와 같이 보이게 된다. 선행등록특허와 같이 제 1 이차원 이미지만을 이용하여 제 2 이차원 이미지를 계산하면, Ra-Rb부분은 나타나나 Rb-Rc부분은 누락된다.
도 5는 두 눈의 위치 차이로 인하여 다른 면에 완전히 가려져 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 면 c-d를 도시한 도면이다. 도 5에서, 모델의 면 a-b를 보는 왼쪽 눈의 시각을 La-Lb라고 하고, 면 a-b를 보는 오른쪽 눈의 시각을 Ra-Rb라고 하고, 면 c-d를 보는 시각을 Rc-Rd라고 한다. 면 c-d는 왼쪽 눈에 대응하는 제 1 이차원 이미지에서는 La-Lb에 가려져서 나타나지 않으나, 오른쪽 눈에 대응하는 제 2 이차원 이미지에서는 Rc-Rd와 같이 나타나게 된다.
도 6은 면의 일부가 3차원 모델의 다른 면에 부분적으로 가려져 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 면 bR-bL을 도시한 도면이다. 도 6에서 면 a-b를 보는 왼쪽 눈의 시각을 La-Lb라고 하고, 면 a-b를 보는 오른쪽 눈의 시각을 Ra-Rb라고 하고, 선 d를 보는 왼쪽 눈의 시각을 Ld이라 하고, 선 d를 보는 오른쪽 눈의 시각을 Rd라 하고, 왼쪽 눈으로 보는 면 c-d의 경계를 bL이라고 하고, 오른쪽 눈으로 보는 면 c-d의 경계를 bR이라고 한다. 그리고, 오른쪽 눈으로 경계 bL을 보는 시각을 RbL이라고 한다. 면 c-d는 면 a-b에 의해 일부분이 가려지는데, bR-bL 구간은 왼쪽 눈으로 보면 나타나지 않고, 오른쪽 눈으로 보면 RbL-Rb과 같이 나타난다.
도 7은 두 눈에 보이는 3차원 모델 공간의 차이로 인하여 면의 일부가 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면이다. 도 7에서 선 b를 보는 왼쪽 눈의 시각을 Lb라고 하고, 선 b를 보는 오른쪽 눈의 시각을 Rb라고 하고, 선 a를 보는 오른쪽 눈의 시각을 Ra라고 한다. 왼쪽 눈으로 보는 면 a-b의 경계를 a1이라고 하고, 오른쪽 눈으로 이 a1을 보는 시각을 Ra1이라고 한다. 왼쪽 눈으로는 면 a-b 중 일부(면 a-a1)가 시각을 벗어나기 때문에 제 1 이차원 이미지에는 나타나지 않지만, 제 2 이차원 이미지에는 Ra-Ra1과 같이 나타난다.
도 8은 두 눈에 보이는 3차원 모델 공간의 차이로 인하여 면의 전체가 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면이다. 도 8에서 면 a-b를 보는 오른쪽 눈의 시각을 Ra-Rb라고 한다. 이 면 a-b는 왼쪽 눈의 시각을 벗어난 위치에 존재하기 때문에 제 1 이차원 이미지에는 나타나지 않지만, 오른쪽 눈에 대응하는 제 2 이차원 이미지에는 나타난다.
이와 같이 왼쪽 눈에는 보이지 않으나 오른쪽 눈에 보이는 상태가 존재하는데, 선행등록특허는 이를 고려하지 아니하고 제 1 이차원 이미지만을 이용하여 제 2 이차원 이미지를 계산하기 때문에, 최종적으로 입체영상에 오류가 발생하는 문제점이 있다.
본 발명의 목적은 상술한 선행등록특허의 문제점을 해결하기 위하여 안출된 것으로서, 한쪽 눈에서 바라본 이차원 이미지를 계산식에 적용하여 다른쪽 눈에서 바라본 계산결과 이차원 이미지를 생성하고, 계산결과 이차원 이미지에서 누락된 부분을 선택적 렌더링하여 누락부분 이차원 이미지를 생성하며, 계산결과 이차원 이미지와 누락부분 이차원 이미지를 합성하여 다른쪽 눈에서 바라본 이차원 이미지를 생성한 후 양쪽 눈에서 바라본 이차원 이미지를 이용하여 입체영상을 생성하는 시스템 및 방법을 제공하기 위한 것이다.
본 발명에 따른 선택적 가시화와 보간을 이용한 입체영상 생성시스템은, 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링수단과;
상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링수단과;
상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산부와;
상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링수단과;
상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성부와;
상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 선택적 가시화와 보간을 이용한 입체영상 생성방법은, 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링단계와;
상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링단계와;
상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산단계와;
상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링단계와;
상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성단계와;
상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 입체영상 생성방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하여 본 발명의 한 실시예에 따른 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및 방법을 보다 상세하게 설명한다.
도 1은 본 발명의 한 실시예에 따른 선택적 가시화와 보간을 이용한 입체영상 생성시스템을 도시한 구성 블록도이다.
이 입체영상 생성시스템은 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링수단(110)과, 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 제 1 제트버퍼(121) 및 제 1 프레임버퍼(122)와, 제 1 이차원 이미지와 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산부(130)와, 계산 이차원 이미지에서 누락된 3차원 모델의 일부분을 선택적으로 렌더링하여 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링수단(140)과, 누락 부분 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 제 2 제트버퍼(151) 및 제 2 프레임버퍼(152)와, 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성부(160)와, 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성부(170)를 포함한다.
렌더링수단(110)은 3차원 모델을 조작하여 씬(scene)을 변화시키는 응용-명세 프로세싱부(111)와, 응용-명세 프로세싱부(111)에 의해 변화된 씬에 관한 정보를 저장하는 씬 그래프 저장부(112), 씬 그래프 저장부(112)로부터 씬에 관한 정보를 읽어서 3차원 폴리곤을 생성하는 씬 프로세싱부(113)와, 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 제 1 폴리곤 프로세싱부(114)와, 2차원 폴리곤과 색정보를 이용하여 상기 제 1 이차원 이미지를 생성하고 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 제 1 제트버퍼(121)와 제 1 프레임버퍼(122)에 저장하는 제 1 픽셀 프로세싱부(115)를 구비한다.
또한, 선택적 렌더링수단(140)은 양쪽 눈의 위치 차이로 인하여 계산 이차원 이미지에서 누락된 부분을 추출하고 씬 그래프 저장부(112)로부터 상기 누락된 부분에 관한 정보를 읽어서 이 누락된 부분에 대한 3차원 폴리곤을 생성하는 누락부분 추출부(141)와, 이 누락된 부분에 대한 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 제 2 폴리곤 프로세싱부(142)와, 이 누락된 부분에 대한 2차원 폴리곤과 색상정보를 이용하여 누락 부분 이차원 이미지를 얻고 상기 누락 부분 이차원 이미지의 각 픽셀의 거리정보와 색정보를 제 2 제트버퍼(151)와 제 2 프레임버퍼(152)에 저장하는 제 2 픽셀 프로세싱부(143)를 구비한다.
스테레오 영상 계산부(130)는 계산 이차원 이미지의 각 픽셀에 대응하는 제 1 이차원 이미지의 픽셀들을 찾아내고, 상기 찾아낸 제 1 이차원 이미지의 픽셀들의 색을 보간하여 상기 계산 이차원 이미지의 색정보를 구한다. 또한, 스테레오 영상 계산부(130)는 계산 이차원 이미지에 발생하는 공백을 상기 한쪽 눈으로부터 거리가 먼 픽셀의 색을 확장하여 채운다.
누락부분 추출부(141)는 상기 3차원 모델의 면 중 상기 한쪽 눈으로의 시각방향벡터와 면의 수직방향벡터의 내적이 0에 가까운 음수인 면을 상기 누락된 부분으로 추출한다.
이하에서는 도 1과 도 2를 참조하면서 본 발명의 한 실시예에 따른 입체영상 생성시스템의 입체영상 생성방법을 보다 상세하게 설명한다.
먼저, 렌더링수단(110)은 한쪽 눈에 대해 이차원 평면상에 투영된 제 1 이차원 이미지를 생성한다(S201). 이 렌더링수단(110)은 응용-명세 프로세싱부(111)와 씬 그래프 저장부(112)와 씬 프로세싱부(113)와 제 1 폴리곤 프로세싱부(114)와 제 1 픽셀 프로세싱부(115)로 이루어진다.
응용-명세 프로세싱부(111)는 사용자가 응용프로그램을 이용하여 3차원 모델을 조작하거나 움직이는 작업을 수행한다. 이때, 사용자가 선택하는 모델, 조명, 배경 등의 변화에 따라 장면(씬: scene)이 변화한다. 각각의 변화는 씬의 구체적인 정보가 담겨있는 씬 그래프 저장부(112)에 저장된다. 씬그래프는 씬을 정의하기 위한 모델, 조명, 사운드 등의 모든 정보가 담겨있는 그래프 구조의 자료 구조이다.
씬 프로세싱부(113)는 실제 3차원 장면을 화면에 나타내기 위한 작업을 수행한다. 씬 프로세싱부(113)는 씬그래프로부터 필요한 정보를 읽어서 렌더링하기 위한 3차원 폴리곤을 생성한다. 3차원 그래픽스에서 화면에 나타나는 모든 물체는 기본적으로 3차원 폴리곤들의 집합이다. 씬 프로세싱부(113)는 씬그래프로부터 정보를 읽어내고 필요없는 폴리곤을 생성하지 않도록 추려내거나(culling), LOD(Level of Detail) 등의 작업을 수행하고, 최종적으로 3차원 폴리곤 집합을 얻는다.
제 1 폴리곤 프로세싱부(114)는 3차원 폴리곤 집합을 2차원의 모니터 화면상에 디스플레이하기 위한 작업을 수행한다. 즉, 3차원 폴리곤을 투영(projection)하여 2차원 폴리곤으로 변형한다. 이때, 조명에 의한 밝기나 물체의 질감 등의 정보가 계산된다.
제 1 픽셀 프로세싱부(115)는 최종적으로 화면에 디스플레이되는 영상의 각 픽셀의 색정보를 생성한다. 즉, 2차원 폴리곤과 색정보를 이용하여 텍스쳐링(texturing), 블렌딩(blending), 및 안티어라이어싱(anti-aliasing) 등의 작업을 수행하여 제 1 이차원 이미지의 각 픽셀의 색정보를 제 1 프레임버퍼(122)에 저장한다. 아울러, 3차원 물체의 원근에 따른 효과를 위하여 Z 버퍼링 작업을 수행하여 각 픽셀의 거리정보를 제 1 제트버퍼(121)에 저장한다(S202).
다음, 스테레오 영상 계산부(130)는 이렇게 생성된 제 1 이차원 이미지의 색정보와 거리정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 생성한다(S203). 스테레오 영상 계산부(130)는 관찰자의 두 눈 사이의 반인 좌우 이미지의 불일치도와 시점에서 투영평면까지의 거리 및 제 1 이차원 이미지의 각 픽셀 정보를 이용하여 계산 이차원 이미지의 각 픽셀에 대응하는 제 1 이차원 이미지의 픽셀을 구하고, 제 1 이차원 이미지의 각 픽셀의 색정보로부터 계산 이차원 이미지의 각 픽셀의 색상값을 구한다. 이 스테레오 영상 계산부(130)가 계산 이차원 이미지를 생성하는 방법은 대한민국등록특허 제0381817호에 상세하게 설명되어 있는 바, 본 특허에서는 이를 준용한다.
또한, 스테레오 영상 계산부(130)는 계산 이차원 이미지의 공백 부분을 시점으로부터 거리가 먼 픽셀의 색을 확장하여 채움으로써, 이 계산 이차원 이미지를 보정한다(S204). 도 6 또는 도 7과 같이 3차원 물체의 일부분이 누락된 경우에는 단계 S204와 같이 제 1 이차원 이미지의 색정보를 이용하여 확장함으로써, 복원할 수 있다.
이를 상세하게 설명하면, 도 6에서, 제 1 이차원 이미지의 면 Lb-Ld는 계산 이차원 이미지에서 면 RbL-Rd로 변형되어서 면 Rb-RbL이 누락되어 공백으로 나타난다. 따라서, 이 면 Rb-RbL을 상대적으로 시점으로부터 거리가 먼 픽셀인 RbL의 색상값으로 채우면 계산 이차원 이미지의 누락된 픽셀을 복원할 수 있다.
도 7에서, 제 1 이차원 이미지의 면 P1-Lb는 계산 이차원 이미지에서 면 Ra1-Rb로 변형되고, 면 Ra-Ra1은 누락되어 공백으로 나타난다. 이 공백으로 나타나는 계산 이차원 이미지의 면 Ra-Ra1을 Ra1의 색상값으로 채우면 계산 이차원 이미지의 누락된 픽셀을 복원할 수 있다.
다음, 도 4와 같이 왼쪽 눈과 오른쪽 눈의 위치 차이로 인하여 3차원 모델의 면의 각도가 변화하여 오른쪽 눈으로 본 이차원 이미지에만 새롭게 나타나는 형상을 복원하는 절차를 수행한다.
이를 위하여, 먼저 누락부분 추출부(141)는 양쪽 눈의 위치 차이로 인하여 계산 이차원 이미지에서 누락된 부분을 추출한다(S205).
도 4와 같이 면의 각도 변화로 한쪽 눈에 대응하는 이차원 이미지에는 나타나지 않고 다른쪽 눈에 대응하는 이차원 이미지에만 새롭게 나타나는 면은 시선의 방향과 거의 평행인 특징이 있다. 즉, 도 4에서 면 b-c는 오른쪽 눈으로 b와 c를 보는 시선 R-b 및 R-c와 거의 평행하게 놓여진다. 또한, 면 b-c는 왼쪽 눈으로는 보이지 않는데, 이는 면 b-c가 왼쪽 눈으로 b와 c를 보는 시선 L-b 및 L-c를 등지고 있기 때문이다. 이 면 b-c가 누락된 부분이며 누락부분 추출부(141)는 이 부분을 추출한다.
누락부분 추출부(141)가 이 누락된 부분을 추출하는 방법을 도 9를 참조하여 설명한다. 도 9에서 v1은 면의 수직벡터이고, v2는 면으로부터 한쪽 눈(도 9에서는 왼쪽 눈)을 향하는 시각방향벡터이다. 누락된 부분인 면 b-c가 시점 L을 등지면서 시점의 방향과 거의 일치하기 위해서는 면의 수직벡터와 시각방향벡터가 직각에 가까운 양각이 되어야 하며, 이때 두 벡터의 내적은 0에 가까운 음수가 된다. 따라서, 누락부분 추출부(141)는 3차원 모델의 면 중 한쪽 눈으로의 시각방향벡터와 면의 수직벡터의 내적이 0에 가까운 음수인 면을 상기 누락 부분으로 추출한다.
그리고, 이 누락된 부분에 대해 제 2 폴리곤 프로세싱부(142)와 제 2 픽셀 프로세싱부(143)를 통해 렌더링하여 누락 부분 이차원 이미지를 생성한다(S206). 이 누락된 부분에 대한 렌더링 과정은 단계 S201의 렌더링 단계와 근본적으로 동일하나, 누락부분 추출부(141)에 의해 추출된 누락 부분이 매우 작기 때문에 계산량은 매우 적어서 처리 속도가 빠르다.
단계 S204에서 생성된 계산 이차원 이미지와 단계 S206에서 생성된 누락 부분 이차원 이미지를 합성하여 다른쪽 눈에 대응하는 제 2 이차원 이미지를 생성한다(S207). 이때, 계산 이차원 이미지의 각 픽셀의 거리정보와 누락 부분 이차원 이미지의 각 픽셀의 거리정보를 비교하여 시선과의 거리가 가까운 이차원 이미지의 색상값을 제 2 이차원 이미지의 색상값으로 결정한다.
마지막으로 제 1 이차원 이미지와 제 2 이차원 이미지를 이용하여 입체영상을 생성한다(S208).
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
본 발명에 의하면, 종래의 입체영상 생성방법과 비교하여 적은 계산으로 빠르게 입체영상을 생성할 수 있고, 누락되는 형상정보를 복원하여 입체영상의 화질을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 한 실시예에 따른 선택적 가시화와 보간을 이용한 입체영상 생성시스템을 도시한 블록 구성도,
도 2는 본 발명의 한 실시예에 따른 선택적 가시화와 보간을 이용한 입체영상 생성방법을 도시한 동작 흐름도,
도 3은 왼쪽 눈과 오른쪽 눈의 시점의 차이로 인한 3차원 모델 공간의 차이를 도시한 도면,
도 4는 두 눈의 위치 차이로 인하여 3차원 모델의 면의 각도가 변화하여 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면,
도 5는 두 눈의 위치 차이로 인하여 3차원 모델의 면이 다른 면에 완전히 가려져 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면,
도 6은 면의 일부가 3차원 모델의 다른 면에 부분적으로 가려져 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면,
도 7은 두 눈에 보이는 3차원 모델 공간의 차이로 인하여 면의 일부가 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면,
도 8은 두 눈에 보이는 3차원 모델 공간의 차이로 인하여 면의 전체가 왼쪽 눈에는 보이지 않으나 오른쪽 눈에는 보이는 상태를 도시한 도면,
도 9는 양쪽 눈의 시각의 차이로 인하여 누락된 부분을 추출하는 방법을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 간단한 설명>
110; 렌더링수단 111; 응용-명세 프로세싱부
112; 씬 그래프 저장부 113; 씬 프로세싱부
114; 제 1 폴리곤 프로세싱부 115; 제 1 픽셀 프로세싱부
121; 제 1 제트버퍼 122; 제 1 프레임버퍼
130; 스테레오 영상 계산부 140; 선택적 렌더링수단
141; 누락부분 추출부 142; 제 2 폴리곤 프로세싱부
143; 제 2 픽셀 프로세싱부 151; 제 2 제트버퍼
152; 제 2 프레임버퍼 160; 스테레오 영상 합성부
170; 입체영상 생성부
Claims (15)
- 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링수단과;상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링수단과;상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산부와;상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링수단과;상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성부와;상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성수단을 포함한 것을 특징으로 하는 입체영상 생성시스템.
- 제 1 항에 있어서, 상기 렌더링수단은,상기 3차원 모델을 조작하여 씬(scene)을 변화시키는 응용-명세 프로세싱부와, 상기 응용-명세 프로세싱부에 의해 변화된 씬에 관한 정보를 저장하는 씬 그래프 저장부와, 상기 씬 그래프 저장부로부터 상기 씬에 관한 정보를 읽어서 3차원 폴리곤을 생성하는 씬 프로세싱부와, 상기 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 폴리곤 프로세싱부와, 상기 2차원 폴리곤과 색정보를 이용하여 상기 제 1 이차원 이미지를 생성하고 상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 상기 버퍼링수단에 저장하는 픽셀 프로세싱부를 구비한 것을 특징으로 하는 입체영상 생성시스템.
- 제 1 항에 있어서, 상기 스테레오 영상 계산부는,상기 계산 이차원 이미지의 각 픽셀에 대응하는 상기 제 1 이차원 이미지의 픽셀들을 찾아내고, 상기 찾아낸 제 1 이차원 이미지의 픽셀들의 색을 보간하여 상기 계산 이차원 이미지의 색정보를 구하는 것을 특징으로 하는 입체영상 생성시스템.
- 제 3 항에 있어서, 상기 스테레오 영상 계산부는,상기 계산 이차원 이미지에 발생하는 공백을 상기 한쪽 눈으로부터 거리가 먼 픽셀의 색을 확장하여 채우는 것을 특징으로 하는 입체영상 생성시스템.
- 제 2 항에 있어서, 상기 선택적 렌더링수단은,상기 양쪽 눈의 위치 차이로 인하여 상기 계산 이차원 이미지에서 누락된 부분을 추출하고 상기 씬 그래프 저장부로부터 상기 누락된 부분에 관한 정보를 읽어서 상기 누락된 부분에 대한 3차원 폴리곤을 생성하는 누락부분 추출부와, 상기 누락된 부분에 대한 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 제 2 폴리곤 프로세싱부와, 상기 누락된 부분에 대한 2차원 폴리곤과 색상정보를 이용하여 상기 누락 부분 이차원 이미지를 얻고 상기 누락 부분 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 제 2 픽셀 프로세싱부를 구비한 것을 특징으로 하는 입체영상 생성시스템.
- 제 5 항에 있어서, 상기 누락부분 추출부는,상기 3차원 모델의 면 중 상기 한쪽 눈으로의 시각방향벡터와 면의 수직방향벡터의 내적이 0에 가까운 음수인 면을 상기 누락된 부분으로 추출하는 것을 특징으로 하는 입체영상 생성시스템.
- 제 1 항에 있어서, 상기 스테레오 영상 합성부는,상기 계산 이차원 이미지의 각 픽셀의 거리정보와 상기 누락 부분 이차원 이미지의 각 픽셀의 거리정보를 비교하여, 시선과의 거리가 가까운 이차원 이미지의 색상값을 상기 제 2 이차원 이미지의 색상값으로 결정하는 것을 특징으로 하는 입체영상 생성시스템.
- 3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링단계와;상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링단계와;상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산단계와;상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링단계와;상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성단계와;상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성단계를 포함한 것을 특징으로 하는 입체영상 생성방법.
- 제 8 항에 있어서, 상기 렌더링단계는,상기 3차원 모델을 조작하여 씬(scene)을 변화시키는 응용-명세 프로세싱단계와, 상기 응용-명세 프로세싱단계에서 변화된 씬에 관한 정보를 저장하는 씬 그래프 저장단계와, 상기 씬에 관한 정보를 읽어서 3차원 폴리곤을 생성하는 씬 프로세싱단계와, 상기 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 폴리곤 프로세싱단계와, 상기 2차원 폴리곤과 색정보를 이용하여 상기 제 1 이차원 이미지를 생성하고 상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 픽셀 프로세싱단계를 구비한 것을 특징으로 하는 입체영상 생성방법.
- 제 8 항에 있어서, 상기 스테레오 영상 계산단계는,상기 계산 이차원 이미지의 각 픽셀에 대응하는 상기 제 1 이차원 이미지의 픽셀들을 찾아내고, 상기 찾아낸 제 1 이차원 이미지의 픽셀들의 색을 보간하여 상기 계산 이차원 이미지의 색정보를 구하는 것을 특징으로 하는 입체영상 생성방법.
- 제 10 항에 있어서, 상기 스테레오 영상 계산단계는,상기 계산 이차원 이미지에 발생하는 공백을 상기 한쪽 눈으로부터 거리가 먼 픽셀의 색을 확장하여 채우는 것을 특징으로 하는 입체영상 생성방법.
- 제 9 항에 있어서, 상기 선택적 렌더링단계는,상기 양쪽 눈의 위치 차이로 인하여 상기 계산 이차원 이미지에서 누락된 부분을 추출하고 상기 씬 그래프로부터 상기 누락된 부분에 관한 정보를 읽어서 상기 누락된 부분에 대한 3차원 폴리곤을 생성하는 누락부분 추출단계와, 상기 누락된 부분에 대한 3차원 폴리곤을 투영하여 2차원 폴리곤으로 변형하는 제 2 폴리곤 프로세싱단계와, 상기 누락된 부분에 대한 2차원 폴리곤과 색상정보를 이용하여 상기 누락 부분 이차원 이미지를 얻고 상기 누락 부분 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 제 2 픽셀 프로세싱단계를 구비한 것을 특징으로 하는 입체영상 생성방법.
- 제 12 항에 있어서, 상기 누락부분 추출단계는,상기 3차원 모델의 면 중 상기 한쪽 눈으로의 시각방향벡터와 면의 수직방향벡터의 내적이 0에 가까운 음수인 면을 상기 누락된 부분으로 추출하는 것을 특징으로 하는 입체영상 생성방법.
- 제 8 항에 있어서, 상기 스테레오 영상 합성단계는,상기 계산 이차원 이미지의 각 픽셀의 거리정보와 상기 누락 부분 이차원 이미지의 각 픽셀의 거리정보를 비교하여, 시선과의 거리가 가까운 이차원 이미지의 색상값을 상기 제 2 이차원 이미지의 색상값으로 결정하는 것을 특징으로 하는 입체영상 생성방법.
- 컴퓨터에,3차원 모델을 렌더링하여 한쪽 눈에 대응하는 제 1 이차원 이미지를 생성하는 렌더링단계와;상기 제 1 이차원 이미지의 각 픽셀의 거리정보와 색정보를 저장하는 버퍼링단계와;상기 제 1 이차원 이미지와, 상기 제 1 이차원 이미지의 거리정보 및 색정보를 이용하여 다른 쪽 눈에 대응하는 계산 이차원 이미지를 계산하는 스테레오 영상 계산단계와;상기 계산 이차원 이미지에서 누락된 상기 3차원 모델의 일부분을 선택적으로 렌더링하여 상기 다른 쪽 눈에 대응하는 누락 부분 이차원 이미지를 생성하는 선택적 렌더링단계와;상기 계산 이차원 이미지와 누락 부분 이차원 이미지를 합성하여 상기 다른 쪽 눈에 대응하는 제 2 이차원 이미지를 생성하는 스테레오 영상 합성단계와;상기 제 1 이차원 이미지와 상기 제 2 이차원 이미지를 합성하여 입체영상을 생성하는 입체영상 생성단계를 포함한 입체영상 생성방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2004-0003352A KR100538471B1 (ko) | 2004-01-16 | 2004-01-16 | 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2004-0003352A KR100538471B1 (ko) | 2004-01-16 | 2004-01-16 | 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050075807A KR20050075807A (ko) | 2005-07-22 |
| KR100538471B1 true KR100538471B1 (ko) | 2005-12-23 |
Family
ID=37263823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2004-0003352A Expired - Lifetime KR100538471B1 (ko) | 2004-01-16 | 2004-01-16 | 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100538471B1 (ko) |
-
2004
- 2004-01-16 KR KR10-2004-0003352A patent/KR100538471B1/ko not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050075807A (ko) | 2005-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
| EP2340534B1 (en) | Optimal depth mapping | |
| JP3852934B2 (ja) | 画像処理システム、プログラム及び情報記憶媒体 | |
| US9106906B2 (en) | Image generation system, image generation method, and information storage medium | |
| KR100596686B1 (ko) | 화상생성장치 및 방법 | |
| US20090231331A1 (en) | System and method for displaying stereo images | |
| Didyk et al. | Adaptive Image-space Stereo View Synthesis. | |
| WO2015196791A1 (zh) | 双目三维图形渲染方法及相关系统 | |
| US20190377192A1 (en) | Augmented reality viewer with automated surface selection placement and content orientation placement | |
| JP2014067372A (ja) | 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置 | |
| KR100381817B1 (ko) | 제트버퍼를 이용한 입체영상 생성방법 및 기록매체 | |
| US20180213215A1 (en) | Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape | |
| US20130210520A1 (en) | Storage medium having stored therein game program, game apparatus, game system, and game image generation method | |
| JP3126575B2 (ja) | 立体視用３次元画像生成装置 | |
| JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| KR100538471B1 (ko) | 선택적 가시화와 보간을 이용한 입체영상 생성시스템 및방법 | |
| EP2409279A1 (en) | Point reposition depth mapping | |
| KR100272132B1 (ko) | 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 | |
| De Sorbier et al. | Augmented reality for 3D TV using depth camera input | |
| KR20120107711A (ko) | 3ｄ 그래픽 모델 입체 렌더링 장치 및 입체 렌더링 방법 | |
| CN119653068A (zh) | 生成3d场景的方法及电脑系统 | |
| Lee et al. | Generation of eye contact image using depth camera for realistic telepresence | |
| TW202512728A (zh) | 生成3d場景的方法及電腦系統 | |
| Park et al. | GPU accelerated view synthesis from multiple RGB-D images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20040116 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20050927 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20051216 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20051219 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20081201 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20091111 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20101201 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20101210 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20121130 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20121130 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20131129 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20131129 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20141127 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20141127 Start annual number: 10 End annual number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20170112 Year of fee payment: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170112 Start annual number: 12 End annual number: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20171124 Year of fee payment: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171124 Start annual number: 13 End annual number: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20181203 Year of fee payment: 14 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181203 Start annual number: 14 End annual number: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20191126 Year of fee payment: 15 |
|
| PR1001 | Payment of annual fee |
Payment date: 20191126 Start annual number: 15 End annual number: 15 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200917 Start annual number: 16 End annual number: 16 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211117 Start annual number: 17 End annual number: 17 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220922 Start annual number: 18 End annual number: 18 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230917 Start annual number: 19 End annual number: 19 |
|
| PC1801 | Expiration of term |
Termination date: 20240716 Termination category: Expiration of duration |