KR100422470B1 - 3차원 동화상 모델 얼굴 대체 방법 및 장치 - Google Patents

Abstract

본 발명은 3차원 동화상 모델의 얼굴을 효과적으로 특정인의 아바타로 하기 위한 3차원 동화상 모델 얼굴 대체 장치 및 방법에 관한 것이다. 본 발명은 동화상 정보 내의 모델 얼굴을 특정인 얼굴로 대체하기 위하여 특정인 얼굴을 포함하는 사진에 따른 3차원 개인 포토 아바타를 생성하고, 동화상 정보에서 모델 얼굴의 얼굴 파라미터를 추출하여 추출된 모델 얼굴의 얼굴 파라미터에 의해 3차원 개인 포토 아바타를 변형하고, 변형된 3차원 개인 포토 아바타를 동화상 정보 내의 모델 얼굴 이미지 영역에 대체하는 3차원 동화상 모델 얼굴 대체 방법 및 장치를 제공한다. 여기서, 얼굴 파라미터는 모델 얼굴의 위치, 방향, 크기, 표정 변화, 피부색 및 조명 환경 정보를 포함한다.

Description

3차원 동화상 모델 얼굴 대체 방법 및 장치{METHOD AND APPARATUS FOR REPLACING A MODEL FACE OF MOVING IMAGE}

본 발명은 3차원 동화상 모델 얼굴 대체 장치 및 방법에 관한 것으로서, 3차원 동화상 모델의 얼굴을 효과적으로 특정인의 아바타로 하기 위한 3차원 동화상 모델 얼굴 대체 장치 및 방법에 관한 것이다.

통신 기술이 발달함에 따라 전 세계의 통신 단말기 즉, 컴퓨터가 하나의 통신망에 연결되는 인터넷 사용이 급증하고 있는 추세이다.

이러한, 인터넷을 통해 사용자들은 다양한 정보를 제공받을 수 있을 뿐만 아니라 인터넷에 접속된 다른 사용자와의 채팅 또는 게임 등을 수행한다.

일반적으로 사용자들은 인터넷을 통해 제공되는 다양한 광고, 뮤직 비디오또는 영화 등에 등장하는 모델처럼 되고 싶다는 욕구를 가지고 있다.

이러한, 욕구를 만족시키기 위해 인터넷 사용자는 원하는 광고 정보를 다운로딩하고, 이미지 저작 도구 예를 들어, 포토샵(photoshop)을 이용하여 그 광고 정보 중에서 광고 모델의 얼굴을 제거한 후 사용자의 얼굴 이미지를 제거된 광고 모델에 삽입한다.

따라서, 상술한 바와 같은 종래 방법은 평면 이미지인 광고 정보에서의 모델 얼굴을 평면 이미지인 사용자 얼굴로 대체하는 2차원 변환 기술이므로, 보다 공간적이고 동적인 것을 바라는 사용자들의 욕구를 충족시킬 수 없는 문제점이 있다.

또한, 종래 방법은 사용자의 얼굴 이미지와 광고 정보의 회전 변환이 유사하지 않을 경우에는 사용의 얼굴로의 대체가 어려운 문제점이 있다.

따라서, 본 발명은 종래 기술의 제반 문제점을 해결하기 위하여 안출한 것으로서, 동화상의 광고 정보의 광고 모델을 특정인의 얼굴로 변환하기 위한 3차원 동영상 모델 대체 장치 및 방법을 제공함에 그 목적이 있다.

도 1은 본 발명에 따른 3차원 동영상 모델 대체 장치의 개략적 구성도.

도 2는 3차원 표준 아바타 메쉬를 나타낸 도면.

도 3은 사진 영상으로부터의 정면 이미지 생성과정을 개략적으로 나타낸 도면.

도 4는 입력 사진에서 얼굴 위치 및 회전각 등의 3차원 정보 추출 원리를 나타낸 도면.

도 5는 추출된 얼굴 파라미터에 의해 모델 얼굴 대체 과정을 개략적으로 나타낸 도면.

도 6은 대체된 3차원 개인 포토 아바타의 피부색 조절 결과를 나타낸 도면.

도 7은 본 발명에 따른 3차원 동화상 정보의 모델 얼굴이 대체된 동화상 프레임을 나타낸 도면.

도 8은 본 발명에 따른 3차원 동화상 모델 얼굴 대체를 수행하기 위한 플로우 챠트.

도 9는 본 발명에 따른 동화상 모델의 얼굴 정보 추출을 수행하기 위한 플로우 챠트.

도 10은 도 9의 과정을 통해 추출된 얼굴 파라미터에 의한 3차원 개인 포토 아바타 변형을 수행하기 위한 플로우 챠트.

<도면의 주요부분에 대한 부호의 설명>

100 : 3차원 개인 포토 아바타 생성부 102 : 모델 얼굴 영역 추출부

104 : 모델 얼굴 파라미터 추출부 106 : 포토 아바타 제어부

108 : 얼굴 영상 변환부

상술한 목적을 달성하기 위한 본 발명은 동화상 정보 내의 모델 얼굴을 특정인 얼굴로 대체하기 위하여 특정인 얼굴을 포함하는 사진에 따른 3차원 개인 포토 아바타를 생성하고, 동화상 정보에서 모델 얼굴의 얼굴 파라미터를 추출하여 추출된 모델 얼굴의 얼굴 파라미터에 의해 3차원 개인 포토 아바타를 변형하고, 변형된 3차원 개인 포토 아바타를 동화상 정보 내의 모델 얼굴 이미지 영역에 대체하는 3차원 동화상 모델 얼굴 대체 방법 및 장치를 제공함에 그 특징이 있다.

또한, 본 발명의 얼굴 파라미터는 모델 얼굴의 위치, 방향, 크기, 표정 변화, 피부색 및 조명 환경 정보를 포함한다.

또한, 본 발명에 따른 모델 얼굴의 얼굴 파라미터 추출은 동화상 정보를 프레임별로 각각 분리하고, 각 프레임의 모델 얼굴 이미지 및 배경/전경 이미지를 분리하여 각 프레임에서 모델 얼굴 이미지가 분리된 영역의 플래그를 유효화하고, 분리된 모델 얼굴 이미지 상에 지정된 임의의 특징점을 3차원 공간으로 역투영함에 따라 모델 얼굴 이미지의 위치, 방향 및 크기 정보를 추출한 후 모델 얼굴 이미지와 무표정 얼굴 이미지를 비교하여 표정 변화 정보를 추출하고, 모델 얼굴 이미지의 피부색 정보 및 조명 환경 정보를 추출함에 다른 특징이 있다.

이하, 본 발명에 따른 3차원 동영상 모델 대체 장치 및 방법의 바람직한 일 실시예를 첨부 도면을 참조하여 설명한다.

도 1은 본 발명에 따른 3차원 동영상 모델 대체 장치의 개략적 구성도이고, 도 2는 3차원 표준 아바타 메쉬를 나타낸 도면이며, 도 3은 사진 영상으로부터의 정면 이미지 생성과정을 개략적으로 나타낸 도면이다.

도 4는 입력 사진에서 얼굴 위치 및 회전각 등의 3차원 정보 추출 원리를 나타낸 도면이고, 도 5는 추출된 얼굴 파라미터에 의해 모델 얼굴 대체 과정을 개략적으로 나타낸 도면이며, 도 6은 대체된 3차원 개인 포토 아바타의 피부색 조절 결과를 나타낸 도면이다.

또한, 도 7은 본 발명에 따른 3차원 동화상 정보의 모델 얼굴이 대체된 동화상 프레임을 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 3차원 동영상 모델 대체 장치는 3차원 개인 포토 아바타 생성부(100), 모델 얼굴 영역 추출부(102), 모델 얼굴 파라미터 추출부(104) 포토 아바타 제어부(106) 및 얼굴 영상 변환부(108)로 구성된다.

3차원 개인 포토 아바타 생성부(100)는 일정 사용자로부터 입력된 사진 영상으로부터 얼굴의 기하학 정보를 추출하고, 추출된 기하학 정보에 따라 3차원 표준 아바타 메쉬를 변형하여 3차원 개인 포토 아바타를 생성하도록 구성된다.

여기서, 입력되는 사진 영상은 정면 유사 방향 사진 영상이다.

모델 얼굴 영역 추출부(102)는 일정의 이미지 도구를 이용하여 동화상 정보의 각 프레임에서 배경 또는 전경과 등장 인물의 얼굴 즉, 모델의 얼굴을 분리하도록 구성된다.

또한, 모델 얼굴 영역 추출부(102)는 각 프레임으로부터 분리된 모델의 얼굴 이미지 및 배경/전경 이미지를 각각 분리하여 저장하고, 모델 얼굴 이미지가 추출된 영역을 유효화하도록 구성된다.

모델 얼굴 파라미터 추출부(104)는 분리된 모델 얼굴 이미지의 위치, 방향, 크기, 표정, 피부색 및 조명 환경 등의 얼굴 영역 정보를 추출하도록 구성된다.

포토 아바타 제어부(106)는 3차원 개인 포토 아바타 생성부(100)에서 생성된3차원 개인 포토 아바타를 모델 얼굴 파라미터 추출부(104)로부터 추출된 얼굴 파라미터에 의해 변형시키도록 구성된다.

또한, 얼굴 영상 변환부(108)는 포토 아바타 제어부(106)로부터의 변형된 3차원 개인 포토 아바타를 동화상 정보의 각 프레임의 플래그가 유효화된 영역에 매핑시켜 특정인 변환 동화상을 생성하도록 구성된다.

이와 같이 구성되는 본 발명에 따른 3차원 동영상 모델 대체 장치의 동작을 설명하면 다음과 같다.

먼저, 3차원 개인 포토 아바타 생성부(100)는 일정의 사용자로부터 입력되는 사진 정보에 의해 3차원 개인 포토 아바타를 생성하는데 이를 상세히 설명한다.

즉, 3차원 개인 포토 아바타 생성부(100)는 사용자로부터 도 3a와 같은 정면 사진 정보 및 측면 사진 정보를 입력받는데, 입력되는 사진 정보는 일반적인 사진을 스캐너에 의해 디지털 이미지로 변환되거나 또는 디지털 카메라에 의해 촬영된 디지털 사진 정보이다.

또한, 3차원 개인 포토 아바타 생성부(100)는 도 3b에서와 같이, 입력된 디지털 이미지의 사진 상에 도 2와 같은 3차원 표준 아바타 메쉬를 매핑하기 위한 복수개의 기준선 정보를 사용자로부터 입력받는다.

여기서, 특정 사용자로부터 입력되는 사진은 일반적으로 사진 촬영시 의도적으로 얼굴 정면을 촬영하지 않을 뿐만 아니라, 의도적으로 얼굴 정면을 촬영하더라도 정확한 정 정면 얼굴을 촬영할 수 없으므로 정면 유사 방향 사진이다.

또한, 입력되는 정면 유사 방향 사진에 3차원 표준 아바타 메쉬를 매핑하기위하여 입력 사진 상에 6개의 특징점(2개의 양쪽 눈 외곽 끝점, 입술부분 양 끝점, 코 인중점 및 입술의 중앙 윗점)을 지나는 기준선 지정 정보를 사용자로부터 입력받는다.

이때, 기준선 지정 정보는 사용자에게 의해 지정되는 정보로서, 양 눈의 바깥끝 쪽 2개의 점을 지나는 제1 기준선, 양 입술 2개의 점을 지나는 제2 기준선, 코의 방향을 나타내는 코 인중점과 입술의 중앙 윗점을 지나는 제3 기준선 정보를 포함한다.

이어, 사진 상에 지정된 6개의 특징점과 3차원 표준 아바타 메쉬 상에 미리 정의된 동일점(3차원 표준 아바타 메쉬 상의 양쪽 눈 외곽 끝점 2개, 입술부분 양 끝점, 코 인중점, 입술의 중앙 윗점)을 매핑시켜 카메라의 위치, 회전 및 초점 거리 등의 기하학 정보를 추출한다.

이를 상세히 설명하면 다음과 같다.

먼저, 2차원 사진 이미지와 3차원 표준 아바타 메쉬의 매핑은 3차원 표준 아바타 메쉬를 정면 및 측면 유사 방향 사진을 촬영한 카메라 기하학적 조건에 맞게 투영시키면 사용자가 촬영한 사진 이미지가 생성된다는 조건을 가정한다.

이어, 상기한 가정 하에 3차원 표준 아바타 메쉬와 입력 사진 이미지의 투영 관계를 3차원 컴퓨터 그래픽스에서 일반적으로 사용하는 수학적 행렬 모델(Perspective Transformation matrix)로 정의하면 수학식 1과 같다.

여기서, s는 크기(확대/축소), f는 카메라의 초점 거리,,,는 3차원 회전각,,,는 카메라의 이동 거리를 나타낸다.

사용자가 지정한 사진 상의 2차원 점(,)과 3차원 표준 메쉬 상의 3차원 대응점(x,y.z)으로 이루어진 6개의 특징점을 초기값으로 하는 비선형 최소화 알고리즘(Levenberge-Marquardt Algorithm)을 통해 기하학 정보(s, f,,,,,,)를 추출한다.

이때, 비선형 최소화 알고리즘을 이용하여 3차원 표준 아바타 메쉬 상의 특징점과 사진 상의 사용자가 지정한 특징점의 거리 차이를 반복적으로 최소화하면서 카메라의 3차원 위치, 방향 및 크기 등의 3차원 기하학 정보를 추출하게 된다.

여기서, 3차원 그래픽스에서 일반적으로 알려진 사실에 의해 아바타를 고정시켜 놓은 상태에서, 카메라의 기하학적 변화는 카메라를 고정시켜 놓은 상태에서 움직이는 아바타의 기하학적 정보와 동일하므로, 추출된 카메라의 기하학 정보에 의해 아바타의 기하학 정보를 추출한다.

3차원 개인 아바타의 위치와 방향의 정확성은 사용자가 지정한 특징점의 정확도에 의해 결정되고, 사용자가 시각적으로 판단하기에 사진속의 인물과 3차원 표준 메쉬의 기하학적인 모습이 정확하게 매핑될 때까지 위의 과정을 반복적으로 수행한다.

여기서, 도 2와 같은 3차원 표준 아바타 메쉬는 3차원 스캐너 또는 전문 3차원 모델링 툴을 이용하여 구성된 것으로서, 이미 공지된 사항이므로 상세한 설명을 생략하기로 한다.

또한, 사용자는 각 부위를 세밀히 지정할 필요 없이 근사 모델을 얻고, 이미지 처리 기술에서 널리 공지되어 있는 특징 부위 주변의 컬러값의 변화를 이용하는 윤곽선 추출 알고리즘을 통해 각 부위의 정확한 위치를 추출해 낸다.

이때, 윤곽선 추출 알고리즘은 입력된 영상 정보에서 한 픽셀에 대한 주변 픽셀 8개를 검색하여 픽셀의 색이 한계치(threshlod)이상으로 급격하게 변하는 경우 그 부분을 경계로 인정하여 윤곽선을 추출하는 알고리즘이다.

여기서, 한계치는 사용자가 임의로 윤곽선 추출의 정도를 지정할 수 있는데, 한계치가 작으면 많은 경계선을 추출할 수 있지만 필요없는 노이즈 데이터가 포함될 수 있고, 한계치가 크면 적은 수의 경계선만을 추출하게 되므로 원하는 경계선을 추출하지 못하는 경우가 발생한다.

또한, 3차원 개인 포토 아바타 생성부(100)는 도 3c에서와 같이 추출된 입력 영상 정보의 특징점의 얼굴 위치 및 회전각 등에 의해 3차원 표준 아바타 메쉬를 변형시킨 후 입력 사진 상에 매핑함에 따라 얼굴의 기하학 정보를 추출한다.

이어, 3차원 개인 포토 아바타 생성부(100)는 추출된 기하학 정보에 의해 3차원 표준 아바타 메쉬를 제어하여 임시 아바타를 생성한다(도 3d).

또한, 생성된 임시 아바타를 추출된 영상 정보의 위치 정보 및 회전각 정보에 따라 회전 및 이동시켜 정 정면 방향으로 위치시킨다.

이후, 3차원 개인 포토 아바타 생성부(100)는 입력된 사진의 얼굴 이미지에 따른 텍스처를 생성하고, 생성된 텍스처를 임시 아바타에 매핑함에 따라 3차원 개인 포토 아바타를 생성한다(도 3e).

한편, 3차원 개인 포토 아바타 생성부(100)는 도 3a와 같은 정면 사진만으로 3차원 개인 포토 아바타를 생성할 수 있는데, 원래 측면 사진을 텍스처로 사용하던 옆 얼굴에 해당하는 영역도 정면 사진을 텍스처로 사용하여 생성함에 의해 가능해진다.

상기한 바와 같은 동작을 통해 3차원 개인 포토 아바타가 생성됨과 동시에 수행되는 본 발명에 따른 동화상 정보로부터의 모델 얼굴 추출 동작을 설명한다.

먼저, 모델 얼굴 영역 추출부(102)는 사용자에 의해 선택된 동화상 정보를 동영상 편집 툴(tool)을 이용하여 동영상 정보를 개개의 프레임으로 분리한다. 일반적으로, 모든 동화상 정보는 프레임 정보와 초당 화면에 보여주는 프레임 개수 정보(FPS)가 있고, 프레임 정보를 추출함에 따라 프레임을 분리한다. 여기서, 프레임을 분리하는 이유는 방대한 양의 정지 영상(초당 30개의 정지 영상)에 의해 구성되는 동화상 정보를 각각의 정지 영상으로 분리하기 위함이다. 이때, 동화상 정보의 프레임 분리는 일정의 전문 동화상 편집 툴(tool) 예를 들어, 아도브 프리미어(Adobe Premier) 등에 의해 이루어질 수 있다.

이어, 모델 얼굴 영역 추출부(102)는 상기한 편집 툴을 이용하여 인간의 얼굴이 가지는 피부색, 눈, 코, 입 또는 눈썹 등의 특징들에 의한 원형비교(template matching)를 통해 각 프레임의 원본 동영상 정보에서 배경/전경과 동화상 모델을 분리한 후 배경/전경 이미지와 모델 얼굴 이미지로 각각 저장한다.

여기서, 동영상 정보의 배경은 동화상 모델을 제외한 배경이고, 전경은 동화상 모델의 얼굴을 가리는 것 예를 들어, 모델의 손, 모자, 병, 핸드폰 등의 기타 소품 등을 의미한다.

이때, 원본 프레임에서 얼굴 이미지가 분리된 영역은 백색과 같은 일정 값의 색을 설정함에 따른 영역 플래그(flag)를 유효화시켜 동화상 대체 과정에서 대체할 얼굴 영역을 프로그램 내에서 자동으로 검색해 낼 수 있도록 한다.

이어, 모델 얼굴 파라미터 추출부(104)는 동화상 정보로부터 분리된 모델 얼굴 이미지의 얼굴 영역 정보를 추출한다.

즉, 모델 얼굴 파라미터 추출부(104)는 도 4에 도시된 바와 같이, 동화상 정보로부터 분리되어 저장된 모델 얼굴 이미지 상에 임의로 지정된 특징점 예를 들어, 양쪽 눈, 코 및 입 등의 위치를 2차원 이미지 평면으로부터 3차원 공간상으로 역투영(reverse-projection)한다.

또한, 모델 얼굴 파라미터 추출부(104)는 모델 얼굴 이미지 상의 특징점과 대응하는 3차원 표준 아바타 메쉬의 특징점과의 거리차를 비선형 최소화 알고리즘에 의해 최소화하면서 동화상 모델 얼굴 이미지의 3차원 위치, 방향 및 크기 파라미터를 추출한다.

이어, 모델 얼굴 파라미터 추출부(104)는 무표정 상태의 얼굴과 각 프레임의 모델 얼굴 이미지를 비교하여 지정된 임의의 특징점들이 어느 방향으로 얼마만큼이나 변형되었는지에 따른 얼굴 표정 변화 파라미터를 추출한다.

즉, 모델 얼굴 파라미터 추출부(104)는 무표정 상태의 얼굴에 대해 모델 얼굴 이미지의 '입꼬리가 어느 정도로 올라갔는가' 또는 '눈을 얼마나 감고 있는가' 등에 의한 차이값인 변형 벡터에 따른 얼굴 표정 변화 파라미터를 추출한다.

여기서, 무표정 상태 얼굴은 일정의 특징점들이 무표정 얼굴 상태 정보를 가지는 얼굴로써, 일정의 이미지 편집 툴에 의해 미리 설정된 값을 가지는 얼굴이다.

모델 얼굴 파라미터 추출부(104)는 모델 얼굴 영역의 조명 환경 및 피부색을 추출하고, 추출된 모델 얼굴의 위치, 방향, 크기, 입술 움직임 및 얼굴 표정의 변형 벡터, 조명 환경 및 피부색 정보 등의 모델 얼굴 파라미터를 포토 아바타 제어부(106)로 출력한다.

또한, 모델 얼굴 파라미터 추출부(104)는 추출된 모델 얼굴 파라미터를 각 프레임의 해당 스크립트(script)에 저장한다.

포토 아바타 제어부(106)는 모델 얼굴 파라미터 추출부(104)에서 추출된 모델 얼굴 파라미터에 의해 3차원 개인 포토 아바타의 위치, 바라보는 방향, 크기, 표정, 피부색 및 조명 환경을 제어하는데, 이를 도 5를 참조하여 설명한다.

즉, 도 5a와 같은 광고 정보에서 광고 모델의 얼굴을 대체하기 위하여 도 5b와 같이 생성된 3차원 개인 포토 아바타를 백색 바탕 이미지에 위치시키고, 모델 얼굴 파라미터 추출부(104)에서 추출된 모델 얼굴의 위치 정보에 의해 교체 영역으로 3차원 개인 포토 아바타의 위치를 조절한다.

이어, 추출된 모델 얼굴의 바라보는 방향 및 크기에 의해 3차원 개인 포토아바타의 방향 및 크기를 조절한다.

또한, 포토 아바타 제어부(106)는 모델 얼굴 파라미터 추출부(104)에 의해 추출되어 각 프레임의 스크립트에 저장된 모델 얼굴 파라미터 중 얼굴 표정 정보에 의해 눈, 눈썹 및 입술의 움직임을 조절하여 동화상 정보의 모델 얼굴과 동일한 표정을 갖도록 3차원 개인 포토 아바타의 표정을 조절한다.

또한, 포토 아바타 제어부(106)는 모델 얼굴 파라미터 중 피부색 정보에 의해 3차원 개인 포토 아바타의 피부색 정보를 수학식 2에 적용함에 따라 피부색의 보정값을 추출한다.

B=(101-F)/100

여기서, F는 블렌딩(Blending) 파라미터, B는 블렌딩 벡터 값인데, 만약, F가 100보다 큰 경우 F는 100으로, F가 1보다 작은 경우 F는 1로 설정된다.

V는 보정된 피부색 값, A는 3차원 개인 포토 아바타의 피부색 값, D는 모델 얼굴의 피부색 값이고, 아래첨자 r, g, b는 각각의 색에 대한 RGB 채널 값을 나타낸다.

또한, 일반적으로 컴퓨터 상에서 RGB는 0 내지 255의 값을 가지는데, 수학식 1의 255는 RGB의 최대치이다.

포토 아바타 제어부(106)는 수학식 2에 의해 보정된 피부색 값에 의해 3차원 개인 포토 아바타의 피부색을 조절하고, 추출된 조명 환경 정보에 의해 가상으로 시뮬레이션(simulation)하여 동화상 정보의 모델 얼굴과 흡사한 3차원 개인 포토 아바타를 생성한다.

한편, 포토 아바타 제어부(106)는 도 6a와 같은 동화상의 한 프레임에서 조명 환경을 고려하지 않고 3차원 개인 포토 아바타로 대체한 경우는 도 6b와 같이, 얼굴 영역의 경계선이 뚜렷하게 드러난다.

조명 환경을 고려한 경우에는 도 6c에서와 같이, 대체된 3차원 개인 포토 아바타가 주변 환경에 자연스럽게 어울린다.

얼굴 영상 변환부(108)는 동화상 정보의 각 프레임을 스캔하여 교체 영역 플래그가 유효화된 부분을 찾고, 유효화된 부분에 포토 아바타 제어부(106)에서 출력되는 3차원 개인 포토 아바타로 대체하여 새로운 영상 프레임을 구성한다(도 5c).

여기서, 하나의 정지 영상 프레임에 대한 동작을 설명하였으나 동화상 구성을 위한 그 외의 프레임도 동일한 동작을 수행함은 자명하다.

상기한 동작을 통해 동화상 정보에서 모델 얼굴이 3차원 개인 포토 아바타로 변형된 각 프레임을 합쳐서 동화상 포맷(예를 들어, MPEG 또는 AV1)에 기반하여 특정인 변환 동화상을 생성한다.

즉, 본 발명에 따른 3차원 동화상 모델 대체 장치에 의하면 도 7a와 같은 프레임을 갖는 동화상 정보에서 모델 얼굴을 사용자의 얼굴로 대체하면 도 7b와 같은 프레임의 동화상 정보가 생성된다.

이와 같이 구성되어 동작되는 본 발명에 따른 3차원 모델 대체 장치에 따른 3차원 모델 정합을 수행하기 위한 방법을 첨부 도면을 참조하여 설명한다.

도 8은 본 발명에 따른 3차원 동화상 모델 얼굴 대체를 수행하기 위한 플로우 챠트이다.

먼저, 일정의 사용자로부터 사진 정보를 입력받고, 입력된 사진 정보에 따라 3차원 개인 포토 아바타를 생성한다(S800).

즉, 아바타 생성을 위한 사용자의 정면 및 측면 유사 방향 사진 정보를 입력받고, 입력된 사진 정보로부터 얼굴의 위치 및 회전각 정보를 추출하여 3차원 표준 아바타 메쉬를 입력된 사진 정보의 얼굴 방향에 일치하도록 회전 및 이동함에 따라 보정된 정면 이미지를 추출한다.

한편, 정면 사진만으로 어느 정도의 품질을 보장하는 3차원 개인 포토 아바타를 생성할 수 있다. 이때, 원래 측면 사진을 텍스처로 사용하던 옆 얼굴에 해당하는 영역도 정면 사진을 텍스처로 사용하여 생성한다.

이어, 보정된 정면 이미지 상에서 정해진 얼굴의 특징점의 xy 평면상의 위치를 수정하고, 측면 이미지에서 정해진 특징점의 yz 평면상의 위치를 수정하여 3차원 표준 아바타 메쉬를 변형함에 따라 개인 아바타 메쉬를 생성한다.

보정된 정면 이미지의 공통 부분을 매칭한 후 매칭된 이미지를 접합하여 파노라마 텍스처를 생성하고, 생성된 개인 아바타 메쉬 및 파노라마 텍스처를 통합하여 3차원 개인 포토 아바타를 생성한다.

또한, 사용자로부터 선택된 동화상 정보에서 모델 얼굴 이미지 및 배경/전경 이미지를 각각 분리하여 저장한다(S802).

이어, 모델 얼굴 이미지의 원형 비교를 통해 모델 얼굴 파라미터를 추출하고(S804), 추출된 모델 얼굴 파라미터에 의해 3차원 개인 포토 아바타를 변형한다(S806).

위의 단계(S806)에서 변형된 3차원 개인 포토 아바타를 동화상 정보 내의 모델 얼굴 이미지 영역에 매핑함에 따라 모델 얼굴을 특정인 얼굴로 대체한다(S808).

상술한 바와 같은 본 발명에 따른 3차원 모델 대체 과정 중 모델 얼굴 파라미터 추출 과정을 도 9를 참조하여 보다 상세히 설명한다.

도 9는 본 발명에 따른 동화상 모델의 얼굴 파라미터 추출을 수행하기 위한 플로우 챠트이다.

먼저, 사용자에 의해 선택된 동화상 정보 내의 프레임 정보를 프레임별로 각각 분리한다(S900).

이어, 이미지 도구를 이용하여 각 프레임으로부터 동화상 정보의 배경/전경이미지 및 모델 얼굴 이미지를 분리한다(S902).

즉, 각 프레임 내에는 반드시 대상의 얼굴이 존재한다는 가정에서, 인간의 얼굴이 갖는 특징들에 의한 원형 비교를 이용하여 각 프레임 상에서 인간 얼굴 모습과 유사하다고 생각되는 영역을 추출함에 따라 모델의 얼굴을 분리한다.

이때, 동화상 프레임에서 모델 얼굴 이미지가 추출된 영역 즉, 동화상 교체영역을 일정한 값을 가지는 색으로 설정함에 의해 다른 영역과 구분하기 위하여 영역 플래그를 유효화시킨다.

위의 단계(S902)에서 분리된 모델 얼굴 이미지에서 일정의 지정된 특징점들을 2차원 이미지 평면으로부터의 3차원 공간상으로 역 투영함에 따라 프레임 내 모델 얼굴의 위치, 방향 및 크기 정보를 추출한다(S904).

이어, 분리된 모델 얼굴을 미리 설정된 무표정 상태의 얼굴을 비교하여 입 모양 및 눈 모양 등의 변화 정도에 따른 표정 정보를 추출한다(S906).

또한, 모델 얼굴의 피부색 및 조명 정보를 추출한다(S908).

본 발명에 따른 3차원 모델 정합 과정 중 추출된 모델 얼굴 파라미터에 의해 3차원 개인 포토 아바타 변형 과정을 첨부 도면을 참조하여 설명한다.

도 10은 도 9의 과정을 통해 추출된 모델 얼굴 파라미터에 의한 3차원 개인 포토 아바타 변형을 수행하기 위한 플로우 챠트이다.

먼저, 생성된 3차원 개인 포토 아바타를 동화상 프레임과 동일한 해상도를 가지는 백색 바탕 이미지에 위치시키고, 추출된 모델 얼굴의 위치, 방향 및 크기 정보에 의해 3차원 개인 포토 아바타의 위치, 바라보는 방향 및 크기 등을 변형시킨다(S1000).

위의 단계(S1000)에서 변형된 3차원 개인 포토 아바타를 추출된 표정 정보에 의해 입술 및 눈 모양을 조절하여 3차원 개인 포토 아바타의 표정을 변형시킨다(S1002).

이어, 위치, 방향, 크기 및 표정이 동화상 프레임의 모델 얼굴처럼 변형된 3차원 개인 포토 아바타의 피부색과 추출된 모델 얼굴의 피부색을 일정 수학식에 적용하여 보정된 피부색을 추출함에 따라 3차원 개인 포토 아바타의 피부색을 조절한다(S1004).

또한, 추출된 조명 정보에 의해 가상으로 시뮬레이션하여 3차원 개인 포토 아바타의 조명 환경을 조절한다(S1006).

본 발명에 따른 3차원 동화상 모델 대체 장치 및 방법은 사진 정보로부터 사용자의 3차원 개인 포토 아바타를 생성하고, 동화상 정보 내의 모델 얼굴 이미지로부터 모델 얼굴 파라미터를 추출하여 3차원 개인 포토 아바타를 추출된 모델 얼굴 파라미터에 의해 변형한 후 동화상 정보 내의 모델 얼굴 이미지 영역에 대체하는 것이다.

그러므로, 본 발명은 동화상 정보 내에 일정 사용자 얼굴로 대체함에 따라 동화상 광고의 재사용으로 인해 광고 효과를 증대시킬 수 있는 효과가 있다.

또한, CF 또는 영화 등의 동화상의 등장 인물을 사용자의 얼굴로 대체함에 따라 사용자가 CF 또는 영화 등에 참여하고자 하는 욕구를 충족시킬 수 있는 효과도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

1. 삭제
2. 동화상 정보 내의 제1 얼굴을 제2 얼굴로 대체하기 위한 3차원 동화상 얼굴 대체 방법에 있어서,

   상기 제2 얼굴을 포함하는 사진에 상응하는 3차원 개인 포토 아바타를 생성하는 단계;

   상기 동화상 정보에서 상기 제1 얼굴의 얼굴 파라미터를 추출하는 단계;

   상기 추출된 제1 얼굴의 얼굴 파라미터에 의해 상기 3차원 개인 포토 아바타를 변형하는 단계; 및

   상기 변형된 3차원 개인 포토 아바타를 상기 동화상 정보 내의 제1 얼굴 이미지 영역에 대체하는 단계를 구비하되,

   상기 얼굴 파라미터는 상기 제1 얼굴의 위치, 방향, 크기, 표정 변화, 피부색 및 조명 환경 정보 중 적어도 하나를 포함하는 3차원 동화상 모델 대체 방법.
3. 제2항에 있어서,

   상기 동화상 정보에서 상기 제1 얼굴의 얼굴 파라미터를 추출하는 단계는

   상기 동화상 정보를 프레임별로 각각 분리하는 단계;

   상기 각 프레임의 제1 얼굴 이미지 및 배경/전경 이미지를 분리하는 단계;

   상기 각 프레임에서 상기 제1 얼굴 이미지가 분리된 영역의 플래그를 유효화하는 단계;

   상기 분리된 제1 얼굴 이미지 상에 지정된 임의의 특징점을 3차원 공간으로 역투영함에 따라 제1 얼굴 이미지의 위치, 방향 및 크기 정보를 추출하는 단계;

   상기 제1 얼굴 이미지와 무표정 얼굴 이미지를 비교하여 표정 변화 정보를 추출하는 단계;

   상기 제1 얼굴 이미지의 피부색 정보 및 조명 환경 정보를 추출하는 단계

   를 포함하는 3차원 동화상 모델 얼굴 대체 방법.
4. 제3항에 있어서,

   상기 변형된 3차원 개인 포토 아바타를 상기 동화상 정보 내의 제1 얼굴 이미지 영역에 대체하는 단계는

   상기 변형된 3차원 개인 포토 아바타는 상기 동화상 정보의 각 프레임의 프레임이 유효화된 영역에 대체됨을 특징으로 하는 3차원 동화상 모델 얼굴 대체 방법.
5. 제2항에 있어서,

   상기 추출된 제1 얼굴의 얼굴 파라미터에 의해 상기 3차원 개인 포토 아바타를 변형하는 단계는

   상기 제1 얼굴 이미지의 위치, 방향 및 크기 정보에 의해 상기 3차원 개인 포토 아바타의 위치, 방향 및 크기를 조절하는 단계;

   상기 추출된 표정 변화 정보에 의해 상기 3차원 개인 포토 아바타의 표정을 조절하는 단계;

   상기 추출된 제1 얼굴 이미지의 피부색 및 상기 3차원 개인 포토 아바타의 피부색에 따른 보정된 피부색을 추출하여 상기 3차원 개인 포토 아바타의 피부색을 조절하는 단계;

   상기 추출된 조명 환경 정보에 의해 상기 각 프레임의 조명 환경을 가상 시뮬레이션하여 상기 3차원 개인 포토 아바타의 조명 환경을 조절하는 단계

   를 포함하는 3차원 동화상 모델 대체 방법.
6. 제5항에 있어서,

   상기 보정된 피부색은 하기의 수학식을 이용하여 계산되는 것을 특징으로 하는 3차원 동화상 모델 얼굴 대체 방법.

   B=(101-F)/100

   단, F는 블랜딩 파라미터-여기서, F>100 이면 F는 100으로, F<1이면 F는 1로 설정됨,

   B는 블렌딩 벡터 값,

   V는 보정된 피부색 값,

   A는 3차원 개인 포토 아바타의 피부색 값,

   D는 제1 얼굴의 피부색 값,

   아래첨자 r, g, b는 각각의 색에 대한 RGB 채널 값

   255는 RGB의 최대치임.
7. 동화상 정보 내의 제1 얼굴을 제2 얼굴로 대체하기 위한 3차원 동화상 모델 얼굴 대체 장치에 있어서,

   상기 제2 얼굴을 포함하는 사진에 상응하는 3차원 개인 포토 아바타를 생성하는 3차원 개인 아바타 생성부;

   상기 동화상 정보에서 상기 제1 얼굴의 얼굴 파라미터를 추출하는 얼굴 파라미터 추출부;

   상기 제1 얼굴의 얼굴 파라미터에 의해 상기 3차원 개인 포토 아바타를 변형하는 포토 아바타 제어부;

   상기 변형된 3차원 개인 포토 아바타를 상기 동화상 정보 내의 제1 얼굴 이미지 영역에 대체하는 얼굴 영상 변환부

   를 포함하여 구성되는 는 3차원 동화상 모델 얼굴 대체 장치.
8. 제7항에 있어서,

   상기 얼굴 파라미터는 상기 제1 얼굴의 위치, 방향, 크기, 표정 변화, 피부색 및 조명 환경 정보 중 적어도 하나를 포함하는 3차원 동화상 모델 얼굴 대체 장치.
9. 제7항 또는 제8항에 있어서,

   상기 얼굴 파라미터 추출부는

   상기 동화상 정보를 프레임별로 각각 분리하고;

   상기 각 프레임의 제1 얼굴 이미지 및 배경/전경 이미지를 분리하고;

   상기 각 프레임에서 상기 제1 얼굴 이미지가 분리된 영역의 플래그를 유효화하고;

   상기 분리된 제1 얼굴 이미지 상에 지정된 임의의 특징점을 3차원 공간으로 역투영함에 따라 모델 얼굴 이미지의 위치, 방향 및 크기 정보를 추출하고;

   상기 제1 얼굴 이미지와 무표정 얼굴 이미지를 비교하여 표정 변화 정보를 추출하고;

   상기 제1 얼굴 이미지의 피부색 정보 및 조명 환경 정보를 추출하도록 구성됨을 특징으로 하는 3차원 동화상 모델 얼굴 대체 장치.
10. 제7항 또는 제8항에 있어서,

    상기 포토 아바타 제어부는

    상기 제1 얼굴 이미지의 위치, 방향 및 크기 정보에 의해 상기 3차원 개인 포토 아바타의 위치, 방향 및 크기를 조절하고;

    상기 추출된 표정 변화 정보에 의해 상기 3차원 개인 포토 아바타의 표정을 조절하고;

    상기 추출된 제1 얼굴 이미지의 피부색 및 상기 3차원 개인 포토 아바타의 피부색에 따른 보정된 피부색을 추출하여 상기 3차원 개인 포토 아바타의 피부색을 조절하고;

    상기 추출된 조명 환경 정보에 의해 상기 각 프레임의 조명 환경을 가상 시뮬레이션하여 상기 3차원 개인 포토 아바타의 조명 환경을 조절하도록 구성됨을 특징으로 하는 3차원 동화상 모델 얼굴 대체 장치.
11. 제10항에 있어서,

    상기 보정된 피부색은 하기의 수학식을 이용하여 계산되는 것을 특징으로 하는 3차원 동화상 모델 얼굴 대체 장치.

    B=(101-F)/100

    단, F는 블랜딩 파라미터-여기서, F>100 이면 F는 100으로, F<1이면 F는 1로 설정됨,

    B는 블렌딩 벡터 값,

    V는 보정된 피부색 값,

    A는 3차원 개인 포토 아바타의 피부색 값,

    D는 제1 얼굴의 피부색 값,

    아래첨자 r, g, b는 각각의 색에 대한 RGB 채널 값,

    255는 RGB의 최대치임.
12. 동화상 정보 내의 제1 얼굴을 제2 얼굴로 대체하기 위한 3차원 동화상 모델 얼굴 대체 방법에 있어서,

    상기 제2 얼굴을 포함하는 사진에 따른 3차원 개인 포토 아바타를 생성하는 단계;

    상기 동화상 정보에서 상기 제1 얼굴의 얼굴 파라미터를 추출하는 단계는

    상기 동화상 정보를 프레임별로 각각 분리하는 단계;

    상기 각 프레임의 제1 얼굴 이미지 및 배경/전경 이미지를 분리하는 단계;

    상기 각 프레임에서 상기 제1 얼굴 이미지가 분리된 영역의 플래그를 유효화하는 단계;

    상기 분리된 제1 얼굴 이미지 상에 지정된 임의의 특징점을 3차원 공간으로 역투영함에 따라 제1 얼굴 이미지의 위치, 방향 및 크기 정보를 추출하는 단계;

    상기 제1 얼굴 이미지와 무표정 얼굴 이미지를 비교하여 표정 변화 정보를 추출하는 단계;

    상기 제1 얼굴 이미지의 피부색 정보 및 조명 환경 정보를 추출하는 단계;

    상기 제1 얼굴 이미지의 위치, 방향 및 크기 정보에 의해 상기 3차원 개인 포토 아바타의 위치, 방향 및 크기를 조절하는 단계;

    상기 추출된 표정 변화 정보에 의해 상기 3차원 개인 포토 아바타의 표정을 조절하는 단계;

    상기 추출된 제1 얼굴 이미지의 피부색 및 상기 3차원 개인 포토 아바타의피부색에 따른 보정된 피부색을 추출하여 상기 3차원 개인 포토 아바타의 피부색을 조절하는 단계;

    상기 추출된 조명 환경 정보에 의해 상기 각 프레임의 조명 환경을 가상 시뮬레이션하여 상기 3차원 개인 포토 아바타의 조명 환경을 조절하는 단계;

    상기 변형된 3차원 개인 포토 아바타를 상기 동화상 정보 내의 제1 얼굴 이미지 영역에 대체하는 단계

    를 포함하는 3차원 동화상 모델 대체 방법.
13. 3차원 동화상 모델 얼굴 대체 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록 매체에 있어서,

    상기 3차원 동화상 모델 대체 방법이,

    특정인 얼굴을 포함하는 사진에 따른 3차원 개인 포토 아바타를 생성하는 단계;

    상기 동화상 정보 내 모델 얼굴의 얼굴 파라미터를 추출하는 단계;

    상기 추출된 모델 얼굴의 얼굴 파라미터에 의해 상기 3차원 개인 포토 아바타를 변형하는 단계;

    상기 변형된 3차원 개인 포토 아바타를 상기 동화상 정보 내의 모델 얼굴 이미지 영역에 대체하는 단계

    를 포함하는 것을 특징으로 하는 기록 매체.