TW201629907A - 三維頭像產生系統及其裝置、產生方法 - Google Patents

Abstract

　　本發明揭露了一種三維頭像產生系統，其包括一伺服器以及至少一通訊裝置。通訊裝置與伺服器通訊連接，並預先儲存來自於伺服器之一素體資料。伺服器傳送一臉部特徵資料以及一臉部模型資料至通訊裝置。通訊裝置依據臉部特徵資料以及臉部模型資料調整素體資料，通訊裝置依據臉部模型資料以及調整後之素體資料產生一三維頭像。本發明另揭露了一種三維頭像產生裝置及三維頭像產生方法。

Description

三維頭像產生系統及其裝置、產生方法 【0001】

本發明係關於一種三維頭像產生系統及其裝置、產生方法。

【0002】

在今日的生活中，隨著通訊設備的架設門檻持續下降，行動通訊裝置的廣泛使用，網路世界與虛擬情境的使用越來越方便容易，佔據現代人一天時間的比例也越來越高。

【0003】

因為投入許多時間與情感，使用者益發重視在網路或虛擬世界中經營「自我」。過往使用文字或數字作為身份表徵已經明顯不足，即便後來各種通訊媒介或社群網站都設計讓使用者可以利用照片或大頭貼來辨識身份，或凸顯個人風格，但是終究是停留在平面階段，而無法讓使用者產生一個虛擬的自己可以躍然於螢幕上的感覺。

【0004】

為解決此問題，目前已發展出一種虛擬人偶或公仔（英文可稱之為Avatar）的技術，主要是在電子裝置上產生一個樣貌類似自己的三維頭像，進而發展成立體人形，作為在網路或虛擬世界的代表。但是該項技術的應用目前僅止於在資料庫中建立非常多的五官、髮型、臉型與身形模組，讓使用者可以依據自己的形象挑選模組來組合。即便是組合起來的模組還可以進行細部的手動微調，但是人與人之間的外形差異是如此的多樣化，使用有限的模組來代替實在難以產生樣貌真正高度相似的虛擬人偶。

【0005】

有鑒於此，本發明人思及一種三維頭像產生系統及其通訊裝置、產生方法，透過素體與使用者之臉部相關資料的結合，產生相似度高的三維頭像，且因為素體是預先儲存於使用者的裝置內，而臉部相關資料是接收而得，並不需要由裝置自行處理，所以有助於降低處理時間與裝置的硬體門檻。一旦具有非常相像的三維頭像後，使用者可以輕易地產生具高度自我代表性或識別性的虛擬人偶或公仔，增加網路世界或虛擬情境的使用情趣。

【0006】

本發明之目的為提供一種三維頭像產生系統及其通訊裝置、產生方法，透過素體與使用者之臉部相關資料的結合，產生相似度高的三維頭像，且因為素體是預先儲存於使用者的裝置內，而臉部相關資料是接收而得，並不需要由裝置自行處理，所以有助於降低處理時間與裝置的硬體門檻。一旦具有非常相像的三維頭像後，使用者可以輕易地產生具高度自我代表性或識別性的虛擬人偶或公仔，增加網路世界或虛擬情境的使用情趣。

【0007】

在本發明中，所稱之頭像並非必要包括生物學或生理學上的整個人體頭部，而是至少包括到面部即可。換言之，本發明產生之三維頭像主要是產生三維的臉部，而不以要產生包括之頭髮或後腦等不會因為不同人而產生顯著差異之位置為限制。

【0008】

為達上述目的，依據本發明的一種三維頭像產生系統包括一伺服器以及至少一通訊裝置。通訊裝置與伺服器通訊連接，並預先儲存來自於伺服器之一素體資料。伺服器傳送一臉部特徵資料以及一臉部模型資料至通訊裝置。通訊裝置依據臉部特徵資料以及臉部模型資料調整素體資料，通訊裝置依據臉部模型資料以及調整後之素體資料產生一三維頭像。

【0009】

為達上述目的，依據本發明的一種三維頭像產生裝置。三維頭像產生裝置包括一傳輸單元、一儲存單元以及一處理單元。儲存單元預先儲存一素體資料。處理單元分別與傳輸單元以及儲存單元電性連接。處理單元依據臉部特徵資料以及臉部模型資料調整素體資料，並依據臉部模型資料以及調整後之素體資料產生一三維頭像。

【0010】

為達上述目的，依據本發明的一種三維頭像產生方法。此三維頭像產生方法係應用於一伺服器與至少一通訊裝置，通訊裝置與伺服器通訊連接。三維頭像產生方法包括以下步驟：以通訊裝置預先儲存來自於伺服器之一素體資料；以伺服器傳送一臉部特徵資料以及一臉部模型資料至通訊裝置；以通訊裝置依據臉部特徵資料以及臉部模型資料調整素體資料；以及以通訊裝置依據臉部模型資料以及調整後之素體資料產生一三維頭像。

【0011】

在一實施例中，素體資料係來自於一伺服器。

【0012】

在一實施例中，臉部特徵資料或臉部模型資料係由一伺服器依據一平面頭像所得，且平面頭像係與三維頭像對應。

【0013】

在一實施例中，臉部特徵資料包括複數個臉部特徵點，素體資料包括至少一特徵區，特徵區包括複數個特徵區特徵點，複數個臉部特徵點與複數個特徵區特徵點係個別對應，處理單元依據複數個臉部特徵點調整複數個特徵區特徵點之空間座標。

【0014】

在一實施例中，臉部模型資料包括複數個臉部對位點，素體資料包括複數個素體對位點，複數個臉部對位點與複數個素體對位點係個別對應，以供處理單元結合臉部模型資料與素體資料。

【0015】

在一實施例中，處理單元係依據臉部模型資料改變素體資料之一部分之空間座標。

【0045】

1‧‧‧三維頭像產生系統
2‧‧‧通訊裝置
3‧‧‧伺服器
21、31‧‧‧傳輸單元
22、32‧‧‧儲存單元
23、33‧‧‧處理單元
24‧‧‧顯示單元
4‧‧‧特徵區
41‧‧‧特徵區特徵點
5‧‧‧平面頭像
51‧‧‧臉部特徵點
6‧‧‧臉部模型資料
61‧‧‧臉部對位點
71‧‧‧素體對位點
S1～S4‧‧‧步驟

【0016】

圖1為本發明三維頭像產生系統之一實施例的系統架構示意圖。
圖2為本發明實施例中所示之通訊裝置顯示素體資料時的示意圖。
圖3為圖2所示之素體並標誌特徵點後的示意圖。
圖4為本發明實施例中從平面頭像中擷取臉部特徵點之結果的示意圖。
圖5為本實施例中臉部模型資料的示意圖。
圖6為依據本發明實施例進行素體資料調整時的示意圖。
圖7為依據本發明實施例進行臉部模型與素體對位結合的示意圖。
圖8為依據本發明實施例之三維頭像產生方法的步驟流程圖。

【0017】

以下將參照相關圖式，說明本發明較佳實施例的三維頭像產生系統及其通訊裝置、產生方法。

【0018】

圖1為本發明三維頭像產生系統之一實施例的系統架構示意圖，如圖1所示，本實施例的三維頭像產生系統1包括至少一通訊裝置2以及一伺服器3，較佳是可以同時包括多數個通訊裝置2，以供多數個使用者同時操作。

【0019】

通訊裝置2可以為智慧型手機、平板電腦、行動數位助理、具聯網功能之攝錄影機、穿戴式裝置、桌上型電腦、筆記型電腦或任何具有聯網功能之裝置。在本實施例中，通訊裝置2係以智慧型手機為例說明，並以無線通訊的方式，透過網際網路與伺服器3通訊連接。但在其他實施例中，通訊裝置2也可以是在固定地點操作的筆記型電腦或桌上型電腦。

【0020】

伺服器3包括一傳輸單元31、一儲存單元32以及一或多個處理單元33，儲存單元32與傳輸單元31分別與處理單元33通訊連接。在以下所舉之實施例中，伺服器3係透過處理單元33進行運算與處理，透過傳輸單元31進行資料傳輸，以及透過儲存單元32儲存相關的資料。

【0021】

通訊裝置2包括一傳輸單元21、一儲存單元22、一處理單元23以及一顯示單元24。傳輸單元21、儲存單元22以及顯示單元24分別與處理單元23電性連接。

【0022】

使用者可以先利用通訊裝置2之傳輸單元21接收來自於伺服器3中的應用程式（APP），並將應用程式儲存至儲存單元22。由於該應用程式中包括有一素體資料（doll data），所以在下載該應用程式的同時，通訊裝置2亦下載了素體資料。換言之，在執行應用程式之前，素體資料已經預先被儲存於通訊裝置2之儲存單元22。素體係指具有部分人體形框或輪廓的模型，例如頭部模型，或本實施例之全身模型，圖2為本發明實施例中所示之通訊裝置顯示素體資料的頭部部分時的示意圖。

【0023】

在本實施例中，素體資料經通訊裝置2開啟後，可於顯示單元24上顯示出一個三維人形影像，且該三維影像至少包括一臉部。如圖2所示，素體資料包括完整的頭部、軀幹與四肢，頭部正面為臉部，臉部上具有眉毛、眼耳鼻口等五官。素體資料之建立可以由伺服器3下載包括臉部數據之人體數據資料，透過三維建模的方式來達成。

【0024】

圖3為圖2所示之素體並標誌特徵點後的示意圖。請參考圖3，本實施例之素體資料在建立時，定義眉毛、五官與臉型為特徵區4，每一個特徵區4內具有複數個特徵區特徵點41。以眼睛為例，特徵區特徵點41是依據眼睛周圍輪廓排列，換言之，眼睛特徵區4內的特徵區特徵點41排列出眼睛的輪廓外型。每一個特徵區特徵點41的空間座標位置分別被記錄在素體資料中。其中，空間座標位置產生的方法可以是以臉部的中心點為參考座標，計算出每一特徵區特徵點41的相對空間座標。此外，每一特徵區特徵點41具有各自的註冊編號，在本實施例中共有八十七個特徵區特徵點41，分布於例如但不限於眉毛、眼睛、鼻子、嘴巴、耳朵等特徵區4內，所以編號依序由一號編號至八十七號，以作為各點之間的識別方式。惟須說明的是，為避免圖面過於繁雜有礙理解，圖3中並未將八十七個特徵區特徵點41悉數標出。

【0025】

本實施例圖2及圖3所示，透過通訊裝置2顯示素體資料非為產生三維頭像之必要步驟，也就是素體資料儲存後不一定要顯示出來，亦可以單純儲存於儲存單元22內，供後續使用。

【0026】

當使用者希望建立一個三維頭像時，可以啟動通訊裝置2內之應用程式，並上傳一張影像至伺服器3。伺服器3接收到該影像後會對其進行分析。在本實施例中，使用者可以利用通訊裝置2拍攝一張自己的平面頭像，也就是具有臉部影像的照片，上傳至伺服器3進行分析。當然，在其他實施例中，也可以使用已儲存在通訊裝置2或任何其他地方的照片或影像替代。

【0027】

當平面頭像傳送至伺服器3後，伺服器3之處理單元33可以依據演算法或軟體程式辨識平面頭像內的臉部特徵，以形成一臉部特徵資料。具體來說，處理單元33可以依據與影像辨識有關的演算法或軟體程式辨識平面頭像，以區別其中例如但不限於眉毛、五官以及臉型等具臉部特徵代表性的特定區域，再以複數個點排列出該些區域的輪廓。接著，伺服器3擷取該些點為臉部特徵點，再將該些臉部特徵點組成或再與其他內容共同組成臉部特徵資料，便取得了臉部的特徵。圖4為本實施例中從平面頭像中擷取臉部特徵點之結果的示意圖。請參考圖4，本實施例係以主動外觀模型演算法（Active Appearance Model，簡稱AAM）分析平面頭像5，並取得總共八十七個臉部特徵點51。此八十七個臉部特徵點51也具有註冊編號，且是與素體資料之特徵區特徵點41相對應，以供將來進行調整素體臉部特徵使用。為避免圖面過於繁雜有礙理解，圖4中同樣未將八十七個臉部特徵點51悉數標出。

【0028】

當然，為提升主動外觀模型演算法的功效，在使用之前亦可以先經過一組或一組以上的參考影像進行訓練。此外，為更進一步改善主動外觀模型演算法，在擷取臉部特徵點51的過程中，亦可以同時搭配模型預測，以及YCbCr色彩空間中膚色範圍差異化之處理。

【0029】

同時，伺服器3之處理單元33還會依據圖4所示之平面頭像5進行辨識，以產生一個臉部模型資料。伺服器3的儲存單元32中可以儲存大量的臉部模型，惟各模型之間略有差異。伺服器3之處理單元33可依據上述擷取到之臉部特徵點51之集合的幾何中心位置為參考標準，將臉部特徵點51之集合劃分成一個座標系，並依據中心位置與各臉部特徵點51之距離與夾角進行相似度運算，從而於臉部模型資料庫中找出相似度較高者。請參考圖5，其為依據本實施例之方式選擇出來之臉部模型的示意圖。

【0030】

臉部模型資料6包括複數個臉部對位點61。臉部對位點61係預設於各臉部模型資料中，且實質上臉部對位點61的排列會形成臉部模型的輪廓，如圖5所示。

【0031】

伺服器3會透過傳輸單元31將臉部特徵資料以及臉部模型資料傳送至通訊裝置2。當通訊裝置2以傳輸單元21接收該二資料後，通訊裝置2會以處理單元23進行以下動作。圖6為依據本發明實施例進行素體資料調整時的示意圖。請參考圖6，首先，處理單元23會利用臉部特徵資料中臉部特徵點51與素體資料中特徵區特徵點41之間的註冊編號關係，依據各個臉部特徵點51的空間座標，分別修改各個特徵區特徵點41的空間座標，結果會改變特徵區特徵點41的排列，從而使得素體資料被顯示時的像素位置發生變化，讓素體的臉部，例如但不限於五官相對位置、表情等，看起來近似平面頭像5的臉部。在本實施例的一個態樣中，處理單元23是先計算註冊編號相同之臉部特徵點51與特徵區特徵點41之間的空間座標差異，再利用徑向基底函數（Radial basis function，RBF）網路此種類似類神經網路的軟體系統將差異用於修正素體資料，使得素體的臉部可以呈現出非常接近平面頭像5的樣貌。

【0032】

圖7為依據本實施例進行臉部模型與素體對位結合的示意圖。請同時參考圖7與圖3，因為臉部對位點61具有各自的註冊編號，另外相對的，儲存於通訊裝置2內之素體資料也具有素體對位點71且同樣具有註冊編號，因此處理單元23可依據二者對位點之間的註冊編號關係，將臉部模型與素體結合。上述步驟類似在素體上「貼臉皮」，也就是將挑選出來具有近似平面頭像5臉型特徵的臉部模型貼到素體上，讓素體具有平面頭像5之臉型特徵，例如但不限於臉型寬窄、下巴尖闊等。

【0033】

然而，因為素體的臉型是預設的標準臉型，當臉部模型與素體結合後必然會有存在差異。舉例來說，當平面頭像5是屬於窄臉尖下巴時，臉部模型也是窄臉尖下巴，若將此種臉部模型貼在素體上，顯示出來的三維頭像會在兩頰處發生素體凸出，但是下巴處臉部模型與素體間存有空隙的問題。此時，處理單元23需再依據臉部模型的臉部對位點61調整素體的素體對位點71。在本實施例中，處理單元23之調整是改變素體對位點71之空間座標，連帶使得素體資料被顯示時的像素位置發生變化，從而使得臉部模型與素體共同顯示時，二者之間不會有素體凸出，或臉部模型與素體間有空隙的問題。因為調整素體對位點71的空間座標可使素體對位點71向幾何中心位置靠攏或遠離，顯示出來的效果如同素體被移除或增加了一部分。

【0034】

接著，處理單元23會將經過臉部特徵資料與臉部模型資料調整好的素體資料，與臉部模型資料共同顯示於顯示單元24，即可產生與平面頭像5對應之三維頭像。再進一步說明，也就是顯示的三維頭像中，五官、眉毛等是來自於被臉部特徵資料調整過後的素體資料，而包覆臉部的臉皮部分是來自於臉部模型資料。在顯示的三維頭像中，可以由處理單元23將調整過後的素體資料以及臉部模型資料再進一步的結合，以依據結合後的單一資料再顯示；另外，當然也可以分開二份資料的形式，而由處理單元23個別顯示，並透過對位點維持適當的相對位置來顯示，本發明在此不限。

【0035】

當然，上述二個調整素體資料之步驟並無固定之執行先後順序，也就是先以臉部模型資料調整素體資料臉型，再以臉部特徵資料調整素體五官等亦無不可。

【0036】

在本發明其他實施例中，素體資料也可以僅有上半身、頭部，甚至只有臉部，端視使用者希望產生之三維人形影像要包括除了臉部以外多少部分。

【0037】

在本發明其他實施例中，通訊裝置2之處理單元23可以在三維頭像產生之後，另外對三維頭像進行貼圖，以使三維頭像具有頭髮、眼鏡、鬍子或甚至其他服飾配件。貼圖同樣可以透過對位點輔助的方式來達成。具體來說，三維頭像可以具有頭髮的對位點，而使用者選擇的頭髮模組上也具有對位點，將二個對位點在空間中貼合，也就是使其空間座標相同，即可以使頭髮模組與三維頭像結合。當然，其他如眼鏡、鬍子等部分的貼圖亦可以照此方式進行。

【0038】

在本發明其他實施例中，產生的三維頭像可以再與設定的背景結合，以虛擬出使用者的人偶或公仔在任何地方或環境的感覺；又或者，三維頭像可以作為資料送去進行三維列印，以產出實體人偶；又或者三維頭像還可以作成電子卡片或貼紙，本發明在此不限。

【0039】

又在本發明其他實施例中，平面頭像上傳至伺服器後，伺服器可先對平面頭像進行降噪（noise reduction）或美膚（skin beautifier）處理，以使得後續辨識更為精確，或者是產生出來的三維頭像更為明亮好看。

【0040】

本發明另揭露一種三維頭像產生裝置。三維頭像產生裝置包括一傳輸單元、一儲存單元以及一處理單元。儲存單元預先儲存一素體資料。處理單元分別與傳輸單元以及儲存單元電性連接。處理單元依據臉部特徵資料以及臉部模型資料調整素體資料，並依據臉部模型資料以及調整後之素體資料產生一三維頭像。然而，本三維頭像產生裝置之技術內容與實施細節均與前述三維頭像系統的通訊裝置大致相同，可參考前述，於此不再贅述。

【0041】

圖8為依據本發明一實施例之三維頭像產生方法之步驟流程圖。請參考圖8，本發明另揭露一種三維頭像產生方法。此三維頭像產生方法係應用於一伺服器與至少一通訊裝置，通訊裝置與伺服器通訊連接。三維頭像產生方法包括以下步驟：以通訊裝置預先儲存來自於伺服器之一素體資料（S1）；以伺服器傳送一臉部特徵資料以及一臉部模型資料至通訊裝置（S2）；以通訊裝置依據臉部特徵資料以及臉部模型資料調整素體資料（S3）；以及以通訊裝置依據臉部模型資料以及調整後之素體資料產生一三維頭像（S4）。然而，本產生方法之技術內容與實施細節均與前述三維頭像產生系統所執行之技術內容與實施細節大致相同，可參考前述，於此不再贅述。

【0042】

綜上所述，利用遠端或雲端處理來取得產生三維頭像必會面臨資料量過大傳輸困難，導致產生速度過慢的問題，但是依據本發明之三維頭像產生系統及其通訊裝置、產生方法，透過預先在通訊裝置中儲存素體資料，再接收臉部特徵資料以及臉部模型資料進行調整，從而產生三維頭像，可以避免龐大的三維素體資料影響傳輸速度，從而提升三維頭像的產生效率。更進一步來說，透過本發明可以平衡本地端硬體資源不足無法高速處理三維資料，以及遠端或雲端處理資料傳輸量過大的問題，讓虛擬人偶或公仔可更容易被推廣應用在不同面向。

【0043】

相對於將三維頭像之產生完全交給通訊裝置或伺服器處理的形式來說，本發明提供更有效率的硬體資源運用。另外，雖然素體資料的下載較花費時間，但是使用者較容易認同第一次下載應用程式（APP）安裝的時間較長，而非要想要使用應用程式時卻還要花時間等，符合消費者的心態。

【0044】

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

 

1‧‧‧三維頭像產生系統

2‧‧‧通訊裝置

21、31‧‧‧傳輸單元

22、32‧‧‧儲存單元

23、33‧‧‧處理單元

3‧‧‧伺服器

Claims (12)

1. 【第1項】

   一種三維頭像產生裝置，包括：
   　　一傳輸單元；
   　　一儲存單元，預先儲存一素體資料；以及
   　　一處理單元，分別與該傳輸單元以及該儲存單元電性連接，
   　　其中，該傳輸單元接收一臉部特徵資料以及一臉部模型資料，該處理單元依據該臉部特徵資料以及該臉部模型資料調整該素體資料，並依據該臉部模型資料以及調整後之該素體資料產生一三維頭像。
2. 【第2項】

   如申請專利範圍第1項所述之三維頭像產生裝置，其中該素體資料係來自於一伺服器。
3. 【第3項】

   如申請專利範圍第1項所述之三維頭像產生裝置，其中該臉部特徵資料或該臉部模型資料係由一伺服器依據一平面頭像所得，且該平面頭像係與該三維頭像對應。
4. 【第4項】

   如申請專利範圍第1項所述之三維頭像產生裝置，其中該臉部特徵資料包括複數個臉部特徵點，該素體資料包括至少一特徵區，該特徵區包括複數個特徵區特徵點，該複數個臉部特徵點與該複數個特徵區特徵點係個別對應，該處理單元依據該複數個臉部特徵點調整該複數個特徵區特徵點之空間座標。
5. 【第5項】

   如申請專利範圍第1項所述之三維頭像產生裝置，其中該臉部模型資料包括複數個臉部對位點，該素體資料包括複數個素體對位點，該複數個臉部對位點與該複數個素體對位點係個別對應，以供該處理單元結合該臉部模型資料與該素體資料。
6. 【第6項】

   如申請專利範圍第1項所述之三維頭像產生裝置，其中該處理單元係依據該臉部模型資料改變該素體資料之一部分之空間座標。
7. 【第7項】

   一種三維頭像產生系統，包括：
   　　一伺服器；以及
   　　至少一通訊裝置，與該伺服器通訊連接，並預先儲存來自於該伺服器之一素體資料，該伺服器傳送一臉部特徵資料以及一臉部模型資料至該通訊裝置，該通訊裝置依據該臉部特徵資料以及該臉部模型資料調整該素體資料，該通訊裝置依據該臉部模型資料以及調整後之該素體資料產生一三維頭像。
8. 【第8項】

   如申請專利範圍第7項所述之三維頭像產生系統，其中該臉部特徵資料或該臉部模型資料係由該伺服器依據一平面頭像所得，且該平面頭像係與該三維頭像對應。
9. 【第9項】

   如申請專利範圍第7項所述之三維頭像產生系統，其中該臉部特徵資料包括複數個臉部特徵點，該素體資料包括至少一特徵區，該特徵區包括複數個特徵區特徵點，該複數個臉部特徵點與該複數個特徵區特徵點係個別對應，該通訊裝置依據該複數個臉部特徵點調整該複數個特徵區特徵點之空間座標。
10. 【第10項】

    如申請專利範圍第7項所述之三維頭像產生系統，其中該臉部模型資料包括複數個臉部對位點，該素體資料包括複數個素體對位點，該複數個臉部對位點與該複數個素體對位點係個別對應，以供該通訊裝置結合該臉部模型資料與該素體資料。
11. 【第11項】

    如申請專利範圍第7項所述之三維頭像產生系統，其中該通訊裝置係依據該臉部模型資料改變該素體資料之一部分之空間座標。
12. 【第12項】

    一種三維頭像產生方法，其係應用於一伺服器與至少一通訊裝置，該通訊裝置與該伺服器通訊連接，該三維頭像產生方法包括以下步驟：
    　　以該通訊裝置預先儲存來自於該伺服器之一素體資料；
    　　以該伺服器傳送一臉部特徵資料以及一臉部模型資料至該通訊裝置；
    　　以該通訊裝置依據該臉部特徵資料以及該臉部模型資料調整該素體資料；以及
    　　以該通訊裝置依據該臉部模型資料以及調整後之該素體資料產生一三維頭像。