TWI684918B

TWI684918B - 臉部辨識系統以及加強臉部辨識方法

Info

Publication number: TWI684918B
Application number: TW107119908A
Authority: TW
Inventors: 曾羽鴻
Original assignee: 和碩聯合科技股份有限公司
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2020-02-11
Also published as: CN110580435B; CN110580435A; US11301669B2; US20190377934A1; TW202001675A

Abstract

本發明提供臉部辨識系統以及加強臉部辨識方法。加強臉部辨識方法包括：接收臉部影像，並從特徵擷取模型取得臉部影像的特徵；註冊臉部影像，以將臉部影像的特徵設定為第一識別特徵；依據至少一第一調整參數對臉部影像進行合成操作以產生合成影像，並從特徵擷取模型取得合成影像的特徵；比較第一識別特徵以及合成影像的特徵，以取得特徵相似度；比較特徵相似度與閥值以獲得比較結果；以及當比較結果指示特徵相似度小於或等於閥值時註冊合成影像。

Description

臉部辨識系統以及加強臉部辨識方法

本發明是有關於一種臉部辨識系統以及加強臉部辨識方法，且特別是有關於一種可提高辨識成功率的臉部辨識裝置以及加強臉部辨識方法。

隨著科技的進步，加強臉部辨識方法已經成為使用者的身分識別的主要方法之一。為提高臉部辨識的成功率，現行方式是訓練更深的類神經網路，並且使用更多的訓練資料。然而，這樣的方法會增加執行辨識的時間以及增加類神經網路的運算負擔。而另一方法則是對使用者接收更多不同的臉部影像來建立樣本，以提高臉部辨識的成功率，然而，這樣的方法會使使用者有較為不好的使用體驗。

本發明提供一種臉部辨識系統以及加強臉部辨識方法，可提高臉部辨識的成功率，並且可維持較佳的使用體驗。

本發明的加強臉部辨識方法包括：接收臉部影像，並從特徵擷取模型取得臉部影像的特徵；註冊臉部影像，以將臉部影像的特徵設定為第一識別特徵；依據至少一第一調整參數對臉部影像進行合成操作以產生合成影像，並從特徵擷取模型取得合成影像的特徵；比較第一識別特徵以及合成影像的特徵，以取得特徵相似度；比較特徵相似度與閥值以獲得比較結果，閥值根據臉部辨識誤報率所產生；以及當比較結果指示特徵相似度小於或等於閥值時，註冊合成影像。

本發明的臉部辨識系統包括影像擷取裝置、特徵擷取模型以及影像處理單元。影像擷取裝置用以擷取臉部影像。特徵擷取模型耦接於影像擷取裝置。特徵擷取模型用以接收臉部影像，取得臉部影像的特徵。影像處理單元耦接於影像擷取裝置及特徵擷取模型。影像處理單元用以：註冊臉部影像；以將臉部影像的特徵設定為第一識別特徵；依據至少一第一調整參數對臉部影像進行合成操作以產生合成影像，並從特徵擷取模型取得合成影像的特徵；比較第一識別特徵以及合成影像的特徵，以取得特徵相似度；比較特徵相似度與閥值以獲得比較結果，閥值是根據臉部辨識誤報率所產生；以及當比較結果指示特徵相似度小於或等於閥值時，註冊合成影像。

基於上述，本發明的臉部辨識系統及加強臉部辨識方法是依據臉部影像的第一識別特徵以及產生合成影像，並依據合成影像的特徵與第一識別特徵的比較結果來取得特徵相似度。接下來依據特徵相似度與臉部辨識誤報率所產生的閥值得比較結果來決定是否註冊合成影像以新增合成影像的特徵。新增的合成影像的特徵可用以提高臉部辨識的成功率，並且可維持較佳的使用體驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參考圖1，圖1是依據本發明一實施例所繪示的臉部辨識系統的示意圖。在圖1的實施例中，臉部辨識系統100包括一影像擷取裝置110、一影像處理單元120、一儲存裝置130以及一特徵擷取模型140。影像擷取裝置110用以擷取臉部影像FA。影像擷取裝置110可以是工業用攝像機、紅外線攝像機、彩色攝像機等攝像裝置。特徵擷取模型140可例如是類神經網路（neural network）所建立的人臉辨識模型，其耦接於影像擷取裝置110，用以接收臉部影像FA以產生臉部影像FA的特徵。本發明實施例中，特徵擷取模型140可整合於影像處理單元120中或整合於一雲端伺服器中；以及臉部影像FA的特徵可以是512維的向量。影像處理單元120耦接於影像擷取裝置110及特徵擷取模型140，用以從影像擷取裝置110接收臉部影像FA及從特徵擷取模型140取得臉部影像FA的特徵，並對臉部影像FA進行註冊，以將臉部影像FA的特徵設定為一第一識別特徵FFA。影像處理單元120對臉部影像FA進行合成操作以產生合成影像S1，並將合成影像S1傳送至特徵擷取模型140。特徵擷取模型140接收到合成影像S1後，產生合成影像S1的特徵。影像處理單元120再從特徵擷取模型140取得合成影像S1的特徵。接下來，影像處理單元120比較第一識別特徵FFA以及合成影像S1的特徵，藉以判斷是否將註冊新增的合成影像S1。影像處理單元120可以是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微影像處理單元（Microprocessor）、數位訊號影像處理單元（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其可載入並執行電腦程式，以完成對應的操作功能。儲存裝置130耦接於影像處理單元120，用以儲存註冊時的臉部影像FA以及儲存對應於臉部影像FA的第一識別特徵FFA。儲存裝置130可以是任何型態的固定或可移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。

請同時參考圖1以及圖2，圖2是依據本發明一實施例所繪示的加強臉部辨識方法的方法流程圖。在圖1以及圖2的實施例中，如步驟S210所述：從影像擷取裝置110接收臉部影像FA，並從特徵擷取模型140取得臉部影像FA的特徵。詳細來說，影像擷取裝置110以及特徵擷取模型140從影像擷取裝置110接收臉部影像FA後，特徵擷取模型140產生臉部影像FA的特徵。影像處理單元120再從特徵擷取模型140取得臉部影像FA的特徵。

如步驟S220所述：影像處理單元120註冊臉部影像FA，以將臉部影像FA的特徵設定為第一識別特徵FFA。在步驟S210中，影像擷取裝置110擷取臉部影像FA，並將臉部影像FA提供到影像處理單元120。在步驟S220中，影像處理單元120在接收到臉部影像FA後，註冊臉部影像FA。本發明實施例中，當使用者欲對臉部辨識系統100進行註冊手續時，影像擷取裝置110先對使用者進行攝影，藉以取得使用者的臉部影像FA。並且，在進行註冊手續時，影像處理單元120將臉部影像FA的特徵設定為第一識別特徵FFA。

如步驟S230所述：依據至少一調整參數對臉部影像FA進行合成操作以產生合成影像S1，並從特徵擷取模型140取得合成影像S1的特徵。舉例來說，上述至少一調整參數可以是被預設在影像處理單元120中。另外，影像處理單元120可藉由隨機方式、蒙地卡羅（Monte Carlo）演算法以及遺傳演算法（Genetic Algorithm）的至少其中之一來建立上述至少一調整參數。

在本發明的一實施例中，調整參數可以是用以改變臉部影像FA的對比度的參數。舉例來說，影像處理單元120可依據調整參數將臉部影像FA的對比度提高1%~60%或降低1%~60%以產生合成影像S1。在本發明另一實施例中，調整參數可以是用以改變臉部影像FA的亮度的參數。舉例來說，影像處理單元120可依據調整參數將臉部影像FA的亮度提高1%~40%或降低1%~40%以產生合成影像S1。在本發明另一實施例中，調整參數可以是用以模擬改變臉部影像FA的旋轉角度的參數。舉例來說，影像處理單元120可依據調整參數將臉部影像FA右轉1~45度或左轉1~45度以產生合成影像S1。在本發明其他實施例中，調整參數也可以是遮蔽影像。遮蔽影像例如是各種形式的眼鏡影像、頭髮影像、鬍鬚影像以及口罩影像的其中之一或者是上述眼鏡影像、頭髮影像、鬍鬚影像以及口罩影像的任意組合。舉例來說，影像處理單元120可依據調整參數將遮蔽影像覆蓋在臉部影像FA的部分區域以產生合成影像S1。

在本實施例中，影像處理單元120可依據多個調整參數同時對臉部影像FA進行合成操作。舉例來說，影像處理單元120可依據多個調整參數將臉部影像FA的對比度降低30%、模擬臉部影像FA向左轉30度並且將口罩影像在臉部影像FA的部分區域，藉以產生合成影像S1。

應注意的是，調整參數有調整上的限制，藉以防止合成影像S1發生失真。承上例，對比度的調整上限例如是，提高/降低60%；亮度的調整上限例如是，提高/降低40%；模擬旋轉角度的調整上限例如是，右轉/左轉45度；而遮蔽影像覆蓋在臉部影像FA上的覆蓋比例上限例如是40%。

在本實施例中，合成影像S1可用以模擬使用者在各種情境下的臉部特徵。例如是模擬使用者在不同燈光條件（例如是燈光亮度不足）的情境下，或例如是臉部發生偏轉的情境下，又或者例如是使用者配戴眼鏡、口罩或蓄鬍等狀態下。

在此值得一提的是，影像處理單元120可對單一臉部影像FA進行合成操作以產生多個合成影像（包括合成影像S1）。因此使用者可以僅僅對臉部辨識系統100提供單一臉部影像FA即可產生使用者在各種情境下的多個合成影像。

影像處理單元120產生合成影像S1之後，影像處理單元120將合成影像S1傳送到特徵擷取模型140，當特徵擷取模型140產生合成影像S1的特徵後，影像處理單元120從特徵擷取模型140取得合成影像S1的特徵。

如步驟S240所述：比較第一識別特徵FFA以及合成影像S1的特徵，以取得特徵相似度。在步驟S240中，影像處理單元120對第一識別特徵FFA以及合成影像S1的特徵進行比較以取得第一識別特徵FFA以及合成影像S1的特徵之間的特徵相似度。影像處理單元120在步驟S240中可比對第一識別特徵FFA與合成影像S1的特徵。當第一識別特徵FFA與合成影像S1的特徵越相似，則特徵相似度越高。反之，當第一識別特徵FFA與合成影像S1的特徵越不相似，則特徵相似度越低。特徵相似度的數值範圍可以是從「-1」到「1」。舉例來說，當特徵相似度是「1」時，表示第一識別特徵FFA與合成影像S1的特徵是完全相同。當特徵相似度是「-1」時，表示第一識別特徵FFA與合成影像S1的特徵是完全不相同。

如步驟S250所述：比較特徵相似度與閥值以獲得比較結果。在步驟S250中，影像處理單元120在取得特徵相似度後，會比較特徵相似度與閥值，藉以獲得比較結果。在本發明實施例中，特徵相似度的閥值是由極低的臉部辨識誤報率（趨近於零）所定義。舉例來說，特徵相似度是「0.7」時具有極低或趨近於0的臉部辨識誤報率（例如是低於0.01%），則「0.7」被定義為閥值。

如步驟S260所述：比較結果指示特徵相似度是否小於或等於閥值。也就是說，影像處理單元120可依據特徵相似度與閥值的比較結果來判斷已註冊的臉部影像FA與合成影像S1是否相似。當影像處理單元120判斷特徵相似度低於閥值時，這表示已註冊的臉部影像FA與合成影像S1並不相似。相反的，當影像處理單元120判斷特徵相似度高於閥值時，這表示已註冊的臉部影像FA與合成影像S1相似。在步驟S260中，如果比較結果指示出特徵相似度小於或等於閥值，則進入步驟S270。在步驟S270中，影像處理單元120註冊合成影像S1，並且將合成影像S1的特徵設定為第二識別特徵FS1。也就是說，當此註冊的臉部影像FA與合成影像S1並不相似時，本發明實施例將不相似的合成影像S1的特徵設定為第二識別特徵FS1，可加強使用者在不同情境下通過臉部辨識的機率。因此，臉部辨識系統100可藉由第一識別特徵FFA以及第二識別特徵FS1對使用者進行臉部辨識。另外，儲存裝置130可儲存第二識別特徵FS1。

在習知技術中，在特徵相似度小於或等於閥值的情況下，影像處理單元120會判斷第一識別特徵FFA以及合成影像S1的特徵不是來自同一使用者，而導致臉部辨識失敗。也就是說，依據習知技術，使用者將在對應於合成影像S1的情境下將無法通過臉部辨識。舉例來說，使用者配戴眼鏡並且在燈光亮度不足的情境下進行臉部辨識可能發生失敗。然而習知技術中，同一使用者在不同情境下進行臉部辨識卻發生失敗，這是臉部辨識的錯誤結果。相較之下，在本發明的影像處理單元120會將特徵相似度小於或等於閥值的合成影像S1的特徵設定為第二識別特徵FS1，並且將第二識別特徵FS1儲存到儲存裝置130，以增加使用者的識別特徵。如此一來，使用者可透過本發明的臉部辨識系統100，在不同的情境下，通過臉部辨識，藉以提高臉部辨識的成功率。

在本實施例的步驟S270中，影像處理單元120完成註冊合成影像S1後，可進入步驟S280。

如步驟S280所述：更換至少一調整參數。在步驟S280中，影像處理單元120會使用一或多個新調整參數來取代上述的至少一調整參數，以產生更多的合成影像。在本實施例中，一或多個新調整參數除了可藉由隨機方式、蒙地卡羅（Monte Carlo）演算法以及遺傳演算法（Genetic Algorithm）的至少其中之一來建立之外，還可以依據原來的調整參數建立。舉例來說，原來的調整參數是將臉部影像FA的對比度提高30%。影像處理單元120可依據上述的調整參數進行調整以提高或減少對比度的調幅，以產生將臉部影像FA的對比度提高15%或60%的新調整參數。

影像處理單元120在步驟S280後，可回到步驟S230以依據一或多個新調整參數對臉部影像FA進行合成操作以產生另一合成影像，並從特徵擷取模型140取得新合成影像的特徵。隨後，影像處理單元120可執行步驟S230~S280來嘗試取得更多的識別特徵。

請回到步驟S260，如果比較結果指示出特徵相似度大於閥值時，影像處理單元120不會註冊合成影像S1，並且進入步驟S280。在比較結果指示出特徵相似度大於閥值的情況下，影像處理單元120在步驟S280中會將原來的調整參數更換為新的調整參數，藉以對臉部影像FA進行更大幅度的合成操作。舉例來說，影像處理單元120依據調整參數將臉部影像FA的對比度提高30%以產生合成影像S1。然而，影像處理單元120在步驟S260中判斷第一識別特徵FFA以及合成影像S1的特徵之間的特徵相似度大於閥值。影像處理單元120在步驟S280將上述的調整參數更換為一新調整參數，以將臉部影像FA的對比度提高60%。影像處理單元120在步驟S230可依據新調整參數，或者再增加其他調整參數以產生新的合成影像S2（未示出）並取得其特徵。如此一來，在步驟S240中，新的合成影像S2的特徵與第一識別特徵FFA之間會有較低的特徵相似度，藉以在步驟S250~S270中，影像處理單元120在特徵相似度小於或等於閥值的情況下註冊新的合成影像S2。

綜上所述，本發明的臉部辨識系統及加強臉部辨識方法是依據臉部影像產生多個合成影像，依據臉部影像的第一識別特徵以及合成影像的特徵取得特徵相似度，並依據特徵相似度與閥值的比較結果來決定是否將合成影像的特徵作為第二識別特徵。新增的第二識別特徵可用以提高臉部辨識的成功率，並且可維持較佳的使用體驗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：臉部辨識系統 110：影像擷取裝置 120：影像處理單元 130：儲存裝置 140：特徵擷取模型 FA：臉部影像 FFA：第一識別特徵 S1：合成影像 FS1：第二識別特徵 S210~S280：步驟

圖1是依據本發明一實施例所繪示的臉部辨識系統的示意圖。圖2是依據本發明一實施例所繪示的加強臉部辨識方法的方法流程圖。

S210~S280：步驟

Claims

一種加強臉部辨識方法，包括：接收一臉部影像，並從一特徵擷取模型取得該臉部影像的特徵；註冊該臉部影像，以將該臉部影像的特徵設定為一第一識別特徵；依據至少一第一調整參數對該臉部影像進行一合成操作以產生一合成影像，並從該特徵擷取模型取得該合成影像的特徵；比較該第一識別特徵以及該合成影像的特徵，以取得一特徵相似度；比較該特徵相似度與一閥值以獲得一比較結果，該閥值根據一臉部辨識誤報率所產生；以及當該比較結果指示該特徵相似度小於或等於該閥值時，註冊該合成影像。
如申請專利範圍第1項所述的加強臉部辨識方法，其中註冊該臉部影像包括：儲存該第一識別特徵及該臉部影像。
如申請專利範圍第1項所述的加強臉部辨識方法，其中該至少一第一調整參數是利用蒙地卡羅(Monte Carlo)演算法以及遺傳演算法(Genetic Algorithm)的至少其中之一所產生。
如申請專利範圍第1項所述的加強臉部辨識方法，其中該合成操作是依據該至少一第一調整參數改變該臉部影像的對比度、亮度以及模擬旋轉角度。
如申請專利範圍第1項所述的加強臉部辨識方法，其中該合成操作是依據該至少一第一調整參數將一遮蔽影像覆蓋在該臉部影像的部分區域。
如申請專利範圍第1項所述的加強臉部辨識方法，其中註冊該合成影像的步驟包括：將該合成影像的特徵設定為一第二識別特徵；以及儲存該第二識別特徵。
如申請專利範圍第1項所述的加強臉部辨識方法，另包括：當該比較結果指示該特徵相似度大於該閥值時，依據至少一第二調整參數對該臉部影像進行該合成操作，以產生一另一合成影像。
如申請專利範圍第1項所述的加強臉部辨識方法，其中該臉部辨識誤報率低於0.01%。
一種臉部辨識系統，包括：一影像擷取裝置，用以擷取一臉部影像；一特徵擷取模型，耦接於該影像擷取裝置，用以接收該臉部影像，取得該臉部影像的特徵；以及一影像處理單元，耦接於該影像擷取裝置及該特徵擷取模型，該影像處理單元用以：註冊該臉部影像，以將該臉部影像的特徵設定為一第一識別特徵；依據至少一第一調整參數對該臉部影像進行一合成操作以產生一合成影像，並從該特徵擷取模型取得該合成影像的特徵；比較該第一識別特徵以及該合成影像的特徵，以取得一特徵相似度；比較該特徵相似度與一閥值以獲得一比較結果，該閥值根據一臉部辨識誤報率所產生；以及當該比較結果指示該特徵相似度小於或等於該閥值時，註冊該合成影像。
如申請專利範圍第9項所述的臉部辨識系統，其中該臉部辨識系統還包括：一儲存裝置，耦接於該影像處理單元，該儲存裝置用以儲存該第一識別特徵及該臉部影像。
如申請專利範圍第9項所述的臉部辨識系統，其中該至少一第一調整參數是利用蒙地卡羅(Monte Carlo)演算法以及遺傳演算法(Genetic Algorithm)的至少其中之一所產生。
如申請專利範圍第9項所述的臉部辨識系統，其中該合成操作是依據該至少一第一調整參數改變該臉部影像的對比度、亮度、模擬旋轉角度。
如申請專利範圍第9項所述的臉部辨識系統，其中該合成操作是依據該至少一第一調整參數將一遮蔽影像覆蓋在該臉部影像的部分區域。
如申請專利範圍第10項所述的臉部辨識系統，其中該影像處理單元註冊該合成影像包含該影像處理單元將該合成影像的特徵設定為一第二識別特徵以及將該第二識別特徵儲存於該儲存裝置中。
如申請專利範圍第9項所述的臉部辨識系統，其中當該比較結果指示該特徵相似度大於該閥值時，該影像處理單元依據至少一第二調整參數對該臉部影像進行該合成操作，以產生一另一合成影像。
如申請專利範圍第9項所述的臉部辨識系統，其中該臉部辨識誤報率低於0.01%。
如申請專利範圍第9項所述的臉部辨識系統，其中該特徵擷取模型整合於該影像處理單元或整合於一雲端伺服器中。