TWI447658B

TWI447658B - 人臉影像擷取方法與裝置

Info

Publication number: TWI447658B
Application number: TW100109918A
Authority: TW
Inventors: Shian Wan; Yuan Shi Liao; Yea Shuan Huang; Shun Hsu Chuang
Original assignee: Ind Tech Res Inst
Priority date: 2010-03-24
Filing date: 2011-03-23
Publication date: 2014-08-01
Also published as: US20120169895A1; US8593523B2; TW201203134A

Description

人臉影像擷取方法與裝置

本發明是有關於一種人臉影像擷取方法與裝置。

隨著數位相機的不斷地推陳出新並日漸普及，進而成為現代人生活上不可或缺的工具之一。由於有別於傳統需要底片的相機，數位相機可以不斷地擷取影像，並且同步觀看取得的畫面。若是不滿意都可以隨時將檔案移除。一般來說，由於對著數位相機進行拍照的結果，往往無法完全地令使用者感到滿意，特別是對於小孩而言。為紀錄小孩成長過程中的點點滴滴，不論是歡笑的表情、痛哭的表情、甚至擠眉弄眼怪異的表情，都是父母願意留下的回憶。正因如此，使用者多半會以連拍的方式一次擷取數張影像畫面，接著再從這些影像畫面中選取出較為滿意的影像畫面。

然而，由使用者本身來進行影像畫面的選取動作不僅耗時費力，而且被拍照者通常因為面對著數位相機，反而表情僵硬不自然；又或者父母難以兼顧小孩又同時操作相機。因此，往往導致無法取得具有自然又豐富的表情變化，且值得留念的特殊表情照片。

在一實施例中，提供一種人臉影像擷取方法。在此方法中，接收依時間順序擷取的包括人臉的多張影像。而後，擷取所述影像中的人臉的區域特徵，並產生一目標特徵向量。對該目標特徵向量與一組特徵向量進行比較，其中該組特徵向量具有多個預先儲存的特徵向量，並據以產生一參數值，當此參數值高於一門檻值時，則選擇所述多張影像其中之一作為目標影像，並將目標影像所對應的目標特徵向量，加入此組特徵向量。繼而可對此目標影像進行辨識而得到一表情狀態，並根據此表情狀態對此影像進行歸類。

在一實施例中，提供一種人臉影像裝置，包括影像擷取單元、特徵點定位判斷單元、分析單元與分類單元。此影像擷取裝置用以依時間順序擷取包括人臉的多張影像。特徵點定位判斷單元接收依時間順序擷取的影像，並根據上述影像中的該些人臉的區域特徵，產生一目標特徵向量。分析單元接收目標特徵向量，其中此組特徵向量具有多個預先儲存的特徵向量，並據以產生一參數值，當參數值高於一門檻值時，則選擇此多張影像其中之一作為目標影像，並將目標影像所對應的目標特徵向量，加入此組特徵向量。分類單元則是對目標影像進行辨識而得到一表情狀態，並根據該表情狀態，對此目標影像進行歸類。

為讓本發明之上述特點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露內容提出一種影像擷取系統、方法與裝置，運用人臉辨識的技術，擷取使用者不同的表情變化。

為了使拍攝的人臉影像，具有其特殊性而值得留存，並能應用在各種目的(例如：異常表情記錄、人臉表情辨識等)，可採用下面所敘述的方法，來挑選出特殊影像。因此，底下本揭露內容所定義的特殊影像或指特殊表情的判斷，並非僅屬目前所提出笑臉判斷的方法，而是為了找出各類具有不同表情特徵的影像，而這類的特殊影像或具特殊表情的影像，為本揭露的系統、方法或裝置所要保存的影像。

從影像擷取裝置抓取影像後，每張影像會先經過影像定位程序加以定位，例如在一實施例中可以採用眼睛特徵點定位。要說明的是，為避免因為眼睛定位不準確或失誤造成位置偏差太大，導致所抓取影像為無效、不適於用以進行後續判斷，因此採取在每一時段內擷取多張連續影像來進行辨識，以降低因影像之特徵點定位不準確，而造成特殊影像誤判的風險。以下將進一步說明如何利用連續抓取的影像，取得一定張數的有效影像，來進行後續特殊表情的判斷。

在一實施例中，例如欲取得n張有效影像，並設定n=5。一開始連續擷取n張連續影像，此n張影像均先經過眼睛特徵點抽取，然後進行前後兩張影像彼此之間的特徵點位置判別，當後一張影像特徵點位置相較於前一張影像特徵點位置位移差異過大時，則判別為特徵點遺失、或抓取錯誤，因此捨棄後一張的影像並納入新一張影像。最後當累計至取得n張影像特徵點皆為正確時(亦即此批5張影像均為有效)，則選取中數(此組影像的中央影像，在此n=5，故中數表示取第3張影像)、或者以5張的特徵點平均(例如採用特徵點之特徵向量的算數平均)，來進行後續的特殊表情判斷。關於特徵點遺失、或抓取錯誤的判斷方式可用如圖1所示，以擷取之n張連續影像，用以判斷特徵點是否位移差異過大。圖1中以方塊表示連續擷取的影像P1～P7，依序將前後兩兩影像進行位移量計算與偏移判定，其計算與判定方式，例如在一實施例中，可採用下列式子來表示：

其中，curr _leye 和curr _reye 分別為目前影像左眼和右眼座標值，prev _leye 和prev _reye 分別表示前張影像左眼座標和右眼座標值，two _eye _avg 則是5張影像兩眼間的平均距離，d(x)為歐基里德距離(Euclidean Distance)。S1式中0.25為可調整的參數稱為第一偏移判定值(first deviation-determination value,FDDV)，S2式中0.25則為第二偏移判定值(second deviation-determination value,SDDV)。

當5張連續影像皆滿足上述條件(即S1與S2兩限制式)時，代表這批影像為有效的資料(valid data)，即可擷取其中一張影像(例如選取此組影像的中央影像、亦即第3張影像)、或者以5張影像的特徵點平均(例如採用特徵點之特徵向量的算數平均)，進行特殊表情判斷。

其中，歐基里德距離計算方式如下：

對二個向量X=[x1,x2]和Y=[y1,y2]而言，

上述採用眼睛特徵點定位僅為多個實施例其中之一，只要能降低定位不準確或失誤而造成特殊影像誤判風險的影像處理方法，皆屬本揭露內容的範疇。上述眼睛特徵點定位係採用5張影像與多個偏移判定值(deviation-determination value，DDV)，例如上述計算式S1與S2中，預先設定偏移判定值為相同並且為0.25，又例如上述採用歐基里德距離(Euclidean Distance)亦僅為多個實施例其中之一；在另一實施例中，亦可採用在多種模式下，不同的影像張數或不同的臨界值，例如標的物(被擷取相片的對象)高度移動狀態下，或是在移動緩慢的靜態下，可調整為不同的模式參數，皆屬本揭露內容的範疇之一。

當累計n張影像之特徵點經判定皆為正確時，則選取其中數進行特殊表情判斷，或是以5張的平均來進行特殊表情判斷。本揭露內容所提出多個實施例其中之一，提出一種特殊表情判斷方法實施例如下所述。對於人臉特徵的區域分佈，在一實施例中，請參照圖2所示。例如已選取某張影像後，在所選取的人臉影像200中，可分為多個區域，例如包括兩眼區域210與220、鼻子區域230與嘴巴區域240。當開始進行辨識時，對於所取得的影像會根據兩眼座標點，進行人臉區域的擷取，當擷取出人臉區域後，會取出影像上相對應多個區域的特徵(如亮度、紋理或投影量)，在此實施例中是採用4個區域。

上述左眼區域210、右眼區域220、鼻子區域230與嘴巴區域240會先經過特徵擷取，接著將此4個區域的特徵值串連起來形成一目標特徵向量，並輸入特徵記憶資料庫內進行特殊表情判斷。在特徵記憶資料庫中，此目標特徵向量會跟先前儲存的一組特徵向量(亦即含有特殊表情的特徵向量集)進行比對，當沒有任何相似的特徵向量存在時，則記錄該筆目標特徵向量，並且判斷該張輸入影像為特殊影像。上述特徵擷取的方法，在其他實施例中，可為上述4個區域的特徵值串連起來形成一目標特徵向量，亦可採用例如至少兩個或以上區域的特徵結合而取得此目標特徵向量，皆屬本揭露內容的範疇。又，當以5張影像的平均來進行特殊表情判斷時，則取5張影像的所有區域的特徵值之平均、再串連起來形成一目標特徵向量，進行後續的比對。

而對於本揭露內容其中之一實施例的特殊表情判斷方法，流程如圖3所示。步驟S310，接收一人臉影像的輸入。而後，進行步驟S320，進行臉部區域特徵擷取，例如根據兩眼座標點，進行人臉區域的擷取，當截取出人臉區域後，會取出影像上相對應多個區域的特徵(如亮度、紋理或投影量)。而後，如步驟S330，進行特殊表情的判斷。也就是根據產生的目標特徵向量與所儲存的特徵向量進行比對，先前儲存的特徵向量可存在特定設計的一分析單元中，例如是記憶體內的資料庫或是系統通用的記憶體內等皆可。而若是沒有任何相似的特徵向量存在時，則記錄該筆目標特徵向量，並且判斷該張輸入的選取影像為特殊影像。並將此特殊影像的目標特徵向量，加入所儲存的特徵向量，作為其中之一。

上述將目標特徵向量與先前儲存的特徵向量進行比對以進行特殊表情判斷的方式如下所述。假設：f ^left-eye 為左眼區域所擷取的特徵向量，其特徵維度為n ^left-eye ;f ^right-eye 為右眼區域所擷取的特徵向量，其特徵維度為n ^right-eye ;f ^nose 為鼻子區域所擷取的特徵向量，其特徵維度為n ^nose ;f ^mouth 為嘴巴區域所擷取的特徵向量，其特徵維度為n ^mouth ;f ^total 為左眼、右眼、鼻子和嘴巴等四個區域的串連特徵向量，其特徵維度為n ^total ;即

f ^total =f ^left-nose +f ^right-nose +f ^nose +f ^mouth ,且

n ^total =n ^left-nose +n ^right-nose +n ^nose +n ^mouth

Q ={f ₁ ^total ,f ₂ ^total ,…,f _q ^total }為已儲存的特殊表情特徵向量集，其中f _i ^total 為第i 張特殊表情之目標特徵向量，q 為已儲存的特殊表情數目，其中Q 在初始階段為空集合。

在一實施例中，每當累積取得了n張有效的(valid)人臉影像後，選取其中一張影像計算其目標特徵向量，然後分別計算和集合Q中每張特殊表情特徵向量的距離如以下參數值D (i)

其中為第i 張特殊影像之第j 個特徵量測值，而為選取影像之第j 個特徵量測值

當所有參數值D (i )都大於一預先設定的門檻值(Threshold)時，則執行以下步驟將此目標特徵向量加入特殊表情特徵向量集Q中：

q =q +1;

上述特殊表情判斷的步驟S330，是為了找出各類具有不同表情特徵的影像，而這類的特殊影像或具特殊表情的影像，為本揭露的系統、方法或裝置所要保存的影像。

在另一實施範例中，本揭露內容其中之一實施例的特殊表情判斷方法，更進一步包括表情辨識流程，如圖所示之步驟S340。

當系統需要進一步進行表情辨識，可以在當確定影像歸類為具有特殊表情的特殊影像時，再進行步驟S340的表情辨識流程。此表情辨識流程用以例如分辨各種不同的心情狀態的表情，例如生氣、恐懼、厭惡、高興、無表情、悲傷和驚訝等。表情辨識流程，在一實施例中，可使用辨識器，例如採用Hierarchical Temporal Memory(HTM)架構的辨識器。此方法是模擬人腦皮革組織(Neocortex)的運作，辨識器可以分辨數類表情，包括例如生氣、恐懼、厭惡、高興、無表情、悲傷和驚訝等。

本揭露內容所提出影像擷取系統，在多個實施例其中之一，請參照圖4A所繪示運用人臉辨識進行影像擷取的系統架構示意圖。此影像擷取系統400可包括一影像處理裝置402。

此影像處理裝置402可包括一影像擷取單元410、一特徵點定位判斷單元420以及一分析單元430、用以進行特殊表情判斷。此影像擷取單元410例如為數位相機、視訊攝影機Web Cam、網路攝影機IP Cam或是監視攝影機等影像擷取裝置其中之一。

影像擷取單元410對標的401進行影像擷取，連續擷取多張影像。而後，對每多張連續影像進行特徵點定位。對於這些連續影像是否有效而可以用於繼續進行後續的辨識，會先經過影像特徵點定位程序加以定位，確認是否需進行表情的辨識。例如採用前述的眼睛特徵點定位方式來進行影像特徵點定位判斷。其中，定位方式例如前述採用歐基里德距離(Euclidean Distance)公式，而計算一影像之左眼和右眼座標值，以及其前一張影像之左眼座標和右眼座標值，並計算這些多張影像兩眼間的平均距離後，根據一偏移判定值(例如前述0.25)判斷這批影像是否有效。若是，則擷取其中一張影像作為目標影像並傳遞到分析單元430進行特殊表情判斷。

而後，分析單元430會將欲進行表情辨識的目標影像，進行人臉特徵的區域分佈，例如根據所取得影像的兩眼座標點，進行人臉區域的擷取，當截取出人臉區域後，會取出影像上相對應多個區域的特徵(如亮度、紋理或投影量)。而後根據該些區域的特徵值串連起來形成一目標特徵向量。

在一選擇實施例中，如圖4B所示，為影像擷取系統架構的示意圖。此影像擷取系統400採用如圖4A所述的運用人臉辨識，並進行影像擷取的系統。此影像擷取系統400除了包括影像處理裝置402外，更包括儲存裝置460、經傳輸裝置462構成通連的遠端使用者470、或是顯示裝置464其中之一或其組合。

對於影像處理裝置402內所包括的影像擷取單元410、特徵點定位判斷單元420以及分析單元430、用以進行特殊表情判斷，已於圖4A加以描述，在此不再冗述。

而後，分析單元430讀取先前儲存在特殊表情資料庫440內所的一組特徵向量(亦即含有特殊表情的特徵向量集)，目標特徵向量會跟此組特徵向量進行比對，當沒有任何相似的特徵向量存在時，則記錄該筆目標特徵向量並儲存到特殊表情資料庫440中，並且判斷該張輸入影像為特殊影像。在此實施例中，將此特殊影像經傳輸管道433傳送給分類單元450以進行特殊表情分類。

用以進行特殊比情分類的分類單元450，在一實施例中，可使用辨識器，例如Hierarchical Temporal Memory(HTM)架構的辨識器。將此列為具有特殊表情的影像，經過辨識器後分辨出屬於哪一類的表情，包括例如生氣、恐懼、厭惡、高興、無表情、悲傷和驚訝等。並將得到的分類結果451經由例如儲存裝置460加以儲存，或是經由傳輸裝置462或任何傳輸通道傳送到遠端使用者470，例如透過實體線路、通信網路、或是網際網路傳送給遠端使用者470。另一種方式也可以傳送到顯示裝置464加以顯示。

在一實施例中，如圖4A所描述，影像處理裝置例如包括一影像擷取裝置、一特徵點定位判斷單元、一特殊表情判斷單元以及一特殊表情分類單元，在一實施例中更包括一記憶體裝置用以儲存特殊表情資料庫。在另一實施例中，如圖4B所描述，此影像處理裝置亦可只包括影像擷取裝置，而將所擷取的影像傳送到後端，例如透過無線網路、藍芽通訊、線路連接等等方式，傳送到後端的系統。而後端的系統則是包括特徵點定位判斷單元、特殊表情判斷單元以及特殊表情分類單元。而此影像擷取裝置用可使用例如數位相機、視訊攝影機Web Cam、網路攝影機IP Cam或是監視攝影機等等各種不同的影像擷取裝置其中之一。

上述影像擷取系統400，可運用在例如對於嬰幼兒特殊表情相片的擷取，讓父母可以在親子互動時或小孩獨自活動時獲得自然珍貴的成長過程相片紀錄。另外也可運用在嬰幼兒照護或年長與殘障者照護監視系統，運用特殊表情偵測功能，照護人員可以即時獲得特殊事件的預警資訊。

圖5是說明如圖4A或4B所提出的影像處理裝置，可以安裝在具有造型的物品上，例如電子寵物、玩具機器人，或是其他具有吸引使用者的任何造型物品內。目的包括可以吸引被擷取影像者(標的)的注意，例如利用電子寵物來吸引嬰幼兒的注意，同時在隱藏影像擷取單元的情況下讓他們的表情更加地自然生動。在一實施例中如圖5所示，此造型物品500具有一主體510與一透光罩520，此包含有影像擷取單元的影像處理裝置則可安裝在透光罩520之後，並且透過此透光罩520，在面對使用者時，可以擷取不同影像並進行處理後，傳送到後端的系統。

利用本發明多個實施例其中之一，可模擬類似專業攝影師的搶拍過程與效果；攝影師往往仔細留心被擷取影像者(標的)的一舉一動(亦即進行比對)，只要一出現攝影師認為的特殊表情，便會按下快門(往往使用連拍方式)以搶拍下此特殊表情(亦即留下目標影像)，以免遺漏任何精彩鏡頭。攝影師對於一般尋常的表情畫面則予以略過不按快門擷取以節省資源(底片/記憶容量)並可降低事後的挑選作業負擔。利用本發明可以自動地執行以上所述專利攝影師的搶拍動作；經比對在資料庫中已有的特殊表情之後，所保留下來的便是一些特殊表情(或可稱之為異乎尋常/與之前不同)，亦即所保留下來的乃是資料庫中未曾紀錄過的表情。由此可知，利用本發明的方法能夠自動化地/非人為地增加擷取到特殊表情的機會，例如可用以紀錄嬰幼兒突然出現的特殊表情。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200．．．人臉影像

210．．．左眼區域

220．．．右眼區域

230．．．鼻子區域

240．．．嘴巴區域

400．．．影像擷取系統

401．．．標的

402．．．影像處理裝置

410．．．影像擷取單元

420．．．特徵點定位判斷單元

430．．．分析單元

440．．．特殊表情資料庫

450．．．分類單元

460．．．儲存裝置

462．．．傳輸裝置

464．．．顯示裝置

470．．．遠端使用者

500．．．造型物品

510．．．主體

520．．．透光罩

圖1為說明擷取多張連續影像，用以判斷特徵點是否位移差異過大的示意圖。

圖2是說明人臉特徵的區域分佈實施例示意圖。

圖3是說明本揭露內容其中之一實施例的特殊表情判斷方法流程示意圖。

圖4A是說明運用人臉辨識進行影像擷取的系統架構一實施範例示意圖。

圖4B是說明運用人臉辨識進行影像擷取的系統架構另一實施範例示意圖。

圖5是說明具有影像處理裝置的造型物品示意圖。

S310、S320、S330、S340．．．步驟

Claims

一種人臉影像擷取方法，包括：接收依時間順序擷取的包括人臉的多張影像；擷取該些影像中的該些人臉的區域特徵，並根據對依時間順序擷取的該些影像進行位移量分析而產生一目標特徵向量，其中該位移量是根據對該些影像的該些人臉的左眼和右眼座標值差異而產生；以及對該目標特徵向量與一組特徵向量進行比較，其中該組特徵向量具有多個預先儲存的特徵向量，並據以產生一參數值，當該參數值高於一門檻值時，則選擇前述多張影像其中之一作為目標影像，並將該目標影像所對應的該目標特徵向量，加入該組特徵向量。
如申請專利範圍第1項所述的人臉影像擷取方法，其中對該些影像的每一該影像依序進行下列運算式的判斷，其中，curr _leye 和curr _reye 分別為處理中的該影像的人臉的左眼和右眼座標值，prev _leye 和prev _reye 分別表示前一個該影像的人臉左眼座標和右眼座標值，two _eye _avg 則是所有該些影像中的人臉的兩眼間的平均距離，d(x)為歐基里德距離(Euclidean Distance)，而該第一偏移判定值與該第二偏移判定值為預先設定。
如申請專利範圍第1項所述的人臉影像擷取方法，其中該目標特徵向量與預先儲存的該些特徵向量進行比對的方式包括：根據該人臉的左眼區塊、右眼區塊、鼻子區塊以及嘴巴區塊其中之一部分或全部，建立多維特徵向量；以及根據該多維特徵向量與預先儲存的該些特徵向量進行比對，而取得該參數值。
如申請專利範圍第1項所述的人臉影像擷取方法，其中更包括對該目標影像進行辨識而得到一表情狀態，並根據該表情狀態，將該目標影像進行歸類。
如申請專利範圍第4項所述的人臉影像擷取方法，其中該辨識是採用Hierarchical Temporal Memory(HTM)架構的辨識方法。
如申請專利範圍第1項所述的人臉影像擷取方法，其中擷取該些影像中的該些人臉的區域特徵，是取該些影像的平均人臉區域特徵或是取該些影像其中任意一張影像的人臉區域特徵。
一種人臉影像擷取裝置，包括一影像擷取單元，用以依時間順序擷取包括人臉的多張影像；一特徵點定位判斷單元，接收依時間順序擷取的該些影像，並根據該些影像中的該些人臉的區域特徵，產生一目標特徵向量；以及一分析單元，接收該目標特徵向量，並比較該目標特徵向量與預先儲存的多個特徵向量，並據以產生一參數值，當該參數值高於一門檻值時，則選擇該些影像其中之一作為目標影像，並將該目標影像所對應的該目標特徵向量，加入該些特徵向量，其中該特徵點定位判斷單元產生該目標特徵向量為根據對依時間順序擷取的該些影像進行位移量分析而產生，其中該位移量是根據對該些影像的該些人臉的左眼和右眼座標值差異而產生。
如申請專利範圍第7項所述的人臉影像擷取裝置，其中該影像擷取單元包括數位相機、視訊攝影機Web Cam、網路攝影機IP Cam或是監視攝影機其中之一。
如申請專利範圍第7項所述的人臉影像擷取裝置，其中對該些影像的每一該影像依序進行下列運算式的判斷，其中，curr _leye 和curr _reye 分別為處理中的該影像的人臉的左眼和右眼座標值，prev _leye 和prev _reye 分別表示前一個該影像的人臉左眼座標和右眼座標值，two _eye _avg 則是所有該些影像中的人臉的兩眼間的平均距離，d(x)為歐基里德距離(Euclidean Distance)，而該第一偏移判定值與該第二偏移判定值為預先設定。
如申請專利範圍第7項所述的人臉影像擷取裝置，其中該目標特徵向量與預先儲存的該些特徵向量進行比對的方式包括根據該人臉的左眼區塊、右眼區塊、鼻子區塊以及嘴巴區塊其中之一部分或全部，建立多維特徵向量；以及根據該多維特徵向量與預先儲存的該些特徵向量進行比對，而取得該參數值。
如申請專利範圍第7項所述的人臉影像擷取裝置，其中更包括分類單元，對該目標影像進行辨識而得到一表情狀態，並根據該表情狀態進行歸類。
如申請專利範圍第11項所述的人臉影像擷取裝置，其中該分類單元更包括一辨識器，採用Hierarchical Temporal Memory(HTM)的辨識方法。