TWI704501B - 可由頭部操控的電子裝置與其操作方法 - Google Patents

Abstract

一種電子裝置與操作方法。電子裝置包括影像擷取裝置、儲存裝置，以及處理器。影像擷取裝置朝使用者擷取影像，而儲存裝置儲存有多個模組。處理器耦接影像擷取裝置與儲存裝置，並用以：設置影像擷取裝置擷取使用者的頭部影像；對頭部影像進行人臉辨識運作以取得人臉區塊；檢測人臉區塊內的多個臉部特徵點；依據這些臉部特徵點估計使用者的頭部姿態角度；依據頭部姿態角度、旋轉基準角度與預設校正位置，計算使用者於螢幕上的注視位置；以及依據注視位置設置螢幕顯示對應的視覺效果。

Description

可由頭部操控的電子裝置與其操作方法

本發明是有關於一種電子裝置，且特別是有關於一種可由頭部操控的電子裝置與操作方法。

隨著科技的進步，電子裝置的使用者也不斷尋求更便利的操作方式。例如，採用腦波、眼球追蹤、頭部追蹤和肢體動作等方式，來搭配或取代傳統的鍵盤及滑鼠，以更便利地操控電子裝置。以眼球追蹤技術為例，在電腦、手機、頭戴顯示裝置、汽車、遊戲機等消費性應用已被廣泛地採用。眼球追蹤技術的基本原理是利用紅外線光束照射使用者的眼球，再由感測器擷取由瞳孔、虹膜、角膜等不同部位反射回來的光線，再經由複雜的演算法來分析使用者所注視的位置。換言之，對於現行眼球追蹤與視線預測技術而言，除了需要網路攝影機(webcam)等一般性的攝像裝置，還需要額外的紅外線發射器和對應的紅外線感測器等裝置，才能達到追蹤眼球的目的。此外，眼球追蹤技術也容易受到眼球的尺寸較小、或者眼球被鼻子或眼鏡等物體遮蔽，而影響追蹤的效果。

此外，以頭部追蹤或肢體追蹤技術而言，通常使用網路攝影機等攝像裝置，藉由追蹤使用者的鼻子或手指等部位來分析使用者的輸入信號。然而，在虛擬實境或醫療輔助等情境中，使用者可能會配戴虛擬實境眼鏡、手術放大鏡或面罩等物品，造成追蹤上的誤差，甚至無法偵測。例如，滑鼠替代軟體Enable Viacam (http://eviacam.crea-si.com)藉由偵測人臉上鼻子的擺動，而對應地在顯示畫面上控制滑鼠游標的移動。類似地，另一軟體Camera Mouse(http://comeramouse.org)也提供一種操控滑鼠游標的替代方案，同樣地藉由偵測單一部位(例如：鼻子、眼睛、嘴唇或手指)的擺動，以控制滑鼠游標的移動。由於鼻子的位子在人臉上較為明顯，在偵測時易受到背景或光線的影響程度較少。因此，在現有的解決方案中常以鼻子的擺動來作為控制滑鼠游標的替代方案，然而，藉由偵測人臉或鼻子來操控電子裝置的正確性以及對應的操控性，都仍有許多待改進之處。

有鑑於此，本發明提供一種電子裝置與操作方法，可藉由一般攝影機所擷取的影像來估測使用者觀看螢幕的注視位置，讓使用者可藉由頭部的動作即可控制電子裝置。

一種電子裝置，設置用於使一螢幕顯示多個影像畫面，其包括影像擷取裝置、儲存裝置，以及處理器。儲存裝置儲存有多個模組。處理器耦接影像擷取裝置與儲存裝置，並設置用於執行儲存裝置中的模組以施行下列步驟：設置螢幕於多個預設校正位置顯示多個標記物件；設置影像擷取裝置擷取使用者注視這些預設校正位置時的多個第一頭部影像；對這些第一頭部影像進行多個第一人臉辨識運作，以取得對應於這些預設校正位置的多個第一人臉區塊；檢測對應於這些第一人臉區塊的多個第一臉部特徵點；依據這些第一臉部特徵點計算使用者注視這些預設校正位置的多個旋轉基準角度；設置影像擷取裝置擷取使用者的第二頭部影像；對第二頭部影像進行第二人臉辨識運作以取得第二人臉區塊；檢測第二人臉區塊內的多個第二臉部特徵點；依據這些第二臉部特徵點估計使用者的頭部姿態角度；依據此頭部姿態角度、這些旋轉基準角度與這些預設校正位置，計算使用者於螢幕上的注視位置；以及依據注視位置設置螢幕顯示對應的視覺效果。

一種操作方法，適用於包括影像擷取裝置並使螢幕顯示多個影像畫面的電子裝置，所述方法包括：設置螢幕於多個預設校正位置顯示多個標記物件；設置影像擷取裝置擷取使用者注視這些預設校正位置時的多個第一頭部影像；對這些第一頭部影像進行多個第一人臉辨識運作，以取得對應於這些預設校正位置的多個第一人臉區塊；檢測對應於這些第一人臉區塊的多個第一臉部特徵點；依據這些第一臉部特徵點計算使用者注視這些預設校正位置的多個旋轉基準角度；設置影像擷取裝置擷取使用者的第二頭部影像；對第二頭部影像進行第二人臉辨識運作以取得第二人臉區塊；檢測第二人臉區塊內的多個第二臉部特徵點；依據這些第二臉部特徵點估計使用者的頭部姿態角度；依據此頭部姿態角度、這些旋轉基準角度與這些預設校正位置，計算使用者於螢幕上的注視位置；以及依據注視位置設置螢幕顯示對應的視覺效果。

基於上述，本發明實施例的電子裝置可以不需要使用紅外線發射器及紅外線感測器等額外裝置，僅需使用一般性的攝像裝置拍攝使用者的頭部影像，接著再對拍攝影像進行人臉辨識與人臉特徵點檢測。之後，電子裝置可依據人臉特徵點檢測所產生之臉部特徵點估計使用者的頭部姿態角度，並依據使用者的頭部姿態角度來推知使用者注視螢幕的注視位置，從而讓使用者可基於此注視位置與電子裝置進行互動。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明實施例所繪示之電子裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。請參照圖1，電子裝置10包括螢幕110、影像擷取裝置120、儲存裝置130，以及處理器140，並且可以依據不同的設計考量，而將螢幕110、影像擷取裝置120、儲存裝置130以及處理器140整合為一體或者分別設置於不同的裝置。在一實施例中，電子裝置10可以是整合有螢幕110及影像擷取裝置120的筆記型電腦、平板電腦或智慧電視等。在另一實施例中，電子裝置10可以是桌上型電腦、機上盒或遊戲機等，儲存裝置130及處理器140設置於同一機體，而螢幕110與影像擷取裝置120另外採用不同的裝置實施，並且採用有線或無線的方式連接至儲存裝置130及處理器140。

螢幕110用以顯示多個影像畫面，其可以是液晶顯示器（Liquid-Crystal Display，LCD）、電漿顯示器、真空螢光顯示器、發光二極體（Light-Emitting Diode，LED）顯示器、場發射顯示器（Field Emission Display，FED）、頭戴式顯示器及/或其他合適種類的顯示器，在此並不限制其種類。

影像擷取裝置120提供影像擷取功能，其包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件。例如，影像擷取裝置120可以是外接式網路攝影機，或是配置在手機、平板電腦、筆記型電腦內部的內建網路攝影機。在本實施例中，影像擷取裝置120是用於擷取可見光範圍的影像(例如：波長390nm至700nm之間的可見光)，而不具備有擷取紅外線範圍影像的功能(例如：波長750nm以上的紅外線)。

儲存裝置130用以儲存影像、程式碼等資料，其可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。在本實施例中，儲存裝置130用以記錄多個模組，這些模組可包括人臉辨識模組131、特徵點檢測模組132、頭部姿態估計模組133、注視位置預測模組134，以及互動應用模組135。

處理器140可以是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其與螢幕110、影像擷取裝置120，以及儲存裝置130連接。

在本實施例中，儲存在儲存裝置130中的模組可以為電腦程式，而可由處理器140載入，據以執行本發明實施例之電子裝置的操作方法。

圖2A是依照本發明實施例所繪示之控制電子裝置的情境示意圖。圖2B是依照本發明實施例所繪示之電子裝置所擷取之影像的範例示意圖。請參照圖2A與圖2B，當使用者20使用電子裝置10（於此以筆記型電腦為例進行說明）時，影像擷取裝置120朝使用者20拍攝影像Img1。電子裝置10可依據Img1中人臉區塊B1所攜帶的人臉資訊來分析使用者20的頭部姿態角度，並依據使用者20的頭部姿態角度來預測使用者20之視線投射於螢幕110上的注視位置F1。基此，電子裝置10可依據注視位置F1與螢幕110當前所顯示之操作介面而與使用者進行互動應用。換言之，當使用者20使用電子裝置10時，使用者20可依據觀看螢幕110時自然產生的頭部擺動來控制電子裝置10。

為了進一步說明電子裝置10如何根據影像擷取裝置120所擷取之影像而與使用者進行互動，以下特舉一實施例來對本發明進行說明。圖3是依照本發明實施例所繪示之電子裝置的操作方法的流程圖，而圖3的方法流程可以由圖1的電子裝置10的各元件實現。請同時參照圖1及圖3，以下即搭配圖1中電子裝置10的各項元件與裝置，說明本實施例之電子裝置的操作方法的詳細步驟。

於步驟S301，人臉辨識模組131對影像擷取裝置120所擷取的影像進行人臉辨識運作而取得頭部影像上的人臉區塊。於此，影像擷取裝置120所擷取之頭部影像用以作為預測使用者觀看螢幕110之注視位置的依據。人臉辨識模組131可從影像擷取裝置120所擷取的頭部影像中檢測出人臉影像，以自頭部影像當中取得包括人臉影像的人臉區塊。詳細來說，人臉辨識模組131可利用特定特徵提取演算法而自頭部影像當中提取複數個人臉特徵，像是哈爾（Haar-like）特徵、方向梯度直方圖（Histogram of Oriented Gradient，HOG）特徵或是其他合適的人臉特徵分類法，並將提取出來的人臉特徵輸入至分類器進行分類。上述分類器可依據事先訓練的資料模型來分類各個影像分割區塊的提取特徵，從而自影像中偵測出符合特定資料模型的人臉區塊。

於步驟S302，特徵點檢測模組132檢測人臉區塊內的多個臉部特徵點。詳細而言，特徵點檢測模組132可利用機器學習（machine learning）、深度學習（deep learning）或其他合適的演算法自臉部區塊檢測出用以標記臉部輪廓、五官形狀與五官位置的多個臉部特徵點（facial landmarks）。舉例而言，特徵點檢測模組132可利用約束區域性模型（Constrained Local Model，CLM）演算法、約束區域性神經模型（Constrained Local Neural Fields，CLNF）演算法或主觀形狀模型（Active Shape Model，ASM）演算法而自人臉區塊當中檢測出多個臉部特徵點。

於步驟S303，頭部姿態估計模組133依據臉部特徵點估計使用者的頭部姿態角度。於一實施例中，頭部姿態估計模組133可先將這些臉部特徵點於平面座標系統下的多個二維位置座標映射為立體座標系統下的多個三維位置座標。詳細而言，影像擷取模組120可將相機座標系統中的二維座標映射為世界座標系統中的三維座標。之後，頭部姿態估計模組133再依據這些臉部特徵點的三維位置座標估計使用者的頭部姿態角度。舉例而言，透過採用透視n點（Perspective-n-Point，PnP）演算法，頭部姿態估計模組133可依據這些臉部特徵點的座標位置來估計使用者於世界座標系統下的頭部姿態角度。此外，頭部姿態估計模組133可針對全部或部份的臉部特徵點進行座標映射，以利用全部或部份的臉部特徵點來估計使用者的頭部姿態角度。

於一實施例中，此頭部姿態角度可包括相對於第一座標軸旋轉的頭部傾仰（pitch）角以及相對於第二座標軸旋轉的頭部偏擺（yaw）角。於另一實施例中，此頭部姿態角度可包括相對於第一座標軸旋轉的頭部傾仰角、相對於第二座標軸旋轉的頭部偏擺角以及相對於第三座標軸旋轉的頭部翻轉（roll）角。例如：頭部傾仰角可用以表示使用者在平行螢幕110方向的一個虛擬水平軸上，上下擺動頭部時的角度；頭部偏擺角可用以表示使用者在平行螢幕110方向的一個虛擬垂直軸上，左右搖動頭部時的角度；而頭部翻轉角可用以表示使用者在垂直於螢幕110方向的一個虛擬縱軸上，旋轉頭部時的角度。

於步驟S304，注視位置預測模組134依據頭部姿態角度、多個旋轉基準角度與多個預設校正位置，計算使用者於螢幕110上的注視位置。於一實施例中，注視位置預測模組134可獲取對應至螢幕110上多個預設校正位置的多個旋轉基準角度。這些旋轉基準角度代表當使用者注視螢幕110上之預設校正位置時使用者頭部所呈現的頭部姿態角度，其用以作為後續預測使用者之視線落點的參考比對資訊。然而，本發明對於預設校正位置的數目與其位於螢幕110上的實際座標位置並不設限，但預設校正位置的數目至少為二。藉由至少兩個預設校正位置與對應的旋轉基準角度，注視位置預測模組134可建立頭部俯仰角相對於注視位置之高低偏移程度之間的對應關係，並建立頭部偏擺角相對於注視位置之左右偏移程度之間的對應關係。於一實施例中，這些預設校正位置可分別位於螢幕110的四個角落或四個邊緣上。於另一實施例中，這些預設校正位置可分別位於螢幕110的對角線上。接著，依據旋轉基準角度、預設校正位置以及旋轉基準角度與預設校正位置之間的對應關係，注視位置預測模組134可將即時估計的頭部姿態角度轉換為使用者之視線目前投射於螢幕110上的注視位置。此注視位置可用基於螢幕110之尺寸與解析度而定義的螢幕座標系統（screen coordinate system）來表示，因而可包括第一軸向上的第一座標值與第二軸向上的第二座標值（例如：X軸和Y軸上的座標值）。此外，除了基於旋轉基準角度與預設校正位置而將頭部姿態角度轉換為注視位置之外，於另一實施例中，注視位置預測模組134也可利用使用者的頭部旋轉角度來搜尋事先建立的查找表以獲取使用者的注視位置。

藉此，在獲取使用者的注視位置之後，於步驟S305，互動應用模組135將依據注視位置設置螢幕110顯示對應的視覺效果，以控制螢幕110顯示對應的圖像畫面。於一實施例中，互動應用模組135可控制螢幕110於注視位置上顯示一指示物件，上述指示物件可以是箭頭或幾何圖形（像是圓點）等等。基此，響應於即時預測之注視位置的改變，所述指示物件也將於螢幕110上游移。換言之，使用者可藉由其視線來控制指示物件110於螢幕上移動，致使使用者可進一步依據指示物件所在的注視位置進行更多樣化的互動控制。

於另一實施例中，依據注視位置所指示的顯示物件，互動應用模組135還可控制螢幕110顯示關聯於顯示物件的資訊提示區塊。所述顯示物件可以是螢幕110所顯示之使用者介面上的任何圖標(icon)或文字標示物件。進一步而言，當注視位置與顯示物件所涵蓋的區域重疊時，互動應用模組135可顯示此顯示物件的資訊提示區塊，以提供與顯示物件相關的其他詳細資訊。舉例而言，當使用者的注視位置與作業系統工具列的系統時間區塊重疊時，互動應用模組135可展開並回饋顯示包括更詳細的日曆與時間資訊的視窗。此外，於一實施例中，互動應用模組135還可依據注視位置所處於的顯示區塊，控制螢幕110變更用以顯示顯示區塊的顯示效果。於此，提示顯示效果可包括顯示顏色、顯示字型或顯示尺寸等等。具體而言，螢幕110的整個顯示區域可區分為多個顯示區塊。當使用者的注視位置位於這些顯示區塊其中之一時，互動應用模組135可變更注視位置所在之顯示區域的顯示效果，像是放大顯示此顯示區域內的顯示內容等等。

於一實施例中，用以預測使用者之注視位置的旋轉基準角度可經由產品設計人員的事先測試而取得，在此情況下，旋轉基準角度可為記錄於儲存裝置130之中的固定預設值。於另一實施例中，用以預測使用者之注視位置的旋轉基準角度可依據實際使用者的使用習慣來建立。不同使用者的肢體習慣與生物特徵皆不相同。於另一實施例中，旋轉基準角度可經由讓實際使用者操作一校正程序而取得，其可提昇預測注視位置的精準度。

以下將列舉實施例以說明如何藉由校正程序取得對應至多個預設校正位置的旋轉基準角度，並進一步詳細說明如何依據旋轉基準角度而基於頭部姿態角度來預測注視位置。

圖4是依照本發明實施例所繪示之電子裝置的方塊圖。請參照圖4，本實施例的電子裝置40包括螢幕110、影像擷取裝置120、儲存裝置130，以及處理器140，其耦接關係及功能與前述實施例相似，在此不贅述。與前述實施例不同的是，本實施例的儲存裝置130更記錄有校正模組136，處理器140可載入並執行校正模組136而針對特定的實際使用者取得對應的旋轉基準角度。

於本實施例中，校正模組136可控制螢幕110於螢幕110的多個預設校正位置上顯示多個標記物件，這些預設校正位置可分別位於螢幕110的上邊界、下邊界、左邊界以及右邊界。請參照圖5A，圖5A為依據本發明實施例所繪示之顯示多個標記物件的範例示意圖。校正模組136可控制螢幕110於螢幕110的上邊界顯示標記物件obj1；於螢幕110的右邊界顯示標記物件obj2；於螢幕110的下邊界顯示標記物件obj3；以及於螢幕110的左邊界顯示標記物件obj4。然而，圖5A僅為一示範性說明，並非用以限定本發明。

基於圖5A的範例，校正模組136可提示使用者觀看標記物件obj1～obj4，與此同時，影像擷取裝置120可擷取使用者注視標記物件obj1～obj4時的多張頭部影像。詳細而言，校正模組136可提示使用者先觀看標記物件obj1，並驅動影像擷取裝置120擷取使用者注視標記物件obj1時的頭部影像，依此類推，而於後續流程中獲取對應至obj2～obj4時的頭部影像。在獲取使用者觀看標記物件obj1～obj4的頭部影像之後，校正模組136可分析分析這些頭部影像，以估計分別對應至這些預設校正位置P1～P4的旋轉基準角度。具體而言，校正模組136可利用人臉辨識模組131、特徵點檢測模組132以及頭部姿態估計模組133所執行之操作與演算法，而依據執行校正程序期間所擷取之頭部影像估計出對應至預設校正位置P1～P4的旋轉基準角度。校正模組136可將對應至預設校正位置P1～P4的這些旋轉基準角度，記錄於儲存裝置130之中。

基於圖5A的範例，校正模組136所記錄的旋轉基準角度可包括對應至預設校正位置P1的第一傾仰角、對應至預設校正位置P3的第二傾仰角、對應至預設校正位置P2的第一偏擺角，以及對應至預設校正位置P4的第二偏擺角。具體而言，基於圖5A的範例，由於預設校正位置P1～P4分別位於螢幕110的上邊界、下邊界、左邊界以及右邊界，因此校正模組136所獲取之旋轉基準角度可包括對應至四個預設校正位置P1～P4的最大傾仰角、最小傾仰角、最大偏擺角，以及最小偏擺角。

詳細而言，請參照圖5B，圖5B是依據圖5A範例所繪示之使用者觀看標記物件的情境示意圖。當使用者觀看標記物件obj1時，使用者50的頭部將往上抬動，校正模組136因而可依據此時擷取的頭部影像來估測出對應至預設校正位置P1的最大傾仰角θ_pmax 。相似的，請再參照圖5C，圖5C是依據圖5A範例所繪示之使用者觀看標記物件的情境示意圖。當使用者觀看標記物件obj3時，使用者50的頭部將往下擺動，校正模組136因而可依據此時擷取的頭部影像Img3來估測出對應至預設校正位置P3的最小傾仰角θ_pmin 。同理類推，校正模組136也可獲取對應至預設校正位置P2、P4的最大偏擺角θ_ymax 與最小偏擺角θ_ymin 。於此，校正模組136可將最大傾仰角θ_pmax 、最小傾仰角θ_pmin 、最大偏擺角θ_ymax ，以及最小偏擺角θ_ymin 作為旋轉基準角度而記錄下來。於此，最大傾仰角θ_pmax 、最小傾仰角θ_pmin 、最大偏擺角θ_ymax ，以及最小偏擺角θ_ymin 可界定出使用者觀看螢幕110時頭部擺動的可能角度範圍。

此外，需說明的是，圖5A係以預設校正位置分別位於螢幕110的上下左右邊界為範例，因此校正模組136可獲取最大傾仰角θ_pmax 、最小傾仰角θ_pmin 、最大偏擺角θ_ymax ，以及最小偏擺角θ_ymin 。然而，於其他實施例中，縱使預設校正位置並非位於螢幕110的上下左右邊界，校正模組136依然可獲取作為旋轉基準角度的兩個傾仰角（亦即第一傾仰角與第二傾仰角）與兩個偏擺角（亦即第一偏擺角與第二偏擺角）與對應的預設校正位置，從而建立頭部俯仰角與注視位置之高低偏移程度之間的對應關係、與頭部偏擺角與注視位置之左右偏移程度之間的對應關係。

於一實施例中，注視位置預測模組134可依據第一偏擺角、第二偏擺角、預設校正位置中對應至第一偏擺角對應的第一位置、預設校正位置中對應至第二偏擺角對應的第二位置，以及頭部偏擺角進行內插運算或外插運算，以取得注視位置的第一座標值。並且，注視位置預測模組134可依據第一傾仰角、第二傾仰角、預設校正位置中對應至第一傾仰角對應的第三位置、預設校正位置中對應至第二傾仰角對應的第三位置，以及頭部傾仰角進行內插運算或外插運算，以取得注視位置的第二座標值。

具體而言，以基於圖5A所產生之旋轉基準角度為例繼續進行說明，圖6A代表使用者注視螢幕110的示意圖，圖6B代表螢幕100所顯示的影像畫面中對應於使用者在圖6A中所注視的位置的示意圖。請參照圖6A與圖6B，注視位置預測模組134可依據最大偏擺角θ_ymax 、最小偏擺角θ_ymin 、最大偏擺角θ_ymax 所對應之預設校正位置於螢幕座標系下的X軸座標（即為Sw）、最小偏擺角θ_ymin 所對應之預設校正位置於螢幕座標系下的X軸座標（即為0），以及使用者當前的頭部偏擺角度θ_y 進行內插運算，以取得注視位置F2的X座標值（即為Sx）。相似的，注視位置預測模組134可依據最大傾仰角θ_pmax 、最小傾仰角θ_pmin 、最大傾仰角θ_pmax 所對應之預設校正位置於螢幕座標系統下的Y軸座標（即為0）、最小傾仰角θ_pmin 所對應之預設校正位置於螢幕座標系下的X軸座標（即為Sh），以及使用者當前的頭部偏擺角度θ_p 進行內插運算，以取得注視位置F2的Y座標值（即為Sy）。藉此，注視位置預測模組134可預測出使用者的注視位置為螢幕座標系統下的(Sx,Sy)。於此，螢幕座標系統可為以像素為單位且基於螢幕解析度而定義的座標系統。於一實施例中，注視位置預測模組134可依據下列公式(1)與公式(2)而計算出注視位置的座標。

公式(1)

公式(2)

在前述實施例中，注視位置的預測並未考量到使用者與螢幕110之間的距離。但是，使用者與螢幕110之間的距離將影響使用者觀看螢幕110時的頭部擺動幅度。一般而言，使用者越靠近螢幕110，則使用者觀看螢幕110邊緣的頭部擺動幅度越大。相反的，若使用者越遠離螢幕110，使用者觀看螢幕110邊緣的頭部擺動幅度越小。可知的，無論是事先預設的旋轉基準角度或依據校正程序所產生的旋轉基準角度都是基於一預設特定距離而產生，因此使用者與螢幕110之間的實際觀看距離可能影響注視位置的預測結果。

圖7是依照本發明實施例所繪示之電子裝置的方塊圖。請參照圖7，本實施例的電子裝置70包括螢幕110、影像擷取裝置120、儲存裝置130，以及處理器140，其耦接關係及功能係與前述實施例相似，在此不贅述。與前述實施例不同的是，本實施例的儲存裝置130更記錄有距離調整模組137，處理器140可載入並執行距離調整模組137而基於使用者與螢幕110之間實際觀賞距離調整注視位置的預測結果，以提昇預測注視位置的精準度。

於本實施例中，距離調整模組137可計算使用者與螢幕110之間的觀看距離。距離調整模組137也可基於影像擷取裝置120所擷取之頭部影像來估算出使用者與螢幕110之間的觀看距離，例如依據人臉區塊的大小來估算出使用者與螢幕110之間的觀看距離。距離調整模組137也可依據人臉區塊內的臉部特徵點來計算使用者與螢幕110之間的觀看距離。接著，距離調整模組137可依據此觀看距離調整先前記錄的旋轉基準角度，致使注視位置預測模組134可依據調整後的旋轉基準角度將頭部姿態角度轉換為注視位置。或者，距離調整模組137可依據此觀看距離來調整注視位置預測模組134所產生的注視位置。

在一實施例中，距離調整模組137可於執行校正程序時，依據臉部特徵點計算使用者與螢幕110之間的多個第一觀看距離。此外，距離調整模組137可於使用者實際操作電子裝置70時，依據臉部特徵點估計使用者與螢幕110之間的第二觀看距離。之後，距離調整模組137可依據第二觀看距離及/或多個第一觀看距離調整旋轉基準角度或注視位置。

詳細而言，為了讓距離調整模組137依據觀看距離來調整旋轉基準角度或注視位置，需事先建立對應至少兩個相異預設觀看距離（亦即多個第一觀看距離）的兩組旋轉基準角度。圖8A與圖8B是依據本發明實施例所繪示之基於相異預設距離獲取旋轉基準角度的範例示意圖。請同時參照圖8A與圖8B，當欲利用前述實施例所述之校正程序來取得旋轉基準角度時，校正模組136可提示使用者80於與螢幕110相距不同預設距離的地方重複進行校正程序。藉此，校正模組136可先針對第一預設距離D1取得第一組旋轉基準角度（例如圖8A所示的第一偏擺角θ_{ymax_1} 與第二偏擺角θ_{ymin_1} ），並再針對第二預設距離D2取得第二組旋轉基準角度（例如圖8A所示的第一偏擺角θ_{ymax_2} 與第二偏擺角θ_{ymin_2} ）。然而，基於頭部影像取得旋轉基準角度的詳細內容已於前述實施例詳細說明，於此不再贅述。表1即為針對不同預設距離所建立之兩組旋轉基準角度的範例，但並非用以限定本發明。

表1

換言之，儲存裝置130將儲存有對應至相異預設距離的至少兩組旋轉基準角度。基此，若以表1為例，距離調整模組137可在執行完校正程序之後獲取使用者與螢幕110之間的觀看距離（亦即第二觀看距離），接著依據第一預設距離D1、第二預設距離D2、觀看距離以及第一預設距離D1與第二預設距離D2對應的兩組旋轉基準角度（如表1所示）進行內插運算或外插運算，以取得調整後的旋轉基準角度。藉此，注視位置預測模組134可依據調整後的旋轉基準角度並基於即時估測的頭部姿態角度來預測使用者之視線投射於螢幕110上的注視位置。

或者，注視位置預測模組134可先依據第一預設距離D1對應的第一組旋轉基準角度來計算出第一注視位置(Sx₁ ,Sy₁ )，並再依據第二預設距離D2對應的第二組旋轉基準角度來計算出第二注視位置(Sx₂ ,Sy₂ )。接著，距離調整模組137可在獲取觀賞距離之後，依據第一預設距離D1、第二預設距離D2、觀賞距離以及第一注視位置(Sx₁ ,Sy₁ )與第二注視位置(Sx₂ ,Sy₂ )進行內插運算或外插運算，以取得調整後的注視位置(Sx_f ,Sy_f )。

當使用者的頭部翻轉角改變時，也可能改變使用者注視的位置。在另一實施例中，校正模組136也可以針對頭部翻轉角進行校正運算，而注視位置預測模組也可以134也可以針對頭部翻轉角的變化，而調整螢幕110上對應的注視位置。

在上述的實施例中，電子裝置10採用筆記型電腦等方式進行說明。在其他的實施例中，電子裝置10的各個組件可以依據不同的設計考量，而做適當的變化。在另一實施例中，當使用者的頭部配戴VR眼鏡、手術用放大鏡、頭戴式顯示器或其他穿戴式裝置時，使用者的頭部影像以及部分的臉部特徵點會被穿戴裝置所遮蔽，處理器140可以採用未被穿戴裝置所遮蔽的臉部特徵點進行使用者視線的估算。在另一實施例中，使用者的頭部配戴VR眼鏡、手術用放大鏡、頭戴式顯示器或其他穿戴式裝置，使用者的頭部影像以及部分的臉部特徵點會被穿戴裝置所遮蔽，並且此些穿戴裝置上設置有一個或多個模擬特徵點，處理器140可以採用未被穿戴裝置所遮蔽的臉部特徵點以及穿戴裝置上的模擬特徵點，來進行使用者視線的估算。此外，在某些虛擬實境的應用中，使用者會於頭部穿戴具有螢幕的VR眼鏡，並且使用者頭部會進行更大範圍的動作，而能體驗環繞四周的虛擬實境效果。藉由上述實施例並且搭配一個或多個影像擷取裝置，即便使用者的眼睛被遮蔽，而仍可估算使用者在VR眼鏡的螢幕所注視的位置，而於螢幕上對應地產生所需的影像效果。

綜上所述，於本發明實施例中，電子裝置可在利用一般攝影設備拍攝頭部影像並進行分析，且不須依據眼部影像來分析瞳孔位置的情況下，精確地推斷出使用者之視線投射於螢幕上的視線落點，好讓使用者可以更直覺與簡便的方式來與電子裝置進行互動應用。亦即，本發明可將現行具有一般攝像鏡頭的消費性電子產品搭配所提出的操作方法，從而實現依據使用者注視螢幕的視線控制電子裝置的目的，增強了本發明在實際應用中的適用範圍。此外，由於電子裝置除了可針對個別使用者取得作為比對頭部旋轉角度之基準的旋轉基準角度之外，更可依據使用者與螢幕之間的實際觀賞距離來調整注視位置的預測結果，因此可大幅提昇依據臉部影像來預測螢幕上之注視位置的精準度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10、40、70‧‧‧電子裝置110‧‧‧螢幕120‧‧‧影像擷取裝置130‧‧‧儲存裝置131‧‧‧人臉辨識模組132‧‧‧特徵點檢測模組133‧‧‧頭部姿態估計模組134‧‧‧注視位置預測模組135‧‧‧互動應用模組140‧‧‧處理器20、50、80‧‧‧使用者F1、F2、F3‧‧‧注視位置Img1‧‧‧影像B1‧‧‧人臉區塊P1～P4‧‧‧預設校正位置D1、D2‧‧‧距離obj1～obj4‧‧‧標記物件S301～S305‧‧‧步驟

圖1是依照本發明實施例所繪示之電子裝置的方塊圖。 圖2A是依照本發明實施例所繪示之控制電子裝置的情境示意圖。 圖2B是依照本發明實施例所繪示之電子裝置所擷取之影像的範例示意圖。 圖3是依照本發明實施例所繪示之電子裝置的操作方法的流程圖。 圖4是依照本發明實施例所繪示之電子裝置的方塊圖。 圖5A是依據本發明實施例所繪示之顯示多個標記物件的範例示意圖。 圖5B與圖5C是依據圖5A範例所繪示之使用者觀看標記物件的情境示意圖。 圖6A為使用者注視螢幕的示意圖。 圖6B為螢幕所顯示的影像畫面中對應於使用者在圖6A中所注視的位置的示意圖。 圖7是依照本發明實施例所繪示之電子裝置的方塊圖。 圖8A與圖8B是依據本發明實施例所繪示之基於相異預設距離建立旋轉基準角度的範例示意圖。

S301~S305‧‧‧步驟

Claims (16)

1. 一種電子裝置，設置用於使一螢幕顯示多個影像畫面，包括：一影像擷取裝置；一儲存裝置，儲存有多個模組；以及一處理器，耦接該影像擷取裝置與該儲存裝置，設置用於執行該儲存裝置中的該些模組以：設置該螢幕於多個預設校正位置顯示多個標記物件；設置該影像擷取裝置擷取一使用者注視該些預設校正位置時的多個第一頭部影像；對該些第一頭部影像進行多個第一人臉辨識運作，以取得對應於該些預設校正位置的多個第一人臉區塊；檢測對應於該些第一人臉區塊的多個第一臉部特徵點；依據該些第一臉部特徵點計算該使用者注視該些預設校正位置的多個旋轉基準角度，其中該些旋轉基準角度為該使用者注視該螢幕上之該些預設校正位置時該使用者的頭部所呈現的角度；將對應至該些預設校正位置的該些旋轉基準角度紀錄於該儲存裝置之中；設置該影像擷取裝置擷取該使用者的一第二頭部影像；對該第二頭部影像進行一第二人臉辨識運作以取得一第二人臉區塊；檢測該第二人臉區塊內的多個第二臉部特徵點； 依據該些第二臉部特徵點估計該使用者的一頭部姿態角度；依據該頭部姿態角度、對應至該些預設校正位置中第一位置與第二位置的該些旋轉基準角度與該些預設校正位置中該第一位置與該第二位置進行內插運算或外插運算，以計算該使用者於該螢幕上對應至該頭部姿態角度的一注視位置，其中該頭部姿態角度為該使用者注視該螢幕上之該注視位置時該使用者的頭部所呈現的角度；以及依據該注視位置設置該螢幕顯示對應的一視覺效果。
2. 如申請專利範圍第1項所述的電子裝置，其中該注視位置包括一第一軸向上的一第一座標值與一第二軸向上的一第二座標值。
3. 如申請專利範圍第2項所述的電子裝置，其中該些頭部姿態角度包括一頭部傾仰角以及一頭部偏擺角，而該些旋轉基準角度包括對應至該些預設校正位置的一第一傾仰角、一第二傾仰角、一第一偏擺角，以及一第二偏擺角。
4. 如申請專利範圍第3項所述的電子裝置，其中該處理器依據該第一偏擺角、該第二偏擺角、該些預設校正位置中對應至該第一偏擺角的該第一位置、該些預設校正位置中對應至該第二偏擺角的該第二位置、以及該頭部偏擺角進行內插運算或外插運算，以取得該注視位置的該第一座標值；以及該處理器依據該第一傾仰角、該第二傾仰角、該些預設校正位置中對應至該第一傾仰角的一第三位置、該些預設校正位置中 對應至該第二傾仰角的一第四位置、以及該頭部傾仰角進行內插運算或外插運算，以取得該注視位置的該第二座標值。
5. 如申請專利範圍第1項所述的電子裝置，其中該處理器依據該些第一臉部特徵點計算該使用者與該螢幕之間的多個第一觀看距離；該處理器依據該些第二臉部特徵點估計該使用者與該螢幕之間的一第二觀看距離；以及該處理器依據該第二觀看距離及該些第一觀看距離調整該些旋轉基準角度或該注視位置。
6. 如申請專利範圍第1項所述的電子裝置，其中該處理器將該些第二臉部特徵點於一平面座標系統下的多個二維位置座標映射為一立體座標系統下的多個三維位置座標；以及該處理器依據該些第二臉部特徵點的該些三維位置座標估計該頭部姿態角度。
7. 如申請專利範圍第1項所述的電子裝置，其中該第二頭部影像包含有一穿戴裝置，並且該些第二臉部特徵點不包含該使用者被該穿戴裝置所遮蔽的多個第三臉部特徵點。
8. 如申請專利範圍第1項所述的電子裝置，其中該第二頭部影像包含有一穿戴裝置，並且該些第二臉部特徵點包含該穿戴裝置所標示的一個或多個模擬特徵點。
9. 一種操作方法，適用於包括一影像擷取裝置並使一螢幕顯示多個影像畫面的一電子裝置，所述方法包括： 設置該螢幕於多個預設校正位置顯示多個標記物件；設置該影像擷取裝置擷取一使用者注視該些預設校正位置時的多個第一頭部影像；對該些第一頭部影像進行多個第一人臉辨識運作，以取得對應於該些預設校正位置的多個第一人臉區塊；檢測對應於該些第一人臉區塊的多個第一臉部特徵點；依據該些第一臉部特徵點計算該使用者注視該些預設校正位置的多個旋轉基準角度，其中該些旋轉基準角度為該使用者注視該些預設校正位置時該使用者的頭部所呈現的角度；將對應至該些預設校正位置的該些旋轉基準角度紀錄於該儲存裝置之中；設置該影像擷取裝置擷取該使用者的一第二頭部影像；對該第二頭部影像進行一第二人臉辨識運作以取得一第二人臉區塊；檢測該第二人臉區塊內的多個第二臉部特徵點；依據該些第二臉部特徵點估計該使用者的一頭部姿態角度；依據該頭部姿態角度、對應至該些預設校正位置中第一位置與第二位置的該些旋轉基準角度與該些預設校正位置中該第一位置與該第二位置進行內插運算或外插運算，以計算該使用者於該螢幕上對應至該頭部姿態角度的一注視位置，其中該頭部姿態角度為該使用者注視該螢幕上之該注視位置時該使用者的頭部所呈現的角度；以及 依據該注視位置設置該螢幕顯示對應的一視覺效果。
10. 如申請專利範圍第9項所述的操作方法，其中該注視位置包括一第一軸向上的一第一座標值與一第二軸向上的一第二座標值。
11. 如申請專利範圍第10項所述的操作方法，其中該些頭部姿態角度包括一頭部傾仰角以及一頭部偏擺角，而該些旋轉基準角度包括對應至該些預設校正位置的一第一傾仰角、一第二傾仰角、一第一偏擺角，以及一第二偏擺角。
12. 如申請專利範圍第11項所述的操作方法，其中依據該頭部姿態角度、該些旋轉基準角度與該些預設校正位置，計算該使用者於該螢幕上的該注視位置的步驟包括：依據該第一偏擺角、該第二偏擺角、該些預設校正位置中對應至該第一偏擺角的該第一位置、該些預設校正位置中對應至該第二偏擺角的該第二位置、以及該頭部偏擺角進行內插運算或外插運算，以取得該注視位置的該第一座標值；以及依據該第一傾仰角、該第二傾仰角、該些預設校正位置中對應至該第一傾仰角的一第三位置、該些預設校正位置中對應至該第二傾仰角的一第四位置、以及該頭部傾仰角進行內插運算或外插運算，以取得該注視位置的該第二座標值。
13. 如申請專利範圍第9項所述的操作方法，其中所述方法更包括：依據該些第一臉部特徵點計算該使用者與該螢幕之間的多個 第一觀看距離；依據該些第二臉部特徵點估計該使用者與該螢幕之間的一第二觀看距離；以及依據該第二觀看距離及該些第一觀看距離調整該些旋轉基準角度或該注視位置。
14. 如申請專利範圍第9項所述的操作方法，其中所述方法更包括：將該些第二臉部特徵點於一平面座標系統下的多個二維位置座標映射為一立體座標系統下的多個三維位置座標；以及依據該些第二臉部特徵點的該些三維位置座標估計該頭部姿態角度。
15. 如申請專利範圍第9項所述的操作方法，其中該第二頭部影像包含有一穿戴裝置，並且該些第二臉部特徵點不包含該使用者被該穿戴裝置所遮蔽的多個第三臉部特徵點。
16. 如申請專利範圍第9項所述的操作方法，其中該第二頭部影像包含有一穿戴裝置，並且該些第二臉部特徵點包含該穿戴裝置所標示的一個或多個模擬特徵點。

Images