TWI423112B - 可攜式虛擬輸入操作裝置與其操作方法 - Google Patents

Description

可攜式虛擬輸入操作裝置與其操作方法

本發明是有關於一種可攜式虛擬輸入操作裝置與其操作方法。

使用者介面(User Interface)是為了方便人透過方便的介面(Interface)進而對物品作操作控制與資訊交流，達到便利的人機互動目的。比如透過汽車的方向盤、排檔桿、油門、煞車踏板與儀表版可使人們駕駛與控制車輛，並了解汽車的狀態(時速、油料殘餘量、引擎溫度...等)，使用者介面於日常生活中幾乎是無所不在。而隨著科技的進步，消費型電子產品的應用越來越普及，為了使操作更具人性話與使人更容易理解資訊，圖形介面因此隨之發展，比如微軟的視窗作業系統(Microsoft Windows Operating System)。科技的發展是為了符合人性的需求，因此越來越多的開發與研究致力於操作介面的改善，包括簡化介面、使操作介面在操作更具有直覺性、或是具輸入的提示性與透過介面的設計來減少操作錯誤等。

然而，即使是很便利、友善(User-friendly)的圖形介面，大多仍是需要經由一實體操作裝置來進行操作的輸入與控制，例如電腦的鍵盤、滑鼠、行動電話按鍵或是任何電子裝置上的操作按鍵。而觸控式螢幕的發展算是相當便利的操作方法，經常應用於手持式的電子裝置上，例如數 位行動電話、個人行動助理(PDA)、衛星導航GPS機等。但是，此種應用方法除了有時需要一支額外的觸控筆(或稱手寫筆)外，電子裝置本身即是一個實體的操作控制器，不同僅在於同一螢幕視窗上顯示虛擬的操作裝置(按鍵、或圖形介面等)與顯示資訊。

以上所敘述的方式皆是由使用者過控制裝置來下達操作控制命令，在使用者與操作介面間透過控制行為達到操作目的。

本發明提出一種可攜式虛擬輸入操作裝置，可掛附在使用者身上。此裝置包括一主體、一操作介面顯示單元、一影像擷取模組、一中央處理模組與一無線傳輸模組。其中所述的操作介面顯示單元，連接於主體，並可移動式地配置在使用者頭部之前，用以顯示對應於一受控裝置的操作介面。而影像擷取模組置於主體，並用以擷取使用者之手部位置影像。中央處理模組，內建於主體內，並用以傳送顯示資料到操作介面顯示單元，以顯示虛擬操作介面，並連接到影像擷取模組，用以接收影像擷取模組所擷取使用者之手部位置影像，並根據顯示資料與所擷取使用者之手部影像的關係，而決定使用者所輸入之一控制指令。

本發明提出一種操作方法，適用於一可攜式虛擬輸入操作裝置。此方法包括從多個可受控裝置中選擇其中之一當作一受控裝置。對應於所選擇的受控裝置的一顯示資 料，顯示對應的操作介面。以影像擷取方式擷取使用者之手部位置影像。根據對所擷取使用者手部影像的分析，並根據顯示資料與所擷取使用者之手部位置影像，判斷使用者所輸入之一控制指令。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

在此說明可攜式的虛擬輸入操作裝置與方法之實施例，以達成便利的人機互動與遠端控制。

此虛擬輸入操作裝置可以為一種人機互動裝置，在一實施例中，可以對應一或多個可受控裝置，由使用者直接控制或是藉由例如語音或是與虛擬介面的互動輸入，而判定所選擇欲控制的可受控裝置。而針對不同可受控裝置不同的需求，可呈現出對應於此受控裝置的人機操作介面，讓使用者可以運用手指動作與操作介面作虛擬互動輸入，藉由此簡便的操作介面方式，達成與此受控裝置的互動，也可對應多個可受控電子裝置藉由單一控制器，也就是此虛擬輸入操作裝置，可用以進行控制的目的，並同時簡化操作介面使用的複雜度，提升使用者與操作介面的互動性。

此虛擬輸入操作裝置，在一實施例中，亦可以根據使用者在語音或是與虛擬介面的互動輸入，而產生對應的反應，例如發出聲音、計算結果或甚至於翻譯等等功能。

本實施範例提出一種可攜式虛擬輸入操作裝置與方 法，達成便利的遠端控制與人機互動。此可攜式虛擬輸入操作裝置可以一對一或是一對多的方式，由單一控制裝置對應至少一個或多個可受控裝置，由使用者藉由例如語音或是與虛擬介面的互動輸入，而選擇欲控制的受控裝置。而針對不同可受控裝置不同的需求，可呈現出對應於此受控裝置的人機操作介面，讓使用者可以運用手指動作與操作介面作虛擬互動輸入，藉由此簡便的操作介面方式，達到以單一控制裝置對應至少一個受制電子裝置以進行控制的目的，並同時簡化操作介面使用的複雜度，提升使用者與操作介面的互動性。

本實施範例所提出的可攜式虛擬輸入操作裝置，可以配戴使用者身上，使得使用者角色亦同等於使用者介面，且此裝置可針對不同的可受控裝置。此可攜式虛擬輸入操作裝置的顯示單元貼近於使用者的眼睛，而其上顯示出對應於此受控裝置的虛擬操作介面。而此操作介面顯示單元可為可撓性或非可撓性之透明或半透明之顯示器，亦可是於透明或半透鏡片上附著一薄膜型透明或半透明電子電路片。

虛擬操作介面直接成像於操作介面顯示單元上，當使用者注視此操作介面顯示單元所顯示的虛擬操作介面時，利用使用者視覺上的投射作用，位於操作介面顯示單元外部，而比顯示單元與使用者眼睛相當距離的遠處，會產生一投射的操作介面影像，讓使用者得以選擇。而由可攜式虛擬輸入操作裝置內建的攝影機，直接擷取操作介面顯示 單元外部之手部影像後，進一步分析手指與操作介面影像之間的互動位置，作為控制命令的辨識。而後，再經由例如紅外線、藍芽或其他不同的無線傳輸裝置，將控制命令傳輸至受控裝置。藉此以一簡便的操作方式，達到以單一控制裝置對應至少一個或多個可受控制電子裝置，用以進行控制的目的，並同時簡化操作介面使用的複雜度，提升使用者與操作介面的人機互動性。

本實施範例所提出的可攜式虛擬輸入操作裝置，可掛附在使用者的頭部或其他位置，並利用可攜式虛擬輸入操作裝置內建的單一攝影機或雙攝影所擷取手部的畫面，而與顯示的虛擬操作介面影像進行比對，即可瞭解使用者所選擇的控制指令。而由於可掛附在使用者身上，因此，內建的攝影機不會因為人的移動產生不同的對應位置變化，可更精準地讓使用者與操作介面互動。

本實施範例所提出的可攜式虛擬輸入操作裝置及其操作方法，可對應多個接受控制電子裝置。而此裝置可整合之裝置，並且可簡化顯示操作介面，以提升互動便利性。使用者用手指與由其視覺投射的虛擬操作介面互動輸入提升操作直覺性，且不需經由實體接觸即可進行遠端控制。另外，由於此裝置為可攜式的，不受使用地點限制。

圖1A與1B是說明傳統輸入方法與本實施範例所提出的可攜式虛擬輸入及控制方法。圖1A是顯示傳統的控制方法，當使用者(110)要進行操作(120)時，則經由介面輸入(114)而使受控體根據使用者的輸入而產生反應(116)。而本 實施例提出的操作方法，如圖1B所示，當使用者(120)要進行操作時，則因為操作裝置是配戴於使用者身上，使得使用者(124)角色亦同等於使用者介面(122)，經由使用者的操作(126)，使受控體根據使用者的輸入而產生反應(128)。兩操作的方法差異在於，本實施範例所提出的可攜式虛擬輸入操作裝置是直接產生使用者輸入的介面，而且可以根據指示產生不同的可受控裝置的輸入介面，而後只要根據操作，並經由此虛擬輸入操作裝置直接控制受控裝置產生反應，不需要由受控體產生介面才能輸入。

本實施範例所提出的可攜式虛擬輸入操作裝置組成元件爆炸示意圖，請參照圖2A。而圖2B為將本實施例的可攜式虛擬輸入操作裝置配戴於使用者身上，並經由其手部操作的示意圖。另外，圖2C則是經由本實施範例的可攜式虛擬輸入操作裝置，在操作受控裝置所顯示虛擬投射的操作介面。

首先，請參照圖2A，此可攜式虛擬輸入操作裝置200包括裝置外殼主體210與212、中央處理模組220、影像擷取模組(如攝影機)230、聲音輸出單元(例如耳機)240、聲音接收與輸出模組250與操作介面顯示單元260。此可攜式虛擬輸入操作裝置200可以為一耳掛式裝置，藉由耳掛262配戴於頭部。若是使用者配戴眼鏡或其他的物品，亦可利用懸掛的方式配置其上。如圖2B所示，此可攜式虛擬輸入操作裝置200配戴於使用者270身上，並經由其手部272的不同變化而達到操作的目的。

上述操作介面顯示單元260，可為可撓性或非可撓性之透明或半透明之顯示器，亦可是於透明或半透鏡片上附著一薄膜型透明或半透明電子電路片。而此操作介面顯示單元260是由中央處理模組220傳送顯示資料而對應輸出畫面。

而圖2C則是可攜式虛擬輸入操作裝置200在操作受控裝置所顯示虛擬操作介面的操作介面顯示單元260。在操作介面顯示單元260中，顯示包括多個選項，用以對應受控裝置的操作，例如所選擇控制的是電視機290，此時在操作介面顯示單元260將會出現用以選擇聲音大小的選項265與266，以及選擇節目頻道的上下選項263與264。這些選項會對應於手部272的不同變化，例如停留在某個選項的區域或是位置一段時間，則經由偵測後得知使用者270的控制命令內容。在另一實施例中，亦可根據使用者270移動手部272的方式判斷。

此可攜式虛擬輸入操作裝置200，配戴在使用者270身上，在使用者270選擇受控裝置後，於其操作介面顯示單元260上顯示出對應於所選擇受控裝置的虛擬操作介面。利用使用者270視覺上的投射作用，而產生投射在遠處的操作介面影像。而由此可攜式虛擬輸入操作裝置200內建的影像擷取模組230(底下以攝影機說明)，擷取操作介面顯示單元260外部之手部272影像後，分析手部272的手指與虛擬投射的操作介面影像之間的互動位置，作為控制命令的辨識。實際上，此可攜式虛擬輸入操作裝置200 主要是分析所擷取之手部272影像與顯示於操作介面顯示單元260所顯示之虛擬操作介面的影像，但因使用者看到的是投射的虛擬操作介面影像，因此，只要能得知操作介面顯示單元260與使用者的距離，以及空間中與使用者手部272的相對位置關係，使用內建的攝影機模組230，透過不同的對焦調整，有效地擷取操作介面顯示單元260外部之手部272的影像，即可經由分析得知使用者手部272手指所指向的對應控制項目，如選擇節目頻道的上下選項263與264(CH+與CH-)。

在一實施中，若攝影機模組230為單一攝影機230a，並如圖2A與2B所示，則攝影機之位置於使用者眼睛235之側邊，請參照圖2D所示，則可根據不同光軸231a與231b，分析得擷取之影像中，使用者手部672所指向之對應控制項間之垂直方向關係，如圖2C中的如263與264(CH+與CH-)。

而原理則如圖2E所示，藉由單一攝影機230a取得物體(如本實施例中之使用者手指)於空間中之影像，物體於空間中位置之變化，經由不同光軸231a與232a，對應於影像平面233b中之呈像位置，而使用者眼睛235則經由不同光軸231b與232b，可看到的影像平面233a上物體於空間中位置之變化，而根據這樣的原理可得單一方向之位置變化資訊。

在另一實施例中，請參照圖2F，單一攝影機230b之位置於使用者眼睛之上方，則可分析得擷取之影像中，使 用者手部272所指向對應控制項間之水平方向關係如選擇聲音大小的選項265與266(VOL-與VOL+)。則可根據不同光軸234a與234b，分析得擷取之影像中，使用者手部272所指向之對應控制項間之水平方向關係。

若顯示單元中顯示多個控制項，且其間呈較複雜之二維相對關係時，則在多個實施例中，可選擇多部攝影機進行擷取影像並經分析取得二維的手勢變化。例如在其中之一實施例，請參照圖2G所示，則藉由兩攝影機230a與230b之組合，根據不同光軸236a、236b與234c，進行分析使用者手部於空間中對應顯示單元控制項之關係。

而後，再經由可攜式虛擬輸入操作裝置200內的中央處理模組220，其所配置的無線傳輸模組，例如紅外線、藍芽或其他不同的無線傳輸方式，將控制命令傳輸至受控裝置(如圖2C所示的電視機290)。

在多個實施例中，可選擇多部攝影機進行擷取影像，並經分析取得二維的手勢變化，如圖2H與2I所示。在此實施例中，所提出可攜式虛擬輸入操作裝置的組成元件爆炸示意圖，請參照圖2H所示，基本構件與圖2A相同的元件不再冗述，而差異在於除了內建的攝影機模組230外，更增加一部攝影機232。而如圖2I所示，為本實施例所提出可攜式虛擬輸入操作裝置的組合產品示意圖，利用連接線路234將攝影機232的影像傳回系統中。

請參照圖3，為說明本實施範例所提出可攜式虛擬輸入操作方法流程圖。首先，在步驟312到步驟314中，先 選擇所欲控制的電子裝置。本實施例可對應多個可受控電子裝置，但欲實際對可受控電子裝置進行操作控制時，首先，必需先透過例如語音輸入方式(步驟312)經過語音辨識後，經由中央處理模組的分析運算，判定為何種受控電子裝置，並分析此受控電子裝置310的特性(步驟314)，並產生其相對應的控制項目。在另外實施範例中，也可以經由可攜式虛擬輸入操作裝置上的一個控制按鈕，或是特定語音訊號產生受控電子裝置的選單列表，而後再由使用者經由手部互動的方式選擇。

接著，當選出受控電子裝置310後，會產生相對應的虛擬操作介面，並且呈現對應的控制項目(步驟316)，這些控制項目將會顯示在操作介面顯示單元330上，呈現出對應於此受控裝置的操作介面，以利使用者用位於操作介面顯示單元330外部之手指指向動作與操作介面進行虛擬互動(步驟318)。而後，影像擷取模組(例：攝影機)340擷取位於操作介面顯示單元330外部之手指的影像(步驟320)，並將資訊傳輸至中央處理模組後，經由影像辨識與分析單元350對影像進行分析後，判斷手指所下達的控制命令(步驟324)。

最後，再透過無線傳輸裝置，例如紅外線傳輸單元360，將控制命令以紅外線的方式傳輸至受控電子裝置310(步驟326)，受控電子裝置310依命令輸出反應(步驟370)，以此達到控制操作的目的。

底下圖4A~4I是針對使用者用手指指向動作與虛擬 操作介面進行互動的實施範例示意圖，底下將逐一說明。

圖4A說明操作介面400顯示受控冷氣機420的控制，例如冷度或是風扇強度等等的增加“+1”或是減少“-1”的項目選擇。使用者用手部410的手指指向其中一個選項，如圖中的減少“-1”強度的位置，而對應控制的受控冷氣機420的強度減一。

圖4B說明操作介面400顯示受控電視機421的頻道上下“CH+”、“CH-”或是聲音大小的調整“VOL+”或“VOL-”的項目選擇。使用者用手部410的手指指向其中一個選項，如圖中的減少“VOL-”聲音的位置，而對應控制的受控電視機421產生的聲音大小減一。

圖4C與4D說明操作介面400顯示受控電燈422的開“ON”或關“OFF”。使用者用手部410的手指指向其中一個選項，如圖4C的開“ON”的位置，而對應控制的受控電燈422則開啟，而如圖4D的關“OFF”的位置，而對應控制的受控電燈422則關閉。

圖4E與4F說明操作介面400顯示受控電燈422的另一種操作模式，也就是亮度的強弱。使用者用手部410的手指以一定的弧度畫出一個弧形後，則可用以控制目前受控電燈422的強度，如圖4E則是具有比較弱的亮度，而圖4F則是比較強的亮度。

圖4G與4H說明操作介面400顯示受控機器人423的另兩種操作模式，也就是如圖4G包括上下左右方向的移動，或是如圖4H的依照使用者手部410的手指所畫出 的曲線402移動。而圖4I則是說明操作介面400顯示受控裝置在現場環境的佈局424中，依照使用者手部410的手指所畫出的曲線404移動。

根據圖4A~4I針對使用者用手指指向動作與操作介面進行虛擬互動的部分實施範例示意圖，可以瞭解本發明之實施例可運用的系統如下，但並非以此為限制。

1.整合型智慧家電控制系統

本實施例可達到整合型智慧家電控制系統之直覺性及便利性之控制操作。本系統裝置於每個家電裝置，也就是可受控裝置，都配置其對應裝置之感測辨識源(標籤或訊號發射器)，透過本系統之感測模組(影像感測元件或訊號接收器)，可辨識判別出目前使用者欲操作的家電裝置，並於操作介面顯示單元顯示出該裝置對應的控制介面，如圖4A~4I所示，透過無線通訊系統將控制結果訊號即時傳回家電裝置。

如圖4C~4F為當系統偵測待控制之家電裝置為電燈後，便於操作介面顯示單元400中顯示出電燈的開關操作圖形介面，此時使用者只須於虛擬操作介面中，將手指在空間中直覺式做出按下動作或停留一段時間，影像擷取模組便會立即擷取操作介面顯示單元400外部之手部影像資訊，並交由中央處理模組分析選項資訊，透過無線通訊模組傳回結果資訊給電燈裝置，做出對應的開或關操控動作。若該電燈有提供光源強度大小的調整，則操作介面顯示單元400亦會顯示出調整光源強度的圖形介面以供調整 設定。同樣地根據操作介面顯示單元400中的畫面，使用者可作直覺式的操控，本發明系統會即時感測擷取操作訊號，調整該裝置的設定。

系統裝置偵測到不同家電裝置時，會根據所選擇的家電裝置資訊於操作介面顯示單元400中顯示出對應的控制操作介面，如圖4A為冷氣裝置的操作選項如調整設定溫度，如圖4B對電視機的控制操作介面，控制選項中則顯示出調整電視聲音及頻道的控制項。

當處於環境中同時偵測到多個裝置時，系統會同時顯示出在位置環境中的家電項目，並根據分析模組顯示出最可能操控的裝置設定為預設選項，使用者此時也可隨時調整選擇欲操作控制的家電裝置。虛擬介面中的選項亦可透過在系統中的聲音接受及輸出模組中的聲音接收模組來操作選取。本實施例的系統為可攜式裝置，能簡化並讓人類更自由、直覺地操作環境中所有電器裝置，不受位置，人體姿態的限制。

2.機器人運行操作控制

本實施例亦可應用於機器人運行操作控制，如圖4G所示，於操作介面顯示單元400上顯示運動控制項的上、下、左、右鍵，分別對應機器人的後退、前進、左移、右移動作，便可透過本實施例之裝置用直覺與便利性的方法進行機器人的移動控制。若有更複雜的移動控制項，操作介面顯示單元400上亦可顯示更多的操作控制項對應如右轉、左轉、揮手、點頭...等更細部的機器人動作。

更進一步如圖4H所示，更可以於操作介面顯示單元400上顯示的一操作範圍內以手指動作繪出機器人的移動路徑，經由影像擷取分析與無線訊號傳輸，可控制機器人依規劃的軌跡移動，此控制方法亦可應用於家用清潔機器人的清掃路徑規劃，實施方法可以將本實施例的裝置中所包含的介面顯示螢幕擴充為全罩式的顯示螢幕，且顯示螢幕與眼睛的距離可稍微拉遠至使用者雙眼視覺焦距清楚處。當視覺於顯示螢幕的焦距清楚時，操作介面顯示單元400上可呈現較為複雜的操作介面，如圖4I所表示的在操作介面顯示單元400上顯示機器人所建好的環境地圖，使用者可於此環境地圖上規劃清潔機器人的工作移動路徑，機器人接獲命令後即根據命令所下的移動軌跡進行室內清潔工作(如吸塵、拖地、除水...等工作)。更者，此路徑規劃方法與機器人移動控制亦可應用保全機器人的巡邏路徑規劃。

請參照圖5A與5B，分別說明本實施範例所提出可攜式虛擬輸入操作裝置的組合圖示與配戴在使用者身上的示意圖。此可攜式虛擬輸入操作裝置包括裝置主體510，其內部包括中央處理模組，更包括操作介面顯示單元520、影像擷取模組530、聲音輸出單元(圖內側)、聲音接收與輸出模組540。此可攜式虛擬輸入操作裝置為頭套掛式裝置，藉由頭套560配戴於使用者550的頭部。

使用者550將可攜式虛擬輸入操作裝置配置於頭部時，眼睛可透過操作介面顯示單元520看到控制操作介 面，且此裝置可以一對多進行可受控電子裝置的控制與操作。因此，對應於不同的可受控電子裝置，由語音輸入與辨識控制方式從所述可受控裝置中選擇其中之一作為受控裝置。決定受控裝置後，由中央處理器下達操作介面顯示命令經由操作介面顯示單元520顯示對應的操作介面，使用者可用手指與操作介面進行非實體接觸的互動輸入，手部影像由影像擷取模組530(如攝影機...等)進行影像擷取後，將手部影像進行資料分析，可根據手指位置影像與操作介面顯示的影像經由對位後，分析出被手指動作所指向的控制項目，進而得到控制命令後，再經由中央處理器上搭載的無線傳輸裝置，例如紅外線傳輸單元將控制命令經由無線傳輸至受控的電子裝置上，使之可依操作指令作出反應。

除了圖4A~4I所說明使用者用手指指向動作與操作介面進行虛擬互動的實施範例外，本實施範例所提出可攜式虛擬輸入操作裝置更可運用到電腦的操作功能。如圖6A~6B所示，可於操作介面顯示單元610上顯示電腦鍵盤等輸入介面，使用者利用左右手602與604，可經由非實體接觸點擊虛擬操作介面(也就是利用手指在空間中直覺式做出按下動作，或停留一段時間的方式判斷是否點擊介面上的選項)或執行點選、拖曳之功能，代替電腦鍵盤、滑鼠與觸控面板等輸入裝置進行操作電腦620達到預定的功能。如圖6B中產生代替電腦鍵盤的圖像612，在輸入相關字母後，在電腦620的螢幕622顯示輸入的字母，而同時 也在操作介面顯示單元610上的顯示框614顯示對應的內容。在此稱為點擊虛擬操作介面是因為此輸入介面為虛擬投射的影像，因為只要在同一區域停留一預定時間即屬點擊完成，而非對操作介面顯示單元610進行點擊敲打。

本實施範例所提出可攜式虛擬輸入操作裝置，可針對操作介面顯示單元所顯示之虛擬操作介面或攝影機所擷取之影像，如圖7針對電視機720內的影像任意處，也就是由操作介面顯示單元顯示對應的影像任意處，使用者可用手部702的手指與操作介面顯示單元710進行非實體接觸的互動輸入，例如在手指以順時鐘方式滑動一軌跡712，則可拉近此區域之影像，如圖中的影像724轉為影像722，如手指以逆時鐘方式滑動一軌跡，則可拉遠此區域之影像，如圖示中的影像724轉為影像726。本實施範例所提出可攜式虛擬輸入操作裝置，亦可根據操作介面顯示單元所顯示之虛擬操作介面或攝影機所擷取之影像，以手指點虛擬操作介面中的拍照圖示按鈕進行拍照，或以手指點擊虛擬操作介面中的錄影圖示按鈕進行錄影，若再次點擊錄影圖示按鈕則停止錄影。

本實施範例所提出可攜式虛擬輸入操作裝置，所投射之相片或影片，可進行全螢幕檢視或播放，如圖8。以手指於相片和影片中央往上或往下滑動，如圖所示在投射影像810以手指移動上下移動，則可檢視上一張或下一張相片和影片。以手指點擊相片和影片，則可全螢幕檢視相片和播放影片，如圖示的影像820、822與824。

本實施範例所提出可攜式虛擬輸入操作裝置，在一實施例中，亦可以根據使用者在語音或是與虛擬操作介面的互動輸入，而產生對應的反應，例如發出聲音、計算結果或甚至於翻譯等等功能。例如，請參照圖9A與9B，係分別說明為於操作介面顯示單元顯示電腦鍵盤等輸入介面，而根據使用者的輸入產生對應功能之不同實施例示意圖。

而圖9A則是可於操作介面顯示單元910上顯示虛擬電腦鍵盤912等輸入介面，而使用者利用手部與操作介面顯示單元所顯示的虛擬電腦鍵盤912輸入後的文字，除了出現在操作介面顯示單元910上的顯示框914外，更可利用聲音輸出單元920(例如耳機、喇叭或任何輸出裝置)而輸出對應的語音。

本實施範例所提出可攜式虛擬輸入操作裝置包括聲音接收與輸出模組(如圖5內建於主體510的聲音接收與輸出模組540)，可達到發聲與收音功能。藉由聲音接收與輸出模組上的收音裝置，可收錄使用者或附近其他人所發出的聲音，經由語音辨識後的結果，顯示於操作介面顯示單元上。若收錄他人的聲音為他國語言，還可透過自動翻譯軟體將他國語言轉換成使用者所使用的本國語言。收音裝置還可以辨識使用者本身的語音命令，也可替代鍵盤輸入介面，直接將使用者說的話顯示在螢幕上。

發音裝置可將使用者輸入的文字，播放於周圍，甚至可將使用者輸入的文字翻譯成他國的語言，再進行播放。此裝置可協助瘖啞人士與外界的溝通，甚至協助旅客翻譯 多國語言。

而圖9B則是可於操作介面顯示單元930上顯示虛擬計算機按鍵932等輸入介面，而使用者利用手部與操作介面顯示單元930上所顯示的虛擬計算機按鍵932輸入數字後，並選擇其中一種運算的功能，輸入的運算式可以顯示在顯示框934，而後，運算的結果將會出現在操作介面顯示單元顯示螢幕930上的顯示框940，在一實施例中，亦可將結果採用對應的語音輸出。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200‧‧‧可攜式虛擬輸入操作裝置

210與212‧‧‧外殼主體

220‧‧‧中央處理模組

230‧‧‧影像擷取模組

232‧‧‧攝影機

233b、233b‧‧‧影像平面

234‧‧‧連接線路

230a、230b‧‧‧攝影機

231a、231b、232a、232b、234a、234b、234c、236a、236b‧‧‧光軸

235‧‧‧眼睛

240‧‧‧聲音輸出單元

250‧‧‧聲音接收與輸出模組

260‧‧‧操作介面顯示單元

265與266‧‧‧聲音大小選項

263與264‧‧‧頻道上下選項

262‧‧‧耳掛

270‧‧‧使用者

272‧‧‧手部

290‧‧‧電視機

400‧‧‧操作介面

402、404‧‧‧曲線

410‧‧‧使用者的手部

420‧‧‧冷氣機

421‧‧‧電視機

422‧‧‧電燈

423‧‧‧機器人

424‧‧‧現場環境的佈局

510‧‧‧裝置外殼主體

520‧‧‧操作介面顯示單元

530‧‧‧影像擷取模組

540‧‧‧聲音接收與輸出模組

550‧‧‧使用者

560‧‧‧頭套

610‧‧‧操作介面顯示單元

602與604‧‧‧左右手

620‧‧‧操作電腦

622‧‧‧螢幕

630‧‧‧聲音輸出單元

720‧‧‧電視機

702‧‧‧手部

710‧‧‧操作介面顯示單元

712‧‧‧軌跡

724‧‧‧影像

722‧‧‧縮小影像

726‧‧‧放大影像

810‧‧‧投射影像

820、822與824‧‧‧影像

910‧‧‧操作介面顯示單元顯示螢幕

912‧‧‧虛擬電腦鍵盤

914‧‧‧顯示框

920‧‧‧聲音輸出單元

930‧‧‧操作介面顯示單元

932‧‧‧虛擬計算機按鍵

934、940‧‧‧顯示框

圖1A與1B是說明傳統輸入控制指令的控制方法與本實施範例所提出的可攜式虛擬輸入操作方法。

圖2A是說明本實施範例所提出的可攜式虛擬輸入操作裝置組成元件爆炸示意圖。

圖2B是將本實施例的可攜式虛擬輸入操作裝置配戴於使用者身上，並經由其手部操作的示意圖。

圖2C則是說明，在一第一人的角度，經由本實施範例的可攜式虛擬輸入操作裝置，在操作受控裝置所顯示虛擬投射的操作介面影像。

圖2D~2G則是說明經由本實施範例的可攜式虛擬輸 入操作裝置，在擷取影像方法不同的實施例操作。

圖2H與2I是說明本實施範例的可攜式虛擬輸入操作裝置，選擇多部攝影機進行擷取影像，並經分析取得二維的手勢變化示意圖。

圖3是說明本實施範例所提出可攜式虛擬輸入操作方法流程圖。

圖4A~4I是針對使用者用手指指向動作與操作介面進行虛擬互動的不同實施範例示意圖

圖5A與5B分別說明本實施範例所提出可攜式虛擬輸入操作裝置的組合圖示與配戴在使用者身上的示意圖。

圖6A~6C是說明本實施範例所提出可攜式虛擬輸入操作裝置更可運用到電腦的操作功能。

圖7是說明本實施範例所提出可攜式虛擬輸入操作裝置，可針對操作介面顯示單元的顯示螢幕所顯示之影像或攝影機所擷取之影像進行縮放的操作示意圖。

圖8是說明本實施範例所提出可攜式虛擬輸入操作裝置，所投射之相片或影片可進行全螢幕檢視或播放之示意圖。

圖9A與9B分別為於操作介面顯示單元上顯示虛擬電腦鍵盤等輸入介面，而根據使用者的輸入產生對應功能之不同實施例示意圖。

200‧‧‧可攜式虛擬輸入操作裝置

210與212‧‧‧外殼主體

220‧‧‧中央處理模組

230‧‧‧影像擷取模組

240‧‧‧聲音輸出單元

250‧‧‧聲音接收與輸出模組

260‧‧‧操作介面顯示單元

262‧‧‧耳掛

Claims (23)

1. 一種可攜式虛擬輸入操作裝置，可掛附在使用者身上，該裝置包括：一主體；一操作介面顯示單元，連接於該主體，並可移動式地配置在該使用者頭部之前，用以顯示對應於一受控裝置的操作介面；一影像擷取模組，置於該主體上，並用以擷取該操作介面顯示單元外部之該使用者之手部位置影像；一中央處理模組，內建於該主體內，並用以傳送顯示資料到該操作介面顯示單元，以顯示該操作介面，並連接到該影像擷取模組，用以接收該影像擷取模組所擷取該使用者之手部位置影像，並根據該顯示資料與所擷取該使用者之手部位置影像，判斷該使用者所輸入之一控制指令。
2. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，用以無線控制多個可受控裝置，並對應於每個該可受控裝置儲存至少一個介面，而該受控裝置是由該些可受控裝置中選出其中之一，而將其對應的該或該些介面顯示在該操作介面顯示單元上，以作為該操作介面。
3. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，另包含一無線傳輸模組，連接到該中央處理模組，用以無線方式傳送該使用者所輸入之控制指令到該受控裝置，藉以使得該受控裝置根據該控制指令產生對應的操作。
4. 如申請專利範圍第2項所述的可攜式虛擬輸入操作 裝置，更包括一聲音接收與輸出模組，內建於該主體，用以由該使用者以語音方式輸入所要控制的該可受控裝置，並由該中央處理模組辨識後對應顯示該受控裝置的操作介面。
5. 如申請專利範圍第2項所述的可攜式虛擬輸入操作裝置，更包括一聲音接收與輸出模組，內建於該主體，用以由該使用者以語音方式輸入操作命令，並根據該操作命令的語音辨識後，在該操作介面顯示單元顯示該些可受控裝置，並據以讓該使用者選擇其中之一作為該受控裝置。
6. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，更包括一聲音輸出單元，位於該主體上，並連接到該中央處理模組，用以產生聲音。
7. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，更包括一聲音接收與輸出模組，內建於該主體，用以接收該使用者所輸出或其他使用者所輸出的語音，並傳送到該中央處理模組，將其轉換為文字後輸入在該操作介面顯示單元上。
8. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，更包括一聲音接收與輸出模組，內建於該主體，用以接收其他使用者所輸出的語音，傳送到該中央處理模組辨識後，轉為該使用者所使用的語言顯示在該操作介面顯示單元上。
9. 如申請專利範圍第3項所述的可攜式虛擬輸入操作裝置，其中該控制指令是經由紅外線或藍芽以無線方式傳 送該使用者所輸入之控制指令到該受控裝置。
10. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，其中該操作介面顯示單元為可撓性或非可撓性之透明或半透明之顯示器，或是於透明或半透鏡片上附著一薄膜型透明或半透明電子電路片。
11. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，其中該影像擷取模組至少包括一第一攝影機，置於該主體上，並且與該使用者的眼睛之側邊水平方向一定距離的位置，用以擷取與分析該使用者之手部垂直方向的位置變化，而判斷該使用者所輸入之該控制指令。
12. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，其中該影像擷取模組至少包括一第二攝影機，置於該主體上，並且與該使用者的眼睛之上方垂直方向一定距離的位置，用以擷取與分析該使用者之手部水平方向的位置變化，而判斷該使用者所輸入之該控制指令。
13. 如申請專利範圍第1項所述的可攜式虛擬輸入操作裝置，其中該影像擷取模組包括多部攝影機，置於該主體上，其中之一該攝影機置於該主體上與該使用者的眼睛之側邊水平方向一定距離的位置，而另一該攝影機置於該主體上與該使用者的眼睛之上方垂直方向一定距離的位置，利用擷取與分析該使用者之手部垂直與水平方向的位置變化，而判斷該使用者所輸入之該控制指令。
14. 一種虛擬輸入操作方法，適用於一可攜式虛擬輸入操作裝置，該方法包括： 傳送顯示資料到一操作介面顯示單元，以顯示一受控裝置之操作介面；以及以一影像擷取方式擷取位於該操作介面顯示單元外部之使用者之手部位置影像；根據該擷取該使用者之手部位置影像，並根據該顯示資料與所擷取該使用者之手部位置影像，決定該使用者所輸入之一控制指令。
15. 如申請專利範圍第14項所述的虛擬輸入操作方法，更包括從多個可受控裝置中選擇其中之一作為該受控裝置，而該些可受控裝置是以無線方式控制，並對應於每個該可受控裝置儲存至少一個介面，並將其對應的該或該些介面顯示作為該操作介面。
16. 如申請專利範圍第15項所述的虛擬輸入操作方法，其中選擇該受控裝置的方式是由該使用者以語音方式輸入所要控制的該些可受控裝置選擇其中之一作為該受控裝置，而後判斷後對應顯示該受控裝置的操作介面。
17. 如申請專利範圍第15項所述的虛擬輸入操作方法，其中選擇該受控裝置的方式是由該使用者以語音方式輸入操作命令，並根據該操作命令的語音判斷後，顯示該些可受控裝置選項，據以讓該使用者從選擇其中該些可受控裝置選擇其中之一作為該受控裝置。
18. 如申請專利範圍第14項所述的虛擬輸入操作方法，更包括接收該使用者所輸出或其他使用者所輸出的語音資料，並將其轉換為文字後顯示該些文字給該使用者。
19. 如申請專利範圍第14項所述的虛擬輸入操作方法，更包括接收其他使用者所輸出的語音資料，並轉為該使用者所使用的語言顯示讓該使用者閱讀。
20. 如申請專利範圍第15項所述的虛擬輸入操作方法，其中控制指令是經由紅外線或藍芽以無線方式傳送該使用者所輸入之該控制指令到該受控裝置。
21. 如申請專利範圍第14項所述的虛擬輸入操作方法，其中該操作介面一虛擬電腦鍵盤或滑鼠，而該受控裝置為一電腦，並根據該虛擬電腦鍵盤或滑鼠之輸入資料產生對應的操作。
22. 如申請專利範圍第14項所述的虛擬輸入操作方法，其中以該影像擷取方式擷取該使用者之手部位置影像方法包括擷取並分析一水平方向或一垂直方向的該使用者之手部位置變化，判斷該使用者所輸入之該控制指令。
23. 如申請專利範圍第14項所述的虛擬輸入操作方法，其中以該影像擷取方式擷取該使用者之手部位置影像方法包括擷取並分析一水平方向及一垂直方向的該使用者之手部位置變化，結合後判斷該使用者所輸入之該控制指令。