TW554329B - Method of using video reflection in providing input data to a computer system - Google Patents

Description

554329

五、發明說明（ 經濟部智慧財產局員工消費合作社印製 這份專利文件所揭露的部分包含隸屬於著作權保確的資 ，’著作擁有者對於任何專利文件或專利揭露的傳^複製 無異議，如同在專利和商標局專利檔案或記綠， 任何所有的版權權利。 田 本發明大致係有關於電腦系統，而更明確而言係關於用以 將輸入資料提供給電腦系統的一方法。 2 ·描述 許多用以從使用者到電腦系統輸入資料溝通的技術盘裝置 已發展。鍵盤、游標移動裝置（例如滑鼠、軌跡球、及搖桿 針、、及板面、條碼掃描器、及其他裝置皆用來指示電腦執 行所選定的工作。例如’隨著搞合至諸如個人電腦（PCs)之 電腦系統的影像照像機使用的成長，以新而有趣的方 用即時影像資料的機會已興起。然而，在個人電腦中‘像 資料的許多現階段應用已著重在各種不同的顯示器特徵， 而不在乎新輸入模式的可性。重要的是利用影像照像機能 力的輸入技術可提高個人電腦使用者的經驗及使 更容易使用。 ％ 發明概色 本發明的一具體實施例是將輸入信號提供給具有顯示器的 系統之方法’該系統㈣合至影像資料信號源。該方法包 括捕捉由影像源所產生的影像資料信號，該等影像資料严 號係表示-景像；在顯示器上提供景像，以致於 ； ------------i ^------^ —------- (請先閱讀背面之注意事項再填寫本頁) -4- 554329 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（2 ) 器上看見景像；分析該等影像資料信號，以偵測在景像中 的一物件；及隨著該偵測物件產生該系統的一輸入信號。•圖左主 本發明的特徵及優點從本發明的下列詳細描述中會變得更 明顯： 圖1係根據本發明的一具體實施例而描述影像映射之取樣 顯示部分圖式； 圖之2係根據本發明的一具體實施例而描述作業系統輸出繪 圖資料所顯示透明繪圖資料的範例圖式； 圖3係根據本發明的一具體實施例而描述適合使用一透 繪圖方法程控一取樣電腦系統圖式； 圖4 t根據本發明的一具體實施例而實現透明繪圖的一 體及硬體堆疊圖式； 圖5係根據本發明的一具體實施例而描述用以提供透明 圖所使用的多重影像框緩衝器圖式； 圖6係根據本發明的一具體實施例而描述在透明緣圖影 C、、爰衝器與作業系、統輸出影像框緩衝器之間混合的另一 素技術圖式r 圖7係根據本發明的一具體實施例初始化一系統提供透 繪圖之流程圖； 圖8係根據本發明的一具體實施例而顯示雙緩衝控制 流程圖；及圖9係根據本發明的-具體實施例之顏色混合與交錯處理 流程圖。 处主 明 軟 像 圖 明 _ ___________裝--------訂----------線 (請先閱讀背面之注意事項再填寫本頁) 本紙張尺度刺中國國家標準（CNS)A4規格 -5 554329 五、發明說明（3 圖10係根據本發明的_具體實施例圖而描述可提供影像 映射輸入技術之應用程式元件圖式； 圖1 1係根據本發明的_具體實施例而描述—過攄器緣 之圖式； 、、圖1 2係根據本發明的_具體實施例之過濾器初始化處理 流程圖； 、圖1 3係根據本發明的—具體實施例處理輸人事件程序之 流程圖； 圖14係根據本發明的-具體實施例用以偵測有效輸入事 件處理之流程圖； 圖1 5係根據本發明的—具體實施例而描述透明績圖 供應器的處理線緒流程圖；及 訂 圖1 6係根據本發明的一具體實施例而描述一透明绔 合器核心之處理線緒流程圖。 。 _圖式之詳細説明 在下列的敘述中將描述本發明的各種不同觀點。爲 月特殊的數目、系統、和結構已聲明，爲了要提供對 發明的完全—了解。然而，在技藝中所熟知的技術可看出 發明的實現無需特殊的細節。在其他的例證中，眾 的特徵會名略或簡化，而不會使本發明模糊。 、 本發明的一具體實施例是用以諸如將使用者輸入資 提供個人電腦的m统之方法。即時視訊影像 合至個人電腦的影像照像機捕捉，或從任何其他影 信號源接收，並提供給個人電腦顯示器的整個螢幕，以致 I_ -6- 本紙張尺度適用中關家標準（CNS)A4規格⑵Q χ 297公髮） 554329 A7 五、發明說明（4 ) 於該等所捕捉的視訊影像可在顯示器上透明顯示。該等影 像資料信號可與正常的應用程式和作業系統軟體顯示輸出 資料信號混合，而不會使正常的前景顯示影像模糊。該結 果的影響是當該影像照像機指向使用者的時候，使用者可 在電腦榮幕上看見使用者本身的反射料，而使用者亦可 看見及m口小圖示或應用程式顯示的其他的顯示元件交 淡。因為琢反射影像係透明地顯示，它不會受到其他顯示 元件的顯示干擾。 雖然在此所描述的本發明之某些具體實施例係有關一影像 照像機。本發明並未局限在此點上。在另一具體實施例 中，战等影像資料信號源可以是任何的影像源，例如一綠 訂 放影機（VCPO、廣播電視信號、或先前所儲存的影像資料信 號。 本發明的一些具體實施例的其中一特徵在於使用者可在影 像照像機捕捉影像之後於電腦螢幕上看見他或她的反射或 影像。隨著此影像映射，使用者可藉著在影像照像機的視 野實際移動眞實的物件（諸如使用者的手和手指）而與電腦 系統緣圖用者界面（GUI)的應用程式和作業系統顯示元件 交談。本發明的一些具體實施例的輸入能力可提供，而無 需任何修改既有的應用程式。在本發明的具體實施例中， 這些移動可在電腦系統中直接動作，例如抓取或選取小圖 示及其他應用程式元件，現階段多數的使用者係使用滑鼠 或其他的選擇裝置。當觀察使用者的反射影像之時而此實 際移動可產生一意欲結果是非常自然而直覺的。例如，使 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐 A7 B7

554329 五、發明說明（5 ) 用者時常可在鏡子看見本身的反射像，而以他們的手處理 物件是簡單的事。此外，典型上當瀏覽他們反射影像的時 候，使用者可使用支配或非支配的手或雙手執行操作是容 易的。在另一具體實施例中，特殊預定推動元件可當作物 件使用，以指示在電腦内的動作。這些推動元件可以是主 動或非主動。主動的推動元件包含諸如發光二極體（LED)的 機械或電子構造。非主動的推動元件是諸如彩色線條或每 作桿、結構樣品、及彩色手套項目，雖然本發明已很清楚 表明不是局限在這一點上。 當本發明的一些具體實施例不能夠整個取代電腦滑鼠使用 的時候，它對使用者的電腦系統輸入提供有力的新例。相 別是，它提出藉由移動實際的物件而處理電腦顯示物件武 自然而直接的方法。各種不同類型的應用程式可延伸使用 此輸入範例。例如，電腦遊戲可採用經由影像映射的使用 者輸入，用以提高使用者交談。在使用者指向影像顯示資 料的選擇區域之影像表示系統係可容易使用。視訊會議應 用可擴充，以提供額外的輸入特性。一組合個人電腦^電^ (T V)可利用此輸入能力，尤其是在使用者與顯示器之間的 距離是相當大。例如，對於諸如兒童的許多使用者而士， 將實際物件（例如他們的手）傳送輸入一電腦系統的處理可 較其他典型的輸入裝置更直覺。 在一具體實施例中，在傳送至個人電腦用以處理及顯示之 影像資料信號中的圖素顏色可分析，以追蹤諸如使用者的 手之實際物件移動。這可經由使用使用者雙手或手指的彩 -----------裝 ------訂 iT------- 請先閱讀背面之注音W事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -8 - 554329 A7 --~~_B7 _____ 五、發明說明（6 ) 色點或經由其他電腦視覺方法而獲得輔助。可選擇地，獨 特顏色可置毛特殊的物件(例如類似手指和拇指，或其他的 推動7〇件）上，以繁助本發明的具體實施例之電腦視覺元件 隔離及識別認爲輸入事件產生器的物件。 八把貫施例中’個人電腦滑氣游標可根據使用者的食 $與拇‘的移動而移自。當使用者π捏，，他或她的食指與拇 才曰，且在所捕捉的視訊影像中偵測到食指與拇指影像的時 候，一滑鼠向下的事件可傳入作業系統軟體。當使用者放 開插手位置’而食指與拇指的這些影像在捕捉的視訊影像 偵測到的時候，一滑鼠向上事件便可傳入。指定特殊輸入 信號與事件的其他移動也在另一具體實施例中定義。 圖1係根據本發明的一具體實施例而描述影像映射之取樣 顯示部分圖式。在此範例中，使用者的影像是由影像照像 機捕捉，並以透明繪圖方式提供給顯示器。例如，使用者 然後能與顯示物件交談，諸如應用程式小圖示，以便將輸 入信號與事件提供給系統。 本發明的^一些具體貫施例之基本能力是在一電腦顯示器的 顯不;貝料仏唬另一層頂端上提供顯示資料信號（例如由影像 照像機所溝通的影像資料信號）的透明層之方法，所以使用 者可同時清楚及實質看見兩層。首先會描述一般使用的能 力，而且在下面會進一步描述本發明的一些具體實施例之 輸入偵測方法的使用。本質上，顯示透明視窗能力是兩倍 於在由應用程式使用顯示器上之可用最大螢幕區域。一具 體實施例係藉著將來自一影像框緩衝器的圖素與來自另一 -9- 本紙張尺度適用中國國家標準（CNS)A4規格_(21〇 X 297公爱) ---- -----------^--- (請先閱讀背面之注意事項再填寫本頁) . 經濟部智慧財產局員工消費合作社印製 554329 Α7 Β7 五、發明說明（7 ) 經濟部智慧財產局員工消費合作社印製 影像框緩衝器的圖素交錯（或圖案交錯）而產生透明電腦續 圖層之方法。在此具體實施例中，來自一第一影像框緩衝 器的選取圖素係藉由與來自一第二影像框缓衝器的相對圖 素的顏色平均而混合，以減少獨自空間多工使用所產生的 “棋盤’’效果。此外，因爲交錯程度是可調整，而且顏色平 均可加權，該等顯示的影像透明程度便可受到控制。 在此具體實施例中，作業系統軟體所使用的輸·出影像框 衝器不會受到透明特徵規定的影響，而且作業系統不知 透明操作。因此，由本發明的具體實施例所提供的透明双 果不需要修改應用程式的透明工作。此外，應用程式與作 業系統視窗的輸入操作不會受到透明前景效果的影響。 本發明的一具體實施例係藉由組合電腦繪圖輸出資料的至 少兩影像框緩衝器或電子信號形式之影像資料操作。輸出 或可見影像框緩衝器的圖素係藉著空間交錯兩輸入影像框 緩衝器的内容產生。在此具體實施例中的交錯係藉著將一 影像框緩衝器的圖素與另一影像框緩衝器的圖素組合而 這會造成叠在另-之兩顯示影像的視覺錯覺。當圖系 叉錯的時候’帛-影像框緩衝器的圖素會與該第二影像框 緩衝器之所要取代的圖素進行色彩平均。色彩平均是在將 圖素插入輸出影像框緩衝器之前或期間藉著將圖素血 影像框緩衝器的相對圖素平均而在一影像框緩衝器的 亡執行：例如，此結果包含實質上可同時在諸如電腦 器的顯示器上看見的多重疊影像。 圖2係根據本發發明的—具體實施例而描述作業系統 緩 道 效 完 素 另一 圖素 監視 ----------#i· — ——— 11^----------% (請先閱讀背面之注意事項再填寫本頁) -10- 本紙張尺度綱中國國家鮮（CNS)A4雜^7视 D4329 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（8 2圖資料顯示所顯示之透明緣圖資料範例圖式。作 :出影像框緩衝器10是記憶體區域，其用來儲存在下面圖3 目前顯示資料。該作業系統輸出影像框 在作業系統可使用的任何記憶體。一影像框 = 疋—組儲存位S，以儲存二維空間陣列的圖辛資 。孩作業系統輸出影像框緩衝器是與電腦系統的作業系 統軟體有關，其可控制在電腦監視器(在圖中未顯 上 的資料信號的產生和顯示。在—具體實施射，雖然其他 的作業系統款體支援㈣解使用者界面也可採用，但是該 作業系統軟體包含是從微軟公司獲得的…―簡％⑧或 NT®作業系㈣體。在此^例中’該作業系統輸 出影像框緩衝器10係分㈣含在圖2及標示12、Η、和Μ 所示的3個重疊視窗之應用程式顯示資料信號。 透明緣®U>像框緩衝器i 8是用來儲存透明緣圖之顯示資 料的記憶體區域’用以實質上可同時顯示作業系統輸出影 像框緩衝器的顯示資料信號。此記憶體區域可配置在系統 可取用的任何記憶體。彡明績圖影像框緩衝器18可用來儲 存從一影像照像機或其他影像資料信號源所接收的影像資 料之影像框。在圖2所示的範例中，雖然通常任何顯示元件 可經由本發明具體實施例的使用而達成透明，但是諸如所 顯示的一時脈20和堆疊指示器22之顯示元件係如同描述透 明使用心取樣應用程式特徵。更明確而言，在本發明的具 體實施例中，所捕捉的影像框可如同在顯示器上二一連_ 透明影像。 -11 - 本紙張尺度適用中國國家標準(CNS)A4規格（210 x 297公爱_ ——_---^i.-------.#. (請先閱讀背面之注意事項再填寫本頁) 554329 經濟部智慧財產局員工消費合作社印製 A7 Β7 五、發明說明（9 ) 作業系統輸出影像框緩衝器與透日轉圖影像框緩衝器的顯 ^件可藉由混合每個緩衝器之選定相對圖素的色彩而在 万塊24中組合，而混合操作的最後色彩圖素可與作業系統 輸出影像框緩衝器的圖素交錯，以形成可見顯示緩衝器Μ 的顯示元件。該可見的顯示緩衝器是以績圖的形式顯示以 視窗的透明顯示元件重疊部分顯現的3個重疊視窗〗2、Μ 與16、及時脈20與堆疊指示器22。在此範例中，該等透明 顯示元件係部份重疊在另一顯示元件。然而，應了解到該 等透月員示元件可疋全在顯示器上的一或多個非透明視窗 或顯示元件的邊界内。當然，在某些應用程式與某些顯示 几件上，來自兩顯示元件及一實質或甚至完全在另一頂端 上的資料顯示可表示使用者的影像品質問題。儘管如此， 在其他的應用程式中，以-設計完善的方式重疊透明顯示 元件的能力是有益而且是想要的。 此外，本發明的一些具體實施例允許重疊背景視窗的透明 顯不7L件，稍微或不會在一所選定的背景視窗上造成對輸 入操作的影響。例如，當一透明顯示元件部份或完全重疊 於背景視窗的時候，一使用者可與在背景視窗上所顯示的 應用程式之輸入視窗交談。通常，該作業系統軟體可接受 使用者輸入事件或按鍵敲擊輸入視窗（諸如滑鼠輸入或文字 輸入），而不會實質干擾透明顯示元件的顯示。 根據本發明的一些具體實施例，用以產生透明效果的一方 法係採用顯示内容的最低限度混合。相反地，它係決定在 人眼的無法在電腦監視器（本質上，人眼會將每個相鄰圖素 -12- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公f ) -----------裝 ------訂 --------- (請先閱讀背面之注意事項再填寫本頁) 554329

發明說明（1〇 經濟部智慧財產局員工消費合作社印製 、’均）上的毗連圖素顏色之間做區別。、、口人 爲當圖素以此方式交錯的時候 ：：：日木用’、 棋盤"效果。在—具體實施例中，當兩 :Γ= 素插入一第三顯示緩衝器的時候，來自 圖夸八、 。 業系、、无知出影像框緩衝器）的 二r能與來自一第二影像框緩衝器(諸如透明讀 ==衝器)的相對圖素的二分之一平均。藉由平均該 m，當提供透明效果的時候，會降低所使用的 力。在另—具體實施例中，圖素的不同百分比可平 i(m”圖素的四分之―、圖素的人分之―、圖素的十六 刀〈、圖素的三十二分之―、或圖素的任何㈣分之… 其中N是正整數），而且百分比可動態改變。 圖3係根據-方法的具體實施例而描述適合程控的一取樣 電腦系統圖式，用以根據本發明而產生連同影像映射的透 明顯示，以獲得使用者輸入信？虎。例如，取樣系、统1〇〇可用 ^執行在此所描述的方法。雖然其他的系統（包括具有其他 微處理機、工程工作站、定部安裝盒等的個人電腦(pcs)亦 可使用，但是取樣系統100是基於可從英代爾公司獲得的 =TIUM⑧、PENtIUM⑧ Pro、及PENTIUM@ n微處理機的 電腦系統。取樣系統100包括經由處理器匯流排1〇5而彼此 耦合的微處理機102及快取記憶體104。取樣系統100亦包括 高效率輸入/輸出匯流排108及標準的輸入/輸出匯流排118。 處理器匯流排105與高效率輸入/輸出匯流排1〇8係藉由主要 的橋接器106所橋接，然而鬲效率輸入/輸出匯流排！ 〇8與標 13- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ----------#-裝·1—^—•訂----------^9 (請先閱讀背面之注意事項再填寫本頁) 554329

五、發明說明（11 == 二匯藉由輸入/輸出流《接器⑽ (請先閱讀背面之注意事項再填寫本頁) ;;二，體114。…影像記憶體114是影像顯示器 乃絲至標準輸人/輸出匯流排118是大量儲存體120、 及鍵盤與指向裝 ^ 122。在一具體實施例中，一影像照像機 "馬合至標準的輸入/輸出匯流排118。 ^些元件係執行在技藝中眾所週知的傳統功能。特別是， 大！儲存體120可用來提供用以方法具體實施例的執行指令 :長時間儲存，用以根據本發發明經由影像映射的使用而 獲侍使用者輸入信號，然而主記憶體112是用於方法具體實 施例之指令執行的短時間儲存，用以在微處理機1〇2執行期 間可根據本發明經由影像映射的使用而獲得使用者輸入信 號。 經濟部智慧財產局員工消費合作社印製 圖4係根據本發明的一具體實施例而用以實現透明繪圖之 軟體與硬體堆疊圖式。設計使用透明顯示物件的應用程式 200可呼叫由透明支援軟體2〇2所提供的函式，以定義及更 新該等透明顯示物件。在反應上，透明支援2〇2係呼叫在此 具體實施例中提供程式界面（繪圖應用程式界面）204的作業 系統繪圖。在Windows 95®作業系統，這可以是繪圖裝置界 面（GDI)。該透明支援軟體202亦呼叫在此具體實施例中作 業系統的影像硬體控制抽像化程式界面（影像控制應用程式 界面）206。在Windows 95®作業系統，這可以是從微軟公司 獲得的DirectDraw™應用程式界面。在某些的作業系統，當 繪圖應用程式界面202與影像控制應用程式界面206存在某 14- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） 554329 A7 B7 五、發明說明（12 經濟部智慧財產局員工消費合作社印製 些應用程式界面的時候，他們便無法從彼此區別。繪圖應 用程式界面204可用來將要求繪圖提供給在圖2所示的透明 繪圖影像框緩衝器18。影像控制應用程式界面2〇6可用來控 制影像框緩衝器可見性及存取所有影像框緩衝器的内容。 在此具體實施例中，繪圖應用程式界面2〇4與影像控制應用 程式界面206可與顯示器驅動軟體2〇8交談，以便與影像介 面卡210溝通。該影像介面卡21〇係控制在圖3系統中的影 顯π器116。影像介面卡存取影像記憶體丨14可獲得顯示 料。/不採用透明的其他應用程式212可與繪圖應用程式界 204叉談，以產生及更新顯示物件。 通常，諸如可藉由在影像記憶體丨14中產生圖素資料的 2像框緩衝器，影像匣可顯示在諸如一電腦監視器的顯小 為上。此影像框緩衝器可設計成影像控制應用程式界面206 $影像記憶體之可見部分。如果有足夠可用的影像記憶 里，多重影像框緩衝器便可定義，只有一影像框緩衝器 同時使用（藉由影像介面卡21 〇)，以獲得用以建立目前可 顯不器的資料信號。在眾所週知的雙緩衝器技術中，一 一影像框緩衝器可認爲是”可見的”緩衝器，而該影像介 卡210可讀取來自此緩衝器的資料信號，而第二影像框緩 器（或非可見的”緩衝器）能以新的顯示資料寫入。在此 时貫私例中，藉由指定第二影像框緩衝器成爲可見的緩何 器及指定非可見緩衝器的第一影像框緩衝器，該影像控制 應用程式界面然後會呼叫，以”切換”影像框緩衝器。此 術的使用係提供顯示資料的平穩更新，提供使用者最佳 像 資 面 示 體 可 見 第 面 衝 具 此技 的 --------------裝！ (請先閱讀背面之注意事項再填寫本頁) 訂----- # -15- 554329 A7 B7 五、發明說明（13 ) 顯示。本發明的具體實施例可擴充此觀念，以採用額外的 (請先閱讀背面之注意事項再填寫本頁) 影像框緩衝器來提供連同正常顯示資料的透明顯示資料信 號。 圖5係描述用以提供透明繪圖所使用的多重影像框緩衝器 的一具體實施例圖式。該影像記憶體的至少一指定部分可 指定每次在電腦監視器上的可見顯示。這叫稱爲”可見的顯 示’’。即是，該可見顯示包含來自影像記憶體區域的顯示資 料’此W像$己憶體疋目别在電腦監視器上由使用者所圈覽 的顯示。通常，在此具體實施例中，作業系統軟體的績圖 應用程式界面204可將資料信號寫入作業系統輸出影像框緩 衝器1 〇。在多數的目前系統中，存在影像記憶體U4中的作 業系統輸出影像框緩衝器是用於可見的顯示。然而，在本 發明的具體實施例中，其他的影像框緩衝器可當作可見的 顯示使用。一第一工作影像框緩衝器3⑻及一第二工作影像 框緩衝器302皆存在影像記憶體丨14或其他可存取的記憶 體，根據本發明的具體實施例儲存顯示資料。在此具體實 施例中，每個影像框緩衝器係儲存圖素資料信號陣在 此具體實施例中的陣列大小依m系統的目前_示特 性。例如，影像框緩衝器陣列大小可以是64〇個 、 經濟部智慧財產局員工消費合作社印製 :素、8。°個圖素“〇〇個圖素、或卿圖素丄= 素、或其他適當大小，其係決定在電腦監視 軟體設定。每個圖素包括紅色⑻、綠色⑹、齡二 :=:生的:透明(A)元件。或者，諸如γυν或二其 他顏色編碼法亦可使用。在此具體實施例中，存在主記憶 -16- 表紙張尺度顧中關家辟（CNS)A4規格（21G X 297公爱） 經濟部智慧財產局員工消費合作社印製 554329 A7 ___-___B7 —_____ 五、發明說明（14 ) 體112或影像記憶體114中的多重透明繪圖影像框緩衝器 18、19可儲存由透明支援軟體202、影像控制應用程式界面 206、及繪圖應用程式界面204所產生的透明顯示資料产 號。該等透明緣圖影像框緩衝器18、19是類似工作影像^ 緩衝器的”雙緩衝”，以提供透明顯示影像的迅速更新。 在一具體貫施例中’來自该等其中一透明繪圖影像框緩衝 器18、19的資料信號可以與來自作業系統輸出影像框緩衝 器1 0的資料信號混合及交錯的色彩，然後儲存在該等其中 一工作影像框緩衝器儲存。在另一具體實施例中，該混合 可使用用以字母混合的專屬電路輔助完成。當工作影像框 緩衝器是在”非可見”狀態（即是，在此具體實施例中，在影 像框緩衝器所儲存的資料不會在電腦監視器上顯示）的時 候’此混合與文錯貝料可儲存在工作影像框緩衝器。當該 等其中一工作影像框緩衝器是在非可見狀態寫入的時候， 另一工作影像框緩衝器能在”可見”狀態，並當作目前的顯 示資料源使用。當色彩混合與交錯操作完成工作影像框緩 衝的時候，非可見工作影像框緩衝器可指定爲可見的工作 y像框緩衝器’反之亦然。工作影像框緩衝器處理的雙緩 衝在此具體實施例中能以每秒至少8 -1 5次的速率重複，以 便提供給使用者視覺最佳化顯示。此外，在此具體實施例 中，透明繪圖影像框緩衝器的使用亦可雙緩衝。在此具體 實施例中，該等透明繪圖影像框緩衝器的雙緩衝會採用， 因爲色彩混合不可在目前所修改的影像框緩衝器上執行， 而所要合的影像框緩衝器不可同時更新。隨著不使用雙 -17- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ----------Φ» ^ ·1—_—------- (請先閱讀背面之注意事項再填寫本頁) 554329 A7 B7 五、發明說明（15 緩衝’會造成影像顯示錯 在本發明的-此Iff 生不必要的處理延遲。 框緩衝器的圖等其中—透料圖影像 下所示完成。：:==輸出影像框緩衝器可依如 器中的替代圖素可藉由一在選足工作影像框緩衝 -^ ,曰 透月、，，曰圖影像框緩衝器圖素値盘 二間相對的作業系統輸 口畜 寫入。在選定工衝裔圖素値的混合而 選疋工作衫像框緩衝器的另一圖素可盥來 :統輸出影像框緩衝器的圖素寫 且、 :，來自作業系統輸出影像框緩衝器的圖辛可二= 所選定工作影像框緩衝 以疋傳适至 框緩衝器的圖素隨後能夠空間多工處理 :象1衝器的圖素平均的色彩。在另-具體實施例中： 合可使用在影像介面卡上用以勒卜立 J^ /m 成。、、主音，〜“ 丁字母混合的電路輔助完 便不需:。 字母混合的專屬電路的時候，交錯 消 置 # ^6係描述在該等其中—透明_影像框緩衝器與作業系 病出β像框緩衝器之間另—圖素混合方法之㈣實 =。在，定工作影像框緩衝器中的"T+〇SMix”圖素係包 於^透明績圖影像框緩衝器（了値）的圖素與來自作業 系統知出影像框緩衝器⑽値）的圖素之色彩平均混人 選疋工作影像框缓衝器的—„〇s”圖素係包含從作業系 =像=麦衝器所複製的一空間相對圖素。在此具體實二 例中，色彩平均可經由來自在兩影像框緩衝器中相對位 的每個圖素之每一色彩元件上的—加權平均方法而執行 -18 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公f 經濟部智慧財產局員工消費合作社印製 554329 五、發明說明（16 ) 體實施例中，不同的色彩混合技術亦可採 件信也：、::貫她例中’加權平均可藉著將第-圖素的元 直與=値相乘及將第二圖素的相同元件値 3加杻値相乘完成。然後，兩加權色 :總射除以兩加權値的總數。此方法亦是眾所周知 广。藉由使用此另-圖案，採用來產生造透明效果的 像缓：器的所有圖素混合相比較可減半。在影 圖應用程式界面或影像控制實施例中的緣 換操作執行。 Μ用私式界面所提供的區塊轉 在其他的具體實施例中，該等混合的 像框緩衝，中只包含圖素中的四分之一、在選定二：;; 2緩衝益中圖素的人分之―、或諸如圖素的任何Ν分之一 :其：百分比，其中叹正整數，其係決定在所使用的特殊 =錯圖案。此外，在其他的具體實施例，該交錯圖案二 ;:作=’該交錯圖案可包含來自透明緣圖影像框緩衝 υ業系統軟體影像框緩衝器的水平交互線。或者，， 二圖：可包含來自透明緣圖線影像框緩衝器與作業系： ^w像框緩衝器的垂直交互線。棋盤圖案與水平或垂直 叉互線的組合亦可使用。在技藝中的一技術可確認各種不 二？錯圖案可在具透明效果改變程度的本發明具體實施 歹1用，而且本發明並非局限在任何特殊圖案的範園。 、在本發明的另-具體實施例中’該交錯圖案可在週期 週期或以—預定的方式隨著時間改變。例如，上述的任何 -19- 本紙張尺度適财關家標準（CNS)A4規格⑵Q χ 2g7公髮 ^w· I ^-------—訂--------- (請先閱讀背面之注意事項再填寫本頁} 554329 A7 B7 經 濟 部 智 慧 財 產 局 消 費 合 社 印 製 五、發明說明（17 ) 兩不同交錯圖案的使用可改變，以致於第一交錯圖案可用 於透明繪圖影像框緩衝器的第一產生與用於第二交錯圖案 的第二產生，成功地產生透明繪圖影像框緩衝器。此程序 可重複，藉此實現一混血空間的、色彩混合、及暫時的透 明方法。 在另一具體實施例中，特殊目的的電路可用來除去在軟體 中圖素混合的需要。 注意，在透明影像框緩衝器中的辛個圖素可使用超過一 次’或不使用，以在結果的透明輸出上達成伸展或收縮效 果。圖素的頻率與位置可再用或省略，其係決定在伸展或 收縮量所需的至少部份。 圖7係描述初始化一系統的具體實施例流程圖，以提供透 明的繪圖。在方塊400，該作業系統顯示輸出控制資訊可決 定出。此控制資訊包含顯示的大小、色彩解析度、及其他 資料。其次，在方塊402，兩工作影像框緩衝器在此且體實 施例可配置在影像記憶體。這些操作可藉由呼叫在此具體 實施例中的影像控制應用程式界面執行。在方塊4〇4，二= 塊轉換操作可執行，以便將來自正常可見作業系統輸出影 像框緩衝器的資料複製到兩其中所選定的一工 衝器。假設對於此範例而言，第二工作影像框緩_ ^ 選：先，雖然第一工作影像框緩衝器亦可當 影像框緩衝器使用。該方塊轉換可藉由呼 ==中的影像控制應用程式界面執行。在方塊406，；；= 知出影像框緩衝器可藉由呼叫影像控制應用程絲 本紙張尺度適用中國國家標準（CNS)A4規格 (請先閱讀背面之注意事項再填寫本頁) T裝--------訂----- # -20- 554329 A7 B7 五、發明說明（18 ) (請先閱讀背面之注意事項再填寫本頁) 可見：的狀態。在方塊408，所選定的工作影像框緩 。（叫如，第二工作影像框緩衝器）可藉由 具體實施例中的影像㈣應用程式界面而形成可見7 = 2體實施例中，方塊4G與方塊彻可藉由單獨呼叫影像控 制：用程式界面完成。在這一點上，影像介面卡的目前顧 不知出資料可從所選定的工作影像框緩衝器獲得，而不^ 從作業系統輸出影像框緩衝器。在另—具體實施例中，其 他的應用程式界面亦可用來產生相同的效果。 八 經濟部智慧財產局員工消費合作社印製 圖8係顯示雙緩衝控制處理的一具體實施例流程圖。在開 一方塊410之後，一方塊轉換操作可在方塊4丨2執行，以便 藉由呼叫在此具體實施例中的影像控制應用程式界面而將 作業系統輸出影像框緩衝器複製到非可見的第一工作影像 框^衝器。在方塊414，—操作可執行將第一王作影像框緩 ，為與孩等其中所選定一透明冑圖影像框緩衝器的混合與 父錯内容寫入第-工作影像框緩衝器。在方塊416,該第一 工作影像框緩衝器成爲可見，而該第二工作影像框緩衝器 可成爲非可見的，實際上可切換當作目前顯示輸出資料源 之兩，像框緩衝器。在方塊418，—方塊轉換操作可執行， 以便精由呼叫在此具體實施例中的影像控制應用程式界面 而舲作業系統輸出影像框緩衝器複製到非可見的第二工作 於像框緩衝器。在方塊420，一操作可執行將第二工作影像 框緩衝器與該等其中所選定的一透明繪圖影像框緩衝器的 色彩混合與交錯内容寫入第二工作影像框緩衝器。該選定 的透明繪圖影像框緩衝器可以是在在方塊414或另一透明繪 -21 · 554329 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明（19 ) 圖影像框緩衝器上先前所選定的透明繪圖影像框緩衝器。 在万塊422，該第二工作影像框緩衝器能成爲可見，而該第 一工作影像框緩衝器能成爲非可見，實際上可切換當作目 前顯示輸出資料源之兩影像缓衝器。此處理可藉由=到方 塊412而重複。在該等每一先前的方塊過程中，該作業系統 軟體可同時將顯示資料寫入該作業系統輸出影像框緩衝 方塊414和420的色彩混合與交錯操作的_具體實施例係 進-步在圖9描述。在方塊426，在目前非可見（第—或第二） 工作影像框緩衝器-中的一記憶體位置可由目前所選定的透 明緣圖B像框緩衝器的—參考點（例如，點M 3()4)決定。在 方塊428’來自目前非可見工作影像框緩衝器的一圖素之資 料信號値可讀取，而且來自目前所選定透明输圖影像框缓 衝器的2間相對圖素可決^。此相符不必是i : i比率，既 然孩透明繪圖影像框緩衝器影像可伸展或減少，以適人工 作影像框緩衝器的部分。此圖素相符決定在技 週知，而且普遍使用在作業系統軟體（例如，在wind〇ws 95®作業系、统中的StretchBIt功能）的伸展方塊轉換。其次， 在方塊43 0,在此具體實施例中，來自工作影像框緩衝器的 圖素與來自目前所選定透明繪圖影像框緩衝器的圖素之加 權平均可計算出。該等個別圖素元件的加權平均係決定在 以彩色元件基礎之彩色元件。即是，紅色元件可平均，藍 色元件可平均，而綠色元件可平均。提供給該等每個元件 的加權係決定圖素所產生的透明，然而相同的加權値可用 -22- 本紙張尺度適用中國國家標準（CNS)A4規格（21〇 x 297公爱） ----------#-裝-----·——^tri·-------· (請先閱讀背面之注意事項再填寫本頁) 554329 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（2〇 ) =提：：：的所有元件。它是與會影響至少透明位準部加權。這些加權可由採用透明的應用程 用程式可提供使用…外採用透明的應 地控制混合比。件，其允許使用者直接或間接 哭力二：計算的結果可置於在方塊432的工作影像框緩衝 勺相同&置，當作所要處理的目前圖素。在方塊以， 在=要處理的工作影像框緩衝器中的下一位置可藉由考慮 目珂的交錯圖案(例如，使用每個第二圖素，每個第四圖 素，水平或垂直交互線等）而決定出。在方塊436，如果工 T影像框緩衝器貞目前所選定透明緣圖影像框緩衝器的更 多圖素要處理，便會持續在方塊428處理下一圖素。否則， 在色彩混合與交錯處理便會在方塊438結束。 、口在另-具體實施例中，圖素的混合可藉由使用專屬的字母 m a境路而經由一影像控制應用程式界面方塊轉換執行。 圖1〇係根據本發明的一具體實施例而描述提供影像映射 輸入技術的=應用程式之元件圖式。影像資料信號5〇〇可藉 由耦合至諸如在圖3所示一電腦系統之影像照像機5〇ι、或 藉由任何其他的影像源產生。該影像照像機係耦合至標準 的輸入/輸出匯流排118，並提供在大量儲存體12〇或主記憶 骨豆1 1 2儲存之影像資料信號500。一旦影像資料信號是在電 腦系統100中，他們便可由微處理機1〇2執行的程式所處 理，諸如圖1 〇的應用程式502與過濾器圖示管理器504。請 即重新參考圖1〇，應用程式502在設計上可提供給使用者任 -23 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝 -·1 I- 訂---- 554329 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明（21 ) 何所需的功能。最低限度，在此具體實施例中，該應用程 式在設計上可經由影像映射的使用而提供使用者輸入的能 力。該應用程式可與其他的應用程式（在圖中未顯示出）和 笔月自系統的處理器所執行的作業系統款體（在圖中未顯示出） 文谈。當應用程式502的設計係根據本發明的一些具體實施 例而經由影像映射的使用而提供使用者輸入選擇能力，該 應用程式包含過濾器圖示管理器5〇4、過濾器初始化5〇6、 處理輸入事件508、過濾器圖示510、及COM界面5 12。 在一具體實施例中，一過濾器圖示510的產生可當作從微 軟公司所獲得ActiveMovieTM應用程式界面（API)(亦已知爲 DirectShow™或DirectMedia™應用程式界面）的一過濾器圖 示結構邵份，雖然在其他的具體實施例中，其他的應用程 式界面可使用，而本發明並未局限在這一點上的範圍。 ActiveM〇Vie™是可控制及處理多媒體資料信號流的一軟體 結構’及使用結構的執行環境軟體，其允許使用者在個人 黾月回上以各種不同的眾所週知資料格式所編碼的數位影像 與聲音。播放能力係利用從微軟公司獲得而可支援 DirectX™應用程式界面組的影像與聲音硬體介面卡，雖然 其他的應用程式界面亦可使用，而本發明並未局限在這一 點上的範圍。ActiveM〇Vie™結構是定義如何藉由使用稱爲 過滤器的標準軟體元件來控制及處理時間記綠的多媒體資 料信號流，該標準軟體元件係稱爲過濾器，該等過濾器係 連接在稱爲一過滤器圖示5 1 〇的一結構中。 一軟體物件稱爲過濾器圖示管理器504可由應用程式502存 -24- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） -----------I 農--------訂 -------- (請先閱讀背面之注意事項再填寫本頁) 554329 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明（22 ) 取，以控制過濾器圖示510是如何組裝及資料是如何經由過 遽器圖示移動。瞬間過滤器圖示管理器可產生及管理過濟、 器圖示。該過濾器圖示包含至少一自訂過濾器，用以處理 影像資料信號。該過濾器圖示管理器504提供一組元件物件 模型（COM)界面512，以允許在過濾器圖示與應用程式5〇2之 間溝通。應用程式502可呼叫過濾器圖示管理器c〇M界面， 以控制多媒體資料流的處理，或取回過濾器事件。既然應 用程式502係處理從耦合的影像照像機5〇1送來的影像資料 流，在此具體實施例中，該等過濾器圖示管理器與過濾器 圖示係結合在應用程式。在其他的具體實施例中，該過濾 器圖示管理器可以是應用程式的分開獨立程式。 在一具體實施例中，過濾器圖示結構的所有元件可以如同 COM物件實現。此包括資料信號可通過的過濾器，及在過 濾器之間連接使用的過濾器元件，或配置的記憶體。每一 物件實現一或多個界面，該等每個界面包含稱爲方法的一 組預定函式。通常，應用程式5〇2會呼叫一方法與在界面出 現的物件溝通。例如，該應用程式可呼叫在過濾器圖示管 理器504物件的IMediaControl界面上之方法，例如啓動一多 媒體資料流的執行方法。接著，過濾器圖示管理器可呼叫 在由過濾器圖不51〇的每一過濾器所暴露1]?川以界面上之一 執行方法。 一過濾器圖示510係包含收集不同類型的過濾器。多數的 過濾為可分類成三種的其中任一類型。一源過濾器係接受 來自一些來源的資料信號，例如磁碟上的檔案、人造衛星 -25· 本紙張尺度適用中國國家標準（CNS)A4規格（21〇 X 2^7公爱_)_ ----------#-裝·丨——丨丨1訂-—·-------籲 (請先閱讀背面之注意事項再填寫本頁) 554329 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（23 供應、-網際網路伺服器、或—影像照像機5〇1，並將資料 信號引入過滤器圖示。-轉換過滤器接受資料信號，處理 他們，並將他們傳送至另-過遽器。_提供過減器可提供 資料信號。典型上，該等處理的資料信號可提供給諸如;; 電腦顯示器的硬體裝置，但是資料亦可提供給接受媒體輸 入（諸如一記憶體或一磁碟檔案）的任何位置。 通常，過濾圖示可用於諸如經由過濾器的多媒體資料流， 例如影像資料。在-多媒體資料流中，一過滤器可將多媒 體資料向下串流至在過濾器圖示中的下一過濾器。若要使 過濾器圖示工作，過濾器可以一預定的順序連接，而且該 多媒體資料流可以一預定的順序開始及停止。該過濾器圖 不官理器係連接過濾器，並控制多媒體資料流。控制多媒 ta資料流包含啓動、暫停、或停止多媒體資料流，執行一 特殊持續時間的資料流，或在資料流中搜尋一特殊點。過 濾器圖示管理器5〇4允許應用程式5〇2指定這些動作，然後 在過攄器上呼叫適當的方法，以便將他們唤起。該過濾 圖示管理器亦允許過濾器傳送應用程式可取回的事件 知。如此，一旦多媒體資料流經過濾器圖示，該應用程 便可取回應用程式已安裝在過濾器圖示的一過濾器狀態。 在處理初始化期間，應用程式502會指示過濾器圖示管 器5 04會載入描述過滤器圖示的一圖示檔案（在圖中未顯 出）。該過濾器圖示管理器係基於圖示檔案與從過濾器初始 化506所接收的過濾器行爲命令而產生過濾器圖示5 1 0。 過遽器行爲命令可參考依名稱的特殊過濾器，並指定過 器 通 式 理 示 該 濾 (請先閱讀背面之注意事項再填寫本頁) 26- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 554329 A7 B7

I $ 五、發明說明（24 ) 器的輸入與控制參數。當影像資料 示，並根據所指定的過遽器處理 事^由過遽器圖 爲視窗訊息)可從經由C0M界面 事件通知(亦已知 處理輸入事件5G8。在—且 圖示傳送’以 是否爲滑鼠按鈕按下事件“；'：’孩輸入事件可決定 具體實施例中，該= 件:在其他的 圖示處理期間所偵測到的任何 過滤器 事件測可接收事件通知，並爲應^輸；處理輸入 此且减余竑仓丨士 ^ 王式502處理它。在某 該等處理輸入事件508包含呼叫在應用程 式中的其他7G件，以執行所需的函式。 .二=據本發明的-具體實施例的-過滤器圖示。在 >匕八月豆貫施例中，該過、、虞哭同— 過、)#器⑽T 包含7個料器：影像捕捉 轉;=、二器522、可選擇的第-及第二色彩空間 色彩分析器繼53。、及斑 , 及斑點偵測裔532，雖然本發明並 ° 14點上。影像捕捉過濾器520可捕捉由轉人旦彡像 他r源的個人電腦所接收的影二二 =像框。影像資科信號的每個影像框可傳送至τ型過減 資料；二”？：：將影像資料信號分成兩實質類似的 ，尚濟:"寺、貝科泥可轉送至第—色彩空間轉換器 ^慮心4，而另—資料流可轉送至第二色料間轉換器 t 1=·^—色彩空間轉換器可轉換第—資料流，以致於該 寺於像資料信號的色彩空間係類似系統顯示器色彩空間。 在一具體實施例中，影像資料信號的圖素格式必須符合影 [_____ _27_ 本紙張尺度適財關家標準（cns)A4 --裝 (請先閱讀背面之注咅？事項再填寫本頁) 554329 A7 B7 五、發明說明（25 ) (請先閱讀背面之注意事項再填寫本頁) 像介面卡圖素格式（例如，16位元11(}]3顏色或24位元rgb顏 色）。來自第一色彩空間轉換器過濾器的轉換資料信號可轉 送至具透明過濾器528的影像供應器。具透明過濾器528的 7像供應器能夠以如上述的圖4至9的透明方式在顯示器上 提供第一資料流。影像資料信號亦可以每個影像框的一垂 直2央^泉轉換或，，反向”，以使在景像一端上的物件可在顯 不器（實際上，景像的出現係類似在顯示器上的反射器）的 相同部位上出現。 #在此具體實施例中，第二色彩空間轉換器過濾器526可將 第一資料流轉換成第二資料流的每個圖素的一紅色、綠 色、、藍色，字母（RGBA)顏色格式，其中該等字母値可用來 呆額外的圖素貝4。來自第二色彩空間轉換器過滤器的轉 換資料信號可轉送至色彩分析器53()。該色彩分析器 過遽器可分析第二資料流的圖素及附予在特殊字母,，A”値的 特扣疋色彩範圍内的圖素顏色値。具附加標籤資訊的第二 資料流可轉送至斑點偵測器過濾器532。 該斑點偵測器過滤器可分析資料流及搜尋具有特殊字母値 的圖素區塊，並將事件通知（例如資訊）傳送給應用程式⑽ 的-控制視窗。該應用程式可將這些事件通知轉送至處理 經濟部智慧財產局員工消費合作社印製 :口：：請。在一具體實施例中，一斑點❹ -可設足來實質搜尋由色彩分析器過遽器所標記的一預定 顏色的相鄰區塊。—區塊亦已知爲顏色模糊狀。在此，一 斑點具有獨特顏色的預定實際屬性，並可以數爲表示 圖素。該斑點偵測器過滤器可被通知—指定的視窗處理， -28 554329 經濟部智慧財產局員工消費合作社印製 五、發明說明（26 ) A7 B7

以偵測會報告的斑點。在一具體實施例中，當一斑點在影 像資料流由斑點偵測器過濾器偵測到的時候，一預定圖案 的斑點便可決定是輸入事件，該處理輸入事件功能可4認 孩斑點是否符合一組或預定的標準。在影像資料流（即是， 在目前的影像框）中的該等小斑點位置亦可溝通，以處理輸 入事件508 〇 月 在圖1 1所示的具體實施例中，斑點偵測器過濾與色彩分 析器過濾器係如同個別的過濾器顯示，雖然在另一具體實 施例中，這些過濾器的功能可結合在單一的過濾器，或能 與影像供應器過濾器組合。在技藝中的一熟知技術可確認 此過濾器的各種不同組合可使用，而且本發明並未局限在 這一點上。 圖1 2係根據本發明的一具體實施例的過濾器初始化處理 流程圖。通常，過濾器初始化5〇6會指示過濾器圖示管理器 504產生及初始化過濾器圖示5 1〇，並開始將影像資料信號 流入過濾器圖示。在方塊54〇，過濾器初始化可使過濾器圖 示管理器產―生一過濾器圖示。在方塊542，具透明過濾器的 影像供應器係位在過濾器圖示。定位一過濾、器係表示 COM界面是以過濾器名稱取回，而一結構界面然後可經由 過濾器獲得。其次，在方塊544，具有透明過濾器之影像供 應器的初始化參數會設定。例如，不透明的意欲位準可設 定，用於未來的影像資料信號處理。其他的初始化參數包 括反射設定與交錯圖案。在方塊546，該色彩分析器過濾器 係位在過濾器圖示。在方塊548，該等顏色範圍與由色彩分 -29- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） (請先閱讀背面之注意事項再填寫本頁} 裝 ----^訂-I------I . 554329 ------ A7 B7 五、發明說明（27 ) 析器過遽器所追縱之影像資料流中的圖素相對字母値可役 疋。例如，在追蹤手指和拇指輪 t " 姆知輸入事件的具體實施例中， 指的顏色範圍和字母値可設定，所以色彩分析器 、圖素^在具指足範關色値的影像資料流。在方塊 別，該斑點偵測器過遽器係位在過攄器圖示。在方塊 5广-控制視窗視指示器、字母值、及相對的控制 測器過滤器設定。在方塊554，流經過遽器圖示的 衫像 > 料信號會啓動。 一：旦該等影像資料信號流經過濾器圖示，稱爲視窗訊息的 :事件通知可由處理輸入事件撕從斑點偵測器過濾器扣 要收二圖1 3係根據本發明的一具體實施例之執行輸入事件 處理流私圖。處理係藉著在方塊56()等待—視窗訊息準備妥 指示而啓動。如果沒有接收到視窗訊息準備妥事件，那麼 處理輸入事件便會持續等待，直到接收到一潛在的輸入事 件馬止。當接收到一視窗訊息的時候，進一步的處理會執 行’以決定是否爲一潛在的輸入事件。在方塊562,心訊 …便3 k查决定一斑點類型丨事件是否已由斑點偵測器過濾 器偵測到。例如，在一具體實施例中，斑點類型i是與諸： 在食f影像框中發生的一預定實質人造物有關，而斑點類 型2是與在諸如拇指影像框中發生的另一實質人造物有關， 雖…：在技藝中所熟知的一技術認定各種不同實質的人造物 1物二及其附帶顏色可在各種不同的具體實施例當作輸入 ^ π器使用。在此具體實施例中，兩獨特顏色可當作指示 器使用然而’在其他的具體實施例中，任何的顏色數目 -30 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公t ) -----------裝--------^訂 -------- (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 ^^4329 A7

J休斤J 杜此具體實施例 影像資料流的目前通影像框中的斑類型丨，那麼在 在方塊564表示類…串列^土=大小及位置可 可藉由等待另-潛在的輸入事件:二=^^ 如果斑點類型1不是在方 塊叫續進行，其中視窗訊鬼處理便會在方 事件是否已由斑點偵測器過㈣5 ——斑點類型2 之女丨命γ0目則#像框中的斑點類型2 = :ΓΓ塊568上表示類型2串列的-資料結構 缋進行rL去^里係精由等待另—潛在的輸入事件而持 、':進仃。如果未偵測到斑點類型2， ： =:::窗訊息會檢查，以決定影《二 的ΐ::::麼=::r…咖 λ古从 塊72便會處理，以決定一有效的輪 在：的影_測到。在方塊-之後，處 万鬼560上等待另一視窗訊息者 曰储存在斑點串列中。在-具體實施例中，該等嘴刑！ ίΠ縣儲存在影像資料流中表示兩不同實際物V"的 :,在其他的具體實施例中，任何的串列數目可用 蹤在影像資料流中表示實際物件的相對數目。 如果未制到影像框指示器的結束，視窗訊息會在方塊 74上檢查，以決u否接收到應用關閉資訊。如果接收到 應用關閉訊息’該_器圖示會在方塊576停止，該過滤器 -----------裝--- (請先閱讀背面之注意事項再填寫本頁) 訂： n n n - 經濟部智慧財產局員工消費合作社印製

本紙張尺度適财_家標準（CNS)A4^^1() χ撕公髮） 554329 -32- 士公爱) A7 B7 五、發明說明（29 ) 圖示會在方塊578上刪除，而該應用程式5〇2會在方塊58〇上 結束。否則，一應用關閉訊息便不會接收，而且處理會藉 著在方塊560上等待一視窗訊息繼續。 圖14係用以偵測有效的輸人事件處理的流程圖。在開始 偵測有效輸人事件處理’ _完全的影像框可由過濾器圖示 處理，而應用程式502具有在影像框中發生的至少兩斑點串 列在具貫施例中，兩串列是斑點類型丨與斑點類型: 爭列，每個串列表示-斑點顏色區域空間。然後，有效的 輸入事件偵測處理包含搜#該等絲串列，以搜#最接这 的斑點對。每-對會測試以決定它是否更接近於—選定的 臨界距離。如果存在此一斑點對，那麼此斑點對物" ，是—有效的輸入事件。如果偵測到超過-雙對，那麼 取；近的對可用於進-步處理。在方塊_，偵測有效的輕 厶:里:的決^點類型1串列是否結束。如果未到達斑點舞 ^串：：那麼方塊602便會執行，以搜尋在斑點類 刑i / M點’其在㊉像框巾非常接近於目前的斑點_ 土並將在此最接近的斑點類型2的斑 標記錄在斑點類型i串列的目……4土2串歹]中的相 接近可定^户心 錄。在此具體實施例中，

,,^ 我 〜象框的二維平面中兩斑點位置中心之P =距離。在方塊6。4,在斑點類型上串列的下—登= 續耳而=處理。處理會在方塊，上以下一斑點類型": 他的指 沒有可用的成對，那麼—適當的旗號或其 會在斑點類型1串列的目前登綠中設定。 …斑點類型1串列的結束的時候，

本紙張尺㈣(CNS)ITiFS

;裝-----.---^訂---- (請先閱讀背面之注意事項再填寫本頁) 554329 A7 經 濟 部 智 慧 財 產 局 消 費 合 作 社 印 製 五、發明說明（3〇 ) 订，以便在斑點類型i _列中搜尋最接近的斑點類型斑點 4型2對。如果最接近的對小於在方塊_上的臨界距離， 那麼方塊61G便會執行，以便使偵測的輸人事件符合電腦系 、统的作業系統軟體。然後，在需要的時候，作業系統軟體 會將輸人事件傳送給其他的應用程式。在-具體實施例 中、f目則〜像框中的斑點位置會映射，或在報告輸入事 件之前轉換成螢幕座標（例如，正常化m座標）。在方 塊610 ’如果取接近的對不小於臨界距離，那麼方塊ο 1便 t執行、，以便使-不同的輸人事件符合作㈣統軟體。其 在方鬼612，读型1斑點串列與類型2斑點串列會重新設 定:，万塊614上偵測有效的輸入事件處理結束。 田ί由ί、/貝J使用者的手指與拇指移動之處理輸入事件範例 已描述的時候，在技藝中的一熟知的技術可確認包括許多 不同顏色與移動的不同實際物件之影像資料流的捕捉與分 析可用來表示一輸入事件，而本發明並非局限在此所示特 殊範例：範圍。此外，在此具體實施例中，樂列是用來儲 子；貝晟-在其他的具體實施例中，其他的資料結構可 使用，而用以搜4資料結構以決定絲對的其他技術亦可 使用。 圖1 5係根據本發明的_具體實施例而描述透明影像供應 器之處理線緒流程圖。透明處理的影像供應器是在方塊700 上開也。在万塊7G2，_影像控制應用程式界面物件（例如 物件）、3個影像框緩衝器、及-第二線緒會產 生。在万塊704，如果透明繪圖影像框緩衝器不存在，或他 ----------I --------^訂 It------- (請先閱讀背面之注意事項再填寫本頁) -33 554329 A7 B7 五、發明說明（31 ) -----------裝--- (請先閱讀背面之注意事項再填寫本頁) :’的-或多個大小已改變，那麼新的透明繪圖影像框緩衝 器便可產生，而該等透明繪圖影像框緩衝器的第一個可標 π目則王動的影像框緩衝器。在方塊706，目前主動透明緣 圖影像框緩衝器的一繪圖顯示器界面（(301)顯示本文（Dc) j 產生。在方塊708，GDI可由影像供應器使用，以便在方塊 706所產生的顯示本文上描繪出影像資料信號。其次，在方 塊710,目前非主動透明繪圖影像框緩衝器可標記爲主動， 而主動透明繪圖影像框緩衝器可標記爲非主動。在方塊 712，透明顯示本文會刪除。在方塊714，一系統事件可設 足，以指示新的非主動透明繪圖影像框緩衝器準備用於顏 色混合與交錯操作。在方塊716，該影像供應器會決定在影 像資料流中是否有更多的影像框要處理。如果有更多的影 像框，那麼影像框處理用會在方塊7〇4繼續。如果沒有更^ 的影像框處理，那麼該等影像框緩衝器便會方塊7丨8上解建 構。在方塊720，該影像供應器會等待第二線緒（在上面的方 塊702上產生）結束。然後，影像供應器處理會在方塊722上 結束。 經濟部智慧財產局員工消費合作社印製 圖1 6係根據本發明的一具體實施例而描述一透明混合器 核心之處理線緒流程圖。此線緒是在圖1 5的方塊7〇2中所建 三的第二線緒。該第二線緒可以是主要影像供應器處理的 一程序或獨立工作。在該第二線緒建立（方塊74〇)之後，該 透明顯示本文會等待所要完成的一透明繪圖影像框緩衝 器。在一具體實施例中，當透明繪圖影像框緩衝器準備與 其他的資料信號色彩混合與交錯的時候，該緩衝器便可完 -34- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 554329 A7 五 、發明說明（32 經 濟 部 智 慧 財 產 局 消 費 合 作 社 印 製 ^由弟二線緒所等待的事件可以是圖Η的方塊Μ之系統 …件在方塊744，作業系統輸出影像框緩衝器的内容是傳 =至兩工作#像框緩衝器的區塊。在方塊川，該作業系統 =影像框緩衝器可設定成—非可見或非主動狀態，而該 寺其中一工作影像框緩衝器可設定成一可見的狀態。該等 :备喿t可有放地切換’用以在顯示器上顯示資料信號之影 框、，发衝為。在适一點上，該作業系統輸出影像框緩衝器 =是直接可在顯示器上看見。在方塊W，該第二線緒會等 ^器預疋的時段（例如75微秒）或完成一透明繪圖影像框緩 ，當弟二線緒已等待敎時段或透明賴影像框緩衝器已完 火（即是，載人影像資料信號）的時候，該第二線緒會在方 塊750上將非主動透明㈣影像框緩衝器的内容與非可見的 工：影像緩衝器相混合。此混合係根據在上述圖8所述的方 f心成’例如’雖然混合操作亦藉由專屬的混合硬體完 成°在方塊752’㈣二線緒會切換兩工作影像框缓㈣， 所以該可見的工作影像框緩衝器會變成非可見的工作影像 框緩衝器，而非可見的工作影像框緩衝器會變成可見的工 作影像框緩衝器。如果所有的影像框緩衝器仍存在方塊 / F麼進步的顏色混合與X錯處理仍會在透明繪圖影 像框緩衝器上執行，而且處理會持續在方塊748上進行。否 則，如果不存在任何的影像框緩衝器，方塊756便會執行， 以結束該透明顯示上下文線緒。 該過遽器圖示之色彩分折器過滤器53〇的一具體實施例處 -----------裝 (請先閱讀背面之注意事項再填寫本頁) ----訂 ί-------· -35 554329 A7 _ B7_ 五、發明說明（33 ) (請先閱讀背面之注意事項再填寫本頁) 理是下面的表1顯示。該處理可接受兩輸入：RGBA格式的 影像框（隨後轉換成顏色、飽和、和値（HSV)格式）、及大範 圍的顏色値’用以符合影像框的個別圖素之顏色値。如果 圖素的顏色、飽和、和値是在顏色的特殊範圍内，一圖素 便可認爲是吻合。既然顏色是圓而不是一條線，顏色範圍 的符合能夠是一非捲繞範圍（例如，2 0-53)或一捲繞範圍（例 如，240-255、0-20)。顏色範圍的符合可以一常數，或可以 是憑經驗基於影像照像機的色彩特性、影像捕捉硬體、及 所要偵測的物件（雖然在技藝中的一熟知技術亦可想像爲一 自動校準方法，其中顏色範圍可自動決定）而決定。 __41_ ©1998 Intel Corporation Color Analyzer

Inputs: a frame of video data signals in RGBA format; a minimum match pixel in HSV format, RangeMin; a maximum match pixel in HSV format, RangeMax· P(H) represents the

Hue, as does. RangeMin(H); P(S) represents Saturation, and P(V) represents Value. 經濟部智慧財產局員工消費合作社印製

Outputs: a frame of video in HSVA format Begin

For each pixel P in the video frame loop Convert RGBA pixel to HSVA pixel If RangeMin(H) <= RangeMax(H) then 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） -36- 五、發明說明（34 ) // normal range (for example, 20 through 53)

If (RangeMin(H) <= P(H)) AND (P(H) <=RangeMax(H)) AND (RangeMin(S) <= P(S)) AND (P(S) <= RangeMax(S)) AND (RangeMin(V) <= P(V)) AND (P(V) <= RangeMax(V)) then Pixel P matches the key color End If

Else // Hue wraps from RangeMin(H) through RangeMax(H) // Inverted range. For example, 240 through 255 and 0 through 20 If ((P(H) <= RangeMax(H)) OR (RangeMin(H) <= P(H))) AND (RangeMin(S) <= P(S)) AND (P(S) <- RangeMax(S)) AND (RangeMin (V) <= P(V)) AND (P(V) <= RangeMax (V)) then Pixel P matches the key color End If End Loop

End _ 一斑點偵測器過濾器的一具體實施例處理是在下面表2顯 示。該處理可垂直地檢查在影像框中的圖素，接著檢查每 條掃描線，以水平地尋找符合一所需主要色彩稱爲”執行” 的鄰近圖素。當這些操作執行的時候，該處理會在另一掃 描線（例如先前的掃描線）上搜尋執行，該另一掃描線係連 接至在目前掃描線上的執行，並將他們結合。每當發現明 顯未連接至目前掃描線的一組執行，該處理便會考慮鄰近 圖素斑點的執行組，而該等鄰近圖素係符合所需的主要色 彩。該程序會回到在意欲最小與最大維度空間内的所有斑 點0 -37- 經濟部智慧財產局員工消費合作社印製 554329 A7 B7 五、發明說明（35 ) 表2 ©1998 Intel Corporation

Blob Detector

Begin

For each scan line of the video frame loop

For each horizontal set of contiguous pixels that match the key color loop

Create a run object to represent these pixels on this scan line

Create a blob object that contains this run For each run of the previous line that overlaps this run horizontally loop

If that run’s blob does not yet extend to the current scan line then

Incorporate that run and its blob to the current blob Else

If the current run has not been added to a blob yet then

Incorporate the run into the other run’s blob

Else

Ignore the other run // its already part of another blob on the current // scan line End If End If End loop -38-

/oxtc\ λ λ /Ό1Π V 9Q7 ^ 554329 A7 B7 五、發明說明（36

End loop End loop (請先閱讀背面之注意事項再填寫本頁) // current scan line is done // Completed cataloging runs on this scan line // and adds them to appropriate blobs. // Now see if any blobs have ended

For each run on the previous scan line that didn’t get incorporated into the current scan line's blob set loop

If that run is not part of another blob on its scan line then If the run is marked as ’’tentatively terminated” OR the current scan line is the last scan line of the image then Mark this run as a completed blob if this blob is within the dimension requirements then Post a message indicating the characteristics of the blob End If Else 、

Mark this run as ’’tentatively terminated” 經濟部智慧財產局員工消費合作社印製

Add this run to the current scan line’s run list End If End If End Loop

Process final line of the video frame

Post a frame complete message to the target window

End -39- 度適用中國國家標準（CNS)A4規格（210 X 297公釐）

Claims (1)

1. 2 ί λ 1 90. V立 A B c D 554329 第8 8 1 0 9 8 1 8號專利申請案 中文申請專利範圍修正本(90年π月） 六、申請專利範圍 L -種用以提供輸入信號至具有一顯示器的系 該系統係耦合至影像資料信號源，包含： 去， .捕捉由該影像源所產生的影像資料㈣，該 信號係表示一景像； 、貪料 在顯示器上提供景像，以致該景 可見的； 、丁态上疋透明 分析該影像資料信號，以偵測在景像中的物件；及 回應气受偵測的物件而產生系统的—輸入传號。 2. 如申請專利範圍第Η之方法，其中該景像係:包含系統的 使用者，而該所提供的景像係、包含使用相一晚射影 像。 ~ 3. 如申請專利範圍第卜貝之方法，其中該受偵測的物件係包 含系統使用者的一或多主體部份。 4 .如申蜊專利範圍第i項之方法，其中該受偵測的物件係包 含一或多預定推動元件。 5·如申請ί利範圍第丨項之方法，進一步包含除了透明供應 的景像之外’在顯示器上顯示一或多顯示物件。 6 ·如申凊專利範圍第5項之方法，進一步包含當選取一或多 顯示物件的時候，解譯在該景像中所偵測物件的移動。 7 .如申凊專利範圍第6項之方法，其中該一或多顯示物件係 一小圖示0 _ 8 .如申請專利範圍第丨項之方法，其中分析該等影像資料信 號係包含影像資料信號的圖素顏色值與具有所選定顏色-值的標記圖素。 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) I如申請專利範圍第W之方法，進-步包含確認當作受侦、 測物件的標T @素區塊，且當該受偵測的物件符合表示 輸入事件的物件之預定標準的時候，便產生相對的輸入 信號。 10. 如申請專利範圍第Η之方法，其中該輸入信號係滑氣按 鈕按向事件、滑鼠按鈕釋回事件、及游標位置移動的— 或多其中之一。 一 11. 一種在养有一影像資料源與一顯示器之系統中之一裝一 置，包含： 一= 裝置，用以捕捉由影像源、表示一景像的該等影像資 料信號所產生的影像資料信號； 裝置’用以在顯示器上提供景像，以致於該景像在顯 示器上是透明可見； 裝置’用以分析該等影像資料信號，以偵測在景像中^ 的一物件；及 裝置，用以回應該受偵測的物件而產生該系統之一輸 入信號。 12·如申請專利範圍第n項之裝置，進一步包含裝置，用以 在顯示器上顯示除了該供應的景像之外的一或多顯示物 件。 13.如申請專利範圍第i 2項之裝置，其中該產生裝置係包含 一 裝置，用以當選取該一或多顯示物件時，解譯在該景像二 中所偵測的物件移動。 一土 14·如申請專利範圍第i 3項之裝置，其中該分析裝置包含用 -2-

   w" 0 tr- τ' ...,

   申請專利範圍 .以分析該等影像資料信號的圖素顏色值之裝置及用以榡 1己具有選定顏色值的圖素之裝置。 15. 如申請專利範圍第14項之裝置，進一步包含用以識別當 作及偵測物件的-標記圖素區塊之裝置，且在該選定的 物件符合表示輸人事件的物件預定標準時，用以產生相 對輸入信號之裝置。 16. 種具有々像資料源及一顯示器之系統中之一裝置，〜 包含： ^像捕捉電路，用以捕捉由該影像源所產生的影像資 料信號，該等影像資料信號係表示一景像； 影像供應電路，用以在顯示器上提供該景像，以致於 該景像可在顯示器上透明可見； 色衫分析器電路，用以分析該等影像資料信號，以偵 測在該景像中的一物件；及 ^ 輸入處理器電路，其係回應該偵測的物件而產生系統 的一輸又信號。 17. —種包含具有複數機器可讀指令的一機器可讀媒體之物 品’其中當該等指令由-處理器執行時，料指令可使 一系統捕捉由一影像源所產生的影像資料信號，該等影 像資料#號係表示一景像，以便在顯示器上提供該景 像，以致於該景像在顯示器上是透明可見；分析該β等二— 像資料信號，則貞測在景像中的—物件；及回應該偵:— 的物件而產生該系統的一輸入信號。 一 18. 如申請專利範圍第丨7項之物品， ^ 丹Τ及機詻可讀媒體係 -3 - 本紙張尺度適财a S轉準(CNS) Α4規格(21GX 297公" 一------ 々、申請專利範園 進一步包含指令’以便在顯示器上提供景像影像，以敢 於該提供的景像包含一景像映射影像。 19·如申請專利範圍第1 7項之物品’其中該機器可讀媒㈣係 進一步包含指令’以便在顯示器上顯示除了該透明供2 的景像以外的一或多顯示物件。 ' % 20.如申請專利範圍第1 9項之物品，其中該機器可讀媒體係 進一步包含指令，以便在選取該一或多顯示物件的時 候，解譯在景像中的該偵測物件移動。 21·如申請專利範圍第17項之物品，其中該機器可讀媒體係 進一步包含指令，以分析該等影像資料信號的圖素顏色 值，及標記具有選定顏色值的圖素。 22·如申請專利範圍第2 1項之物品，其中該機器可讀媒體係 進一步包含指令，以識別當作該偵測物件的一標記圖素 區塊’且當該偵測的物件符合表示輸入事件的物件預定 標準的時候，便產生相對的輸入信號。 23· —種在摘合至一影像資料信號源及一顯示器之電腦系統 中用以將輸入信號提供給該電腦系統之裝置，該裝置包 含： 一過滤器圖示，用以處理從該影像源所接收的影像資 料信號’該等影像資料信號係表示由該影像源所捕捉的 一景像τ該過濾器圖示包含： _ 一影像供應器過濾器，用以在顯示器上提供該景像， 以致於該景像可在顯示器上透明可見； 一色彩分析器過濾器，用以分析該等影像資料信號的

   X 297公釐） 、申請專利範圍 圖素顏色值’及標記在指定範圍内的圖素顏色值；及 _區塊偵測器過濾器，其係耦合至該色彩分析器過濾 器A用以分析孩等影像資料信號的標記圖素顏色值，識 別當作所偵測景像物件的選定顏色值之圖素區塊，並提 供潛在輸入事件的一通知；及 、一輸入事件處理器，用以分析該通知，並決定該等偵 2測物件是否表示該電腦系統的輸入信號。 一 戈申叫寻利範圍第2 3項之裝置，其中該過濾器圖示係進 步包含一影像捕捉過濾器，以捕捉來自該影像源之影 像資料信號的個別影像框。 -5·如申請專利範圍第2 4項之裝置，其中該過濾器圖示係進 步包含摘合至該影像捕捉過濾器的一 T型過濾器，以便 將為等#像:貝料信號分成一或多實質類似的資料流，該 等其中第一資料流是與該影像供應器過濾器溝通，而該 等其中第二資料流是與該色彩分析器過濾器溝通。 26·如申請幕利範圍第2 3項之裝置，其中該供應景像係包含 景像之一映射影像。 27.如申請專利範圍第2 3項之裝置，進一步包含以訊息為導 煩請委員明示 年：月日S之 修正本有無變質内容是否准予修正。 向之界面，用以在該過濾器圖示與該輸入事件處理器之 間溝通。 -5- 表紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 554329 第88109818號專利申請案 中文圖式修正頁(90年12月） 修正 補尤