TWI575957B

TWI575957B - 對視訊會議串流之自動化隱私調整技術

Info

Publication number: TWI575957B
Application number: TW101119783A
Authority: TW
Inventors: 保羅拉隆迪; 道格拉斯卡米恩
Original assignee: 英特爾公司
Priority date: 2011-06-07
Filing date: 2012-06-01
Publication date: 2017-03-21
Also published as: EP2719170A1; US20140368604A1; CN103828349B; TW201320747A; WO2012094042A8; WO2012094042A1; CN103828349A; US9313454B2; EP2719170A4

Description

對視訊會議串流之自動化隱私調整技術

相關申請案之交互參照

此專利申請案主張美國臨時專利申請案第61/494,034號案的優先權。

發明領域

本發明係有關於對視訊會議串流之自動化隱私調整技術。

發明背景

傳統的視訊會議可能要花費設置時間，且不知道參與者分享一視訊影像的意願或可得性。雖然一「不間斷」視訊串流可處理參與者可得性的問題，但不間斷饋送可能會引入新的隱私問題。

依據本發明之一實施例，係特地提出一種系統，其包含：一影像擷取裝置，用以獲得與一視訊會議對話中的一第一參與者相關聯之第一視訊串流資料；及邏輯，用以基於該第一視訊串流資料來確定一使用者注意位準，基於該使用者注意位準來修改該第一視訊串流資料，以獲得修改的視訊串流資料，及發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者。

圖式簡單說明

藉由閱讀以下說明書及所附申請專利範圍，且參照下列圖式，本發明實施例之各種不同的優勢對熟於此技者將是顯而易見的，其中：第1圖是依據一實施例的一視訊會議環境的一範例的一方塊圖；第2圖是依據一實施例，處理視訊串流資料的一方法的一範例的一流程圖；第3圖是依據一實施例，基於使用者注意位準來修改視訊串流資料的一方法的一範例的一流程圖；第4A及4B圖是依據實施例的視訊會議顯示器之範例的螢幕截圖；及第5圖是依據一實施例的一計算系統的一範例的一方塊圖。

詳細說明

實施例可包括具有一指令集合的一電腦可讀儲存媒體，若該指令集合由一處理器執行，致使一電腦基於與一視訊會議對話中的第一參與者相關聯之視訊串流資料來確定一使用者注意位準。該等指令還可致使一電腦基於使用者注意位準來修改視訊串流資料，以獲得修改的視訊串流資料，並將該修改的視訊串流資料發送至該視訊會議對話中的第二參與者。

現在參見第1圖，一視訊會議環境被繪示，其中第一參與者10與第二參與者12進行一「不間斷」視訊會議對話。在所說明之範例中，一照相機16及麥克風18分別擷取第一參與者10的視訊及音訊內容，第一參與者10使用一顯示器(例如，具有音訊輸出功能的電視機/監視器)14以查看並聽取第二參與者12的視訊及音訊內容(例如，視訊串流資料)。該音訊內容可嵌入視訊串流資料中。第一參與者10的視訊串流資料在透過網路22被發送至第二參與者之前可由一計算系統20來處理。同樣地，照相機24及麥克風26可擷取第二參與者12的視訊串流資料，第二參與者12可使用一顯示器28來查看並聽取第一參與者10之視訊串流資料。因此，第二參與者12之視訊串流資料在透過網路22被發送至第一參與者之前可由一計算系統30來處理。在所說明之範例中，計算系統30確定第二參與者12並未注意顯示器28，且因此，修改視訊串流資料使第二參與者12從第一參與者10的視角來看可見度較低(例如，模糊)且可聽性較低(例如，聲音變弱)。因此，所說明的方法在不注意期間自動提供更多隱私給第二參與者12。

將更詳細討論的是，照相機16、24可各包括一RGB(紅-綠-藍)影像擷取裝置及一深度影像擷取裝置。RGB影像擷取裝置可以是一標準的2D(二維)裝置，而深度影像擷取裝置可包括，例如，IR(紅外線)裝置，諸如由位於華盛頓州雷德蒙德的微軟公司銷售的Kinect裝置。例如，IR裝置可包括在IR譜中起作用的一結構光發射器及擷取由之可計算深度資訊的一IR影像的一IR照相機。其他技術，諸如，飛行時間照相技術等，可用以識別深度資訊。

此外，計算系統20、30可包括用以自RGB-深度資料中擷取候選人臉區域的邏輯，以及用以確定是否有一人臉存在於候選人臉區域中的邏輯(例如，人臉辨識軟體)。在一範例中，具有一基於反射對稱的正面人臉訓練集的一哈爾特徵分類器可用於人臉正面檢測。因此，視訊串流資料中一面向前方的人臉可等同於一注意的符徵。其他注意檢測方法也可被使用。與僅基於一RGB影像擷取裝置的系統相比，使用一深度影像擷取裝置可提供更高的效率(例如，較迅速的使用者注意位準確定)。

第2圖繪示處理視訊串流資料的一方法32。方法32可被實施為一可執行邏輯指令集合，該可執行邏輯指令集合以使用電路技術的固定功能硬體，諸如特定應用積體電路(ASIC)、互補金屬氧化物半導體(CMOS)或電晶體-電晶體邏輯(TTL)技術，或其組合被儲存在一機器或電腦可讀儲存媒體中，諸如，隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式ROM(PROM)、快閃記憶體、韌體、微碼等。例如，用以實施方法32中所示之操作的電腦程式碼可以寫成一或多個程式語言，包括物件導向程式語言，諸如C++等，與習知的程序化程式語言，諸如「C」程式語言或類似的程式語言的任一組合。此外，方法32之各種不同層面可被實施為使用任一上述電路技術的一處理器之嵌入式邏輯。在一範例中，方法32在裝置驅動程式層被實施，以允許對視訊會議串流使用任一傳輸機制。

處理方塊34用以接收與一視訊會議對話中的第一參與者相關聯之視訊串流資料。在一範例中，視訊會議對話可以是一不間斷對話，其中參與者可能有時不注意或甚至不在。第一參與者的使用者注意位準可在方塊36確定。如上文所提到的，一基於反射對稱的哈爾特徵分類器可用以確定使用者注意位準。繪示之方塊38基於使用者注意位準來修改視訊串流及音訊資料。應用於視訊串流資料的修改可以是任一適當的隱私保護濾波器。例如，塊濾波器模糊、高斯模糊、對比度降低(例如，遮暗)法等，可用以增加輸出視訊串流資料的隱私性。

現在參見第3、4A及4B圖，基於使用者注意位準來修改視訊串流資料的一方法40及所產生的視訊內容被繪示。所繪示之方塊42確定視訊串流資料是否反映一或多個參與者正在注意。例如，一人臉分析面板44證明一或多個候選人臉區域46(46a-46f)可基於來自深度影像擷取裝置的資料來識別。特別是，一區域46a可對應於一後壁，而另一區域46c可對應於與影像擷取裝置距離不同的一桌子上的一物件，而另一區域46b可對應於參與者的頭部。在所說明的範例中，一注意(例如，面向前方)人臉區域48在候選人臉區域46中被檢出。

若確定參與者正在注意，如同在第4A圖中的情況，則方塊50可降低輸出視訊資料串流的隱私性。因此，可產生參與者完全可見的一視訊輸出52。除此之外，音訊內容也可增至一相對較高的位準，諸如全音量位準。

另一方面，若確定一或多個候選人臉區域54(54a-54c)不包含一注意人臉區域，則可推斷，參與者未注意或不在視訊擷取區域中。因此，方塊56可增加輸出視訊資料串流的隱私性，使得一視訊輸出58被模糊化，以防止參與者被完全看到。此外，音訊內容還可被消音或以其他方式降低音量。因此，一注意的人臉被檢出的每一時間間隔，注意測度可能增加某一增益。當看不到人臉時，一注意測度可減少一不同增益。此注意測度接著可用以依據某一傳送函數來設定隱私等級(例如，從0-100%)。對於模糊的情況，與隱私等級成反比的一模糊核半徑可被使用。對於音訊，與隱私等級成反比的一音量設定(例如，從0-100%)可被使用。

將更加詳細討論的是，在方塊56中用以控制隱私性增加的增益可能高於在方塊50中用以控制隱私性減少的增益，以實施計入短暫視線移開等的一可調滯後功能。回參第2圖，繪示之方塊39用以發送修改的視訊串流及音訊資料給視訊會議對話中的第二參與者。

第5圖繪示計算平台60，其具有一處理器62、系統記憶體64、一平台控制器中心(PCH)66、大容量儲存器(例如，硬碟/HDD、光碟、快閃記憶體)68、一網路控制器70、一或多個使用者介面(UI)裝置72及各種不同的其他控制器(圖未示)。平台60可以是一行動平台的一部分，行動平台諸如為膝上型電腦、個人數位助理(PDA)、無線智慧型手機、媒體播放器、成像裝置、行動上網裝置(MID)、任一智慧型裝置，諸如智慧型手機、智慧型平板裝置、智慧型TV等，或其任一組合之類。除此之外，平台60還可以是一固定平台，諸如個人電腦(PC)、伺服器、工作站等的一部分。實際上，平台60可部分或全部併入一視訊會議顯示器，諸如上文討論過的顯示器14、28(第1圖)。因此，處理器62可包括能夠執行一儲存邏輯指令集合的一或多個處理器核心，及被配置成與系統記憶體64通訊的一整合式記憶體控制器(IMC)74。系統記憶體64可包括，例如，被配置成一記憶體模組，諸如，舉例而言，一雙行記憶體模組(DIMM)、小型DIMM(SODIMM)等的動態隨機存取記憶體(DRAM)。

在所說明的範例中，處理器62被配置成執行接收與一視訊會議對話相關聯之視訊串流資料的邏輯76，基於視訊串流資料來確定使用者注意位準，基於使用者注意位準來修改視訊串流資料，及發送修改的視訊串流資料給視訊會議對話中的其他參與者。因此，邏輯76可實施上文討論過的方法32之一或多個層面(第2圖)。如上文所提到的，邏輯76可在裝置驅動程式層實施。

所說明的PCH 66，有時稱作晶片組的南橋，作用為一主機設備，且可與網路控制器70通訊，網路控制器70可提供多種用途的遠離平台無線通訊功能，諸如，舉例而言，蜂巢式電話(例如，W-CDMA(UMTS)、CDMA2000(IS-856/IS-2000等)、WiFi(例如，IEEE 802.11，1999版，LAN/MAN無線LANS)、低率無線PAN(例如，IEEE 802.15.4-2006，LR-WPAN)、藍芽(例如，IEEE 802.15.1-2005，無線個人區域網路)、WiMax(例如，IEEE 802.16-2004，LAN/MAN寬頻無線LANS)、全球定位系統 (GPS)、展頻(例如，900MHz)，及其他射頻(RF)電話目的。網路控制器60還可提供遠離平台有線通訊(例如，RS-232(電子工業協會/EIA)、乙太網路(例如，IEEE 802.3-2005，LAN/MAN CSMA/CD存取方法)、電力線通訊(例如，X10，IEEE P1675)、USB(例如，通用串列匯流排2.0規格)、數位用戶線(DSL)、纜線數據機、T1連接)等功能。UI(例如，觸控螢幕、液晶顯示器/LCD、發光二極體/LED、鍵盤、滑鼠等)裝置72可能能夠允許一使用者與平台60互動並察覺來自平台60的資訊。

上述技術的一虛擬碼實施例如可寫出如下。

MAXPUBLIC=200；//改變此值來增加滯後Publicness(公共性)=MAXPUBLIC；對於每一輸入框(DepthIn,ColourIn){識別DepthIn中頭部候選區域(工作於一跨距分段世界座標空間中，必要時可詳細說明此演算法；基於深度的分段。)將候選區域映射至ColourIn(包括DepthIn及ColourIn影像之校準)k=ColourIn中候選區域中的人臉數目(例如，使用一哈爾級聯分類器)if(k>0)Publicness+=k ^＊ GAIN(增益)；else Publicness-=LOSS(損失)；將Publicness定位至(0,MAXPUBLIC)ColourImageOut=BlurByPercentage(ColourIn, MAX(0,100-Publicness))；SetAudioVolume(MIN(100,Publicness))；EmitToVideoConference(ColourImageOut)；}

因此，實施例可包括一系統，該系統具有獲得與一視訊會議對話中的第一參與者相關聯之第一視訊串流資料的一影像擷取裝置，及基於第一視訊串流資料來確定一使用者注意位準的邏輯。該邏輯還可基於使用者注意位準來修改第一視訊串流資料，以獲得修改的視訊串流資料，並發送修改的視訊串流資料給視訊會議對話中的第二參與者。

實施例也可包括一電腦實施方法，其中一使用者注意位準是基於與一視訊會議對話中的第一參與者相關聯之視訊串流資料來確定的。該方法也可用以基於使用者注意位準來修改視訊串流資料以獲得修改的視訊串流資料，及發送修改的視訊串流資料給視訊會議系統中的第二參與者。

本發明實施例之某些層面可使用硬體、軟體或其組合來實施，且可在一或多個電腦系統或其他處理系統中實施。程式碼可被應用於使用一輸入裝置所輸入的資料以執行所述功能並產生輸出資訊。輸出資訊可應用於一或多個輸出裝置。熟於此技者可了解的是，實施例可利用各種不同的電腦系統配置來實施，包括多處理器系統、迷你電腦、主機電腦等。實施例還可在分散計算環境中實施，其中任務可由透過一通訊網路連結的遠端處理裝置來執行。

每一程式可以被實施為一高階程序化或物件導向程式語言與一處理系統通訊。然而，若需要的話，程式可以被實施為組合語言或機器語言。在任一種情況下，語言都可被編譯或解譯。

程式指令可用以致使用指令程式化的一通用或特殊目的處理系統執行本文所述方法。可選擇地，該等方法可由包含用以執行該等方法的固線邏輯的特定硬體組件，或由程式化電腦組件與定制硬體組件之任一組合來執行。本文所述方法可被提供為可包括一機器可讀媒體的電腦程式產品，該機器可讀媒體上儲存有可用以程式化一處理系統或其他電子裝置以執行該等方法之指令。本文中所用的「機器可讀媒體」或「機器可存取媒體」二詞應包括能夠儲存或編碼一序列指令供機器執行並致使機器執行本文所述任一方法的任一媒體。「機器可讀媒體」及「機器可存取媒體」二詞因此可包括，但並不限於，固態記憶體、光碟和磁碟，及編碼一資料信號的一載波。此外，業內常見以採取行動或產生結果中的某一種形式提及軟體(例如，程式、流程、程序、應用、模組、邏輯等)。此種表示只是陳述由一處理系統執行軟體而造成處理器執行一動作或產生一結果的簡略表達方式。

「耦合」一詞在本文中使用可指討論中組件之間直接或間接的任一種類型的關係，且可應用於電氣、機械、流體、光學、電磁、電機或其他連接。除此之外，除非另行指出，否則「第一」、「第二」等詞在本文中使用僅是為了協助討論，且不帶有特定的時間或時序意義。

雖然本發明之各種不同的實施例已在上文中描述，但是應理解的是，它們僅以舉例方式來提出而非限制。熟於此技者將理解的是，在不背離由後附申請專利範圍所定義的本發明之精神及範圍的情況下，在本文中可對形式及細節做各種不同的變化。因此，本發明之廣度及範圍不應受上述任一示範性實施例的限制，而應依據下面的申請專利範圍及它們的相等物被定義。

10‧‧‧第一參與者

12‧‧‧第二參與者

14、28‧‧‧顯示器

16、24‧‧‧照相機

18、26‧‧‧麥克風

20、30‧‧‧計算系統

22‧‧‧網路

32‧‧‧方法

34‧‧‧處理方塊

36、38、39、42、50、56‧‧‧方塊

40‧‧‧方法

44‧‧‧人臉分析面板

46(46a-46f)、54(54a-54c)‧‧‧候選人臉區域

46a、46c‧‧‧區域

48‧‧‧注意人臉區域

52、58‧‧‧視訊輸出

60‧‧‧計算平台/平台/網路控制器

62‧‧‧處理器

64‧‧‧系統記憶體

66‧‧‧平台控制器中心(PCH)/PCH

68‧‧‧大容量儲存器

70‧‧‧網路控制器

72‧‧‧使用者介面(UI)裝置/UI裝置

74‧‧‧整合式記憶體控制器(IMC)

76‧‧‧邏輯

第1圖是依據一實施例的一視訊會議環境的一範例的一方塊圖；第2圖是依據一實施例，處理視訊串流資料的一方法的一範例的一流程圖；第3圖是依據一實施例，基於使用者注意位準來修改視訊串流資料的一方法的一範例的一流程圖；第4A及4B圖是依據實施例的視訊會議顯示器之範例的螢幕截圖；及第5圖是依據一實施例的一計算系統的一範例的一方塊圖。

32‧‧‧方法

34‧‧‧處理方塊

36、38、39‧‧‧方塊

Claims

一種系統，其包含：一影像擷取裝置，用以獲得與一視訊會議對話中的一第一參與者相關聯之第一視訊串流資料；及邏輯，用以進行下列動作至少基於是否一面向前方的人臉在該第一視訊串流資料中被檢測出來判定一使用者注意位準，至少基於該使用者注意位準來修改該第一視訊串流資料，以獲得修改的視訊串流資料，及發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者，其中該邏輯係用以進行下列動作如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益，及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益，其中該第一視訊串流資料是至少基於該注意測度而被修改。
如申請專利範圍第1項所述之系統，其中該影像擷取裝置包括一二維(2D)組件及一深度擷取組件，且該邏輯用以識別該第一視訊串流資料中的2D資訊及深度資訊。
如申請專利範圍第2項所述之系統，其中該深度擷取組件包括：一結構光發射器，在IR譜中起作用；及一IR照相機，用以擷取一IR影像，其中該邏輯用以至少基於該IR影像來識別深度資訊。
如申請專利範圍第2項所述之系統，其中該邏輯用以進行下列動作：使用該深度資訊來識別一或多個候選人臉區域，自該第一視訊串流資料中擷取該一或多個候選人臉區域，及對該一或多個候選人臉區域進行一人臉辨識分析。
如申請專利範圍第4項所述之系統，其中該邏輯是使用一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
如申請專利範圍第1項所述之系統，其中該第一增益是要大於該第二增益。
如申請專利範圍第1項所述之系統，其中該邏輯至少基於該注意測度來修改該第一視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
如申請專利範圍第1項所述之系統，其中該邏輯至少基於該注意測度來修改該視訊串流資料之一音訊音量。
如申請專利範圍第1項所述之系統，其進一步包括一網路控制器，其中該邏輯經由該網路控制器發送該修改的視訊串流資料給該第二參與者。
如申請專利範圍第9項所述之系統，其中該網路控制器發送該修改的視訊串流資料給該視訊會議對話中的複數參與者。
如申請專利範圍第1項所述之系統，其進一步包括一顯示器以輸出與該視訊會議對話中的該第二參與者相關聯之第二視訊串流資料。
如申請專利範圍第1項所述之系統，其中該邏輯至少基於該使用者注意位準來修改該視訊串流資料之一音訊音量。
一種電腦實施方法，其包含：至少基於是否一面向前方的人臉在與一視訊會議對話中的一第一參與者相關聯之視訊串流資料中被檢測出來判定一使用者注意位準；至少基於該使用者注意位準來修改該視訊串流資料，以獲得修改的視訊串流資料；發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者；如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益；及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益，其中修改該視訊串流資料包括至少基於該注意測度來修改該視訊串流資料。
如申請專利範圍第13項所述之方法，其進一步包括識別該視訊串流資料中的二維(2D)資訊及深度資訊。
如申請專利範圍第14項所述之方法，其中該深度資訊包括紅外線(IR)資訊。
如申請專利範圍第14項所述之方法，其中判定該使用者注意位準包括：使用該深度資訊來識別一或多個候選人臉區域；自該視訊串流資料中擷取該一或多個候選人臉區域；及對該一或多個候選人臉區域進行一人臉辨識分析。
如申請專利範圍第16項所述之方法，其進一步包括使用一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
如申請專利範圍第13項所述之方法，其中該第一增益係大於該第二增益。
如申請專利範圍第13項所述之方法，其中修改該視訊串流資料包括至少基於該注意測度來修改該視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
如申請專利範圍第13項所述之方法，其中修改該視訊串流資料包括至少基於該注意測度來修改該視訊串流資料之一音訊音量。
如申請專利範圍第13項所述之方法，其中修改該視訊串流資料包括至少基於該使用者注意位準來修改該視訊串流資料之一音訊音量。
一種非暫時性電腦可讀儲存媒體，其包含一指令集合，該指令集合若由一處理器來執行，致使一電腦進行下列動作：至少基於是否一面向前方的人臉在與一視訊會議對話中的一第一參與者相關聯之視訊串流資料中被檢測出來判定一使用者注意位準；至少基於該使用者注意位準來修改該視訊串流資料，以獲得修改的視訊串流資料；發送該修改的視訊串流資料給該視訊會議對話中的一第二參與者；如果該使用者注意位準指示該第一參與者正注意該視訊會議對話則將一注意測度增加一第一增益；及如果該使用者注意位準指示該第一參與者未注意該視訊會議對話則將該注意測度減少一第二增益，其中該視訊串流資料是至少基於該注意測度而被修改。
如申請專利範圍第22項所述之媒體，其中該等指令若被執行，致使一電腦識別該視訊串流資料中的二維(2D)資訊及深度資訊。
如申請專利範圍第23項所述之媒體，其中該深度資訊包括紅外線(IR)資訊。
如申請專利範圍第23項所述之媒體，其中該等指令若被執行，致使一電腦進行下列動作：使用該深度資訊來識別一或多個候選人臉區域，自該視訊串流資料中擷取該一或多個候選人臉區域；及對該一或多個候選人臉區域進行一人臉辨識分析。
如申請專利範圍第25項所述之媒體，其中該等指令若被執行，致使一電腦使用一面向前方的人臉作為該人臉辨識分析中的一注意符徵。
如申請專利範圍第22項所述之媒體，其中該第一增益是要大於該第二增益。
如申請專利範圍第22項所述之媒體，其中該等指令若被執行，致使一電腦至少基於該注意測度來修改該視訊串流資料之一模糊特徵與一對比度特徵中的至少一者。
如申請專利範圍第22項所述之媒體，其中該等指令若被執行，致使一電腦至少基於該注意測度來修改該視訊串流資料之一音訊音量。
如申請專利範圍第22項所述之媒體，其中該等指令若被執行，致使一電腦至少基於該使用者注意位準來修改該視訊串流資料之一音訊音量。