TWI757940B - 視訊會議系統及其排除打擾的方法 - Google Patents

視訊會議系統及其排除打擾的方法 Download PDF

Info

Publication number
TWI757940B
TWI757940B TW109137675A TW109137675A TWI757940B TW I757940 B TWI757940 B TW I757940B TW 109137675 A TW109137675 A TW 109137675A TW 109137675 A TW109137675 A TW 109137675A TW I757940 B TWI757940 B TW I757940B
Authority
TW
Taiwan
Prior art keywords
image
disturbing
image object
video
video frame
Prior art date
Application number
TW109137675A
Other languages
English (en)
Other versions
TW202218415A (zh
Inventor
阮鈺珊
曹淩帆
廖述群
范聖欣
黃宇杰
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109137675A priority Critical patent/TWI757940B/zh
Priority to US17/463,561 priority patent/US11812185B2/en
Application granted granted Critical
Publication of TWI757940B publication Critical patent/TWI757940B/zh
Publication of TW202218415A publication Critical patent/TW202218415A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/18—Automatic or semi-automatic exchanges with means for reducing interference or noise; with means for reducing effects due to line faults with means for protecting lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

一種視訊會議系統及其排除打擾的方法。所述方法包括下列步驟。啟始視訊會議，並透過影像擷取裝置獲取視訊串流。利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。判斷至少一第一影像物件是否為打擾物件。反應於判定至少一第一影像物件為打擾物件，自第一視訊畫面移除打擾物件。

Description

視訊會議系統及其排除打擾的方法
本發明是有關於一種視訊會議系統，且特別是有關於一種視訊會議系統及其排除打擾的方法。
隨著新型冠狀病毒疫情在全世界國家的爆發，讓許多人居家使用視訊會議進行遠端上班或線上課程的需求遽增。在進行視訊會議的過程中，使用者所在的周圍環境有時候可能會發生無法預期的打擾而影響到視訊會議的進行，例如，在居家的使用情境，家人或寵物可能未注意而闖入視訊會議的背景而造成影像打擾，或是小孩或寵物突然發出干擾聲音而影響視訊會議的進行。
有鑑於此，本發明提出一種視訊會議系統及其排除打擾的方法，可以在不影響其他會議參與者的情況下，盡快地排除視訊會議的打擾。
本發明實施例提供一種排除打擾的方法，適用於視訊會議系統，並包括下列步驟。啟始視訊會議，並透過影像擷取裝置獲取視訊串流。利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。判斷至少一第一影像物件是否為打擾物件。反應於判定至少一第一影像物件為打擾物件，自第一視訊畫面移除打擾物件。
本發明實施例提供一種視訊會議系統，其包括顯示器、影像擷取裝置、儲存裝置以及處理器。處理器耦接顯示器、影像擷取裝置與儲存裝置，並經配置以執行下列步驟。啟始視訊會議，並透過影像擷取裝置獲取視訊串流。利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。判斷至少一第一影像物件是否為打擾物件。反應於判定至少一第一影像物件為打擾物件，自第一視訊畫面移除打擾物件。
基於上述，於本發明的實施例中，當使用者的周遭環境出現打擾時，視訊會議系統可以自動偵測出視訊畫面中出現打擾物件，進而消除視訊畫面中的打擾物件。基此，視訊會議的打擾可以即時地被排除，從而提升視訊會議的流暢度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1是依照本發明一實施例的視訊會議系統的方塊圖。請參照圖1，視訊會議系統10包括顯示器110、儲存裝置120、處理器130以及影像擷取裝置140。處理器130耦接至顯示器110、儲存裝置120與影像擷取裝置140。在一些實施例中，視訊會議系統10可以實施為包括具有顯示器110、儲存裝置120與處理器130的電腦系統，以及外接於上述電腦系統的影像擷取裝置140。例如，視訊會議系統10可以是由筆記型電腦或桌上型電腦與外接攝影機而構成，本發明不在此設限。在一些實施例中，視訊會議系統10可以是將顯示器110、儲存裝置120、處理器130以及影像擷取裝置140整合為單一電子裝置而實施。例如，視訊會議系統10可實施為智慧型手機、平板電腦、筆記型電腦等具備影像擷取功能的電子裝置，本發明不在此設限。
顯示器110可以是液晶顯示器（Liquid Crystal Display，LCD）、發光二極體（Light Emitting Diode，LED）顯示器、有機發光二極體（Organic Light Emitting Diode，OLED）等各類型的顯示器，本發明對此不限制。
儲存裝置120用以儲存檔案、影像、指令、程式碼、軟體元件等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
影像擷取裝置140用以拍攝畫面而產生視訊串流，並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。
處理器130耦接顯示器110、儲存裝置120以及影像擷取裝置140，用以控制視訊會議系統10的整體動作。處理器130可以是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）、或其他類似裝置或這些裝置的組合。處理器130可執行記錄於儲存裝置120中的程式碼、軟體模組、指令等等，以實現本發明實施例的排除打擾的方法。
圖2是依照本發明一實施例的排除打擾的方法的流程圖。請參照圖2，本實施例的方法適用於上述實施例的視訊會議系統10，以下即搭配視訊會議系統10中的各項元件說明本實施例的詳細步驟。
於步驟S201，處理器130啟始視訊會議，並透過影像擷取裝置140獲取視訊串流。處理器130可透過執行一視訊會議軟體而啟始視訊會議，而顯示器110可顯示視訊會議軟體的使用者介面。於進行視訊會議的期間，影像擷取裝置140持續地擷取影像而產生視訊串流。影像擷取裝置140可將視訊串流提供給由處理器130與儲存裝置120組成的電腦系統。視訊串流可包括分別對應至不同時間點的多張視訊畫面。處理器130可持續地將包括使用者的視訊畫面經由網路提供給其他會議參與者。
於步驟S202，處理器130利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。深度學習模型用以進行物件偵測（object detection）。上述深度學習模型可為卷積層類神經網路（Convolution Neural Network，CNN）模型中用以進行物件偵測的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等，本發明對於深度學習模型所使用的網路架構並不限制。詳細而言，在影像擷取裝置140擷取當前視訊畫面（即第一視訊畫面）之後，處理器130可利用深度學習模型來偵測並辨識對應至至少一種物件分類結果的一或多個第一影像物件。舉例而言，處理器130可利用深度學習模型而偵測出當前視訊畫面內被分類為“人”的一或多個第一影像物件。換言之，處理器130也可能透過深度學習模型而偵測出當前視訊畫面內對應至不同物件分類結果的多個第一影像物件。
於步驟S203，處理器130判斷至少一第一影像物件是否為打擾物件。詳細而言，於一實施例中，在獲取當前視訊畫面（即第一視訊畫面）內的第一影像物件之後，處理器130可利用另一深度學習模型而直接辨識所有第一影像物件是否為打擾物件，從而判斷當前視訊畫面是否包括打擾物件。於一實施例中，在獲取當前視訊畫面（即第一視訊畫面）內的第一影像物件之後，處理器130可透過比對當前視訊畫面的影像物件與先前視訊畫面的影像物件來判斷當前視訊畫面是否包括打擾物件。
於步驟S204，反應於判定至少一第一影像物件為打擾物件，處理器130自第一視訊畫面移除打擾物件。於是，處理器130可將不具有打擾物件的第一視訊畫面提供給其他會議參與者，使得視訊會議的其他會議參與者不會看到打擾物件。需說明的是，於一些實施例中，在判定至少一第一影像物件為打擾物件之後，處理器130更可依據第一影像物件的位置資訊來移除第一視訊畫面之後擷取的其他視訊畫面中的打擾物件。
於一實施例中，處理器130可使用不具有打擾物件的視訊畫面取代第一視訊畫面，從而達到移除打擾物件的目的。舉例而言，反應於判定第一視訊畫面包括打擾物件，處理器130可將第一視訊畫面替代成3秒之前擷取的視訊畫面。或者，於一實施例中，處理器130可透過各式影像處理技術而自第一視訊畫面移除打擾物件，像是使用預設圖案覆蓋打擾物件或使打擾物件模糊化等等。或者，於一實施例中，處理器130可利用第三視訊畫面的第一區域取代第一視訊畫面中包括所述打擾物件的第二區域，從而達到移除打擾物件的目的。第三視訊畫面可為在視訊會議開始之前所拍攝的背景畫面。或者，上述第三視訊畫面也可為在第一視訊畫面之前擷取的視訊畫面。
舉例而言，圖3是依照本發明一實施例的移除打擾物件的示意圖。請參照圖3，處理器130可以利用背景畫面Img_b的第一區域310取代第一視訊畫面Img_1中包括打擾物件Obj_in的第二區域320，以產生經處理的第一視訊畫面Img_1’。於一些實施例中，包括打擾物件Obj_in的第二區域320的尺寸與位置可由深度學習模型所提供的邊界框（Bonding Box）而決定，並進而獲取第一區域310的尺寸與位置。
基於前述可知，處理器130可透過不同判斷機制來判斷第一視訊畫面中的第一影像物件物否為打擾物件。以下將分別列舉實施例以說明。
圖4是依照本發明一實施例的排除打擾的方法的流程圖。請參照圖4，本實施例的方法適用於上述實施例的視訊會議系統10，以下即搭配視訊會議系統10中的各項元件說明本實施例的詳細步驟。
於步驟S401，處理器130啟始視訊會議，並透過影像擷取裝置140獲取視訊串流。於步驟S402，反應於觸發操作，處理器130自視訊串流選取基準視訊畫面。接著，於步驟S403，處理器130利用深度學習模型偵測基準視訊畫面內的至少一基準影像物件。詳細而言，觸發操作可為一使用者輸入操作，使用者可透過此使用者輸入操作啟動視訊會議系統10執行防干擾功能。此使用者輸入操作可以是語音輸入、觸控輸入、滑鼠輸入或鍵盤輸入等等，本發明對此不限制。舉例而言，使用者可透過按下特定功能鍵而啟動視訊會議系統10執行防干擾功能。反應於接收觸發操作，處理器130可將某一先前視訊畫面設置為基準視訊畫面，並將基準視訊畫面內的基準影像物件歸類為非打擾物件。此外，利用深度學習模型偵測基準視訊畫面內的基準影像物件的操作內容相似於利用深度學習模型偵測視訊串流中第一視訊畫面內的第一影像物件的操作內容，可參照前述實施例說明。
於步驟S404，處理器130利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。於步驟S405，處理器130判斷至少一第一影像物件是否為打擾物件。於本實施例中，步驟S405可實施為步驟S4051～S4053。
於步驟S4051，透過比對第一視訊畫面內的至少一第一影像物件以及一基準視訊畫面內的至少一基準影像物件，處理器130可判斷至少一第一影像物件是否為打擾物件。於一實施例中，依據基準影像物件的物件分類結果與影像位置以及第一影像物件的物件分類結果與影像位置，處理器130可判斷第一視訊畫面內的第一影像物件是否對應至基準視訊畫面內的基準影像物件，亦即第一影像物件與基準影像物件是否對應至相同的真實場景物件。基於基準視訊畫面內的基準影像物件歸類為非打擾物件的準則，若處理器130發現某一第一影像物件未對應至基準影像物件，因而可判定此第一影像物件為新出現的打擾物件。
於是，於步驟S4052，反應於至少一第一影像物件未對應至至少一基準影像物件，處理器130判定至少一第一影像物件為打擾物件。於步驟S4053，反應於至少一第一影像物件對應至至少一基準影像物件，處理器130判定至少一第一影像物件並非為打擾物件。舉例而言，在接收觸發操作之前所擷取的基準視訊畫面內包括兩位會議參與者的基準影像物件，則第一視訊畫面中兩位會議參與者所對應的第一影像物件將不會被處理器130判定為打擾物件。於步驟S406，反應於判定至少一第一影像物件為打擾物件，處理器130自第一視訊畫面移除打擾物件。
圖5是依照本發明一實施例的比對視訊畫面來偵測打擾物件的示意圖。請參照圖5，反應於於時間t2接收到觸發操作，處理器130可決定出於時間點t1所擷取的基礎視訊畫面Img_r。舉例而言，基礎視訊畫面Img_r可以是觸發操作前2秒所擷取的視訊畫面。處理器130可自基礎視訊畫面Img_r偵測出基準影像物件Obj_r1。接著，處理器130可獲取於時間點t3所擷取的第一視訊畫面Img_c，並自第一視訊畫面Img_c偵測出兩個第一影像物件Obj_c1、Obj_c2。反應於判定第一影像物件Obj_c1對應至基準影像物件Obj_r1，處理器130可判定第一影像物件Obj_c1並非為打擾物件。反應於判定第一影像物件Obj_c2未對應至任何基準影像物件，處理器130可判定第一影像物件Obj_c2為打擾物件。於是，處理器130可將第一影像物件Obj_c2自第一視訊畫面Img_c移除之後，再將未包括第一影像物件Obj_c2的經處理視訊畫面提供給其他會議參與者。
圖6是依照本發明一實施例的排除打擾的方法的流程圖。請參照圖6，本實施例的方法適用於上述實施例的視訊會議系統10，以下即搭配視訊會議系統10中的各項元件說明本實施例的詳細步驟。此外，為了更清楚的說明，請共同參照圖6與圖7，圖7是依照本發明一實施例的利用深度學習模型來偵測打擾物件的示意圖。
於步驟S601，處理器130利用影像擷取裝置140擷取一背景畫面Img_b。背景畫面Img_b包括使用者進行視訊會議的背景。在一些實施例中，背景畫面Img_b可以是在視訊會議開始時先行拍攝的畫面。舉例來說，第一畫面210可以是啟始視訊會議前5秒所拍攝的視訊畫面，本發明對此不限制。
於步驟S602，處理器130利用影像擷取裝置140對使用者擷取多張第二視訊畫面Img_t1～Img_tn。第二視訊畫面Img_t1～Img_tn可以是在啟始視訊會議前所拍攝的視訊畫面，也可於進行視訊會議期間所拍攝的視訊畫面。第二視訊畫面Img_t1～Img_tn包括使用者的影像。
於步驟S603，處理器130依據背景畫面Img_b對第二視訊畫面Img_t1～Img_tn執行影像相減操作而獲取多個人臉影像Img_f1～Img_fn。處理器130可依據背景相減法（background subtraction）而逐一將第二視訊畫面Img_t1～Img_tn與背景畫面Img_b相減以獲取多個人臉影像Img_f1～Img_fn。
於步驟S604，處理器130將人臉影像Img_f1～Img_fn作為訓練資料集來訓練另一深度學習模型M1。於此，處理器130將利用訓練資料集來訓練一個影像分類器，其中此影像分類器為基於深度學習演算法的影像辨識模型。於步驟S604中所訓練的深度學習模型M1用以將模型輸入影像物件分類為打擾物件或非打擾物件。在一些實施例中，此影像分類器可以是基於卷積神經網路（Convolutional Neural Network，CNN）或其他深度學習演算法。更具體而言，在規劃好深度學習模型M1的卷積神經網路架構後，必須利用人臉影像Img_f1～Img_fn與各張人臉影像Img_f1～Img_fn的分類解答資訊來決定深度學習模型M1中的權重資訊，從而訓練出深度學習模型M1。舉例而言，這些人臉影像Img_f1～Img_fn的分類解答資訊可分別為非打擾物件而被標記為分類結果“1”。
於步驟S605，處理器130啟始視訊會議，並透過影像擷取裝置140獲取視訊串流。於步驟S606，處理器130利用深度學習模型偵測視訊串流中第一視訊畫面Img_c內的至少一第一影像物Obj_c1、Obj_c2。步驟S606中的深度學習模型與深度學習模型M1為相異的模型，步驟S606為用於進行物件偵測的深度學習模型。於步驟S607，處理器130判斷至少一第一影像物件Obj_c1、Obj_c2是否為打擾物件。於本實施例中，步驟S607可實施為步驟S6071～S6073。
於步驟S6071，透過利用另一深度學習模型M1將至少一第一影像物件Obj_c1、Obj_c2分類為打擾物件或非打擾物件，處理器130判斷至少一第一影像物件Obj_c1、Obj_c2是否為打擾物件。換言之，處理器130可利用於步驟S604中訓練出來的深度學習模型M1來辨認各個第一影像物件Obj_c1、Obj_c2是否為打擾物件。舉例來說，在一些實施例之中，處理器130可以利用深度學習模型M1將第一影像物件Obj_c1、Obj_c2分為“1”或“0”兩個分類結果。若分類結果為“1”，則代表模型輸入影像物件為使用者的人臉影像；若分類結果為“0”，則代表模型輸入影像物件並非為使用者的人臉影像。
於是，於步驟S6072，反應於另一深度學習模型M1將至少一第一影像物件Obj_c2分類為打擾物件，處理器130判定至少一第一影像物件Obj_c2為打擾物件。於步驟S6073，反應於另一深度學習模型M1將至少一第一影像物件Obj_c1分類為非打擾物件，處理器130判定至少一第一影像物件Obj_c1並非為打擾物件。
於步驟S608，反應於判定至少一第一影像物件Obj_c2為打擾物件，處理器130自第一視訊畫面移除打擾物件。之後，處理器130可將第一影像物件Obj_c2自第一視訊畫面Img_c移除之後，再將未包括第一影像物件Obj_c2的經處理視訊畫面提供給其他會議參與者。
圖8是依照本發明另一實施例所繪示之視訊會議系統的方塊圖。請參照圖8，在一實施例中，視訊會議系統10更包括耦接至處理器130的麥克風150。麥克風150用以接收聲音訊號。在一些實施例中，麥克風150可以是內嵌於筆記型電腦、桌上型電腦、智慧型手機與平板電腦等電子裝置的內建麥克風。在另一些實施例中，麥克風150可以是獨立於電腦系統之外接麥克風，本發明對此不限制。
圖9是依照本發明一實施例的排除打擾的方法的流程圖。請參照圖9，本實施例的方法適用於上述實施例的視訊會議系統10，以下即搭配圖8中視訊會議系統10中的各項元件說明本實施例的詳細步驟。
於步驟S901，處理器130啟始視訊會議，並透過影像擷取裝置140獲取視訊串流。於步驟S902，處理器130利用深度學習模型偵測視訊串流中第一視訊畫面內的至少一第一影像物件。於步驟S903，處理器130判斷至少一第一影像物件是否為打擾物件。於步驟S904，反應於判定至少一第一影像物件為打擾物件，處理器130自第一視訊畫面移除打擾物件。上述步驟的詳細實施內容以於前述實施例說明，於此不再贅述。
於步驟S905，於進行視訊會議的期間，處理器130利用麥克風150獲取聲音訊號。具體來說，麥克風150所接收的聲音訊號可能包括使用者說話的聲音與使用者所在周圍環境的聲音，例如寵物的叫聲、其他人的說話聲音或是其他突發的聲響，本發明對此不限制。在正常情況下，使用者對麥克風輸入的聲音訊號的音量不會有劇烈變化且會小於音量門檻值。因此，若處理器130判定聲音訊號的音量超過音量門檻值，則可推斷為有干擾聲音出現。
於步驟S906，反應於聲音訊號的音量大於音量門檻值，處理器130將麥克風150調整為靜音模式。於步驟S907，反應於聲音訊號的音量未大於音量門檻值，處理器130將麥克風150調整為正常收音模式。也就是說，處理器130持續判斷麥克風150所接收的聲音訊號的音量是否超過音量門檻值，此音量門檻值可以為一預設值或處理器130依據音量紀錄而決定的統計值。舉例而言，處理器130可判斷聲音訊號的音量分貝值(dB)是否大於音量門檻值。於一實施例中，反應於聲音訊號的音量從大音量門檻值轉換為小於音量門檻值，處理器130可將麥克風150從靜音模式切換為正常收模式。
於一實施例中，音量門檻值可依據預設時段內的音量紀錄來決定。處理器130可記錄麥克風150所接收的聲音訊號於預設時段內的音量紀錄，並依據此音量紀錄決定音量門檻值。於一實施例中，處理器130可對預設時段內的音量記錄進行統計計算而獲取一統計值，並將此統計值作為音量門檻值。上述統計值可以為四分位數等等。此外，本發明實施例對於預設時段的長度並不限制，其可是實際需求而設置。
舉例而言，處理器130採樣並記錄每一秒的音量分貝值(dB)，並持續儲存最近10分鐘之內總共600筆音量記錄。像是，音量記錄可以如下表1所示： 表1
時間(時:分:秒) 音量(dB)
10:43:21 61.2
10:43:22 59.8
…  
11:43:21 62.4
接著，處理器130可以依據表1內的音量記錄決定音量門檻值。像是，處理器130可獲取表1內的音量記錄的第三四分位數為61.9(dB)，將第三四分位數61.9(dB)作為音量門檻值。
綜上所述，於本發明的實施例中，當使用者在進行視訊會議時，視訊會議系統可以自動偵測干擾聲音與視訊畫面中的打擾物件，並自動將干擾聲音與作為打擾物件的影像物件濾除。基此，其他會議參與者將不會被這些干擾聲音或打擾物件嚴重影響，而使視訊會議被中斷。藉此，本發明實施例能讓使用者於進行視訊會議期間時，即時地地排除視訊會議的打擾，使視訊會議可以流暢地且順利地進行。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:視訊會議系統 110:顯示器 120:儲存裝置 130:處理器 140:攝影機 150:麥克風 310:第一區域 320:第二區域 Img_b:背景畫面 Img_1、Img_c:第一視訊畫面 Img_1’:經處理的第一視訊畫面 Obj_in:打擾物件 Img_r:基礎視訊畫面 Obj_c1、Obj_c2:第一影像物件 Obj_r1:基準影像物件 Img_t1～Img_tn:第二視訊畫面 Img_f1～Img_fn:人臉影像 M1:深度學習模型 S201～S204, S401～S406, S601～S608, S901～S906:步驟
圖1是依照本發明一實施例的視訊會議系統的方塊圖。 圖2是依照本發明一實施例的排除打擾的方法的流程圖。 圖3是依照本發明一實施例的移除打擾物件的示意圖。 圖4是依照本發明一實施例的排除打擾的方法的流程圖。 圖5是依照本發明一實施例的比對視訊畫面來偵測打擾物件的示意圖。 圖6是依照本發明一實施例的排除打擾的方法的流程圖。 圖7是依照本發明一實施例的利用深度學習模型來偵測打擾物件的示意圖。 圖8是依照本發明一實施例的視訊會議系統的方塊圖。 圖9是依照本發明一實施例的排除打擾的方法的流程圖。
S201~S204:步驟

Claims (12)

  1. 一種排除打擾的方法，適用於視訊會議系統，所述方法包括：啟始一視訊會議，並透過影像擷取裝置獲取視訊串流；利用一深度學習模型偵測所述視訊串流中一第一視訊畫面內的至少一第一影像物件；利用所述影像擷取裝置擷取一背景畫面；利用所述影像擷取裝置對一使用者擷取多張第二視訊畫面；依據所述背景畫面對所述第二視訊畫面執行一影像相減操作而獲取多個人臉影像；將所述人臉影像作為訓練資料集來訓練另一深度學習模型；判斷所述至少一第一影像物件是否為打擾物件；以及反應於判定所述至少一第一影像物件為所述打擾物件，自所述第一視訊畫面移除所述打擾物件，其中判斷所述至少一第一影像物件是否為所述打擾物件的步驟包括：透過利用所述另一深度學習模型將所述至少一第一影像物件分類為所述打擾物件或一非打擾物件，判斷所述至少一第一影像物件是否為所述打擾物件；反應於所述另一深度學習模型將所述至少一第一影像物件分類為所述打擾物件，判定所述至少一第一影像物件為所 述打擾物件；以及反應於所述另一深度學習模型將所述至少一第一影像物件分類為所述非打擾物件，判定所述至少一第一影像物件並非為所述打擾物件。
  2. 如請求項1所述的排除打擾的方法，其中判斷所述至少一第一影像物件是否為所述打擾物件的步驟包括：透過比對所述第一視訊畫面內的所述至少一第一影像物件以及一基準視訊畫面內的至少一基準影像物件，判斷所述至少一第一影像物件是否為所述打擾物件；反應於所述至少一第一影像物件未對應至所述至少一基準影像物件，判定所述至少一第一影像物件為所述打擾物件；以及反應於所述至少一第一影像物件對應至所述至少一基準影像物件，判定所述至少一第一影像物件並非為所述打擾物件。
  3. 如請求項2所述的排除打擾的方法，其中在判斷所述至少一第一影像物件是否為所述打擾物件的步驟之前，所述方法更包括：反應於一觸發操作，自所述視訊串流選取所述基準視訊畫面；以及利用所述深度學習模型偵測所述基準視訊畫面內的所述至少一基準影像物件。
  4. 如請求項1所述的排除打擾的方法，其中自所述第一視訊畫面移除所述打擾物件的步驟包括： 利用一第三視訊畫面的一第一區域取代所述第一視訊畫面中的一第二區域，其中所述第二區域包括所述打擾物件。
  5. 如請求項1所述的排除打擾的方法，所述方法更包括：於進行所述視訊會議的期間，利用一麥克風獲取聲音訊號；反應於所述聲音訊號的音量大於一音量門檻值，將所述麥克風調整為靜音模式；以及反應於所述聲音訊號的音量未大於所述音量門檻值，將所述麥克風調整為正常收音模式。
  6. 如請求項5所述的排除打擾的方法，所述方法更包括：記錄所述聲音訊號於一預設時段內的音量紀錄；以及依據所述音量紀錄決定所述音量門檻值。
  7. 一種視訊會議系統，包括：一顯示器；一影像擷取裝置；一儲存裝置，記錄有多個指令；以及一處理器，耦接所述顯示器、所述影像擷取裝置與所述儲存裝置，經配置以：啟始一視訊會議，並透過所述影像擷取裝置獲取視訊串流；利用一深度學習模型偵測所述視訊串流中一第一視訊 畫面內的至少一第一影像物件；利用所述影像擷取裝置擷取一背景畫面；利用所述影像擷取裝置對一使用者擷取多張第二視訊畫面；依據所述背景畫面對所述第二視訊畫面執行一影像相減操作而獲取多個人臉影像；將所述人臉影像作為訓練資料集來訓練另一深度學習模型；判斷所述至少一第一影像物件是否為打擾物件；反應於判定所述至少一第一影像物件為所述打擾物件，自所述第一視訊畫面移除所述打擾物件；透過利用所述另一深度學習模型將所述至少一第一影像物件分類為所述打擾物件或一非打擾物件，判斷所述至少一第一影像物件是否為所述打擾物件；反應於所述另一深度學習模型將所述至少一第一影像物件分類為所述打擾物件，判定所述至少一第一影像物件為所述打擾物件；以及反應於所述另一深度學習模型將所述至少一第一影像物件分類為所述非打擾物件，判定所述至少一第一影像物件並非為所述打擾物件。
  8. 如請求項7所述的視訊會議系統，其中所述處理器更經配置以： 透過比對所述第一視訊畫面內的所述至少一第一影像物件以及一基準視訊畫面內的至少一基準影像物件，判斷所述至少一第一影像物件是否為所述打擾物件；反應於所述至少一第一影像物件未對應至所述至少一基準影像物件，判定所述至少一第一影像物件為所述打擾物件；以及反應於所述至少一第一影像物件對應至所述至少一基準影像物件，判定所述至少一第一影像物件並非為所述打擾物件。
  9. 如請求項8所述的視訊會議系統，其中所述處理器更經配置以：反應於一觸發操作，自所述視訊串流選取所述基準視訊畫面；以及利用所述深度學習模型偵測所述基準視訊畫面內的所述至少一基準影像物件。
  10. 如請求項7所述的視訊會議系統，其中所述處理器更經配置以：利用一背景畫面的一第一區域取代所述第一視訊畫面中的一第二區域，其中所述第二區域包括所述打擾物件。
  11. 如請求項7所述的視訊會議系統，其中所述視訊會議系統更包括耦接所述處理器的一麥克風，所述處理器更經配置以：於進行所述視訊會議的期間，利用所述麥克風獲取聲音訊號； 反應於所述聲音訊號的音量大於一音量門檻值，將所述麥克風調整為靜音模式；以及反應於所述聲音訊號的音量未大於所述音量門檻值，將所述麥克風調整為正常收音模式。
  12. 如請求項7所述的視訊會議系統，其中所述處理器更經配置以：記錄所述聲音訊號於一預設時段內的音量紀錄；以及依據所述音量紀錄決定所述音量門檻值。
TW109137675A 2020-10-29 2020-10-29 視訊會議系統及其排除打擾的方法 TWI757940B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109137675A TWI757940B (zh) 2020-10-29 2020-10-29 視訊會議系統及其排除打擾的方法
US17/463,561 US11812185B2 (en) 2020-10-29 2021-09-01 Video conferencing system and method of removing interruption thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109137675A TWI757940B (zh) 2020-10-29 2020-10-29 視訊會議系統及其排除打擾的方法

Publications (2)

Publication Number Publication Date
TWI757940B true TWI757940B (zh) 2022-03-11
TW202218415A TW202218415A (zh) 2022-05-01

Family

ID=81379343

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137675A TWI757940B (zh) 2020-10-29 2020-10-29 視訊會議系統及其排除打擾的方法

Country Status (2)

Country Link
US (1) US11812185B2 (zh)
TW (1) TWI757940B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826293B (zh) * 2023-03-22 2023-12-11 宏碁股份有限公司 自動調整視訊會議版面之方法及應用其之電子裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843543A (zh) * 2012-09-17 2012-12-26 华为技术有限公司 视频会议提醒方法、装置和视频会议系统
CN111556278A (zh) * 2020-05-21 2020-08-18 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642716B2 (ja) * 2000-04-19 2005-04-27 三菱電機株式会社 テレビ電話装置及び通話方法
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US7720283B2 (en) * 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
US7783075B2 (en) * 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device
US8044989B2 (en) * 2006-12-12 2011-10-25 General Instrument Corporation Mute function for video applications
US7911513B2 (en) * 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
US20080303949A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Manipulating video streams
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
US9350940B1 (en) * 2009-10-29 2016-05-24 Hewlett-Packard Development Company, L.P. Privacy control for a visual-collaborative system
US8482593B2 (en) * 2010-05-12 2013-07-09 Blue Jeans Network, Inc. Systems and methods for scalable composition of media streams for real-time multimedia communication
US8363085B2 (en) * 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
KR20120060549A (ko) * 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법
US8462191B2 (en) * 2010-12-06 2013-06-11 Cisco Technology, Inc. Automatic suppression of images of a video feed in a video call or videoconferencing system
US9313454B2 (en) * 2011-06-07 2016-04-12 Intel Corporation Automated privacy adjustments to video conferencing streams
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9282285B2 (en) * 2013-06-10 2016-03-08 Citrix Systems, Inc. Providing user video having a virtual curtain to an online conference
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
US9679194B2 (en) * 2014-07-17 2017-06-13 At&T Intellectual Property I, L.P. Automated obscurity for pervasive imaging
US9253443B1 (en) * 2015-03-03 2016-02-02 International Business Machines Corporation Filtering video for video telephony and video conferencing
US10116901B2 (en) * 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US9232189B2 (en) * 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US9911193B2 (en) * 2015-11-18 2018-03-06 Avaya Inc. Semi-background replacement based on rough segmentation
US9948893B2 (en) * 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
US20170148487A1 (en) * 2015-11-25 2017-05-25 Dell Products L.P. Video Manipulation for Privacy Enhancement
US10089071B2 (en) * 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US10043066B2 (en) * 2016-08-17 2018-08-07 Intel Corporation Gesture masking in a video feed
US9986290B2 (en) * 2016-09-27 2018-05-29 International Business Machines Corporation Video censoring
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
KR101932844B1 (ko) * 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10586070B2 (en) * 2017-11-14 2020-03-10 International Business Machines Corporation Privacy protection in captured image for distribution
US10440324B1 (en) * 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
US10776073B2 (en) * 2018-10-08 2020-09-15 Nuance Communications, Inc. System and method for managing a mute button setting for a conference call
WO2020106271A1 (en) * 2018-11-19 2020-05-28 Hewlett-Packard Development Company, L.P. Protecting privacy in video content
US11386562B2 (en) * 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
KR102266888B1 (ko) * 2018-12-31 2021-06-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말기 및 서버
US11392709B2 (en) * 2019-01-08 2022-07-19 Intel Corporation Automatically enhancing privacy in live video streaming
KR102311603B1 (ko) * 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11343412B2 (en) * 2019-10-22 2022-05-24 Intel Corporation User detection and user attention detection using multi-zone depth sensing
US11182879B1 (en) * 2019-11-27 2021-11-23 United Services Automobile Association (Usaa) Synthetic bokeh for video conferencing
KR102293422B1 (ko) * 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11756210B2 (en) * 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
KR20210129583A (ko) * 2020-04-20 2021-10-28 사운드하운드, 인코포레이티드 미디어 재생 디바이스에서의 콘텐츠 필터링
US11303465B2 (en) * 2020-07-16 2022-04-12 International Business Machines Corporation Contextually aware conferencing system
US11190735B1 (en) * 2020-07-16 2021-11-30 International Business Machines Corporation Video modifying conferencing system
US11516431B2 (en) * 2020-07-30 2022-11-29 Microsoft Technology Licensing, Llc Meeting privacy protection system
WO2022159729A1 (en) * 2021-01-22 2022-07-28 Voomer, Inc. Machine learning for video analysis and feedback
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
US11350059B1 (en) * 2021-01-26 2022-05-31 Dell Products, Lp System and method for intelligent appearance monitoring management system for videoconferencing applications
US11463270B2 (en) * 2021-01-28 2022-10-04 Dell Products, Lp System and method for operating an intelligent face framing management system for videoconferencing applications
US11800056B2 (en) * 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US20220350925A1 (en) * 2021-04-29 2022-11-03 Cisco Technology, Inc. Selective privacy filtering for online conferences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843543A (zh) * 2012-09-17 2012-12-26 华为技术有限公司 视频会议提醒方法、装置和视频会议系统
CN111556278A (zh) * 2020-05-21 2020-08-18 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826293B (zh) * 2023-03-22 2023-12-11 宏碁股份有限公司 自動調整視訊會議版面之方法及應用其之電子裝置

Also Published As

Publication number Publication date
US20220141396A1 (en) 2022-05-05
US11812185B2 (en) 2023-11-07
TW202218415A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
WO2020082902A1 (zh) 视频的音效处理方法及相关产品
WO2020259073A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN107944409B (zh) 能够区分关键动作的视频分析方法及装置
KR101677607B1 (ko) 동영상 브라우징 방법, 장치, 프로그램 및 기록매체
WO2020088069A1 (zh) 手势关键点检测方法、装置、电子设备及存储介质
TWI755833B (zh) 一種圖像處理方法、電子設備和儲存介質
WO2017031901A1 (zh) 人脸识别方法、装置及终端
CN105809704A (zh) 识别图像清晰度的方法及装置
CN108898592A (zh) 提示镜头脏污程度的方法及装置、电子设备
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
EP3889804A1 (en) Video quality evaluation method, apparatus and device, and storage medium
US9799376B2 (en) Method and device for video browsing based on keyframe
TWI757940B (zh) 視訊會議系統及其排除打擾的方法
CN113727021A (zh) 拍摄方法、装置及电子设备
WO2022068304A1 (zh) 音质检测方法及装置
JP2007114885A (ja) 画像の類似性による分類方法及び装置
WO2020192095A1 (zh) 一种监控视频背景帧的编码方法、装置、电子设备及介质
US9992407B2 (en) Image context based camera configuration
CN114189719B (zh) 视频信息提取方法、装置、电子设备及存储介质
US11813523B2 (en) Automatic triggering of a gameplay recording using visual and acoustic fingerprints
CN114596514A (zh) 视频会议系统及其排除打扰的方法
US11748225B2 (en) Dynamic interface intervention to improve sensor performance
WO2021073336A1 (en) A system and method for creating real-time video
TW201739262A (zh) 影音自動處理系統及方法
US20230128043A1 (en) Information processing device, information processing method, and information processing program