TWI636426B - Method of tracking a person's face in an image - Google Patents

Method of tracking a person's face in an image Download PDF

Info

Publication number
TWI636426B
TWI636426B TW106128663A TW106128663A TWI636426B TW I636426 B TWI636426 B TW I636426B TW 106128663 A TW106128663 A TW 106128663A TW 106128663 A TW106128663 A TW 106128663A TW I636426 B TWI636426 B TW I636426B
Authority
TW
Taiwan
Prior art keywords
scene
image
face
target
images
Prior art date
Application number
TW106128663A
Other languages
English (en)
Other versions
TW201913564A (zh
Inventor
郭嘉真
林智揚
王上銘
黃文容
Original Assignee
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人國家實驗研究院 filed Critical 財團法人國家實驗研究院
Priority to TW106128663A priority Critical patent/TWI636426B/zh
Priority to US16/108,614 priority patent/US10943090B2/en
Application granted granted Critical
Publication of TWI636426B publication Critical patent/TWI636426B/zh
Publication of TW201913564A publication Critical patent/TW201913564A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一種於影像中追蹤人臉之方法，包含:於一影片中取樣出一影像樣本，以依據該影像樣本擷取並儲存一目標人臉特徵，接續將影片分割出至少一場景，以在該至少一場景的複數個場景影片中，依據該目標人臉特徵標示符合特徵之至少一人臉。因此，可輕易自影片中擷取到演員的表情動作，用以作為訓練教材或檢討題材等應用。

Description

於影像中追蹤人臉之方法
本發明係關於一種影像追蹤方法，特別是一種於影像中追蹤人臉之方法，其用以辨識影片中人物的臉譜。
偵測影片畫面的基本概念就是針對影片畫面的重要特徵與特性進行偵測。常見的方法大致可分為兩種，一種為場景變化偵測法(scene change detection)，係從畫面與畫面之間抓取出差異變化。另一種方法則為場景群聚法(scene clustering)，係分析完整一部的影片，將相似的畫面分別群聚在一起後，再從中過濾出主要畫面。而針對影片的物件辨識一直在演進，例如，許多現代的影像運算效能較高的攜帶裝置(如智慧型手機、平板)已共同設有使該設備可執行擷取內容中之辨識(例如，臉部、語音、表示型態辨識、等等)的相機以及其他感測器(例如，麥克風)。然而，該等設備在某些情況(例如，雜訊、變化的表示型態、不良角度、照明不佳、低解析度影像或聲音、等等)下，通常使用傳統上已努力精確執行的習知方法來作臉部及/或物件辨識。
習知技術人臉辨識為針對人臉影像中找出眼、鼻、唇等臉部特徵的方法大致可分為二種處理方式，第一種是使用影像處理法(image processing)，例如過濾(filtering)、影像型態運算(morphological operation)、或臨界值運算(thresholding operation)等影像運算方法，以透過影片運算方法獲得臉部特徵的候選部位，再接續從這些候選部位中挑出特徵影像部位。第二種方式為使用圖像比對法(graph matching)，亦即將人臉模型做為特徵之關聯圖(graph)，並將特徵位置為節點(nodes)，經由節點之間的連線構成邊緣(edges)，藉此標示出特徵間之相對位置，其中每一節點係由影像處理方法算出附屬之特徵值，再將模型在影像中的遊走透過圖像比對方式以定出人臉特徵位置。
惟，大多數的辨識方式仍是針對靜態影像的辨識，對於串流影片的辨識，仍有其發展上的瓶頸，而現今串流影像技術的發展越趨蓬勃，且現今民眾對於串流影像的依賴越趨增加，例如:記錄片、電影、戲劇、隨手拍、社區監視影片等，因而相對有其人臉辨識上的需求，如電影、戲劇在針對特定片段作為教材或題材時，需要專注於特定角色，而現今僅在剪輯對應特定角色之片段，而無法直接從影片中辨識出同一角色，以做為題材或教材。
綜上所述，本發明針對上述之問題，提供一種於影像中追蹤人臉之方法，其可針對特定影片人物角色做人臉辨識，以標示出特定影片人物角色於場景中的人臉影像。
本發明之一目的，在於提供一種於影像中追蹤人臉之方法，其提供辨識出影片中個別人臉，以建立題材或教材。
本發明之一目的，在於提供一種於影像中追蹤人臉之方法，其提供於個別場景中標示特定人物的人臉影像。
綜上所述，本發明所提供之一種於影像中追蹤人臉之方法，其先於一影片中，其所包含之複數個影像資料取樣一影像樣本，依據該影像樣本擷取並儲存一目標人臉特徵，再接續將該影片分割出至少一場景，該至少一場景包含複數個場景影像，然後依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中。
本發明提供一實施例，其在於依據該影像樣本擷取並儲存之一目標人臉特徵之步驟係依據一哈爾特徵（Haar-like features）演算法以於該影片中取得該目標人臉特徵。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序播放該些場景影像，其中該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉特徵之該人臉；接續再依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟更可為，先依照反播放順序讀取該些場景影像，其中該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一全域搜尋法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照反播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一全域搜尋法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一IBP影格偵測法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照反播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一IBP影格偵測法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第二場景影像之該人臉；接續當該人臉之與該目標人臉之一色彩空間值之差值比例超過50%時，依據一全域搜尋法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照反播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；以及接續依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第一場景影像之該人臉；接續當該人臉之與該目標人臉之一色彩空間值之差值比例超過50%時，依據一全域搜尋法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第二場景影像之該人臉；然後當該人臉之與該目標人臉之一色彩空間值之差值超過75%時，依據一IBP影格偵測法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照反播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；然後依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第一場景影像之該人臉；接續當該人臉之與該目標人臉之一色彩空間值之差值超過75%時，依據一IBP影格偵測法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第一場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一全域搜尋法追蹤該第二場景影像之該人臉；然後當該人臉之與該目標人臉之一色彩空間值之差值超過75%時，依據一IBP影格偵測法追蹤該第二場景影像之該人臉。
本發明提供一實施例，其在於依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些場景影像中之步驟中，先依照反播放順序讀取該些場景影像，該些場景影像包含一第一場景影像及一第二場景影像；再於該第二場影像以一哈爾特徵（Haar-like features）演算法搜尋符合該目標人臉之該人臉；接續依據一全域搜尋法追蹤該第一場景影像之該人臉；然後當該人臉之與該目標人臉之一色彩空間值之差值超過75%，依據一IBP影格偵測法追蹤該第一場景影像之該人臉。
本發明提供一實施例，其在於進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該該場景影像。
為使　貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：
在下文中，將藉由圖式來說明本發明之各種實施例來詳細描述本發明。然而本發明之概念可能以許多不同型式來體現，且不應解釋為限於本文中所闡述之例式性實施例。此外，在圖式中相同參考數字可用於表示類似的元件。
首先，請參閱第一圖，其為本發明之第一實施例，一種於影像中追蹤人臉之方法，其執行於一主機，該方法之步驟包含:
步驟S1:取樣影像樣本；
步驟S3:擷取並儲存一目標人臉特徵；
步驟S5:分割影片之場景；
步驟S7:依據目標人臉特徵符合場景影像之人臉時，標示人臉。
於步驟S1中，該主機執行本發明之方法，讀取一影片，該影片中包含複數個影像資料，以於該些影像資料中取樣一影像樣本，接續於步驟S3中，依據該影像樣本擷取並儲存一目標人臉特徵，特別是更可進一步設定一機器人學習程序 ，而依據該影像樣本擷取目標人臉特徵。於步驟S5中，該主機將將該影片分割至少一場景，該至少一場景包含複數個場景影像，然後於步驟S7中，由於該主機依據該目標人臉特徵搜尋該些影像資料中是否有符合該目標人臉特徵之人臉在該些個場景影像，其為該主機依循該主機所設定之搜尋設定進行場景影片之搜尋，以確認是否有符合目標人臉特徵之人臉存在於場景影片中，當存在時執行步驟S11，當不存在時。於步驟S9中，當該人臉不存在時，中止步驟。執行步驟S11。於步驟S5中，將符合該目標人臉特徵之該至少一人臉標示於該些場景影像中，其中在步驟S11中，更可執行機器人學習程序追蹤人臉特徵所對應之人臉，以辨識該影像串流之該些場景影像。
於步驟S11中，更進一步包含:
步驟S110:判斷是否受阻擋超過50%；
步驟S112: 依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S114: 依據連續自適應均值飄移演算法辨識人臉的移動量；
步驟S120:判斷是否受阻擋超過75%；
步驟S122: 依據哈爾特徵演算法與人臉特徵辨識人臉；
步驟S124: 依據連續自適應均值飄移演算法辨識人臉的移動量；
步驟S126:依據全域搜尋法辨識人臉；
步驟S132: 依據哈爾特徵演算法與人臉特徵辨識人臉；
步驟S134: 依據連續自適應均值飄移演算法辨識人臉的移動量；
步驟S136:依據IBP影格偵測法辨識人臉。
由步驟S110與步驟S120可知，本發明之辨識人臉的步驟中，更可針對人臉之影像阻擋程度自是應變更辨識方式，本實施例係以50%與75%的阻擋程度作為舉例，但本發明不限於此，更可依據使用者需求酌量調整，例如:40%與80%等。接續步驟S110，先判斷場景影像中，人臉的辨識度上受阻擋的比例是否超過50%，當超過50%時，執行步驟S120，當未超過50%時，接續執行步驟S112。於步驟S112中，該主機依據一哈爾特徵演算法與目標人臉特徵辨識場景影像中的人臉，其中如第三圖所示，該主機係執行該哈爾特徵演算法，以針對目標人臉特徵辨識人臉，因而辨識出第一組人臉g1、第二組人臉g2、第三組人臉g3與第四組人臉g4。本實施例之哈爾特徵演算法為採用哈爾特徵的快速演算法，其為積分圖的每一個元素是原始圖像在對應位置左上角所有像素的和，因而快速查表，而辨識人臉特徵。
於步驟S114中，主機依據連續自適應均值飄移演算法辨識人臉的移動量，其係主機設立一預測中心點位置，因而如第四圖所示，形成一追蹤框Track，並透過連續自適應均值飄移演算法動態調整辨識人臉的追蹤框Track，其如第五圖所示，在第一動態M1至第二動態M2進行追蹤；或者，如第六圖所示，因場景影像的景深拉遠拉近，因而產生畫面比例上的變化，如此追蹤框亦是隨著放大縮小，如本實施例為1.5倍放大，放大前追蹤框E1，經放大後追蹤框E2，以讓追蹤框可涵蓋完整人臉。
於步驟S120中，辨識人臉的阻擋率超過75%，執行步驟S132，人臉阻擋率未超過75%，執行步驟S122。於步驟S122-124中，其如同上述步驟S112-S114之執行方式，因此不再贅述，接續於步驟S126中，該主機依據全域搜尋法與目標人臉特徵進行辨識，以針對符合目標人臉特徵的人臉進行辨識，並同時針對符合目標人臉特徵的人臉進行標示，如第七A圖所示，追蹤框Track中所要辨識的人臉阻擋率超過50%，但未超過75%，因而執行全域搜尋法，其中針對追蹤框Track內的人臉影像區分為主影像main與阻擋影像BLK，因而針對追蹤框Track內每一像素進行搜尋符合目標人臉特徵。
於步驟S132-134中，其如同上述步驟S112-S114之執行方式，因此不再贅述，接續於步驟S136中，該主機依據IBP影格偵測法與目標人臉特徵進行辨識，其中IBP影格偵測法為依循MPEG-2格式，通常一MPEG-2包含多個GOP（Group Of Pictures），每一個GOP包含多個影格（frame）通常包括I-影格（I-frame）、P-影格（P-frame）和B-影格（B-frame），特別是I-影格I-frame為獨立影格，其採用影格內編碼，P-影格P-frame採用前向估計，B-影格B-frame採用雙向估計。如第八圖與第九圖所示，追蹤框Track所辨識之人臉低於50%，因而針對獨立影格I-frame、P-影格P-frame與B-影格B-frame進行辨識。
此外，本發明於步驟S112-114中、步驟S122-126中，以及步驟S132-136中，更可如第十圖所示，按場景影像之播放順序，而正向播放forward該些場景影像f，接續倒轉播放reverse該些場景影像f，然後交叉比對cross結果。
請參閱第十一圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第二圖之步驟與第十一圖之步驟之差異在於第二圖之步驟中皆為場景影像以正常播放順序進行處理，第十一圖之實施例為進一步區分正反播放順序。如圖所示，本發明更可依據場景影像之播放順序，而決定場景影像的處理方式，其步驟如下:
步驟S210:判斷是否為反播放順序；
步驟S212: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S214: 第二場景影像依據連續自適應均值飄移演算法辨識人臉的移動量；
步驟S222: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；以及
步驟S224: 第一場景影像依據連續自適應均值飄移演算法辨識人臉的移動量。
於步驟S210中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S212，當播放順序為反播放順序時，執行步驟S222；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S212-S224所述之哈爾特徵演算法與連續自適應均值飄移演算法，已於上述實施例中說明，本實施例不再贅述，於步驟S212至步驟S214中，其為該主機依據正播放順序，而依序針對第一場景影像執行哈爾特徵演算法，接續針對第二場景影像執行連續自適應均值飄移演算法。反之，步驟S222至步驟S224中，該主機依據反播放順序，而依序針對第二場景影像執行哈爾特徵演算法，接續針對第一場景影像執行連續自適應均值飄移演算法。
請參閱第十二圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第第十一圖與第十二圖之步驟差異在於第十一圖之實施例為進一步區分正反播放順序，以對場景影像執行哈爾特徵演算法與連續自適應均值飄移演算法，第十二圖為對場景影像執行哈爾特徵演算法與全域搜尋法。第十二圖之步驟如下:
步驟S310:判斷是否為反播放順序；
步驟S312: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S314: 第二場景影像依據全域搜尋法辨識人臉；
步驟S322: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；以及
步驟S324: 第一場景影像依據全域搜尋法辨識人臉。
於步驟S310中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S312，當播放順序為反播放順序時，執行步驟S322；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S312-S324所述之哈爾特徵演算法與全域搜尋法，已於上述實施例中說明，本實施例不再贅述，於步驟S312至步驟S314中，其為該主機依據正播放順序，而依序針對第一場景影像執行哈爾特徵演算法，接續針對第二場景影像執行全域搜尋法。反之，步驟S322至步驟S324中，該主機依據反播放順序，而依序針對第二場景影像執行哈爾特徵演算法，接續針對第一場景影像執行全域搜尋法。
請參閱第十三圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第第十二圖與第十三圖之步驟差異在於第十二圖之實施例為進一步區分正反播放順序，以對場景影像執行哈爾特徵演算法與全域搜尋法，第十三圖為對場景影像執行哈爾特徵演算法與IBP影格偵測法。第十三圖之步驟如下:
步驟S410:判斷是否為反播放順序；
步驟S412: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S414: 第二場景影像依據IBP影格偵測法辨識人臉；
步驟S422: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；以及
步驟S424: 第一場景影像依據IBP影格偵測法辨識人臉。
於步驟S410中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S412，當播放順序為反播放順序時，執行步驟S422；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S412-S424所述之哈爾特徵演算法與IBP影格偵測法，已於上述實施例中說明，本實施例不再贅述，於步驟S412至步驟S414中，其為該主機依據正播放順序，而依序針對第一場景影像執行哈爾特徵演算法，接續針對第二場景影像執行IBP影格偵測法。反之，步驟S422至步驟S424中，該主機依據反播放順序，而依序針對第二場景影像執行哈爾特徵演算法，接續針對第一場景影像執行IBP影格偵測法。
請參閱第十四圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第第十三圖與第十四圖之步驟差異在於第十三圖之實施例為進一步區分正反播放順序，以對場景影像執行哈爾特徵演算法與IBP影格偵測法，第十四圖為對場景影像執行哈爾特徵演算法、連續自適應均值飄移演算法與全域搜尋法。第十四圖之步驟如下:
步驟S510:判斷是否為反播放順序；
步驟S512: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S514:人臉阻擋是否超過50%；
步驟S516:第二場景影像依據連續自適應均值飄移演算法辨識人臉；
步驟S518: 第二場景影像依據全域搜尋法辨識人臉；
步驟S522: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S524:人臉阻擋是否超過50%；
步驟S526:第一場景影像依據連續自適應均值飄移演算法辨識人臉；以及
步驟S528: 第一場景影像依據全域搜尋法辨識人臉。
於步驟S510中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S512，當播放順序為反播放順序時，執行步驟S522；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S512-S524所述之哈爾特徵演算法、阻擋率50%、連續自適應均值飄移演算法與全域搜尋法，已於上述實施例中說明，本實施例不再贅述，該主機依據正播放順序而執行步驟S512至步驟S518，該主機依據反播放順序而執行步驟S522至步驟S528。
於步驟S512中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S514中，其為針對第二場景影像判斷人臉阻擋程度是否超過50%，當未超過50%時，執行步驟S516，當超過50%時，執行步驟S518。於步驟S516中，該主機針對第二場景影像執行連續自適應均值飄移演算法；於步驟S518中，針對第二場景影像執行全域搜尋法。反之，於步驟S512中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S514中，其為針對第二場景影像判斷人臉阻擋程度是否超過50%，當未超過50%時，執行步驟S526，當超過50%時，執行步驟S528。於步驟S526中，該主機針對第一場景影像執行連續自適應均值飄移演算法；於步驟S528中，針對第一場景影像執行全域搜尋法。
請參閱第十五圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第第十四圖與第十五圖之步驟差異在於第十四圖為對場景影像執行哈爾特徵演算法、連續自適應均值飄移演算法與全域搜尋法，第十五圖為對場景影像執行哈爾特徵演算法、連續自適應均值飄移演算法與IBP影格偵測法。第十五圖之步驟如下:
步驟S610:判斷是否為反播放順序；
步驟S612: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S614:人臉阻擋是否超過50%；
步驟S616:第二場景影像依據連續自適應均值飄移演算法辨識人臉；
步驟S618: 第二場景影像依據IBP影格偵測法辨識人臉；
步驟S622: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S624:人臉阻擋是否超過50%；
步驟S626:第一場景影像依據連續自適應均值飄移演算法辨識人臉；以及
步驟S628: 第一場景影像依據IBP影格偵測法辨識人臉。
於步驟S610中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S612，當播放順序為反播放順序時，執行步驟S622；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S612-S624所述之哈爾特徵演算法、阻擋率50%、連續自適應均值飄移演算法與全域搜尋法，已於上述實施例中說明，本實施例不再贅述，該主機依據正播放順序而執行步驟S612至步驟S618，該主機依據反播放順序而執行步驟S622至步驟S628。
於步驟S612中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S614中，其為針對第二場景影像判斷人臉阻擋程度是否超過75%，當未超過75%時，執行步驟S616，當超過75%時，執行步驟S618。於步驟S616中，該主機針對第二場景影像執行連續自適應均值飄移演算法；於步驟S618中，針對第二場景影像執行全域搜尋法。反之，於步驟S622中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S624中，其為針對第二場景影像判斷人臉阻擋程度是否超過75%，當未超過75%時，執行步驟S626，當超過75%時，執行步驟S628。於步驟S626中，該主機針對第一場景影像執行連續自適應均值飄移演算法；於步驟S628中，針對第一場景影像執行全域搜尋法。
請參閱第十六圖，其為本發明之另一實施例之標示人臉步驟的流程圖。其中第十五圖與第十六圖之步驟差異在於第十五圖為對場景影像執行哈爾特徵演算法、連續自適應均值飄移演算法與IBP影格偵測法，第十六圖為對場景影像執行哈爾特徵演算法、全域搜尋法與IBP影格偵測法。第十六圖之步驟如下:
步驟S710:判斷是否為反播放順序；
步驟S712: 第一場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S714:人臉阻擋是否超過75%；
步驟S716:第二場景影像依據全域搜尋法辨識人臉；
步驟S718: 第二場景影像依據IBP影格偵測法辨識人臉；
步驟S722: 第二場景影像依據哈爾特徵演算法與目標人臉特徵辨識人臉；
步驟S724:人臉阻擋是否超過75%；
步驟S726:第一場景影像依據全域搜尋法辨識人臉；以及
步驟S728: 第一場景影像依據IBP影格偵測法辨識人臉。
於步驟S710中，其係判斷接續辨識處理之場景影像順序，當播放順序非為反播放順序時，執行步驟S712，當播放順序為反播放順序時，執行步驟S722；其中本實施例係以場景影像為複數場景影像，且具有第一場景影像與第二場景影像，以作為舉例說明。於步驟S712-S724所述之哈爾特徵演算法、阻擋率75%、連續自適應均值飄移演算法與全域搜尋法，已於上述實施例中說明，本實施例不再贅述，該主機依據正播放順序而執行步驟S712至步驟S718，該主機依據反播放順序而執行步驟S722至步驟S728。
於步驟S712中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S714中，其為針對第二場景影像判斷人臉阻擋程度是否超過75%，當未超過75%時，執行步驟S716，當超過75%時，執行步驟S718。於步驟S716中，該主機針對第二場景影像執行全域搜尋法；於步驟S718中，針對第二場景影像執行IBP影格偵測法。反之，於步驟S722中，該主機針對第一場景影像執行哈爾特徵演算法；於步驟S724中，其為針對第二場景影像判斷人臉阻擋程度是否超過75%，當未超過75%時，執行步驟S726，當超過75%時，執行步驟S728。於步驟S726中，該主機針對第一場景影像執行全域搜尋法；於步驟S728中，針對第一場景影像執行IBP影格偵測法。
以上所述之實施例，本發明一種於影像中追蹤人臉之方法，可提供取樣一影像樣本，以依據該影像樣本獲得目標人臉特徵，再接續從影片之該至少一場景所包含之複數個場景影像尋找該目標人臉特徵符合該些個場景影像之一人臉，針對符合目標人臉特徵進行標示。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
C‧‧‧中心點
cross‧‧‧交叉比對
E1‧‧‧放大前追蹤框
E2‧‧‧放大後追蹤框
g1‧‧‧第一組人臉
g2‧‧‧第二組人臉
g3‧‧‧第三組人臉
forward‧‧‧正向播放
M1‧‧‧第一動態
M2‧‧‧第二動態
reverse‧‧‧倒轉播放
Track‧‧‧追蹤框
第一圖：其為本發明之一實施例之流程圖； 第二圖：其為本發明之一實施例之標示人臉步驟的流程圖； 第三圖：其為本發明之一實施例之哈爾特徵的示意圖； 第四圖：其為本發明之一實施例之追蹤框的示意圖； 第五圖：其為本發明之一實施例之動態分析的示意圖； 第六圖：其為本發明之一實施例之追蹤框調整的示意圖； 第七A圖：其為本發明之一實施例之臉部阻擋的示意圖； 第七B圖：其為本發明之一實施例之全域搜尋的示意圖 第八圖：其為本發明之一實施例之影格分析的示意圖； 第九圖：其為本發明之一實施例之影格分析的示意圖； 第十圖：其為本發明之另一實施例之播放比對的示意圖； 第十一圖：其為本發明之另一實施例之標示人臉步驟的流程圖； 第十二圖：其為本發明之另一實施例之標示人臉步驟的流程圖 第十三圖：其為本發明之另一實施例之標示人臉步驟的流程圖 第十四圖：其為本發明之另一實施例之標示人臉步驟的流程圖； 第十五圖：其為本發明之另一實施例之標示人臉步驟的流程圖；以及 第十六圖：其為本發明之另一實施例之標示人臉步驟的流程圖。

Claims (12)

  1. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中；依照播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第一場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第二場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值比例超過50%時；以及依據一全域搜尋法追蹤該第二場景影像之該人臉。
  2. 如申請專利範圍第1項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
  3. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中； 依照反播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第二場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第一場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值比例超過50%時；以及依據一全域搜尋法追蹤該第一場景影像之該人臉。
  4. 如申請專利範圍第3項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
  5. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中；依照播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第一場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第二場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值超過75%時；以及依據一IBP影格偵測法追蹤該第二場景影像之該人臉。
  6. 如申請專利範圍第5項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
  7. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中；依照反播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第二場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一連續自適應均值飄移(Continuously AdaptiveMeanShift，CAMshift)演算法追蹤該第一場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值超過75%時；以及依據一IBP影格偵測法追蹤該第一場景影像之該人臉。
  8. 如申請專利範圍第7項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
  9. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中； 依照播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第一場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一全域搜尋法追蹤該第二場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值超過75%時；以及依據一IBP影格偵測法追蹤該第二場景影像之該人臉。
  10. 如申請專利範圍第9項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
  11. 一種於影像中追蹤人臉之方法，該方法包含：於一影片中，該影片中包含複數個影像資料，於該些個影像資料中取樣一影像樣本；依據該影像樣本擷取並儲存一目標人臉特徵；將該影片分割至少一場景，該至少一場景包含複數個場景影像；依據該目標人臉特徵符合該些個場景影像之一人臉時，標示該至少一人臉於該些個場景影像中；依照反播放順序讀取該些個場景影像，該些個場景影像包含一第一場景影像及一第二場景影像；於該第二場影像以一哈爾特徵(Haar-like features)演算法搜尋符合該目標人臉特徵之該人臉；依據一全域搜尋法追蹤該第一場景影像之該人臉；當該人臉之與該目標人臉特徵之一色彩空間值之差值超過75%時；以及依據一IBP影格偵測法追蹤該第一場景影像之該人臉。
  12. 如申請專利範圍第11項之方法，進一步將該第一場景影像與該第二場景影像之該人臉予以標示於該些個場景影像。
TW106128663A 2017-08-23 2017-08-23 Method of tracking a person's face in an image TWI636426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106128663A TWI636426B (zh) 2017-08-23 2017-08-23 Method of tracking a person's face in an image
US16/108,614 US10943090B2 (en) 2017-08-23 2018-08-22 Method for face searching in images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106128663A TWI636426B (zh) 2017-08-23 2017-08-23 Method of tracking a person's face in an image

Publications (2)

Publication Number Publication Date
TWI636426B true TWI636426B (zh) 2018-09-21
TW201913564A TW201913564A (zh) 2019-04-01

Family

ID=64453167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106128663A TWI636426B (zh) 2017-08-23 2017-08-23 Method of tracking a person's face in an image

Country Status (2)

Country Link
US (1) US10943090B2 (zh)
TW (1) TWI636426B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963700B2 (en) * 2018-09-15 2021-03-30 Accenture Global Solutions Limited Character recognition
CN110532943A (zh) * 2019-08-28 2019-12-03 郑州轻工业学院 基于Camshift算法与影像逐帧结合的航道状态分析方法
CN110910427B (zh) * 2019-12-04 2022-08-12 数据堂(北京)智能科技有限公司 一种交互式视频数据标注方法及装置
CN111027476A (zh) * 2019-12-10 2020-04-17 电子科技大学 基于增量学习算法的人脸识别跟踪器
CN111460226A (zh) * 2020-04-01 2020-07-28 山东云缦智能科技有限公司 一种基于深度学习的视频人物检索方法及检索系统
US11526999B2 (en) * 2020-06-26 2022-12-13 Seagate Technology Llc Object tracking using multi-camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247063A (zh) * 2012-02-13 2013-08-14 张棨翔 影片及影像信息嵌入科技系统
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
TW201501080A (zh) * 2013-06-26 2015-01-01 Univ Nat Taiwan Science Tech 目標偵測與追蹤方法及系統
CN105989063A (zh) * 2015-02-09 2016-10-05 大唐软件技术股份有限公司 视频检索方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1911278A2 (en) * 2005-08-04 2008-04-16 Nds Limited Advanced digital tv system
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
US20090209846A1 (en) * 2006-06-28 2009-08-20 Roland Bammer Apparatus and method for real-time motion-compensated magnetic resonance imaging
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking
US8755441B2 (en) * 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer
KR20120072009A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 다중 사용자의 인터렉션 인식 장치 및 방법
CN103608813A (zh) * 2011-06-17 2014-02-26 汤姆逊许可公司 通过对象位置进行视频导航
US9621917B2 (en) * 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US20150302252A1 (en) * 2014-04-16 2015-10-22 Lucas A. Herrera Authentication method using multi-factor eye gaze
US9176987B1 (en) * 2014-08-26 2015-11-03 TCL Research America Inc. Automatic face annotation method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247063A (zh) * 2012-02-13 2013-08-14 张棨翔 影片及影像信息嵌入科技系统
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
TW201501080A (zh) * 2013-06-26 2015-01-01 Univ Nat Taiwan Science Tech 目標偵測與追蹤方法及系統
CN105989063A (zh) * 2015-02-09 2016-10-05 大唐软件技术股份有限公司 视频检索方法和装置

Also Published As

Publication number Publication date
TW201913564A (zh) 2019-04-01
US10943090B2 (en) 2021-03-09
US20190065825A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
TWI636426B (zh) Method of tracking a person's face in an image
US10721439B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
US8064656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
KR101421717B1 (ko) 얼굴 검출 장치, 촬상 장치 및 얼굴 검출 방법
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
JP2010239467A (ja) 画像選択装置、画像選択方法及びプログラム
US8681239B2 (en) Image capturing device, image capturing method, program, and integrated circuit
WO2007138858A1 (ja) 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
CN101114343A (zh) 图像处理装置和方法以及程序
KR20060051810A (ko) 동화 기록 장치 및 동화 재생 장치
JP2005513656A (ja) 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法
JP2010103972A (ja) 画像処理装置及び電子機器
US20090238408A1 (en) Image-signal processor, image-signal processing method, and program
US7792326B2 (en) Method of tracking vocal target
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP6829412B1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2014050022A (ja) 画像処理装置、撮像装置、およびプログラム
JP4606278B2 (ja) 映像構造化方法及び装置及びプログラム
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
KR101050255B1 (ko) 동영상 장면 분할 시스템 및 방법
US20130121534A1 (en) Image Processing Apparatus And Image Sensing Apparatus
JP5786544B2 (ja) 画像処理装置、撮像装置、及びプログラム
JP2010141764A (ja) 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法