TWI499879B - 工序分析監控系統及其方法 - Google Patents

Description

工序分析監控系統及其方法

一種工序分析監控系統及其方法，尤指一種能夠產生一工序語意，以供人機分/混工組裝方式使用之方法與系統。

現今電子產品，如手持式電子產品、智慧型手機、平板電腦或筆記型電腦，已廣泛地應用於人們的日常生活中。

惟上述之電子產品的樣式繁多，以致無法自動化組裝生產，現仍需依靠大量的人力。

為了能提高組裝產能及降低組裝成本，未來工廠之趨勢為人機分/混工(Hybrid Automation)組裝方式。

如上所述，目前業界已開始思考如何於同一產線上將快速精確的機械(Robot)組裝，與適合複雜度高的人力(Human)組裝予以結合，而能同時發揮機械及人力兩者優點。

但目前人機分/混工生產流程(workflow)，缺少工件與人之肢體行為視覺辨識監控，尤其人之行為難以量化估測，需要人工智慧方能判斷出人手部動作之語意，否則人手與機器手臂交替的逐步工序無法執行，所以目前仍未有人機混工工序監控的方法或裝置可資應用，故人機混工工序監控猶有發展的空間。

於一實施例，本揭露之技術手段在於提供一種工序分析監控方法，其包括：依據一影像資訊，產生至少一三維關節點座標，並依據該三維關節點座標，產生至少一工件姿態資訊，並依據該工件姿態資訊，產生一工序姿態資料；依據一運動軌跡資訊，產生至少一三維軌跡資訊，並依據該三維軌跡資訊，產生至少一工件軌跡資訊，並依據該工件軌跡資訊，產生一工序軌跡資料；以及依據該工序姿態資料與該工序軌跡資料，產生一工序語意。於一實施例，本揭露復提供一種工序分析監控系統，其包括：一偵測模組；至少一第一影像擷取模組；至少一第二影像擷取模組；以及一工序分析單元，其分別電性耦接該第一影像擷取模組與該第二影像擷取模組，該工序分析單元具有一影像辨識模組、一偵測區姿態模組、一偵測區運動軌跡模組與一工序樣版資料庫；其中，該第一影像擷取模組擷取該偵測模組之影像，以產生一影像資訊；該第二影像擷取模組擷取該偵測模組之運動軌跡，以產生一運動軌跡資訊；該影像辨識模組辨識該影像資訊與該運動軌跡資訊；該偵測區姿態模組接收該影像資訊，以產生至少一特徵點；該偵測區運動軌跡模組接收該運動軌跡資訊，以產生至少一 三維軌跡資訊；該工序樣版資料庫依據該特徵點，以產生至少一工序姿態資料，該工序樣版資料庫依據該三維軌跡資訊，以產生至少一工序軌跡資料，該工序樣版資料庫依據該工序姿態資料與該工序軌跡資料，以產生一工序語意。

以下藉由特定的具體實施例說明本揭露之實施方式，所屬技術領域中具有通常知識者可由本說明書所揭示之內容，輕易地瞭解本揭露。

請配合參考圖1所示，本揭露一種工序分析監控系統，其具有一偵測模組1、至少一第一影像擷取模組20、至少一第二影像擷取模組21與一工序分析單元3。

偵測模組1舉例能夠為一具有複數個偵測區10的穿戴物(未圖示)，而可為操作者穿戴在身上或手部上，舉例以手套說明，但不受限於此，該手套能夠為單一手套或一雙手套，手套上之偵測區10能夠為複數個色區，各色區的顏色、形狀皆不同，亦能夠為文字、貼片、色塊、亮點、發光元件或反光元件，而足以為被影像擷取模組所擷取其特徵者。

第一影像擷取模組20舉例能夠為一電荷耦合元件(Charge-coupled Device，CCD)，第一影像擷取模組20的數量能夠為一至複數個，以擷取偵測模組1之影像資訊。

第二影像擷取模組21能夠為一深度攝影機，舉例為紅外線攝影機或照相機，第二影像擷取模組21的數量能夠為 一至複數個，以擷取偵測模組1之景深或運動軌跡。

工序分析單元3分別電性耦接第一影像擷取模組20與第二影像擷取模組21，工序分析單元3具有一影像辨識模組30、一偵測區姿態模組31、一偵測區運動軌跡模組32、一工件姿態模組33、一工件運動軌跡模組34、一工序樣版資料庫35與一輸出模組36。

工序樣版資料庫35存有複數個基本形狀之資訊，與複數個進階形狀之資訊，舉例，該基本形狀資訊能夠為多種基本手勢形狀資訊，該基本手勢形狀資訊依手部五指之彎取程度等，該進階形狀資訊為手勢與視角變化之多種手勢形狀，舉例為手掌之翻向等，前述之該些基本形狀資訊與該些進階形狀資訊具有多個三維關節點座標。

承上所述，第一影像擷取模組20擷取了偵測模組1之影像，以產生一影像資訊。

第二影像擷取模組21擷取偵測模組1之景深或運動軌跡，以產生一運動軌跡資訊。

影像辨識模組30用以辨識前述之影像資訊與運動軌跡資訊。

偵測區姿態模組31接收偵測模組1之影像資訊，並由其中之偵測區10，偵測出至少一特徵點，偵測區姿態模組31再接收來自工序樣版資料庫35之至少一基本資料，以將該基本資料與該特徵點進行比對，並將一比對結果傳送給工序樣版資料庫35。

工序樣版資料庫35依據來自偵測區姿態模組31之比對結果，找出一趨近於該比對結果之進階形狀資訊，再依 據該進階形狀資訊，以對該比對結果進行一角度校正，並產生一角度校正結果。工序樣版資料庫35再依據該角度校正結果，以產生至少一三維關節點座標。接著再依據該三維關節點座標，以產生至少一工序姿態資料。

工件姿態模組33依據該影像資訊，以產生至少一工件姿態資訊，並將該工件姿態資訊傳送給工序樣版資料庫35。

偵測區運動軌跡模組34接收該運動軌跡資訊，以進行一區域位置(例如手部之位置)之估測。並依據對該區域位置估測之結果，擷取上述之三維關節點座標，以產生至少一三維軌跡資訊。

工件運動軌跡模組34依據該運動軌跡資訊，而產生至少一工件軌跡資訊，並將該工件軌跡資訊傳送給工序樣版資料庫35。

工序樣版資料庫35依據該三維軌跡資訊，而產生至少一工序軌跡資料。

工序樣版資料庫35並進一步定義一工序姿態與一工序軌跡等資料。

工序樣版資料庫35依據所定義之工序軌跡與工序姿態，以及該工件姿態資訊與該工件軌跡資訊，以產生一工序樣板資料，工序樣版資料庫35並將多個工序樣板資訊結合，以產生一工序語意(Task Semanticist)，以運用於生產線上操作者動作之描述與辨識，工序語意舉例可為一種標記語言。

該工序語意再由輸出模組36輸出。

請配合參考圖2所示，本揭露一種工序分析監控方 法，其包含有：S1，至少一第一影像擷取模組20擷取一偵測模組1之影像，並產生一影像資訊，舉例，該影像資訊能夠為一彩色影像資訊。

至少一第二影像擷取模組21擷取該偵測模組1之運動軌跡，並產生一運動軌跡資訊。

影像辨識模組30接收該影像資訊與該運動軌跡資訊，並辨識該影像資訊與該運動軌跡資訊。

S2，工件姿態模組33依據S1之影像資訊，以產生至少一工件姿態資訊。

偵測區姿態模組31依據S1所得之影像資訊，以進行比對，而產生出至少一三維關節點座標，依據該三維關節點座標進一步產生至少一工序姿態資料，請配合圖3所示，該比對方式、該三維關節點座標產生方式與該工序姿態資料產生方式如下所述：S11，S1所述之影像資訊輸入偵測區姿態模組31。

S12，偵測區姿態模組31依據該影像資訊，以進行一區域位置估測。

舉例，若該偵測模組1為一手套，而且該手套套設於至少一手部，上述之區域位置估測即是指一手部區域位置之估測。

S13，偵測區姿態模組31由該影像資訊中偵測區10之影像，偵測出至少一特徵點，舉例，該特徵點的數量約為20至60。

如上所述，若偵測模組1為一手套，工序樣版資料庫 35能夠存有至少一手套色彩分佈直方圖，該手套色彩分佈直方圖能夠提供給偵測區姿態模組31，以對所輸入之影像資料執行一色彩分佈分析追蹤，如偵測區10的色彩落入該手套色彩分佈直方圖內，則可視為一目標區域，並針對該目標區域建立上述之特徵點。

S14，工序樣版資料庫35提供至少一基本資料給偵測區姿態模組31，偵測區姿態模組31將該基本資料與該特徵點進行比對，並將一比對結果傳送給工序樣版資料庫35。

上述之比對是就各特徵點所構成之相對位置與方向，以判斷相似度，若該影像資訊之特徵點與該基本資料所具有的特徵點二者之間的影像幾何距離最短，則稱該影像資訊相似於該基本資料。

該影像幾何距離之轉換以一歐式距離(Euclidean distance)，求出二者特徵點之距離，即由該影像資訊中之每一物件點，求取該物件點至所有背景點之距離中之最短者，所謂歐式距離，即指在同一空間中兩個點之間的真實距離。

S15，工序樣版資料庫35依據該比對結果，而找出一趨近該比對結果之進階形狀資訊。

S16，工序樣版資料庫35依據該進階形狀資訊，以對該比對結果進行一角度校正，並產生一角度校正結果。

S17，工序樣版資料庫35依據該角度校正結果，以產生至少一三維關節點座標。

S18，工序樣版資料庫35依據該三維關節點座標，以產生至少一工序姿態資料，工序樣版資料庫35並儲存該工 序姿態資料。

S3，工件運動軌跡模組34依據S1之運動軌跡資訊，產生至少一工件軌跡資訊。

偵測區運動軌跡模組32依據S1之運動軌跡資訊，而產生至少一三維軌跡資訊，依據該三維軌跡資訊能夠進一步產生至少一工序軌跡資料，請配合參考圖4所示，該三維軌跡資訊與該工序軌跡資料之產生方式如下：S19，偵測區運動軌跡模組32接收S1之運動軌跡資訊。

S20，偵測區運動軌跡模組32依據該運動軌跡資訊，以進行一區域位置估測。

S21，偵測區運動軌跡模組32依據該區域位置估測之結果，並擷取S2之三維關節點座標。

S22，判斷是否為一工序起始座標點或一工序終止座標點，偵測區運動軌跡模組32依據該三維關節點座標，以判斷該運動軌跡資訊是否為一工序起始座標點或一工序終止座標點，若否，則回到S21；若是，則產生一三維軌跡資訊，並至下一程序，該三維軌跡資訊具有一動作空間與一時間資訊，透過該資訊可得知某個時間點所發生之動作，舉例，在時間點t，偵測模組1於三維空間中的位置，並由時間點位置判斷動作先後次序。

S23，偵測區運動軌跡模組32回到S21，以進行更新另一三維關節點座標，並重複上述之動作。

S24，判斷是否結束，若是，工序樣版資料庫35依據該三維軌跡資訊，而產生一工序軌跡資料(S25)，工序樣版資料庫35儲存該工序軌跡資料；若否，則回至S21。

S4，判斷是否定義一工序軌跡，工序樣版資料庫35依據該工序軌跡資料，以定義該S1所述之運動軌跡資訊，並儲存該定義結果，若否，即無法定義，則產生一警告(S5)，並回至S3，舉例，該警告能夠為一警示聲、一警示燈光或一警示訊息；若是，即能夠定義，則至下一程序。

S6，判斷是否定義一工序姿態，工序樣版資料庫35依據S4所定義之工序軌跡，以及S21所述之工序姿態資料，以定義一工序姿態；若否，即無法定義，則產生一警告(S7)，並回至S2；若是，即能夠定義，則至下一程序。

S8，工序樣版資料庫35依據S4所定義之工序軌跡與S6所定義之工序姿態，以及S2所述之工件姿態資訊與S3所述之工件軌跡資訊，以產生一工序樣板資料，工序樣版資料庫35儲存該工序樣板資料，工序樣版資料庫35將多個工序樣板資料結合，以產生一工序語意。

S9，判斷是否結束，若是，則結束(S10)；若否，則回到S1，輸出模組36輸出該工序語意。

綜合上述，本揭露藉由偵測模組之姿態與運動軌跡之辨識，透過姿態重建技術，以加強運動語意之明確度與驗證動作的正確性，以產生工序語意。

惟以上所述之具體實施例，僅用於例釋本揭露，而非用於限定本揭露之可實施範疇，於未脫離本揭露上揭之精神與技術範疇下，任何運用本揭露所揭示內容而完成之等效改變及修飾，均仍應為下述之申請專利範圍所涵蓋。

1‧‧‧偵測模組

10‧‧‧偵測區

20‧‧‧第一影像擷取模組

21‧‧‧第二影像擷取模組

3‧‧‧工序分析單元

30‧‧‧影像辨識模組

31‧‧‧偵測區姿態模組

32‧‧‧偵測區運動軌跡模組

33‧‧‧工件姿態模組

34‧‧‧工件運動軌跡模組

35‧‧‧工序樣版資料庫

36‧‧‧輸出模組

S1至S25‧‧‧步驟

圖1為本揭露之一種工序分析監控系統之示意圖。

圖2為本揭露之一種工序分析監控方法之流程圖。

圖3為一比對方式、一三維關節點座標產生方式與一工序姿態資料產生方式之流程圖。

圖4為一三維軌跡資訊與一工序軌跡資料之產生方式之流程圖。

1‧‧‧偵測模組

10‧‧‧偵測區

20‧‧‧第一影像擷取模組

21‧‧‧第二影像擷取模組

3‧‧‧工序分析單元

30‧‧‧影像辨識模組

31‧‧‧偵測區姿態模組

32‧‧‧偵測區運動軌跡模組

33‧‧‧工件姿態模組

34‧‧‧工件運動軌跡模組

35‧‧‧工序樣版資料庫

36‧‧‧輸出模組

Claims (14)

1. 一種工序分析監控方法，其包括：擷取一偵測模組之影像，以產生一影像資訊，該偵測模組具有複數個偵測區；擷取該偵測模組之運動軌跡，以產生一運動軌跡資訊；依據該影像資訊，產生至少一三維關節點座標，並依據該三維關節點座標，產生至少一工件姿態資訊，並依據該工件姿態資訊，產生一工序姿態資料；依據該運動軌跡資訊，產生至少一三維軌跡資訊，並依據該三維軌跡資訊，產生至少一工件軌跡資訊，並依據該工件軌跡資訊，產生一工序軌跡資料；以及依據該工序姿態資料與該工序軌跡資料，產生一工序語意。
2. 如申請專利範圍第1項所述之工序分析監控方法，其中該影像資訊為一彩色影像資訊。
3. 如申請專利範圍第1項所述之工序分析監控方法，其中該運動軌跡資訊是由一深度攝影機所提供。
4. 如申請專利範圍第1項所述之工序分析監控方法，其中，該三維關節點座標與該工序姿態資料之產生步驟為：輸入該影像資訊；依據該影像資訊，進行一區域位置之估測；依據該影像資訊，建立至少一特徵點； 依據該些特徵點與一基本資料進行比對，並將一比對結果傳出；依據該比對結果，找出一趨近該比對結果之一進階形狀資訊；依據該進階形狀資訊，對該比對結果進行一角度校正，並產生一角度校正結果；依據該角度校正結果，產生至少一三維關節點座標；依據該三維關節點座標，產生至少一工序姿態資料。
5. 如申請專利範圍第4項所述之工序分析監控方法，其中該特徵點是經由一色彩分佈分析追蹤，以是否落入一色彩分佈直方圖及是否為一目標區域而建立。
6. 如申請專利範圍第4項所述之工序分析監控方法，其中該比對結果是由該特徵點與該基本資料之一影像幾何距離而決定。
7. 如申請專利範圍第1項所述之工序分析監控方法，其中該三維軌跡資訊與該工序軌跡資料之產生步驟：接收該運動軌跡資訊；依據該運動軌跡資訊，進行一區域位置之估測，並產生一估測結果；依據該估測結果，擷取該三維關節點座標；依據該三維關節點座標，判斷該運動軌跡資訊是否為一工序起始座標點，或為一工序終止座標點，若二者其一為是，則產生一三維軌跡資訊，若二者皆為 否，則重複該擷取步驟；更新該三維關節點座標，並重複該擷取步驟；判斷是否結束，若是，依據該三維軌跡資訊，產生一工序軌跡資料。
8. 如申請專利範圍第1項所述之工序分析監控方法，更包括：依據該工件軌跡資訊，判斷是否定義一工序軌跡，若無法定義，則產生一警告，並回至該產生至少一工件軌跡資訊；若能定義，則至以下步驟；依據該工序軌跡資料與該工件姿態資訊，判斷是否定義一工序姿態，若無法定義，則產生一警告，並回至該產生至少一工件姿態資訊；若能定義，則至該產生工序語意；依據該工序姿態、該工件姿態資訊與該工件軌跡資訊，以產生至少一工序樣板資料，以產生該工序語意。
9. 一種工序分析監控系統，其包括：一偵測模組，其具有複數個偵測區；至少一第一影像擷取模組；至少一第二影像擷取模組；以及一工序分析單元，其分別電性耦接該第一影像擷取模組與該第二影像擷取模組，該工序分析單元具有一影像辨識模組、一偵測區姿態模組、一偵測區運動軌跡模組與一工序樣版資料庫；其中，該第一影像擷取模組擷取該偵測模組之影 像，以產生一影像資訊；該第二影像擷取模組擷取該偵測模組之運動軌跡，以產生一運動軌跡資訊；該影像辨識模組辨識該影像資訊與該運動軌跡資訊；該偵測區姿態模組接收該影像資訊，以產生至少一特徵點；該偵測區運動軌跡模組接收該運動軌跡資訊，以產生至少一三維軌跡資訊；該工序樣版資料庫依據該特徵點，以產生至少一工序姿態資料，該工序樣版資料庫依據該三維軌跡資訊，以產生至少一工序軌跡資料，該工序樣版資料庫依據該工序姿態資料與該工序軌跡資料，以產生一工序語意。
10. 如申請專利範圍第9項所述之工序分析監控系統，其中該第一影像擷取模組為一電荷耦合元件。
11. 如申請專利範圍第9項所述之工序分析監控系統，其中該第二影像擷取模組為一深度攝影機。
12. 如申請專利範圍第9項所述之工序分析監控系統，其中該工序分析單元更具有一工件姿態模組、一工件運動軌跡模組與一輸出模組。
13. 如申請專利範圍第9項所述之工序分析監控系統，其中該些偵測區為複數個色區、文字、貼片、色塊、亮點、發光元件或反光元件之一或其組合。
14. 如申請專利範圍第9項所述之工序分析監控系統，其中該偵測模組為一手套。