TWI659279B - 基於擴充實境的加工規劃設備 - Google Patents

基於擴充實境的加工規劃設備 Download PDF

Info

Publication number
TWI659279B
TWI659279B TW107103744A TW107103744A TWI659279B TW I659279 B TWI659279 B TW I659279B TW 107103744 A TW107103744 A TW 107103744A TW 107103744 A TW107103744 A TW 107103744A TW I659279 B TWI659279 B TW I659279B
Authority
TW
Taiwan
Prior art keywords
data
processor
probe
processing
user
Prior art date
Application number
TW107103744A
Other languages
English (en)
Other versions
TW201935156A (zh
Inventor
瞿志行
Chih Hsing Chu
黎百加
Pai Chia Li
劉宇望
Yu-Wang Liu
黃廖全
Liao Chuan Huang
陸元平
Yuan Ping Luh
Original Assignee
國立清華大學
National Tsing Hua University
國立臺北科技大學
National Taipei University Of Technology
駱泰企業有限公司
Loctai Enterprise Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學, National Tsing Hua University, 國立臺北科技大學, National Taipei University Of Technology, 駱泰企業有限公司, Loctai Enterprise Co., Ltd. filed Critical 國立清華大學
Priority to TW107103744A priority Critical patent/TWI659279B/zh
Priority to US15/961,027 priority patent/US10606241B2/en
Application granted granted Critical
Publication of TWI659279B publication Critical patent/TWI659279B/zh
Publication of TW201935156A publication Critical patent/TW201935156A/zh

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32107—Operative process planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36267—Process planning editor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種基於擴充實境的加工規劃設備包含：一相機組，拍攝一真實場景中的一加工機以及由一使用者操作的一探頭的可見光資料及深度資料以獲得場景資料；一處理器，信號連接至相機組及加工機，依據一虛擬工件及場景資料來求出探頭所對應的多個位置的指示資料，並依據指示資料產生導引資料，以導引使用者操作探頭，來產生加工資料；以及一輸出介面，信號連接至處理器，並輸出場景資料、虛擬工件及導引資料給使用者參考。

Description

基於擴充實境的加工規劃設備
本發明是有關於一種加工規劃設備，且特別是有關於一種基於擴充實境的加工規劃設備。
自動點膠機在工業上之使用相當廣泛，諸如積體電路封裝、電腦手機外殼封裝、汽車外殼、燈罩等部件之點膠。現今常用之機器編程路徑規劃操作介面為教導器，透過方向鍵控制機器之移動。另有其他路徑規畫法，譬如使用電腦輔助設計(Computer Aided Design,CAD)及電腦輔助製造(Computer Aided Manufacturing,CAM)等軟體，來規劃加工之路徑。上述方法之操作介面皆複雜且欠缺直覺，不易於使用，不但耗時費力且須經驗之累積方能有效地完成路徑規劃。
CN101539804A揭露一種基於增強虛擬現實與異型屏的實時人機互動方法及系統，是使用了多個攝影機進行場景的抓取並進行建模，不僅投影設備價格高昂，且並沒有即時的互動反饋功能，或路徑的快速生成功能，不能夠指導在擴增實境人機互動介面之路徑規劃，且人機互動介面複雜度高，包括數個攝影機，多個顯示螢幕，擴增實境眼鏡，力回饋手套等裝置，在中小型工廠中較無應用價值。US2016/0284079A1使用昂貴的攝影裝置，測量實際物體的三維座標，使用了識別標記物的 方法進行三維物體的定位，但缺少人與擴增實境介面的互動，也不能對協助進行路徑規劃。
因此本發明針對多軸點膠機之使用者介面進行改良與提升，藉由擴增實境實現示範學習路徑的編程功能，結合真實場景之實際工件與其虛擬工件，有效並直覺的規畫出機器運動之軌跡。
為達上述目的，本發明提供一種基於擴充實境的加工規劃設備，包含：一相機組，拍攝一真實場景中的一加工機以及由一使用者操作的一探頭的可見光資料及深度資料以獲得場景資料；一處理器，信號連接至相機組及加工機，依據一虛擬工件及場景資料來求出探頭所對應的多個位置的指示資料，並依據指示資料產生導引資料，以導引使用者操作探頭，來產生加工資料；以及一輸出介面，信號連接至處理器，並輸出場景資料、虛擬工件及導引資料給使用者參考。
藉由擴增實境將現實世界與虛擬物體融合，提供智慧化之人機介面，供示範學習使用。此外，更融合機器編程擴增實境技術，使用者可以直接透過擴增實境給定機器欲行走之路徑，達到機器編程之效果。
為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
D1‧‧‧可見光資料
D2‧‧‧深度資料
D3‧‧‧場景資料
D4‧‧‧指示資料
D5‧‧‧導引資料
D6‧‧‧加工資料
NV‧‧‧法向量
P、P'‧‧‧點
PL‧‧‧垂線
PP‧‧‧投影點
PV‧‧‧連線向量
S1至S4‧‧‧操作信號
TR‧‧‧三角網格
X、Y、Z‧‧‧座標軸
θ‧‧‧夾角
1‧‧‧加工規劃設備
2‧‧‧真實場景
3‧‧‧加工機
4‧‧‧探頭
5‧‧‧虛擬工件
6‧‧‧真實模型
10‧‧‧相機組
20‧‧‧操作介面
30‧‧‧處理器
31‧‧‧平台
32‧‧‧倒U形架
33‧‧‧滑台
34‧‧‧軌道
35‧‧‧工作台
36‧‧‧執行器
50‧‧‧輸出介面
圖1顯示依據本發明較佳實施例的加工規劃設備的示意圖。
圖2顯示鏡像反轉前的場景。
圖3與圖4顯示碰撞顏色警示功能的示意圖。
圖5與圖6顯示半透明顯示功能的示意圖。
本發明的實施例提供一種基於擴充實境的加工規劃設備。以擴增實境(Augmented Reality,AR)作為高互動性的人機介面，於虛擬的三維場景中，規劃真實機器的運動軌跡，藉由虛實互動功能提供即時性輔助資訊，提高使用者對於空間幾何的感知能力，協助正確且快速完成路徑規劃。此外，藉由擴增實境技術將現實世界與虛擬物體融合，為傳統的三軸點膠機的路徑規劃提供智慧化的人機介面，加快機器工作效率，減少生產成本，促進工業產業升級。
在運作上，首先，深度攝影機將真實場景之三維資訊及彩色資訊擷取後儲存於加工規劃設備中以供加工規劃設備中的軟體計算；接著以虛擬物體為欲規劃之工件，進行彩現，顯示於螢幕上與使用者互動。然後，使用者注視螢幕介面，參考輔助運動規劃的即時性資訊，移動點膠機的末端執行器或探頭，藉此產生點膠所需的路徑。接著開啟深度計算功能，計算真實場景與虛擬物體之間的遮蔽關係，以增加使用者對空間之感受，而後經由譬如顏色辨識來追蹤探頭的末端之三維座標後，即可進行擴增實境功能之執行，其中將執行碰撞顏色警示功能、探頭的末端於目標平面之投影點的計算及顯示功能、加工範圍偵測功能以及引導使用者操作探頭到工件表面等輔助功能。最後，待使用者完成操作及取點後，便可進行後續除去匹配錯誤之點群，將儲存之點群轉換至機器座標系，使機器移動至目標點而完成路徑規劃。藉此，可以在真實工件尚未製作完成以前，利用已經於電腦輔助設計(Computer Aided Design)建立好的模型，當作虛擬工件來進行加工輔助功能的開發，可以爭取時效，甚至可以依據路徑規劃結果調整模型的設計。
圖1顯示依據本發明較佳實施例的加工規劃設備的示意圖。如圖1所示，本實施例的加工規劃設備1包含一相機組10、一處理器30以及一輸出介面50。
相機組10拍攝一真實場景2中的一加工機3以及由一使用者操作的一探頭4的可見光資料D1及深度資料D2以獲得場景資料D3。於本實施例中，相機組10包含用於擷取可見光影像的可見光攝影機及用於擷取深度影像的深度攝影機，譬如是Kinect v2®相機。此外，加工機3係以點膠機做為例子作說明，但並非將本發明限制於此，本發明亦可應用至焊接機等其他需要路徑規劃的加工機。
處理器30信號連接至相機組10及加工機3，依據一虛擬工件5及場景資料D3來求出探頭4所對應的多個位置的指示資料D4，並依據指示資料D4產生導引資料D5，以導引使用者操作探頭4，來產生加工資料D6。所謂信號連接包含但不限於利用有線或無線方式達成資料的通聯。
輸出介面50信號連接至處理器30，並輸出場景資料D3、虛擬工件5及導引資料D5給使用者參考。輸出介面50包含但不限於顯示器、揚聲器及光指示器等。
實際操作時，首先藉由Kinect v2®內建的彩色與深度相機，取得實際場景的可見光的彩色資料與深度資料後，利用處理器30以OpenGL®的座標原點為世界座標原點，整合彩色與深度資料，校正Kinect v2®的座標系，並利用座標映射的方法，將整合後的真實場景資料映射於OpenGL®中，將二維的影像資料轉換為三維資訊，建立真實環境的三維雲點。接著將三維雲點顯示於輸出介面50上，呈現出圖1的輸出介面50的畫面。為簡化之便，圖1的真實場景2的加工機3是以俯視圖 來表示，而圖1的輸出介面50中的加工機3是以前視圖來表示。實際操作時，輸出介面50中的加工機3是以立體的方式呈現。
加工機3包含：一平台31；一倒U形架32，安裝於平台31上；一滑台33，可沿著X軸移動地安裝於倒U形架32上；一軌道34，安裝於平台31上；以及一工作台35，可沿著Y軸移動地安裝於軌道34上；以及一執行器36，可沿著Z軸移動地設置於滑台33上。於本實施例中，執行器36為一點膠頭，用於提供點膠用料，執行器36的態樣並不限於圖中所繪製的結構。虛擬工件5被設置在工作台35上。
將真實場景資訊數位化後，透過校正過程，可將虛擬與真實場景的三維座標做連結，因此可以得到兩者在空間中的相對關係。使用顏色辨識即時進行目標物的追蹤。在多軸點膠機中，感興趣的目標為探頭的尖端。
先由使用者透過滑鼠或鍵盤框選感興趣區域的探頭尖端，系統會針對即時影像流的每一個畫格進行色彩辨識，假設目標物在移動時，每一個畫格間的移動量不足以超過框選的區域，系統便可借由上一個畫格與這一個畫格色彩辨識結果的中心點，作為感興趣區域移動的向量，因此感興趣區域將會隨著目標物移動達到追蹤的效果。將所提取的像素由RGB色域轉換為YCrCb色域，便於追蹤探頭上的特定顏色標記。使用YCrCb色域的好處在於該色域可有效分離且辨別像素的偏紅色與偏藍色程度。亦即，處理器30將可見光資料D1的多個畫素的色域由RGB色域轉換為YCrCb色域，便於追蹤探頭4上的特定顏色標記，並有效分離且辨別此等畫素的偏紅色與偏藍色程度。其中，RGB的R代表紅色、G代表綠色，B代表藍色。YCrCb中的Y代表流明(luminance)，而Cb和Cr代表藍色和紅色的濃度偏移量成份。使用顏色追蹤技術進行 探頭的辨識，不需要使用其他無關的標記物。
產生加工資料D6後，處理器30可以更控制加工機3的執行器36依據加工資料D6來加工對應於虛擬工件5的一真實模型6。真實模型6也是被設置在工作台35上，並與虛擬工件5有位置上的重合關係。由於定位方式可以輕易達成，故於此不再贅述。
或者，處理器30也可以模擬加工機3的執行器36依據加工資料D6來對虛擬工件5進行點膠，並將模擬的點膠過程顯示於輸出介面50上，以讓使用者察看所規劃的路徑是否有需要修改之處。
上述的加工規劃設備1可以更包含一操作介面20，信號連接至處理器30，使用者透過操作介面20輸入多個操作信號S1至S4傳輸至處理器30中，處理器30依據指示資料D4及此等操作信號S1至S4產生加工資料D6。
當然，上述操作介面20並非是必要元件。當操作介面20不存在時，探頭4具有代替操作介面20的功能。亦即，探頭4信號連接至處理器30，使用者透過操作介面20輸入多個操作信號S1至S4傳輸至處理器30中，處理器30依據指示資料D4及此等操作信號S1至S4產生加工資料D6。
於一例子中，操作信號S1代表選定利用探頭的實際空間位置當作指示資料D4，操作信號S2代表選定利用探頭投影於虛擬工件5的表面的空間位置當作指示資料D4，操作信號S3代表開始點膠的指示，操作信號S4代表結束點膠的指示。舉例而言，使用者致能操作信號S1，然後於第一空間點致能操作信號S3，接著沿著所欲點膠的路徑移動探頭4至第二空間點，然後致能操作信號S4，表示使用者希望點膠機從第一空間點到第二空間點執行點膠的動作。或者，使用者致能操作信號 S2，然後於第一空間點致能操作信號S3，接著沿著所欲點膠的路徑移動探頭4至第二空間點，然後致能操作信號S4，表示使用者希望點膠機從第一空間點投影在虛擬工件5的表面上的第一投影點，到第二空間點投影在虛擬工件5的表面上的第二投影點，執行點膠的動作。值得注意的是，上述感興趣區域的選取並非是必要步驟，因為可以事先在處理器30中設計固定的探頭的幾個預設顏色，藉由顏色追蹤技術或圖形辨識技術可以讓處理器30得知探頭的位置資料。於一例子中，使用第一顏色(譬如紅色)的探頭表示操作信號S1被致能(選定利用探頭的實際空間位置當作指示資料D4)，而使用第二顏色(譬如藍色)的探頭表示操作信號S2被致能(選定利用探頭投影於虛擬工件5的表面的空間位置當作指示資料D4)。上述紅色與藍色的選取也與YCrCb色域的使用有關。
圖2顯示鏡像反轉前的場景。如圖2所示，傳統的擴增實境的人機交互介面中，電腦螢幕顯示的虛實結合內容，為真實世界的鏡射影像。這種左右相反的呈現方式，對於操縱點膠機的使用者而言，並不十分直覺。故本實施例將施行鏡像反轉的矩陣運算，修正呈現之擴增實境影像，結果如圖1所示，提高輔助規劃互動功能的使用性。為達成此功能，處理器30將可見光資料D1及深度資料D2作左右方向的鏡像反轉，以產生場景資料D3。
以下將說明本發明的實施例所提供的輔助規劃之人機互動功能。為增加使用者對於空間的感知能力，以正確完成路徑規劃，將開發能刺激各種感官，藉以提供沉浸式路徑規劃體驗的互動功能，協助使用者操縱探頭時，能明確辨識探頭與虛擬工件在空間中的相對關係，避免發生兩者的碰撞。
然後透過目標物追蹤得知探頭尖端的三維座標，以及工 件主要工作平面的法向量後，透過不同的功能給予不同的輔助資訊，以及空間相對關係的提示。本實施例提供的功能包括：碰撞顏色警示功能、半透明顯示功能、投影點計算功能、加工範圍偵測功能與工件表面引導功能。亦即，導引資料D5包含碰撞警示資料、半透明協助資料、投影點計算資料、加工範圍偵測資料及工件表面引導資料之一者或多者。
圖3與圖4顯示碰撞顏色警示功能的示意圖。有關碰撞顏色警示功能，處理器計算虛擬工件中每一片三角網格TR的法向量NV，計算三角網格TR中每一點與探頭的點(末端)P的連線向量PV，接者計算該連線向量PV和法向量NV的夾角θ，若θ<90°表示點P與法向量NV位在同側，即點P落在虛擬工件5的外側，反之則表示點P落在虛擬工件5的內側。如圖3所示，點P目前處於虛擬工件5的外側，因此虛擬工件5顯示本來應該有的顏色，當點P落入虛擬工件5的內側的時候，虛擬工件5的顏色會改變，如圖4所示，警示使用者。或者，輸出介面50可以發出警告聲音來警告使用者。
另外，在圖3中，利用點P的投影點PP來計算點P是否位於虛擬工件5的規劃平面的任意三角網格TR內，圖中點P'不在虛擬工件5的規劃平面的範圍內。另外，加工範圍偵測可以被整合至工件表面引導功能中，為視覺輔助資訊提供量化的數據，當點P的投影點PP在虛擬工件5的規劃平面內時，將在規劃平面上顯示出投影點PP，以供使用者決定點膠位置；抑或可以顯示出點P與虛擬工件5的規劃平面的距離，將距離資訊顯示給使用者參考，譬如將距離資訊轉換為RGB顏色漸層，即時顯示探頭尖端(點P)至規劃平面的垂線PL，甚至是點P、投影點PP等的空間座標，輔助操作人員快速選取目標點，輔助使用者判斷點膠尖端前進的方向，其中亦可根據點P與規劃平面的距離，改變顯 示垂線PL的顏色，譬如點P較靠近規劃平面時顏色變深，點P距離規劃平面較遠時顏色變淺，點P碰到虛擬工件時變成警示的顏色。譬如，可以控制警示音的頻率高低及/或音量大小，使警示音與規劃平面的距離成反比，在進入某一個臨界範圍內，開始發出警示聲音。若距離較遠發出聲響的頻率較低，若與平面距離較近則提高頻率。
綜上所述，處理器30可以計算探頭4是否會碰撞虛擬工件5，以產生碰撞警示資料，並計算探頭4與虛擬工件5之間的一距離，依據距離產生工件表面引導資料。另一方面，處理器30計算探頭4是否有投影於虛擬工件5上，以產生加工範圍偵測資料，並計算探頭4投影於虛擬工件5上的一投影點，以產生投影點計算資料。上述方式可以透過將三維點投影至已知平面的已知計算方程式進行，假設空間中有一已知三角網格TR的平面方程式為ax+by+cz+d=0，點P的座標為(Px,Py,Pz)，則欲求投影點PP。三角網格TR的平面的法向量NV=(a,b,c)，經由點向式可求出一通過點P且與三角網格TR垂直的直線L，其參數式為 直線L與三角網格TR的交點即為投影點PP， 解以上聯立方程式可得 帶回上式即可求出Q的座標。
圖5與圖6顯示半透明顯示功能的示意圖。如圖5與圖6所示，為了提供半透明顯示功能，可以將影像顯示之顏色通道提高至四維，即增加透明度的變數，使用混合函式計算虛擬工件與背景的顏色混合度，產生視覺上有半透明的效果。混合函式使用線性內差的方式：C=αF+(1-α)B。以模型欲彩現的顏色為前景色F，已存在的背景為背景色B，並設定內差點，即透明度，控制最終顯示結果。半透明的效果可以讓使用者在對工件進行規劃時，視角範圍更大，並透視工件後方的物體或路徑，藉此看到真實世界被遮蔽的物件。圖5為不透明顯示，其中許多規劃點P是被遮蔽的。圖6為半透明顯示，其中可以看到所有的規劃點P及虛擬工件5後面的場景。因此，處理器30可以將虛擬工件5以半透明的方式呈現，以產生半透明協助資料來顯現出被虛擬工件5遮蔽的特徵。
值得注意的是，使用者完成取點後，便可進行後處理以除去匹配錯誤之點群，接著可進行平面投影與曲面擬合等動作完成機器運動之路徑規劃。
有關加工資料的產生，在取得多個點P或投影點PP的空間座標後，可以以迴歸模型匹配建立對應之運動方程式。最後依點膠機的控制器所需的參數，同時考慮不同膠水成分，由此方程式對應計算取點間隔，經由控制器的介面程式，直接驅動點膠機進行點膠的動作。
譬如，沿著探頭的運動軌跡，以每125毫秒為取樣頻率，計算一系列的探頭位置。使用者操縱探頭在空間中規劃路徑時，可能因手部抖動，或擴增實境中互動功能的延遲，產生對應的取點誤差。為增加運動路徑的準確度，將探頭尖端所擷取的探頭位置，投影於虛擬工件的表面後，再進行直線的迴歸擬合。假設記錄的探頭位置為帶狀分佈的點群，則使用直線擬合的方法，迴歸出一條路徑方程式，在起點與終點 間，藉由最小平方法求出直線方程式的係數β 0，β 1，透過最小化每一點與直線的誤差平方總和，可決定這兩個係數。假設現有已知共n個點(x 1 ,y 1)，(x 2 ,y 2)，....，(x n ,y n )，由於已投影至規劃參考平面，故僅需兩維座標，其線性方程如下： 對於β 0，β 1的估計值，如下所示： 可以得到：
本發明的上述實施例是利用以下步驟來達成：(1)建立規劃之擴增實境場景：利用深度及可見光相機拍攝場景；(2)開發輔助規劃之人機互動功能：將虛擬物件置入所拍攝的場景中，由使用者操作探頭； 以及(3)生成點膠機運動路徑：依據使用者操作探頭的位置資訊，生成運動路徑。藉由擴增實境將現實世界與虛擬物體融合，提供智慧化之人機介面，供示範學習使用。此外，更融合機器編程擴增實境技術，使用者可以直接透過擴增實境給定機器欲行走之路徑，達到機器編程之效果。
在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。

Claims (8)

  1. 一種基於擴充實境的加工規劃設備，包含：一相機組，拍攝一真實場景中的一加工機以及由一使用者操作的一探頭的可見光資料及深度資料以獲得場景資料；一處理器，信號連接至該相機組及該加工機，依據一虛擬工件及該場景資料來求出該探頭所對應的多個位置的指示資料，並依據該指示資料產生導引資料，以導引該使用者操作該探頭，來產生加工資料；以及一輸出介面，信號連接至該處理器，並輸出該場景資料、該虛擬工件及該導引資料給該使用者參考，其中該加工機為一點膠機。
  2. 如申請專利範圍第1項所述的加工規劃設備，其中該處理器更控制該加工機的一執行器依據該加工資料來加工對應於該虛擬工件的一真實模型。
  3. 如申請專利範圍第1項所述的加工規劃設備，更包含一操作介面，信號連接至該處理器，該使用者透過該操作介面輸入多個操作信號傳輸至該處理器中，該處理器依據該指示資料及該等操作信號產生該加工資料。
  4. 如申請專利範圍第3項所述的加工規劃設備，其中該探頭信號連接至該處理器，該使用者透過該操作介面輸入多個操作信號傳輸至該處理器中，該處理器依據該指示資料及該等操作信號產生該加工資料。
  5. 如申請專利範圍第1項所述的加工規劃設備，其中該處理器將該可見光資料及該深度資料作左右方向的鏡像反轉，以產生該場景資料。
  6. 如申請專利範圍第1項所述的加工規劃設備，其中該處理器模擬該加工機的一執行器依據該加工資料來對該虛擬工件進行點膠，並將模擬的點膠過程顯示於該輸出介面上。
  7. 一種基於擴充實境的加工規劃設備，包含：一相機組，拍攝一真實場景中的一加工機以及由一使用者操作的一探頭的可見光資料及深度資料以獲得場景資料；一處理器，信號連接至該相機組及該加工機，依據一虛擬工件及該場景資料來求出該探頭所對應的多個位置的指示資料，並依據該指示資料產生導引資料，以導引該使用者操作該探頭，來產生加工資料；以及一輸出介面，信號連接至該處理器，並輸出該場景資料、該虛擬工件及該導引資料給該使用者參考，其中該導引資料包含碰撞警示資料、半透明協助資料、投影點計算資料、加工範圍偵測資料及工件表面引導資料之一者或多者；該處理器計算該探頭是否會碰撞該虛擬工件，以產生該碰撞警示資料，並計算該探頭與該虛擬工件之間的一距離，依據該距離產生工件表面引導資料；該處理器將該虛擬工件以半透明的方式呈現，以產生該半透明協助資料來顯現出被該虛擬工件遮蔽的特徵；以及該處理器計算該探頭是否有投影於該虛擬工件上，以產生該加工範圍偵測資料，並計算該探頭投影於該虛擬工件上的一投影點，以產生該投影點計算資料。
  8. 一種基於擴充實境的加工規劃設備，包含：一相機組，拍攝一真實場景中的一加工機以及由一使用者操作的一探頭的可見光資料及深度資料以獲得場景資料；一處理器，信號連接至該相機組及該加工機，依據一虛擬工件及該場景資料來求出該探頭所對應的多個位置的指示資料，並依據該指示資料產生導引資料，以導引該使用者操作該探頭，來產生加工資料；以及一輸出介面，信號連接至該處理器，並輸出該場景資料、該虛擬工件及該導引資料給該使用者參考，其中該處理器將該可見光資料的多個畫素的色域由RGB色域轉換為YCrCb色域，便於追蹤該探頭上的特定顏色標記，並有效分離且辨別該等畫素的偏紅色與偏藍色程度。
TW107103744A 2018-02-02 2018-02-02 基於擴充實境的加工規劃設備 TWI659279B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107103744A TWI659279B (zh) 2018-02-02 2018-02-02 基於擴充實境的加工規劃設備
US15/961,027 US10606241B2 (en) 2018-02-02 2018-04-24 Process planning apparatus based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107103744A TWI659279B (zh) 2018-02-02 2018-02-02 基於擴充實境的加工規劃設備

Publications (2)

Publication Number Publication Date
TWI659279B true TWI659279B (zh) 2019-05-11
TW201935156A TW201935156A (zh) 2019-09-01

Family

ID=67348148

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107103744A TWI659279B (zh) 2018-02-02 2018-02-02 基於擴充實境的加工規劃設備

Country Status (2)

Country Link
US (1) US10606241B2 (zh)
TW (1) TWI659279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764130B (zh) * 2020-04-13 2022-05-11 迅智自動化科技股份有限公司 焊接系統及焊接參數優化方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585419B1 (en) * 2016-04-27 2020-03-10 Beneficial Machine Tools Llc Methods and devices for performing in-situ inspections during a computer assisted setup of a machine tool table
CN111983969B (zh) * 2020-01-03 2021-10-08 广东安达智能装备股份有限公司 一种pcb板点胶工艺的路径规划方法
IT202000001444A1 (it) * 2020-01-24 2021-07-24 Sergio Zanini Metodo ed apparato di individuazione e raccolta di prodotti agricoli
CN112258658B (zh) * 2020-10-21 2023-02-17 河北工业大学 一种基于深度相机的增强现实可视化方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005045729A1 (de) * 2003-11-10 2005-05-19 Siemens Aktiengesellschaft System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
US20110205341A1 (en) * 2010-02-23 2011-08-25 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction.
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US20160284079A1 (en) * 2015-03-26 2016-09-29 Faro Technologies, Inc. System for inspecting objects using augmented reality
US20160375524A1 (en) * 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
WO2018003202A1 (ja) * 2016-06-28 2018-01-04 株式会社日立製作所 溶接監視システム
WO2018005053A1 (en) * 2016-06-27 2018-01-04 Autodesk, Inc. Augmented reality robotic system visualization

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19722006A1 (de) * 1997-05-27 1998-12-03 Bosch Gmbh Robert Elektrische Verbindung eines beweglich angeordneten elektrischen Bauteils mit einem flexiblen, elastischen Leiterbahnträger
DE50003531D1 (de) * 1999-03-02 2003-10-09 Siemens Ag System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
DE50003361D1 (de) * 1999-03-25 2003-09-25 Siemens Ag System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
DE10159610B4 (de) * 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
US7262408B2 (en) * 2005-06-15 2007-08-28 Board Of Trustees Of Michigan State University Process and apparatus for modifying a surface in a work region
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9208563B2 (en) * 2010-12-21 2015-12-08 Metaio Gmbh Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
US8945328B2 (en) * 2012-09-11 2015-02-03 L.I.F.E. Corporation S.A. Methods of making garments having stretchable and conductive ink
US10691281B2 (en) * 2013-03-15 2020-06-23 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with location aware mobile control devices
US20160132046A1 (en) * 2013-03-15 2016-05-12 Fisher-Rosemount Systems, Inc. Method and apparatus for controlling a process plant with wearable mobile control devices
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9441936B2 (en) * 2014-07-29 2016-09-13 Plethora Corporation System and method for automated object measurement
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
US10187977B2 (en) * 2015-06-29 2019-01-22 Microsoft Technology Licensing, Llc Head mounted computing device, adhesive joint system and method
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
EP3878391A1 (en) * 2016-03-14 2021-09-15 Mohamed R. Mahfouz A surgical navigation system
CN109564927B (zh) * 2016-07-29 2023-06-20 特里纳米克斯股份有限公司 光学传感器和用于光学检测的检测器
US20180336732A1 (en) * 2017-05-16 2018-11-22 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
US11358337B2 (en) * 2017-05-24 2022-06-14 Divergent Technologies, Inc. Robotic assembly of transport structures using on-site additive manufacturing
US20190147653A1 (en) * 2017-07-19 2019-05-16 Sounds Food, Inc. Techniques for facilitating interactions between augmented reality features and real-world objects
US20190057548A1 (en) * 2017-08-16 2019-02-21 General Electric Company Self-learning augmented reality for industrial operations
US10380798B2 (en) * 2017-09-29 2019-08-13 Sony Interactive Entertainment America Llc Projectile object rendering for a virtual reality spectator

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005045729A1 (de) * 2003-11-10 2005-05-19 Siemens Aktiengesellschaft System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
US20110205341A1 (en) * 2010-02-23 2011-08-25 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction.
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US20160284079A1 (en) * 2015-03-26 2016-09-29 Faro Technologies, Inc. System for inspecting objects using augmented reality
US20160375524A1 (en) * 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
WO2018005053A1 (en) * 2016-06-27 2018-01-04 Autodesk, Inc. Augmented reality robotic system visualization
WO2018003202A1 (ja) * 2016-06-28 2018-01-04 株式会社日立製作所 溶接監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764130B (zh) * 2020-04-13 2022-05-11 迅智自動化科技股份有限公司 焊接系統及焊接參數優化方法

Also Published As

Publication number Publication date
US20190243335A1 (en) 2019-08-08
US10606241B2 (en) 2020-03-31
TW201935156A (zh) 2019-09-01

Similar Documents

Publication Publication Date Title
TWI659279B (zh) 基於擴充實境的加工規劃設備
US11440179B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
US7236854B2 (en) Method and a system for programming an industrial robot
CN100594517C (zh) 确定与ar-物体光学重叠的方法和装置
EP1435280B1 (en) A method and a system for programming an industrial robot
US9415509B2 (en) Robot teach device with 3-D display
Ha et al. WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception
US7755608B2 (en) Systems and methods of interfacing with a machine
WO2019062619A1 (zh) 对图像内目标物体进行自动标注的方法、装置及系统
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019041900A1 (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
US11244511B2 (en) Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device
KR20160013928A (ko) Ｈｕｄ 객체 설계 및 방법
CN109840953B (zh) 基于增强现实的家居设计系统和方法
CN105320820A (zh) 基于沉浸式虚拟现实平台的快速座舱设计系统及方法
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
JP2000235596A (ja) 画像システムハードウェア構成要素シミュレーションシステムおよび方法
JP2022183213A (ja) ヘッドマウントディスプレイ
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN112732075B (zh) 一种面向教学实验的虚实融合机器教师教学方法及系统
Rastogi et al. Telerobotic control with stereoscopic augmented reality
Yan Augmented reality applied to lego construction: Ar-based building instructions with high accuracy & precision and realistic object-hand occlusions
KR101496761B1 (ko) 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법
CN108401452B (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
Raj et al. Augmented reality and deep learning based system for assisting assembly process