CN106530293A - 手工装配视觉检测防错方法及系统 - Google Patents
手工装配视觉检测防错方法及系统 Download PDFInfo
- Publication number
- CN106530293A CN106530293A CN201610973156.7A CN201610973156A CN106530293A CN 106530293 A CN106530293 A CN 106530293A CN 201610973156 A CN201610973156 A CN 201610973156A CN 106530293 A CN106530293 A CN 106530293A
- Authority
- CN
- China
- Prior art keywords
- assembling
- assembly
- information
- image
- mistake proofing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种手工装配视觉检测防错方法及系统,通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联,生成防错预警信息模型,并在其中标定设备及工作空间;然后监控手工装配的装配进度及装配状态,进行装配行为识别、装配到位识别以及装配零件识别;最后进行装配正确性判断,并在装配不正确时从防错预警信息模型导出包括渲染合成图像和装配工艺引导信息的防错引导信息和装配状态识别信息,并在若干显示输出装置上进行多通道同步显示,本发明可预防手工装配进程中错误,以视觉反馈的方式为手工装配人员提供防错引导信息,节省自检及查阅工艺手册的时间,提高装配效率和一次完成率。
Description
技术领域
本发明涉及的是一种智能制造领域的技术,具体是一种手工装配视觉检测防错方法及系统。
背景技术
装配防错是通过防差错技术及装置的应用,替代人工完成的重复劳动,杜绝由于难以保持高度注意力和记忆力而产生的缺陷。
视觉手势识别是指,通过提取手势图像特征来预测或判断人的交互意图。对无意识的自然操作手势,用统计模型识别的方法对手势图像特征进行表达和处理,获取有效的手势图像特征及其识别条件。
发明内容
本发明针对现有技术大多需要依靠装配到位识别来防错或通过视频录制进行防错的特点,导致其不能在装配过程中及时给装配人员反馈,需要返工时间,或要求实际操作视角尽量符合样本视频采集时的视角,对不同操作人员和精细操作动作区分度较低,不能覆盖双手配合的复杂装配操作情况等等缺陷,提出一种手工装配视觉检测防错方法及系统,能够显著提高装配整体效率和一次完成率。
本发明是通过以下技术方案实现的:
本发明涉及一种手工装配视觉检测防错方法,通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联,生成防错预警信息模型,并在其中标定设备及工作空间;然后监控手工装配的装配进度及装配状态,进行装配行为识别、装配到位识别以及装配零件识别;最后进行装配正确性判断,并在装配不正确时从防错预警信息模型导出装配状态识别信息以及包括渲染合成图像和装配工艺引导信息的防错引导信息,并在若干显示输出装置上进行多通道同步显示。
所述的手工装配视觉检测防错方法包括以下步骤:
1)创建用于防错引导的装配工艺引导信息;
2)从样本视频中提取装配状态识别信息;
3)将装配产品工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联,以工序号为索引,生成输出含有防错引导信息的防错预警信息模型;
4)标定设备及工作空间;
5)载入防错预警信息模型,通过视频采集装置监控手工装配的装配进度及装配状态;
6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断,当装配正确则进入下一工序,否则输出防错引导信息和装配状态识别信息。
所述的渲染合成图像为装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。
所述的装配工艺引导信息包括但不限于:序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。
所述的步骤2)具体包括以下步骤:
2.1)采集第一视角下的手工装配的样本视频;
2.2)提取视频中各个工序对应的包含装配手势几何特征、零件特征和装配到位特征的视觉描述特征;
2.3)利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板;
2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合,取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板;
2.5)对待装配的零件拍照并提取零件ORB图像特征,将ORB图像特征输入至线性SVM分类器获得分类器参数,作为零件识别模型;
2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。
所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征,识别出装配手势与装配行为模板对比识别出装配行为。
所述的装配到位识别是指从装配图像中提取SURF特征点,与装配到位模板进行特征匹配的过程。
所述的零件识别是指将装配的零件的图像特征经过分类器计算,识别出零件类别。
本发明涉及一种手工装配视觉检测防错系统,包括:头戴视频采集装置、固定视频采集装置、头戴光学辅助显示装置、交互式显示装置和控制模块,其中:头戴视频采集装置采集手工装配的第一视角图像并传输到控制模块;固定视频采集装置采集装配人员取件后的零件图像,传输到控制模块;头戴光学辅助显示装置向装配人员输出显示装配工艺引导信息,分别与头戴视频采集装置和控制模块连接;交互式显示装置与控制模块连接并向装配人员以外的用户同步输出显示防错引导信息和装配状态识别信息。
所述的控制模块包括:装配过程视觉检测单元、装配状态识别单元、零件视觉检测单元和防错信息输出显示单元,其中:装配过程视觉检测单元接收头戴视频采集装置采集的图像,传输给装配状态识别单元,零件视觉检测单元接收装配人员取件后的零件图像,传输给装配状态识别单元,装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征,根据时间约束和工序约束,从多通道视觉识别特征判断装配状态,防错信息输出显示单元根据装配状态输出显示防错引导信息和装配状态识别信息。
技术效果
与现有技术相比,本发明可预防手工装配进程中取件错误和动作错误,通过时间约束与工序约束在固定工位上实现多道工序防错,以视觉反馈的方式为手工装配人员提供防错引导信息,节省了装配人员自检及查阅工艺手册的时间,提高装配效率和一次完成率。
附图说明
图1为手工装配视觉检测防错系统组成示意图;
图2为所要组装的产品示意图;
图3为本发明流程示意图;
图4为装配工艺仿真动画示意图;
图5为装配手势几何特征时序图;
图6为装配行为识别过程示意图;
图7为装配到位识别过程示意图;
图8为零件识别过程示意图;
图中:1工装平台、2装配产品、3增强现实跟踪标记、4照明设备、5交互式显示装置、6固定视频采集装置、7背景板、8控制模块、9取料盒、10头戴视频采集装置、11头戴光学辅助显示装置、12料架、13前面板、14电源接口、15左手柄、16右手柄、17底盖、18筒体、19关键点。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示,本实施例中的工装配视觉防错系统包括:头戴视频采集装置10、固定视频采集装置6、照明设备4、取料盒9、背景板7、料架12、头戴光学辅助显示装置11、交互式显示装置5和控制模块8,其中:头戴视频采集装置10采集手工装配的第一视角图像并传输到控制模块8;固定视频采集装置6采集装配人员取件后的零件图像,传输到控制模块8;头戴光学辅助显示装置11向装配操作者输出显示装配工艺引导信息,分别与头戴视频采集装置10与控制模块8连接;交互式显示装置5与控制模块8通过显卡连接并向装配操作者以外的用户同步输出显示防错引导信息;控制模块8的装配过程视觉检测单元接收头戴视频采集装置10采集的图像,传输给装配状态识别单元;控制模块8的零件视觉检测单元接收装配人员取件后经过背景板7时的零件图像,传输给装配状态识别单元;控制模块8的装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征,根据时间约束和工序约束,从多通道视觉识别特征判断装配状态;控制模块8的防错信息输出显示单元根据装配状态输出显示防错引导信息。
所述的头戴视频采集装置10采用但不限于头戴式视频采集装置或设有视频采集装置的眼镜等。装配人员戴上该设备时,可以获取第一视角图像。防错引导信息包括渲染合成图像和装配工艺引导信息。所述的渲染合成图像为仿真软件中装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。
所述的头戴视频采集装置10通过两个可调节自由度的跟踪标记来使得工作空间与跟踪注册需要的相机视锥空间分离。跟踪注册为头戴视频采集装置10拍摄工装上增强现实跟踪标记3后,计算工装或产品相对于头戴视频采集装置10的三维空间位姿矩阵,从而以正确的投影关系将三维图形叠加到相机采集的真实场景视频图像上。跟踪注册所需要的相机视锥空间为以头戴视频采集装置10坐标系原点和跟踪标记四个角点为顶点形成的锥形空间区域。工作空间为装配产品2的各零件时双手及手臂经过的空间区域。
如图2所示,本实施例中所需要手工装配的装配产品2包括:筒体18、前面板13、电源接口14、左手柄15、右手柄16和底盖17。该产品手工装配需要六个工序分别为:在工装平台1上将前面板13安装到筒体18上、插入电源接口14、安装右手柄16、安装左手柄15、翻转筒体18、安装底盖17。
如图3所示,手工装配该电饭锅的视觉防错方法,包括以下步骤:
1)创建用于防错引导的装配工艺引导信息:创建六个装配工序,并分别设置装配工艺引导信息,包括:序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。
所述的配工艺仿真动画包括:零件三维模型、装配路径、零件在三维坐标系下的位置信息。
如图4所示,在零件装配路径上设置若干关键点19,通过关键点19自动插值生成各三维零件模型的装配路径。所述的关键点19为三维模型相对三维虚拟场景世界坐标系的位置坐标,通常在装配路径上设置3‐5个关键点19可插值获得全部路径点。
2)从样本视频中提取装配状态识别信息。
2.1)采集第一视角下的手工装配的样本视频。将产品的组成零件放入料架12,由熟练装配人员佩戴头戴视频采集装置10,按照产品安装的六个工序依次进行实际装配操作,操作过程中通过头戴视频采集装置10采集第一视角下的手工装配样本视频。
2.2)提取视频中各个工序对应的视觉描述特征,其包括:装配手势几何特征、零件特征和装配到位特征。操作完成后,按操作顺序在视频中提取出每一个工序相关的图像样本集合,对所有样本,进行肤色分割,对分割后的区域计算单手基本几何特征。在单手基本几何特征的基础上计算六个装配手势几何特征。
所述的肤色分割为由图像中按照HSV颜色空间分割出手部肤色区域及轮廓线。
所述的单手基本几何特征为单手轮廓指尖点,掌心圆,区域轮廓外包矩形。
所述的装配手势几何特征为左手手指数目lf,右手手指数目rf,左右手轮廓相交标记in,左右手轮廓对称标记symm,左右手位置间距kpalm,左右手最近间距knear。
2.3)如图5所示,利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板。
2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合,取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板。
2.5)对待装配的五个零件,在背景板7上拍照并提取零件ORB图像特征,将五种零件的特征输入至线性SVM分类器获得分类器参数,作为零件识别模型。
2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。
3)将装配产品2的六个工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联,以工序号为索引,生成防错预警信息模型,即对零件图像特征、装配体图像特征、装配手势几何特征增加时间约束与工序约束,得到防错预警信息模型,并在识别结果为装配有误时,输出显示防错引导信息。
4)标定设备及工作空间。操作者佩戴头戴视频采集装置10及头戴光学辅助显示装置11,手持辅助标记点,将标记点放置于操作者正前方约50cm~60cm的距离,此时控制模块8在显示器上显示辅助定位点。操作者保持视线向前,转动头部调整头戴视频采集装置10位置,透过头戴光学辅助显示装置11,如具有显示屏的眼镜看到的实际辅助标记点与显示屏上显示的辅助定位点位置重合。此时控制模块8捕捉头戴视频采集装置10获取的图像,计算辅助标记点在视频采集装置坐标系下的三维空间坐标值及显示屏上辅助定位点的二维坐标。控制模块8生成20次不同位置的虚拟辅助定位点,重复以上的过程20次进行标定。标定完成后,控制模块8通过这20组数据计算显示器中虚拟图形相对人眼的投影矩阵,用QR矩阵分解法分解这一矩阵,获取头戴光学辅助显示装置11投影内参数矩阵及人眼视点相对视频采集装置视点的外参数矩阵,完成设备标定。操作者将活动跟踪标记物固定在筒体18上,由控制模块8采集工装标记物与筒体18标记物的图像,计算二者位姿矩阵,之后设定该矩阵为注册虚拟场景时的三维虚拟场景相对虚拟坐标系原点的偏移矩阵,完成工作空间标定。
5)载入防错预警信息模型,通过视频采集装置监控手工装配的装配进度及装配状态。在增强现实环境下进行装配操作,此时头戴视频采集装置10和固定视频采集装置6实时采集图像。
6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断,当装配正确则进入下一工序,否则输出防错引导信息。
如图6~8所示,所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征,识别出装配手势与装配行为模板对比识别出装配行为。所述的装配到位识别是指从装配图像中提取SURF特征点,与装配到位模板进行特征匹配的过程。所述的零件识别是指将装配的零件的图像特征经过分类器计算,识别出零件类别。当装配正确,自动进入下一步工序。如错误,软件自动检索并在软件的虚拟环境中渲染防错引导信息。该信息经控制模块8的显卡在头戴光学辅助显示装置11输出显示给用户,同时与头戴视频采集装置10拍摄的装配图像叠加配准,合成增强现实图像输出显示在交互式显示装置5,如触摸屏上。
与现有技术相比,本发明可预防手工装配进程中取件错误和动作错误,通过时间约束与工序约束在固定工位上实现多道工序防错,以视觉反馈的方式为手工装配人员提供防错引导信息,节省了装配人员自检及查阅工艺手册的时间,提高装配效率和一次完成率。
Claims (10)
1.一种手工装配视觉检测防错方法,其特征在于,通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联,生成防错预警信息模型,并在其中标定设备及工作空间;然后监控手工装配的装配进度及装配状态,进行装配行为识别、装配到位识别以及装配零件识别;最后进行装配正确性判断,并在装配不正确时从防错预警信息模型导出包括渲染合成图像和装配工艺引导信息的防错引导信息和装配状态识别信息,并在若干显示输出装置上进行多通道同步显示。
2.根据权利要求1所述的手工装配视觉检测防错方法,其特征是,具体包括以下步骤:
1)创建用于防错引导的装配工艺引导信息;
2)从样本视频中提取装配状态识别信息;
3)将装配产品工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联,以工序号为索引,生成输出含有防错引导信息的防错预警信息模型;
4)标定设备及工作空间;
5)载入防错预警信息模型,通过视频采集装置监控手工装配的装配进度及装配状态;
6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断,当装配正确则进入下一工序,否则输出防错引导信息和装配状态识别信息。
3.根据权利要求2所述的手工装配视觉检测防错方法及系统,其特征是,所述的渲染合成图像为仿真软件中装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。
4.根据权利要求3所述的手工装配视觉检测防错方法,其特征是,所述的装配工艺引导信息包括:序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。
5.根据权利要求4所述的手工装配视觉检测防错方法,其特征是,所述的步骤2)具体包括以下步骤:
2.1)采集第一视角下的手工装配的样本视频;
2.2)提取视频中各个工序对应的包含装配手势几何特征、零件特征和装配到位特征的视觉描述特征;
2.3)利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板;
2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合,取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板;
2.5)对待装配的零件拍照并提取零件ORB图像特征,将ORB图像特征输入至线性SVM分类器获得分类器参数,作为零件识别模型;
2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。
6.根据权利要求5所述的手工装配视觉检测防错方法,其特征是,所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征,识别出装配手势与装配行为模板对比识别出装配行为。
7.根据权利要求6所述的手工装配视觉检测防错方法,其特征是,所述的装配到位识别是指从装配图像中提取SURF特征点,与装配到位模板进行特征匹配的过程。
8.根据权利要求7所述的手工装配视觉检测防错方法,其特征是,所述的零件识别是指将装配的零件的图像特征经过分类器计算,识别出零件类别。
9.一种实现上述任一权利要求所述的方法的手工装配视觉检测防错系统,其特征在于,包括:头戴视频采集装置、固定视频采集装置、头戴光学辅助显示装置、交互式显示装置和控制模块,其中:头戴视频采集装置采集手工装配的第一视角图像并传输到控制模块;固定视频采集装置采集装配人员取件后的零件图像,传输到控制模块;头戴光学辅助显示装置向装配人员输出显示装配工艺引导信息,分别与头戴视频采集装置和控制模块连接;交互式显示装置与控制模块连接并向装配人员以外的用户同步输出显示防错引导信息和装配状态识别信息。
10.根据权利要求9所述的手工装配视觉检测防错系统,其特征是,所述的控制模块包括:装配过程视觉检测单元、装配状态识别单元、零件视觉检测单元和防错信息输出显示单元,其中:装配过程视觉检测单元接收头戴视频采集装置采集的图像,传输给装配状态识别单元,零件视觉检测单元接收装配人员取件后的零件图像,传输给装配状态识别单元,装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征,根据时间约束和工序约束,从多通道视觉识别特征判断装配状态,防错信息输出显示单元根据装配状态输出显示防错引导信息和装配状态识别信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610973156.7A CN106530293B (zh) | 2016-11-07 | 2016-11-07 | 手工装配视觉检测防错方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610973156.7A CN106530293B (zh) | 2016-11-07 | 2016-11-07 | 手工装配视觉检测防错方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106530293A true CN106530293A (zh) | 2017-03-22 |
CN106530293B CN106530293B (zh) | 2019-05-28 |
Family
ID=58349556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610973156.7A Active CN106530293B (zh) | 2016-11-07 | 2016-11-07 | 手工装配视觉检测防错方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106530293B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107300723A (zh) * | 2017-08-01 | 2017-10-27 | 贺州学院 | 装配式建筑装配检测装置及方法 |
CN109128794A (zh) * | 2018-11-01 | 2019-01-04 | 苏州思驼众自动化技术有限公司 | 一种对半自动生产组装打螺丝工艺的引导与防错系统 |
CN109782905A (zh) * | 2018-12-27 | 2019-05-21 | 佛山科学技术学院 | 一种适用于agv舵轮的增强现实装配引导方法及系统 |
CN109978340A (zh) * | 2019-02-28 | 2019-07-05 | 西南科技大学 | 一种基于可视化的弹药错配校正系统及方法 |
CN110271037A (zh) * | 2019-07-18 | 2019-09-24 | 华域汽车车身零件(沈阳)有限公司 | 一种用于点焊机器人生产线的智能检测方法 |
CN110310273A (zh) * | 2019-07-01 | 2019-10-08 | 南昌青橙视界科技有限公司 | 工业装配场景中的设备核检方法、装置及电子设备 |
CN110544311A (zh) * | 2018-05-29 | 2019-12-06 | 百度在线网络技术(北京)有限公司 | 安全警示方法、装置及存储介质 |
CN110543149A (zh) * | 2019-07-22 | 2019-12-06 | 国营芜湖机械厂 | 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法 |
CN110744549A (zh) * | 2019-11-11 | 2020-02-04 | 电子科技大学 | 一种基于人机协同的智能装配工艺 |
CN111259843A (zh) * | 2020-01-21 | 2020-06-09 | 敬科(深圳)机器人科技有限公司 | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 |
CN112102502A (zh) * | 2020-09-03 | 2020-12-18 | 上海飞机制造有限公司 | 用于飞机驾驶舱功能试验的增强现实辅助方法 |
CN112330193A (zh) * | 2020-11-20 | 2021-02-05 | 上汽大通汽车有限公司 | 整车制造生产线防错方法 |
CN113283478A (zh) * | 2021-05-10 | 2021-08-20 | 青岛理工大学 | 一种基于特征匹配的装配体多视角变化检测方法及设备 |
WO2022040953A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京智导智能科技有限公司 | 一种基于增强现实的机械零件加工精度检测引导系统 |
CN114821478A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于视频智能分析的工序流程检测方法及系统 |
CN114926905A (zh) * | 2022-05-31 | 2022-08-19 | 江苏濠汉信息技术有限公司 | 基于带手套的手势识别的电缆附件工序判别方法和系统 |
CN115586753A (zh) * | 2022-10-09 | 2023-01-10 | 唐继红 | 一种用于线束总成装配的防错控制系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102773822A (zh) * | 2012-07-24 | 2012-11-14 | 青岛理工大学 | 一种具有智能诱导功能的扳手系统及测量方法和诱导方法 |
CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
CN105867318A (zh) * | 2015-02-09 | 2016-08-17 | 株式会社日立制作所 | 装配引导系统以及装配引导方法 |
-
2016
- 2016-11-07 CN CN201610973156.7A patent/CN106530293B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789514A (zh) * | 2012-04-20 | 2012-11-21 | 青岛理工大学 | 一种机械设备拆装3d在线诱导系统的诱导方法 |
CN102773822A (zh) * | 2012-07-24 | 2012-11-14 | 青岛理工大学 | 一种具有智能诱导功能的扳手系统及测量方法和诱导方法 |
CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
CN105867318A (zh) * | 2015-02-09 | 2016-08-17 | 株式会社日立制作所 | 装配引导系统以及装配引导方法 |
Non-Patent Citations (3)
Title |
---|
NILS PETERSEN 等: "Real-time modeling and tracking manual workflows from first-person vision", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 * |
RAFAEL RADKOWSKI 等: "Interactive Hand Gesture-based Assembly for Augmented Reality Application", 《ACHI2012:THE FIFTH INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTER-HUMAN INTERACTIONS》 * |
XUYUE YIN 等: "VR&AR Combined Manual Operation Instruction System on Industry Products:A Case Study", 《2014 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND VISUALIZATION》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107300723B (zh) * | 2017-08-01 | 2023-09-26 | 贺州学院 | 装配式建筑装配检测装置及方法 |
CN107300723A (zh) * | 2017-08-01 | 2017-10-27 | 贺州学院 | 装配式建筑装配检测装置及方法 |
CN110544311A (zh) * | 2018-05-29 | 2019-12-06 | 百度在线网络技术(北京)有限公司 | 安全警示方法、装置及存储介质 |
CN110544311B (zh) * | 2018-05-29 | 2023-04-25 | 百度在线网络技术(北京)有限公司 | 安全警示方法、装置及存储介质 |
CN109128794A (zh) * | 2018-11-01 | 2019-01-04 | 苏州思驼众自动化技术有限公司 | 一种对半自动生产组装打螺丝工艺的引导与防错系统 |
CN109782905A (zh) * | 2018-12-27 | 2019-05-21 | 佛山科学技术学院 | 一种适用于agv舵轮的增强现实装配引导方法及系统 |
CN109978340A (zh) * | 2019-02-28 | 2019-07-05 | 西南科技大学 | 一种基于可视化的弹药错配校正系统及方法 |
CN110310273A (zh) * | 2019-07-01 | 2019-10-08 | 南昌青橙视界科技有限公司 | 工业装配场景中的设备核检方法、装置及电子设备 |
CN110271037A (zh) * | 2019-07-18 | 2019-09-24 | 华域汽车车身零件(沈阳)有限公司 | 一种用于点焊机器人生产线的智能检测方法 |
CN110543149A (zh) * | 2019-07-22 | 2019-12-06 | 国营芜湖机械厂 | 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法 |
CN110744549A (zh) * | 2019-11-11 | 2020-02-04 | 电子科技大学 | 一种基于人机协同的智能装配工艺 |
CN111259843A (zh) * | 2020-01-21 | 2020-06-09 | 敬科(深圳)机器人科技有限公司 | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 |
CN111259843B (zh) * | 2020-01-21 | 2021-09-03 | 敬科(深圳)机器人科技有限公司 | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 |
WO2022040953A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京智导智能科技有限公司 | 一种基于增强现实的机械零件加工精度检测引导系统 |
CN112102502A (zh) * | 2020-09-03 | 2020-12-18 | 上海飞机制造有限公司 | 用于飞机驾驶舱功能试验的增强现实辅助方法 |
CN112330193A (zh) * | 2020-11-20 | 2021-02-05 | 上汽大通汽车有限公司 | 整车制造生产线防错方法 |
CN113283478A (zh) * | 2021-05-10 | 2021-08-20 | 青岛理工大学 | 一种基于特征匹配的装配体多视角变化检测方法及设备 |
CN114821478A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于视频智能分析的工序流程检测方法及系统 |
CN114821478B (zh) * | 2022-05-05 | 2023-01-13 | 北京容联易通信息技术有限公司 | 一种基于视频智能分析的工序流程检测方法及系统 |
CN114926905A (zh) * | 2022-05-31 | 2022-08-19 | 江苏濠汉信息技术有限公司 | 基于带手套的手势识别的电缆附件工序判别方法和系统 |
CN114926905B (zh) * | 2022-05-31 | 2023-12-26 | 江苏濠汉信息技术有限公司 | 基于带手套的手势识别的电缆附件工序判别方法和系统 |
CN115586753A (zh) * | 2022-10-09 | 2023-01-10 | 唐继红 | 一种用于线束总成装配的防错控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106530293B (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106530293A (zh) | 手工装配视觉检测防错方法及系统 | |
US10417775B2 (en) | Method for implementing human skeleton tracking system based on depth data | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
US6625299B1 (en) | Augmented reality technology | |
KR101902702B1 (ko) | 치축 추정 프로그램, 치축 추정 장치 및 그 방법, 및 치형 데이터 생성 프로그램, 치형 데이터 생성 장치 및 그 방법 | |
US6734847B1 (en) | Method and device for processing imaged objects | |
KR20160121798A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
CN206096621U (zh) | 一种增强型虚拟现实感知设备 | |
CN106454311A (zh) | 一种led三维成像系统及方法 | |
CN111596767B (zh) | 一种基于虚拟现实的姿态捕获方法和装置 | |
JP6955369B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
CN108305321A (zh) | 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置 | |
US20210035326A1 (en) | Human pose estimation system | |
CN115346413A (zh) | 一种基于虚实融合的装配指导方法及系统 | |
CN111291746B (zh) | 影像处理系统及影像处理方法 | |
CN114170407B (zh) | 输入设备的模型映射方法、装置、设备和存储介质 | |
CN111435429B (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
CN106909219B (zh) | 基于三维空间的交互控制方法和装置、智能终端 | |
CN107368188B (zh) | 介导现实中的基于多重空间定位的前景抽取方法及系统 | |
KR20160141023A (ko) | 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법 | |
CN106504257A (zh) | 一种放疗头部位置姿态测量装置和解算方法 | |
CN105045390A (zh) | 一种人体上肢骨骼手势识别方法 | |
CN107943068A (zh) | 一种借助双鱼眼的无人机视觉自体感知集群系统及其控制方法 | |
Arbib et al. | Perceptual systems for robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |