CN108960225A - 一种基于物体识别和三维重建的拆解安装辅助系统 - Google Patents

一种基于物体识别和三维重建的拆解安装辅助系统 Download PDF

Info

Publication number
CN108960225A
CN108960225A CN201810734668.7A CN201810734668A CN108960225A CN 108960225 A CN108960225 A CN 108960225A CN 201810734668 A CN201810734668 A CN 201810734668A CN 108960225 A CN108960225 A CN 108960225A
Authority
CN
China
Prior art keywords
module
identification
image
signal processing
dismantling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810734668.7A
Other languages
English (en)
Inventor
姜柏帆
张岚
程平
杨正军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongdian Digital Household Industry Technology Research Institute Co Ltd
Sichuan Miracle Cloud Technology Co Ltd
Original Assignee
Sichuan Hongdian Digital Household Industry Technology Research Institute Co Ltd
Sichuan Miracle Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongdian Digital Household Industry Technology Research Institute Co Ltd, Sichuan Miracle Cloud Technology Co Ltd filed Critical Sichuan Hongdian Digital Household Industry Technology Research Institute Co Ltd
Priority to CN201810734668.7A priority Critical patent/CN108960225A/zh
Publication of CN108960225A publication Critical patent/CN108960225A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于物体识别和三维重建的拆解安装辅助系统，包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据，图像采集模块采集彩色图像和深度图像，并通过传输模块将图像传给服务器，识别模块对彩色图像进行物体识别，并返回结果。重建模块利用采集深度图序列，重建出部件的三维点云模型，并与预先设计的零件三维模型做比对，识别部件并且检测是否有完好，返回在显示模块上显示。

Description

一种基于物体识别和三维重建的拆解安装辅助系统
技术领域
本发明属于拆解安装辅助系统领域，具体涉及一种基于物体识别和三维重建的拆解安装辅助系统。
背景技术
基于深度神经网络的物体检测方法:SSD是一种快速、准确的物体识别的方法。SSD方法基于前馈卷积网络，产生规定大小的边界框集合和框中对象类别的分数，然后通过非最大化抑制步骤产生最终检测结果。SSD使用VCG-16作为基础网络，向网络添加辅助结构。在截断的基础网络的末尾添加卷积特征层。这些层尺寸组件减小，得到多个尺寸检测的预测值。检测的卷积模型对于每个特征层是不同的。每个添加的特征层可以使用一组卷及滤波器产生固定的预测集合。对于具有p个通道的大小为m*n的特征层，使用3*3*p的卷积核卷积操作，产生类别的分数或相对于默认框的坐标偏移。在特征图的每个位置预测k个默认框，预测c个类别分数，以及默认框的4个偏移量，在m*n的特征图上将产生(c+4)*k*m*n个预测值。
三维重建:三维重建可以通过双目视觉、ToF或结构光的方法获得二维图像中像素点的深度信息，获得像素点的世界坐标(x，y，z)就可以得到一片初始的三维点云。获取多个视角的三维点云，对点云进行去噪，使用icp算法获取点云间的变换矩阵进行点云配准，可以重建出物体的三位点云模型。
实际生活中，非专业人士，如：消费者，在自行拆解和安装电脑、手机等产品时，缺乏相应的专业知识和指导而难以完成拆解安装的工作。即使是专业人士，如：维修人员，在面对种类繁多的产品时，也很难做到面面俱到，熟悉各种类型的产品。
发明内容
本发明的目的在于：针对上述的人在拆解或安装电子产品时对零件识别的困难问题，提出一种基于物体识别和三维重建的拆解安装辅助系统。
本发明采用的技术方案如下：
一种基于物体识别和三维重建的拆解安装辅助系统，包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。
图像采集模块采集彩色图像和深度图像，并通过传输模块将信息传给信号处理模块，信息处理模块中的识别模块对彩色图像进行物体识别，重建模块根据图像采集模块采集的坐标数据重建零件的三维模型，然后将两组数据发送到服务器与预先储存的零件模型数据进行比对，得出结果并将数据返回通过传输模块发送到显示模块进行显示，使用者可直观的得到结果，可得知该零件是什么零件并且是否有损坏，结合了零件的形状以及颜色的信息来对零件进行判断，判断结果准确性高，能让使用者快速区分复杂的零件，节省了大量的辨别零件的时间，提高了人们在修理时候的效率和准确性。
优选地，所述图像采集模块为一个彩色摄像头和一个基于结构光的深度摄像头，该深度摄像头包括光学投射器和红外摄像头，光学投射器将一定模式的结构光投射于物体表面形状所调制的光条三维图像，红外摄像头获得二维的光条畸变图像，畸变的二维光条图像含有相应的物体表面三维轮廓信息。
优选地，所述传输模块为射频设备，包括蓝牙模块和/或WiFi模块，可视具体需要而定是否需要蓝牙模块和WiFi同时安装。
优选地，所述显示模块包括反射型液晶显示屏和光学棱镜，将显示图像投影到视网膜上，实现虚拟图像与现实图像叠加。
优选地，所述信号处理模块中的识别模块和重建模块分别提取色彩数据和坐标数据并且传输到云端服务器计算，再返回计算结果，通过WiFi模块将色彩数据和重建的坐标数据发送到云端服务器计算匹配之后返回结果到传输模块再发送至显示模块进行显示。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，通过物体识别，帮助非专业人员或维修人员快速找到所需要的零件。
2、本发明中，通过三维重建，重建零件三维模型，做进一步识别并简单检查零件的形状结构是否损坏，给个人用户在拆解和安装设备提供指导性的辅助。
3、本发明中，装置结构简单易操作，并且实用性高，尤其对于非专业人士，即使电子产品出了小问题也能自行检修，不用花费高额的修理费找专业人事去修。
4、本发明中，结合了零件的形状以及颜色的信息来对零件进行判断，判断结果准确性高，能让使用者快速区分复杂的零件，节省了大量的辨别零件的时间，提高了人们在修理时候的效率和准确性。
5、本发明中，辅助系统不仅能区分各种零件之间的差别，还能检查零件是否有破损，间接的实现了对电子器件电路的检修，让电路的检修变得不再繁琐。
附图说明
图1为本发明的结构框图；
图2为本发明的信息处理流程框图；
图3为本发明的系统装置图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1-3所示，一种基于物体识别和三维重建的拆解安装辅助系统，包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。
图像采集模块采集彩色图像和深度图像，并通过传输模块将信息传给信号处理模块，信息处理模块中的识别模块对彩色图像进行物体识别，重建模块根据图像采集模块采集的坐标数据重建零件的三维模型，然后将两组数据发送到服务器与预先储存的零件模型数据进行比对，得出结果并将数据返回通过传输模块发送到显示模块进行显示，使用者可直观的得到结果，可得知该零件是什么零件并且是否有损坏，结合了零件的形状以及颜色的信息来对零件进行判断，判断结果准确性高，能让使用者快速区分复杂的零件，节省了大量的辨别零件的时间，提高了人们在修理时候的效率和准确性。
其中，所述图像采集模块为一个彩色摄像头和一个基于结构光的深度摄像头，该深度摄像头包括光学投射器和红外摄像头，光学投射器将一定模式的结构光投射于物体表面形状所调制的光条三维图像，红外摄像头获得二维的光条畸变图像，畸变的二维光条图像含有相应的物体表面三维轮廓信息。
其中，所述传输模块为射频设备，包括WiFi模块。
其中，所述显示模块包括反射型液晶显示屏和光学棱镜，将显示图像投影到视网膜上，实现虚拟图像与现实图像叠加。
其中，所述信号处理模块中的识别模块和重建模块分别提取色彩数据和坐标数据并且传输到云端服务器计算，再返回计算结果，通过WiFi模块将色彩数据和重建的坐标数据发送到云端服务器计算匹配之后返回结果到传输模块再发送至显示模块进行显示。
实施例2
一种基于物体识别和三维重建的拆解安装辅助系统，包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。
图像采集模块采集彩色图像和深度图像，并通过传输模块将信息传给信号处理模块，信息处理模块中的识别模块对彩色图像进行物体识别，重建模块根据图像采集模块采集的坐标数据重建零件的三维模型，然后将两组数据发送到服务器与预先储存的零件模型数据进行比对，得出结果并将数据返回通过传输模块发送到显示模块进行显示，使用者可直观的得到结果，可得知该零件是什么零件并且是否有损坏，结合了零件的形状以及颜色的信息来对零件进行判断，判断结果准确性高，能让使用者快速区分复杂的零件，节省了大量的辨别零件的时间，提高了人们在修理时候的效率和准确性。
优选地，所述图像采集模块为一个彩色摄像头和一个基于结构光的深度摄像头，该深度摄像头包括光学投射器和红外摄像头，光学投射器将一定模式的结构光投射于物体表面形状所调制的光条三维图像，红外摄像头获得二维的光条畸变图像，畸变的二维光条图像含有相应的物体表面三维轮廓信息。
优选地，所述传输模块为射频设备，包括蓝牙模块和WiFi模块。
优选地，所述显示模块包括反射型液晶显示屏和光学棱镜，将显示图像投影到视网膜上，实现虚拟图像与现实图像叠加。
优选地，所述信号处理模块中的识别模块和重建模块通过蓝牙与信号传输模块进行数据传输，分别将提取的色彩数据和坐标数据通过WiFi传输到云端服务器计算，再返回计算结果，再通过蓝牙模块将结果到传输模块再发送至显示模块进行显示，用户即可得知零件信息，还能得知零件是否有损坏。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于物体识别和三维重建的拆解安装辅助系统，其特征在于：包括用于采集彩色图像和深度图像的图像采集模块以及与其相连用于信号传输的传输模块、用于识别物体和重建模型的信号处理模块、用于信息合成和判断的服务器和与所述传输模块相连的显示模块；所述信号处理模块包括识别模块和重建模块，该信号处理模块与所述集群服务器之间通过所述传输模块传输数据。
2.根据权利要求1所述的基于物体识别和三维重建的拆解安装辅助系统，其特征在于：所述图像采集模块为一个彩色摄像头和一个基于结构光的深度摄像头，该深度摄像头包括光学投射器和红外摄像头。
3.根据权利要求1所述的基于物体识别和三维重建的拆解安装辅助系统，其特征在于：所述传输模块为射频设备，包括蓝牙模块和/或WiFi模块。
4.根据权利要求1所述的基于物体识别和三维重建的拆解安装辅助系统，其特征在于：所述显示模块包括反射型液晶显示屏和光学棱镜。
5.根据权利要求1所述的基于物体识别和三维重建的拆解安装辅助系统，其特征在于：所述信号处理模块中的识别模块和重建模块分别将数据传输到云端服务器计算，再返回计算结果。
CN201810734668.7A 2018-07-06 2018-07-06 一种基于物体识别和三维重建的拆解安装辅助系统 Pending CN108960225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810734668.7A CN108960225A (zh) 2018-07-06 2018-07-06 一种基于物体识别和三维重建的拆解安装辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810734668.7A CN108960225A (zh) 2018-07-06 2018-07-06 一种基于物体识别和三维重建的拆解安装辅助系统

Publications (1)

Publication Number Publication Date
CN108960225A true CN108960225A (zh) 2018-12-07

Family

ID=64486018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810734668.7A Pending CN108960225A (zh) 2018-07-06 2018-07-06 一种基于物体识别和三维重建的拆解安装辅助系统

Country Status (1)

Country Link
CN (1) CN108960225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524148A (zh) * 2021-08-04 2021-10-22 合肥工业大学 一种移动双臂柔性装配机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794940A (zh) * 2015-04-03 2015-07-22 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN105224923A (zh) * 2015-09-28 2016-01-06 大连楼兰科技股份有限公司 智能眼镜应用于维保过程中的划分零件定损等级的方法
CN105469402A (zh) * 2015-11-24 2016-04-06 大连楼兰科技股份有限公司 基于空间形状上下文特征的汽车零件识别方法
CN107330970A (zh) * 2017-06-15 2017-11-07 新奥泛能网络科技股份有限公司 一种三维模型处理方法，服务器及计算机可读取存储介质
WO2018062594A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN108053435A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于手持移动设备的动态实时三维重建方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794940A (zh) * 2015-04-03 2015-07-22 福建省纳金网信息技术有限公司 一种通过移动终端对机械维修教学的方法
CN105224923A (zh) * 2015-09-28 2016-01-06 大连楼兰科技股份有限公司 智能眼镜应用于维保过程中的划分零件定损等级的方法
CN105469402A (zh) * 2015-11-24 2016-04-06 大连楼兰科技股份有限公司 基于空间形状上下文特征的汽车零件识别方法
WO2018062594A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107330970A (zh) * 2017-06-15 2017-11-07 新奥泛能网络科技股份有限公司 一种三维模型处理方法，服务器及计算机可读取存储介质
CN108053435A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于手持移动设备的动态实时三维重建方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524148A (zh) * 2021-08-04 2021-10-22 合肥工业大学 一种移动双臂柔性装配机器人

Similar Documents

Publication Publication Date Title
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
CN101876535B (zh) 一种高度测量方法、装置及监控系统
CN106361345A (zh) 基于摄像头标定的视频图像中人体身高测量的系统及方法
CN103810475B (zh) 一种目标物识别方法及装置
CN110109535A (zh) 增强现实生成方法及装置
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN110074788B (zh) 一种基于机器学习的身体数据获取方法和装置
GB2550037A (en) Method and system for virtual sensor data generation with depth ground truth annotation
CN110807808A (zh) 一种基于物理引擎和深度全卷积网络的商品识别方法
CN112652015A (zh) 基于bim的路面病害标记方法和装置
CN111179340A (zh) 一种物体的定位方法、装置及计算机系统
CN108020172B (zh) 一种基于3d数据的飞行器表面制造质量检测方法
US20210201542A1 (en) Building maintaining method and system
CN108960225A (zh) 一种基于物体识别和三维重建的拆解安装辅助系统
CN104680520B (zh) 一种现场三维信息勘验方法及系统
CN113496235A (zh) 图像处理方法、装置及系统、存储介质、计算设备
CN116309873A (zh) 视线数据样本的采集系统、方法、计算设备及存储介质
CN111241918A (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN115761465A (zh) 一种用于水下环境电力作业的辅助方法、系统及装置
JP2015228992A (ja) 視線分析システムおよび視線分析装置
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN109961503A (zh) 一种图像处理方法及装置、终端及计算机可读存储介质
Zhang et al. Automated visibility field evaluation of traffic sign based on 3d Lidar point clouds
CN110264515B (zh) 一种标注方法及电子设备
Lv et al. The head detection method based on binocular stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207

RJ01 Rejection of invention patent application after publication