CN111950506A - 一种基于ar技术的mocvd设备维修辅助方法及系统 - Google Patents

一种基于ar技术的mocvd设备维修辅助方法及系统 Download PDF

Info

Publication number
CN111950506A
CN111950506A CN202010860359.1A CN202010860359A CN111950506A CN 111950506 A CN111950506 A CN 111950506A CN 202010860359 A CN202010860359 A CN 202010860359A CN 111950506 A CN111950506 A CN 111950506A
Authority
CN
China
Prior art keywords
video
information
image
equipment
technology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010860359.1A
Other languages
English (en)
Inventor
李健
罗铁成
王钢
裴艳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010860359.1A priority Critical patent/CN111950506A/zh
Publication of CN111950506A publication Critical patent/CN111950506A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于AR技术的MOCVD设备维修辅助方法及系统，该方法包括：调用用户端摄像头获取当前视频图像并上传，得到视频信息；通过目标识别算法对视频信息进行图像模板识别，得到检测目标；将检测目标与资料库内的设备匹配，得到设备信息；将设备信息添加至视频信息后进行视频处理，得到AR视频；将AR视频回传至用户端。该系统包括：用户端和服务器端。通过使用本发明，可以极大的解决MOCVD设备修理困难的问题。本发明作为一种基于AR技术的MOCVD设备维修辅助方法及系统，可广泛应用于半导体设备技术领域。

Description

一种基于AR技术的MOCVD设备维修辅助方法及系统
技术领域
本发明涉及半导体设备技术领域，尤其涉及一种基于AR技术的MOCVD设备维修辅助方法及系统。
背景技术
MOCVD(Metal-Organic ChemicalVaporDeposition)即金属有机物化学气相沉积，是制备化合物半导体薄膜的一项关键技术。MOCVD设备是研发世界先进水平的S、C、X、K和Q等波段的氮化镓大功率电子器件和高压大功率固体开关器件、高端激光器件及效率可达40％以上的太阳电池等光电子器件不可或缺的。
但是MOCVD设备结构、结构精密、零件特色，非专业从事MOCVD设备研发的人员，很难完全掌握MOCVD设备的组装、维护、修理等工作。目前，MOCVD设备的组装、维护、修理等工作往往是由生产厂商派遣专业人员去进行相关工作，但是其中涉及到的成本问题，例如：较远地区的维护工作，往往会给企业带来额外的成本，使得企业售后代价大。同时，由于专业人员有限，维修工作往往需要预约一定的时间，以及跨地区的路程上花费的时间，也会耽误用户的使用。另外，在MCOVD设备的企业中，新员工对MOCVD设备结构、零件、操作方式等操作，均需要企业进行相关的培训。因此，需要一种可以方便、快捷，可以同时满足客户与企业需求的办法来解决MOCVD专业设备的组装、维护、修理，以及新员工的学习培训等需求。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于AR技术的MOCVD设备维修辅助方法及系统，使得用户更直观的对MOCVD设备结构、零件、操作方式等进行了解，有主语用户维修设备。
本发明所采用的第一技术方案是：一种基于AR技术的MOCVD设备维修辅助方法，包括以下步骤：
调用用户端摄像头获取当前视频图像并上传，得到视频信息；
通过目标识别算法对视频信息进行图像模板识别，得到检测目标；
将检测目标与资料库内的设备匹配，得到设备信息；
将设备信息添加至视频信息后进行视频处理，得到AR视频；
将AR视频回传至用户端。
进一步，所述调用用户端摄像头获取当前视频图像并上传，得到视频信息这一步骤之前，还包括：
发送请求指令并确认用户端的IP地址。
进一步，所述通过目标识别算法对视频信息进行图像模板识别，得到检测目标这一步骤，其具体包括：
根据视频信息中的图像和目标识别算法生成特征图；
将特征图输入到预训练的分类模型，得到检测目标。
进一步，所述根据视频信息中的图像生成特征图这一步骤，其具体包括：
对视频信息进行分帧，并将分帧后的图像逐帧输入卷积神经网络；
通过窗口建议网络生成建议窗口并映射到卷积神经网络的最后一层，得到固定尺寸的特征图。
进一步，所述预训练的分类模型具体为通过探测分类概率和探测边框回归对分类概率和边框回归联合训练得出的分类模型。
进一步，所述设备信息包括零件规格、设备结构和操作规范信息。
进一步，视频图像上传和视频回传均采用视频流方式传输。
本发明所采用的第二技术方案是：一种基于AR技术的MOCVD设备维修辅助系统，包括：
用户端，用于获取当前图像并向服务端发送数据、接收来自服务端返回的AR视频并实时播放；
服务器端，用于接收来自用户端发送的视频图像信息并对视频图像信息进行识别、与资料库内的设备匹配后进行视频处理，得到AR视频并回传至用户端。
进一步，还包括：
所述服务器端包括目标识别模块、匹配模块、视频处理模块和AR生成模块。
本发明方法及系统的有益效果是：通过手机用户端与服务器端的共同作用，利用用户手机摄像头，避免了使用额外设备带来的额外负担；服务器对接收到来自用户端图像进行识别处理，从而实现远程维护、修理的功能，极大的解决MOCVD设备的维护、修理等售后相关的服务，节省人力物力。
附图说明
图1是本发明一种基于AR技术的MOCVD设备维修辅助方法的步骤流程图；
图2是本发明一种基于AR技术的MOCVD设备维修辅助系统的结构框图；
图3是本发明服务器端的模块结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明通过手机用户端与服务器端的共同作用，利用用户手机摄像头，避免了使用额外设备带来的额外负担；服务器对接收到来自用户端图像进行识别处理，同时后台服务人员也可以进行增添信息，再返回给用户端，从而实现远程维护、修理的功能，也可以实现新员工的设备相关的培训工作。本发明可以极大的解决MOCVD设备(或零件)的维护、修理等售后相关的问题，减少MOCVD设备厂商的售后等问题，也能减轻MOCVD设备相关企业新员工培训等压力。节省人力物力，节省相关的时间成本。为用户提供优质的人性化服务。
如图1所示，本发明提供了一种基于AR技术的MOCVD设备维修辅助方法，该方法包括以下步骤：
S101、调用用户端摄像头获取当前视频图像并上传，得到视频信息；
S102、通过目标识别算法对视频信息进行图像模板识别，得到检测目标；
S103、将检测目标与资料库内的设备匹配，得到设备信息；
S104、将设备信息添加至视频信息后进行视频处理，得到AR视频；
具体地，所述的资料库为MOCVD设备生成厂商所有，包含设备生产的设备信息、零件规格、设备结构、操作规范等说明的信息库，。
S105、将AR视频回传至用户端。
具体地，所述AR视频中应当包括用户所拍摄的MOCVD设备(或零件)的图像信息；用户所拍摄的MOCVD设备(或零件)的操作说明信息，以文字或动画的形式表达；用户所拍摄的MOCVD设备(或零件)的设备结构简图信息；后台服务人员所增加的指导意见；用户所拍摄的MOCVD设备(或零件)操作的额外注意事项。
进一步作为本方法的优选实施例，所述调用用户端摄像头获取当前视频图像并上传，得到视频信息这一步骤之前，还包括：
发送请求指令并确认用户端的IP地址。
具体地，用户端向服务端发送请求指令，服务端接收到请求指令后，确认IP地址，然后开始准备接收用户端传输的MOCVD设备(或零件)视频图像信息。
进一步作为本方法的优选实施例，所述通过目标识别算法对视频信息进行图像模板识别，得到检测目标这一步骤，其具体包括：
根据视频信息中的图像和目标识别算法生成特征图；
将特征图输入到预训练的分类模型，得到检测目标。
具体地，所述目标识别算法采用FASTER-RCNN算法。
进一步作为本方法优选实施例，所述根据视频信息中的图像生成特征图这一步骤，其具体包括：
对视频信息进行分帧，并将分帧后的图像逐帧输入卷积神经网络；
通过窗口建议网络生成建议窗口并映射到卷积神经网络的最后一层，得到固定尺寸的特征图。
具体地，用窗口建议网络生成建议窗口，大约在每帧图像上保留300个建议窗口，通过候选框映射层使每个RoI生成固定尺寸的特征图。
进一步作为本方法优选实施例，所述预训练的分类模型具体为通过探测分类概率和探测边框回归对分类概率和边框回归联合训练得出的分类模型。
进一步作为本方法优选实施例，所述设备信息包括零件规格、设备结构和操作规范信息。
进一步作为本方法优选实施例，视频图像上传和视频回传均采用视频流方式传输。
具体地，视频流传输方式即一边接收，一边处理的方式，可使用户可以在没有接到完整的数据信息前就能处理那些已接收的信息。
如图2所示，一种基于AR技术的MOCVD设备维修辅助系统，包括：
用户端，用于获取当前图像并向服务端发送数据、接收来自服务端返回的AR视频并实时播放；
服务器端，用于接收来自用户端发送的视频图像信息并对视频图像信息进行识别、与资料库内的设备匹配后进行视频处理，得到AR视频并回传至用户端。
具体地，用户端的实现方式具体如下：
N1、用户端向服务端发送请求指令，服务端接收到请求指令后，确认IP地址，然后开始准备接收用户端传输的MOCVD设备(或零件)图像信息；
N2、用户端调用手机设备的摄像头，用户将摄像头对准需要进行操作或(维修)的MOCVD设备(或零件)，用户端将摄像头采集的设备图像信息传输给服务端；
N3、接收来自服务端返回的经过图像识别与AR图像处理后图像信息，通过调用智能手机设备自带的播放器实时播放出来。
服务端的实现方式具体如下：
T1、服务端接收到来自用户端的请求指令后，确认IP地址，然后开始准备接收用户端传输的MOCVD图像信息；
T2、服务端逐帧接收来自用户端的图像信息，并通过目标检测算法进行图像模板识别；
T3、通过将检测出来的目标与服务器自带的设备信息资料库的图像进行比对，返回出目标的信息、结构、操作方式以及注意事项等；
T4、将返回出来MOCVD设备(或零件)的文字图像信息(或动画)，采用AR技术，将信息添加到接收到的图像或视频上，实现实时沉浸的效果；
T5、将信息添加完毕后的图像视频，在服务器端显示出来，并调用人工修改软件，工作人员可以根据具体设备情况进行增删信息，再一次对视频图像进行处理；
T6、将最终处理完毕后的MOCVD图像发送给用户端，通过用户端自带的视频播放器实时播放出来。
进一步作为本系统的优选实施例，所述服务器端包括目标识别模块、匹配模块、视频处理模块和AR生成模块。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，包括以下步骤：
调用用户端摄像头获取当前视频图像并上传，得到视频信息；
通过目标识别算法对视频信息进行图像模板识别，得到检测目标；
将检测目标与资料库内的设备匹配，得到设备信息；
将设备信息添加至视频信息后进行视频处理，得到AR视频；
将AR视频回传至用户端。
2.根据权利要求1所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，所述调用用户端摄像头获取当前视频图像并上传，得到视频信息这一步骤之前，还包括：
发送请求指令并确认用户端的IP地址。
3.根据权利要求2所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，所述通过目标识别算法对视频信息进行图像模板识别，得到检测目标这一步骤，其具体包括：
根据视频信息中的图像和目标识别算法生成特征图；
将特征图输入到预训练的分类模型，得到检测目标。
4.根据权利要求3所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，所述根据视频信息中的图像和目标识别算法生成特征图这一步骤，其具体包括：
对视频信息进行分帧，并将分帧后的图像逐帧输入卷积神经网络；
通过窗口建议网络生成建议窗口并映射到卷积神经网络的最后一层，得到固定尺寸的特征图。
5.根据权利要求4所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，所述预训练的分类模型具体为通过探测分类概率和探测边框回归对分类概率和边框回归联合训练得出的分类模型。
6.根据权利要求5所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，所述设备信息包括零件规格、设备结构和操作规范信息。
7.根据权利要求6所述一种基于AR技术的MOCVD设备维修辅助方法，其特征在于，视频图像上传和视频回传均采用视频流方式传输。
8.一种基于AR技术的MOCVD设备维修辅助系统，其特征在于，包括：
用户端，用于获取当前图像并向服务端发送数据、接收来自服务端返回的AR视频并实时播放；
服务器端，用于接收来自用户端发送的视频图像信息并对视频图像信息进行识别、与资料库内的设备匹配后进行视频处理，得到AR视频并回传至用户端。
9.根据权利要求8所述一种基于AR技术的MOCVD设备维修辅助系统，其特征在于，所述服务器端包括目标识别模块、匹配模块、视频处理模块和AR生成模块。
CN202010860359.1A 2020-08-25 2020-08-25 一种基于ar技术的mocvd设备维修辅助方法及系统 Pending CN111950506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010860359.1A CN111950506A (zh) 2020-08-25 2020-08-25 一种基于ar技术的mocvd设备维修辅助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010860359.1A CN111950506A (zh) 2020-08-25 2020-08-25 一种基于ar技术的mocvd设备维修辅助方法及系统

Publications (1)

Publication Number Publication Date
CN111950506A true CN111950506A (zh) 2020-11-17

Family

ID=73359560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010860359.1A Pending CN111950506A (zh) 2020-08-25 2020-08-25 一种基于ar技术的mocvd设备维修辅助方法及系统

Country Status (1)

Country Link
CN (1) CN111950506A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743957A (zh) * 2021-08-19 2021-12-03 广西东信易通科技有限公司 一种基于WebRTC与AR的在线售后服务的系统与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
CN109635957A (zh) * 2018-11-13 2019-04-16 广州裕申电子科技有限公司 一种基于ar技术的设备维修辅助方法和系统
CN110741380A (zh) * 2017-06-26 2020-01-31 高通股份有限公司 具有力检测和超声成像能力的生物计量传感器
CN111047731A (zh) * 2019-12-25 2020-04-21 科大国创软件股份有限公司 一种基于ar技术的电信机房巡检方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
CN110741380A (zh) * 2017-06-26 2020-01-31 高通股份有限公司 具有力检测和超声成像能力的生物计量传感器
CN109635957A (zh) * 2018-11-13 2019-04-16 广州裕申电子科技有限公司 一种基于ar技术的设备维修辅助方法和系统
CN111047731A (zh) * 2019-12-25 2020-04-21 科大国创软件股份有限公司 一种基于ar技术的电信机房巡检方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743957A (zh) * 2021-08-19 2021-12-03 广西东信易通科技有限公司 一种基于WebRTC与AR的在线售后服务的系统与方法

Similar Documents

Publication Publication Date Title
US11972599B2 (en) Method and apparatus for generating vehicle damage image on the basis of GAN network
US20100067674A1 (en) Messenger system for transmitting handwriting instant messages through wire and/or wireless network system and messenger service method thereof
CN111739553B (zh) 会议声音采集、会议记录以及会议记录呈现方法和装置
CN111460138A (zh) 一种基于bim的数字化工程监理方法与系统
CN109815852A (zh) 智慧城市事件管理方法、装置、计算机设备和存储介质
US11468708B2 (en) Videoconferencing using hybrid edge/cloud inference with machine-learned systems
CN109598265B (zh) 一种文字识别方法、系统、设备、计算机可读存储介质
JP2020533657A (ja) 電極シートのバリを検出するための方法および装置
CN111950506A (zh) 一种基于ar技术的mocvd设备维修辅助方法及系统
CN106710200A (zh) 交通事故处理方法及装置
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN115565047A (zh) 多任务处理方法、介质及电子设备
US8776195B1 (en) Common data format in knowledge-based authentication
CN115601710A (zh) 基于自注意力网络架构的考场异常行为监测方法及系统
CN113505896A (zh) 纵向联邦学习建模优化方法、设备、介质及程序产品
CN103369361B (zh) 图像数据回显的控制方法、服务器及终端
CN113094418A (zh) 一种基于企业微信的业务处理方法、系统及计算机设备
CN114969205B (zh) 一种基于数据中台的数据隔离共享服务系统
CN111047761A (zh) 一种基于智慧终端的语音交互式访客身份识别方法及系统
CN111968286B (zh) 结合rpa和ai的前台访客分流方法、装置、设备及存储介质
CN114359916A (zh) 一种录入登记条盒卷烟32位喷码的识别系统及其实现方法
CN112561817A (zh) 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN110363553A (zh) 信息采集方法、装置、设备、介质和系统
CN111489439B (zh) 一种三维线图重建方法、装置和电子设备
CN109815257A (zh) 可伸缩实时高可用画像算法服务方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination