CN110413122B - 一种具有工作场景识别的ar眼镜应用方法及系统 - Google Patents

一种具有工作场景识别的ar眼镜应用方法及系统 Download PDF

Info

Publication number
CN110413122B
CN110413122B CN201910696077.XA CN201910696077A CN110413122B CN 110413122 B CN110413122 B CN 110413122B CN 201910696077 A CN201910696077 A CN 201910696077A CN 110413122 B CN110413122 B CN 110413122B
Authority
CN
China
Prior art keywords
glasses
work
image
color
clothes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910696077.XA
Other languages
English (en)
Other versions
CN110413122A (zh
Inventor
王晓东
唐奇
夏靖波
刘佩
郑铠兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University Tan Kah Kee College
Original Assignee
Xiamen University Tan Kah Kee College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University Tan Kah Kee College filed Critical Xiamen University Tan Kah Kee College
Priority to CN201910696077.XA priority Critical patent/CN110413122B/zh
Publication of CN110413122A publication Critical patent/CN110413122A/zh
Application granted granted Critical
Publication of CN110413122B publication Critical patent/CN110413122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种具有工作场景识别的AR眼镜应用方法及系统，通过AR眼镜识别佩戴者的工服特征，并根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现。本发明利用工服背景知识，采用图像识别及AR技术，快速将场景信息识别出来，并将对应的手册，解决方案反馈给操作人员，从而提升生产效率及自动化程度。

Description

一种具有工作场景识别的AR眼镜应用方法及系统
技术领域
本发明涉及AR眼镜的工业应用领域，特别是一种具有工作场景识别的 AR眼镜应用方法及系统。
背景技术
在AR眼镜的工业应用中，由于环境和任务不同，则驱动AR眼镜的信息和服务也不同，必须对场景进行识别，从而可以正确地调用数据，这是 AR眼镜工业应用的前提。
场景识别是通过给定场景的一副图片、视频，人类或者机器人可以判断图像反映的场景，这就是视觉场景识别要解决的问题。视觉场景识别是计算机视觉领域一项具有挑战性的工作，其在移动机器人，自动驾驶等领域都有广泛的应用。虽然视觉场景识别已经取得了很大的进展，但是由于光照，视角等的影响，场景外观会发生剧烈变化，导致感知变异和感知偏差现象，阻碍了相关算法在真实环境中的长期应用。一个鲁棒的视觉场景识别系统必须能够成功地匹配来自同一场景但视觉上容易混淆为不同场景的两幅图像(感知变异)，同时拒绝来自不同场景但视觉上容易混淆为相同场景的两幅图像(感知偏差)。
近几年，随着深度学习在模式识别和人工智能领域的发展，卷积神经网络(CNN)已经在图像分类，图像检索，目标检测等方向取得了巨大的成果。与传统人工设计的特征相比，CNN不仅能自动提取高质量的图像特征，而且具有很好的泛化能力，可以应用于相关但是不相同的视觉任务。CNN特征已经在视觉场景识别领域被证明优于传统特征，但是现有的基于CNN的视觉场景识别大多数直接利用深度特征的距离并设置阈值来衡量图像的相似性，当场景外观发生剧烈变化时效果较差。针对场景外观剧烈变化引起的感知变异和感知偏差。
AR眼镜技术使用中需要对现场场景进行识别，从而准确调用对应信息。然而，场景识别现有方法中，主要是基于模式识别和人工智能的图像理解方法，突出存在缺点包括：需要模型训练的过程，产生一定的成本；图像识别算法复杂；对于复杂情况(光线，干扰物)下解决方法不佳；没有利用工业制造场合的先验知识进行识别检测的问题。
发明内容
有鉴于此，本发明的目的是提出一种具有工作场景识别的AR眼镜应用方法及系统，利用工服背景知识，采用图像识别及AR技术，快速将场景信息识别出来，并将对应的手册，解决方案反馈给操作人员，从而提升生产效率及自动化程度。
本发明采用以下方案实现：一种具有工作场景识别的AR眼镜应用方法，具体为：通过AR眼镜识别佩戴者的工服特征，并根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现。
进一步地，所述通过AR眼镜识别佩戴者 的工服特征包括以下步骤：
步骤S11：在AR眼镜启动后进入待工状态，对佩戴者面前的场景进行扫描，当用户的行为满足预设的启动条件时，AR眼镜进入工作状态；将工业眼镜开机后的工作状态划分为：“工作”、“待工”两种状态，通过触发模块进行状态切换。其中，“工作”状态下提供AR工业数据服务，“待工”状态不提供数据服务；
其中，步骤S11中，所述预设的启动条件为：AR眼镜拍摄到的场景中包括预设的特征工件，并且识别到佩戴者凝视该特征工件的时间大于预设值。或者为：AR眼镜拍摄到的场景中包括设有特定二维码的工件，通过扫描该二维码识别出对应的工件。
在AR眼镜启动后，首先进入“待工”状态，然后AR眼镜对佩戴者面前的场景进行扫描，如果发现特征工件(工作相关，已知的设备工件)，且“凝视”持续时间够长，则启动从“待工”到“工作“状态的切换，否则不进行场景分析。若发现工件后，进行累计计时，当计时时间t(t＞0)大于门限值则启动状态切换，如果计时时间未达到门限值，则累计计时t清零(排除非工作状态下，无意的视线扫过工件的情况)。
完成“待工”到“工作“状态的切换后，AR眼镜对现场图像进行工服图像提取；
步骤S12：根据AR眼镜与水平面的倾斜角度提取出高概率出现佩戴者工服的图像I’；此处，利用AR眼镜的佩戴特性，判断工服是否出现在眼镜视界中。由于AR眼镜佩戴于操作者面部，当操作者采取低头动作时，若角度足够大时，则工服大概率出现在AR眼镜视界中，这时可以采集此时图像进而获得工服颜色，此处获得的该图像记为I；为此，在AR眼睛上安装水平仪，测量AR眼镜与水平面的倾斜角度，该角度记为θ：θ∈[-90°，90°]；
步骤S12具体包括以下步骤：
步骤S121：设AR眼镜的水平位置为0°，AR眼镜与水平面的倾斜角度为θ，佩戴者头部抬起带动AR眼镜上仰为正，反之下俯为负；当θ＜α时，判断工服出现在当前AR眼镜采集的画面中，获取当前画面记为I，其中α为预设角度的判断阈值，α＜0；
步骤S122：采用下式计算画面I中工服出现的图像比例r：
r＝[β/2-(90°-θ)]/β
式中，β为AR眼镜的视角角度；
步骤S123：对于获得的图像I，将其从下沿向上r*h的高度范围内的图像从I中分割出来，得到图像I’，图像I’为高概率出现佩戴者工服的图像；h是I的原始高度。
步骤S13：对提取出的图像进行识别，识别出工服特征。
其中，所述工服特征为颜色。则，步骤S13具体为，对提取出的图像I’进行色彩分析，将出现比重最多的颜色作为工服颜色C。
进一步地，所述根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现具体包括以下步骤：
步骤S21：预先建立工服颜色与工种数据信息对应关系的数据库DB； DB记录以下对应关系：
颜色 C<sub>1</sub> C<sub>2</sub> C<sub>3</sub> … C<sub>n</sub>
工种数据信息 D<sub>1</sub> D<sub>2</sub> D<sub>3</sub> … D<sub>n</sub>
其中，C1，…，Cn为工种工服颜色，D1，…，Dn为工种对应的数据信息；根据上述C能够在数据库中查询得到对应服务数据信息D；其中，C是上述获取工服颜色，C∈{C1，…，Cn},D是任一工种对应的数据信息，D∈{D1，…， Dn}；
步骤S22：此处考虑到工服可能因无损、褪色导致无法完全匹配DB中颜色，将工服颜色C与数据库DB中所有工服颜色进行相似度计算，选取数据库中与C相似度最大的颜色作为C的实际颜色；计算采用下式：
S＝MAX[sim(C，Ci)]；
式中，S为选定颜色与C的相似度值，Ci∈{C1，...，Cn}，sim为相似度计算，上述颜色相似度计算sim包括：绝对值距离、巴氏距离、欧式距离、直方图相交法、x2距离、参考颜色表、中心矩，但不限于此；
步骤S23：依据C的实际颜色在数据库中完成信息检索，得到与C匹配的工作信息，并将其呈现在AR眼镜上。
本发明还提供了一种可读存储介质，包括计算机指令，该计算机指令被运行时执行上文所述的具有工作场景识别的AR眼镜应用方法。
本发明还提供了一种具有工作场景识别的AR眼镜应用系统，包括存储器、处理器、AR眼镜，所述存储器中存储有计算机指令，所述处理器在运行该计算机指令时执行上文所述的具有工作场景识别的AR眼镜应用方法。
与现有技术相比，本发明有以下有益效果：本发明利用工服背景知识，采用图像识别及AR技术，能够快速将场景信息识别出来，并将对应的手册，解决方案等反馈给操作人员，从而提升生产效率及自动化程度。本发明可以应用于多个领域，例如：设备检修，用以识别并提供机械零部件维修手册及维修方案；辅助生产，用以根据流水线工人工种，提供不同的装配说明；教学应用，用以根据校服着装不同，实现不同的AR课程教学自动推送。
附图说明
图1为本发明实施例的原理流程图。
图2为本发明实施例的AR眼镜状态示意图。其中，(a)为平视状态，(b) 为俯视状态。
图3为本发明实施例的光导模组与上位机通讯过程示意图。
图4为本发明实施例的AR眼镜呈现画面示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种具有工作场景识别的AR眼镜应用方法，具体为：在航空机务维修现场，通过AR眼镜识别佩戴者的工服特征，并根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现。
在本实施例中，所述通过AR眼镜识别佩戴者 的工服特征包括以下步骤：
步骤S11：在AR眼镜启动后进入待工状态，对佩戴者面前的场景进行扫描，当用户的行为满足预设的启动条件时，AR眼镜进入工作状态；将工业眼镜开机后的工作状态划分为：“工作”、“待工”两种状态，通过触发模块进行状态切换。其中，“工作”状态下提供AR工业数据服务，“待工”状态不提供数据服务；
其中，步骤S11中，所述预设的启动条件为：AR眼镜拍摄到的场景中包括预设的特征工件，并且识别到佩戴者凝视该特征工件的时间大于预设值。或者为：AR眼镜拍摄到的场景中包括设有特定二维码的工件，通过扫描该二维码识别出对应的工件。
在AR眼镜启动后，首先进入“待工”状态，然后AR眼镜对佩戴者面前的场景进行扫描，如果发现特征工件(工作相关，已知的设备工件)，且“凝视”持续时间够长，则启动从“待工”到“工作”状态的切换，否则不进行场景分析。若发现工件后，进行累计计时，当计时时间t(t＞0)大于门限值则启动状态切换，如果计时时间未达到门限值，则累计计时t清零(排除非工作状态下，无意的视线扫过工件的情况)。
完成“待工”到“工作”状态的切换后，AR眼镜对现场图像进行工服图像提取；
步骤S12：根据AR眼镜与水平面的倾斜角度提取出高概率出现佩戴者工服的图像I’；此处，利用AR眼镜的佩戴特性，判断工服是否出现在眼镜视界中。由于AR眼镜佩戴于操作者面部，当操作者采取低头动作时，若角度足够大时，则工服大概率出现在AR眼镜视界中，这时可以采集此时图像进而获得工服颜色，此处获得的该图像记为I；为此，在AR眼睛上安装水平仪，测量AR眼镜与水平面的倾斜角度，该角度记为θ：θ∈[-90°，90°]；
步骤S12具体包括以下步骤：
步骤S121：设AR眼镜的水平位置为0°，AR眼镜与水平面的倾斜角度为θ，佩戴者头部抬起带动AR眼镜上仰为正，反之下俯为负；当θ＜α时，判断工服出现在当前AR眼镜采集的画面中，获取当前画面记为I，其中α为预设角度的判断阈值，α＜0；如图2所示，图2中，(a)为平视状态，(b) 为俯视状态；
步骤S122：俯视情况下(图2中的(b))，工服出现在阴影区域中(该区域是视角落在用户身体的部分)，则可以计算在整个成像中工服出现的图像比例，采用下式计算画面I中工服出现的图像比例r：
r＝[β/2-(90°-θ)]/β
式中，β为AR眼镜的视角角度；
步骤S123：对于获得的图像I，将其从下沿向上的r*h高度范围内的图像从I中分割出来，得到图像I’，图像I’为高概率出现佩戴者工服的图像；h是I的原始高度。
步骤S13：对提取出的图像进行识别，识别出工服特征。
其中，所述工服特征为颜色。则，步骤S13具体为，对提取出的图像I’进行色彩分析，将出现比重最多的颜色作为工服颜色C。
在本实施例中，所述根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现具体包括以下步骤：
步骤S21：预先建立工服颜色与工种数据信息对应关系的数据库DB； DB记录以下对应关系：
颜色 C<sub>1</sub> C<sub>2</sub> C<sub>3</sub> … C<sub>n</sub>
工种数据信息 D<sub>1</sub> D<sub>2</sub> D<sub>3</sub> … D<sub>n</sub>
其中，C1，…，Cn为工种工服颜色，D1，…，Dn为工种对应的数据信息；根据上述C能够在数据库中查询得到对应服务数据信息D；其中，C是上述获取工服颜色，C∈{C1，…，Cn},D是任一工种对应的数据信息，D∈{D1，…， Dn}；
步骤S22：此处考虑到工服可能因无损、褪色导致无法完全匹配DB中颜色，将工服颜色C与数据库DB中所有工服颜色进行相似度计算，选取数据库中与C相似度最大的颜色作为C的实际颜色；计算采用下式：
S＝MAX[sim(C，Ci)]；
式中，S为选定颜色与C的相似度值，Ci∈{C1，...，Cn}，sim为相似度计算，上述颜色相似度计算sim包括：绝对值距离、巴氏距离、欧式距离、直方图相交法、x2距离、参考颜色表、中心矩，但不限于此；
步骤S23：依据C的实际颜色在数据库中完成信息检索，得到与C匹配的工作信息，并将其呈现在AR眼镜上。
本实施例还提供了一种可读存储介质，包括计算机指令，该计算机指令被运行时执行上文所述的具有工作场景识别的AR眼镜应用方法。
本实施例还提供了一种具有工作场景识别的AR眼镜应用系统，包括存储器、处理器、AR眼镜，所述存储器中存储有计算机指令，所述处理器在运行该计算机指令时执行上文所述的具有工作场景识别的AR眼镜应用方法。
特别的，本实施例采用智能眼镜与AR技术，在飞行机务维护保障任务中实现工作场景识别，推送工种信息，提升AR眼镜的智能化。
本实施例采用珑璟LCE1801H光导模组使用MIPI接口，不使用RGB接口协议，分辨率可达1920*1080，而棱镜光导模组使用RGB接口，分辨率为 800*480，自由曲面光导模组采用需要专用驱动芯片的MIPI接口，上位机 RK3399使用双MIPI Camera接口，双ISP，单通道最大支持1300万像素，考虑到珑璟LCE1901H光导模组可与上位机RK3399中自带的MIPI2.0接口实现直接通信，且分辨率最高，显示效果最好，而棱镜光导模组RGB接口需要再次转接为MIPI，所以采用珑璟LCE1801H光导模组。
其中，光导模组与上位机通讯过程如图3所示，通过MIPI协议接口与 RK3399传输音视频，PC端控制中心可通过RK3399给出的信息调用数据库返回相应的解决方案，也可人工输入信息控制安卓安卓系统，光导模组显示的信息。
智能眼镜的上位机选取RK3399芯片组进行通信和控制，选取开发板的具体参数如下：
-CPU：双核ARM Cortex-A72+四核ARM Cortex-A53，采用big.LITTLE 大小核，其中A72大核主频2.0GHz，A53小核主频1.5GHz；
-GPU：ARM Mali T860 MP4，支持OpenGL ES1.1/2.0/3.0/3.1, OpenVG1.1,OpenCL,DX11；
-支持4K VP9与4K 10位H265/H264视频解码，高达60fps；
-支持4K显示；
-支持两路1300万像素摄像头接口；
-支持两路USB3.0(可配置为USB Type-C),两路USB2.0；
-支持一路千兆以太网；
-支持PCIe 2.1(4线)；
在智能眼镜采集到视频信号时，首先将模拟信号转化为可被计算机处理的数字信号，通常采用YUV的格式，但这种格式的视频所需带宽较大，例如传输25fps的CIF格式(320×240)的信号，所需的带宽为38.67Mbit/s，所以要想实现远程视频实时传输则需要对视频信号进行压缩处理。当今的视频压缩主要有ISO/IEC制定的MPEG系列、ITU2T制定的H.XXX系列标准和ISO与CCITT制定的静态图像M2J.PEG标准。根据实际应用的需求，本实施例选用H.264/AVC标准。
本实施例的示例工作过程如下：
步骤一：采用二维码标定飞机发电机，并将该二维码打印帖附与发电机集体上；工人w佩戴、启动AR眼镜开始现场工作，该AR眼镜立即进入“待工”状态；w凝视上述发电机10秒(图像含其二维码)，AR眼镜识别出该二维码为“CPX航空发电机”，并通过网络，在数据库中查到该机件属于工作项目，则AR眼镜完成“待工”到“工作”状态的切换；
步骤二：包含工服图像获得。此处，w使用AR眼镜时，系统持续测量 AR眼镜的视觉角度，当w低头以视角-70°工作时，判断AR眼镜的视角低于-60°时，认为图像包含工服，立即采集此时的一张图像I；
步骤三：工服颜色获得。根据AR眼镜摄像头视角β为75°，获得工服在采集图像I下沿中的范围；比例r的计算为下式：
r＝[75°/2-(90°-70°)]/75°＝12.5°/75°＝0.167；
则对于获得的图像I的下沿向上0.167×1080像素高度范围(宽度为 1920像素)内图像从I中分割出来，得到图像I’，I’中进行图像色彩分析，得到比重最多的颜色为棕色，将该棕色作为工服颜色C输出；
步骤四：工服颜色与信息匹配。预先建立工服颜色与工种数据信息对应关系的数据库DB，DB记录以下对应关系。
Figure GDA0003574282730000121
根据上述C，利用采用Minkowsky(明氏)距离作为颜色相似度，计算在数据库中查询得到“机务服务数据D”与工服最匹配；
步骤五：AR信息现实呈现。对上述得到的机务工种数据信息D，在AR 眼镜上进行呈现，效果如图4所示，完毕。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种具有工作场景识别的AR眼镜应用方法，其特征在于，
通过AR眼镜识别佩戴者的工服特征，并根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现；
所述通过AR眼镜识别佩戴者 的工服特征包括以下步骤：
步骤S11：在AR眼镜启动后进入待工状态，对佩戴者面前的场景进行扫描，当用户的行为满足预设的启动条件时，AR眼镜进入工作状态；
步骤S12：根据AR眼镜与水平面的倾斜角度提取出高概率出现佩戴者工服的图像I’；
步骤S13：对提取出的图像进行识别，识别出工服特征；
步骤S12具体包括以下步骤：
步骤S121：设AR眼镜的水平位置为0°，AR眼镜与水平面的倾斜角度为θ，佩戴者头部抬起带动AR眼镜上仰为正，反之下俯为负；当θ＜α时，判断工服出现在当前AR眼镜采集的画面中，获取当前画面记为I，其中α为预设角度的判断阈值，α＜0；
步骤S122：采用下式计算画面I中工服出现的图像比例r：
r＝[β/2-(90°-θ)]/β
式中，β为AR眼镜的视角角度；
步骤S123：对于获得的图像I，将其从下沿向上r*h的高度范围内的图像从I中分割出来，得到图像I’，图像I’为高概率出现佩戴者工服的图像；h是I的原始高度。
2.根据权利要求1所述的一种具有工作场景识别的AR眼镜应用方法，其特征在于，步骤S11中，所述预设的启动条件为：AR眼镜拍摄到的场景中包括预设的特征工件，并且识别到佩戴者凝视该特征工件的时间大于预设值。
3.根据权利要求1所述的一种具有工作场景识别的AR眼镜应用方法，其特征在于，步骤S11中，所述预设的启动条件为：AR眼镜拍摄到的场景中包括设有特定二维码的工件，通过扫描该二维码识别出对应的工件。
4.根据权利要求1所述的一种具有工作场景识别的AR眼镜应用方法，其特征在于，所述工服特征为颜色。
5.根据权利要求4所述的一种具有工作场景识别的AR眼镜应用方法，其特征在于，步骤S13具体为，对提取出的图像I’进行色彩分析，将出现比重最多的颜色作为工服颜色C。
6.根据权利要求5所述的一种具有工作场景识别的AR眼镜应用方法，其特征在于，所述根据识别到的特征进行佩戴者的工作信息检索，将检索到的工作信息在AR眼镜上进行呈现具体包括以下步骤：
步骤S21：预先建立工服颜色与工种数据信息对应关系的数据库DB；
步骤S22：将工服颜色C与数据库DB中所有工服颜色进行相似度计算，选取数据库中与C相似度最大的颜色作为C的实际颜色；
步骤S23：依据C的实际颜色在数据库中完成信息检索，得到与C匹配的工作信息，并将其呈现在AR眼镜上。
7.一种可读存储介质，其特征在于，包括计算机指令，该计算机指令被运行时执行权利要求1-6任一项所述的具有工作场景识别的AR眼镜应用方法。
8.一种具有工作场景识别的AR眼镜应用系统，其特征在于，包括存储器、处理器、AR眼镜，所述存储器中存储有计算机指令，所述处理器在运行该计算机指令时执行权利要求1-6任一项所述的具有工作场景识别的AR眼镜应用方法。
CN201910696077.XA 2019-07-30 2019-07-30 一种具有工作场景识别的ar眼镜应用方法及系统 Active CN110413122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910696077.XA CN110413122B (zh) 2019-07-30 2019-07-30 一种具有工作场景识别的ar眼镜应用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910696077.XA CN110413122B (zh) 2019-07-30 2019-07-30 一种具有工作场景识别的ar眼镜应用方法及系统

Publications (2)

Publication Number Publication Date
CN110413122A CN110413122A (zh) 2019-11-05
CN110413122B true CN110413122B (zh) 2022-06-10

Family

ID=68364239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910696077.XA Active CN110413122B (zh) 2019-07-30 2019-07-30 一种具有工作场景识别的ar眼镜应用方法及系统

Country Status (1)

Country Link
CN (1) CN110413122B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351789B (zh) * 2020-04-07 2023-05-16 中国联合网络通信集团有限公司 设备检测/维护的方法、系统及电子装置
CN116778119B (zh) * 2023-06-26 2024-03-12 中国信息通信研究院 基于增强现实的人机协同装配系统
CN117036650B (zh) * 2023-08-04 2024-03-12 国网冀北综合能源服务有限公司 一种基于ar眼镜的电网维护导航方法、介质及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815555A (zh) * 2016-12-21 2017-06-09 深圳增强现实技术有限公司 一种分布式场景目标识别的增强现实方法及系统
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN108885482A (zh) * 2016-03-31 2018-11-23 英特尔公司 包括映像的视场中的增强现实
CN108984987A (zh) * 2018-09-13 2018-12-11 厦门大学嘉庚学院 基于vr技术的建筑设计方法
CN109448155A (zh) * 2018-10-15 2019-03-08 国网河南省电力公司济源供电公司 基于ar技术的设备巡视方法
CN109767600A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种可自动报警的ar眼镜及其实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201700058961A1 (it) * 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885482A (zh) * 2016-03-31 2018-11-23 英特尔公司 包括映像的视场中的增强现实
CN106815555A (zh) * 2016-12-21 2017-06-09 深圳增强现实技术有限公司 一种分布式场景目标识别的增强现实方法及系统
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
CN108984987A (zh) * 2018-09-13 2018-12-11 厦门大学嘉庚学院 基于vr技术的建筑设计方法
CN109448155A (zh) * 2018-10-15 2019-03-08 国网河南省电力公司济源供电公司 基于ar技术的设备巡视方法
CN109767600A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种可自动报警的ar眼镜及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种AR模型的稀疏模态参数估计方法》;王晓东;《机械科学与技术》;20161130;第35卷(第11期);1733-1737 *

Also Published As

Publication number Publication date
CN110413122A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413122B (zh) 一种具有工作场景识别的ar眼镜应用方法及系统
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
CN103716594B (zh) 基于运动目标检测的全景拼接联动方法及装置
CN104298996B (zh) 一种应用于仿生机器鱼的水下主动视觉跟踪方法
CN104897671B (zh) 一种水果果梗花萼的识别系统
US11137824B2 (en) Physical input device in virtual reality
CN110084891B (zh) 一种ar眼镜的颜色调整方法及ar眼镜
CN106534817A (zh) 基于图像识别的曲面投影自动几何校正方法
CN106534683B (zh) 智能化相机实时置换背景图的方法及其系统
CN107392853A (zh) 双摄像头视频融合畸变校正与视点微调整方法及系统
CN104125405A (zh) 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法
CN110499802A (zh) 一种用于挖掘机的图像识别方法和设备
CN113610185A (zh) 基于主色调识别的木材色选方法
KR101057419B1 (ko) 비접촉식 어류 개체수 측정 장치 및 그 방법
US20210224591A1 (en) Methods and systems for training an object detection algorithm
CN115047624B (zh) 智能眼镜操控系统
CN110455813A (zh) 用于提取不规则弧形边缘的通用系统及方法
CN106920225A (zh) 前帮机的定位检测方法
CN113688680B (zh) 一种智能识别与追踪系统
CN106846302B (zh) 一种工具正确取件的检测方法及基于此方法的考核台
CN113262462A (zh) 台球球杆实时识别与投影方法、系统、终端及存储介质
CN107368188A (zh) 介导现实中的基于多重空间定位的前景抽取方法及系统
Shengze et al. Research based on the HSV humanoid robot soccer image processing
CN113792564A (zh) 基于不可见投影二维码的室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191105

Assignee: FUJIAN JIBANG ELECTRONICS Co.,Ltd.

Assignor: XIAMEN UNIVERSITY TAN KAH KEE College

Contract record no.: X2023980050290

Denomination of invention: A Method and System for AR Glasses Application with Work Scene Recognition

Granted publication date: 20220610

License type: Common License

Record date: 20231218