CN110546677A - 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备 - Google Patents

在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备 Download PDF

Info

Publication number
CN110546677A
CN110546677A CN201880002249.2A CN201880002249A CN110546677A CN 110546677 A CN110546677 A CN 110546677A CN 201880002249 A CN201880002249 A CN 201880002249A CN 110546677 A CN110546677 A CN 110546677A
Authority
CN
China
Prior art keywords
maintenance
image
server
military equipment
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880002249.2A
Other languages
English (en)
Inventor
康晋硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FRONTIS Corp
Original Assignee
FRONTIS Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180021899A external-priority patent/KR101874461B1/ko
Priority claimed from KR1020180035213A external-priority patent/KR101906560B1/ko
Application filed by FRONTIS Corp filed Critical FRONTIS Corp
Publication of CN110546677A publication Critical patent/CN110546677A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种支持军用装备维修的服务器，包括：接收部，用于从穿戴于维修者的身体上的可穿戴设备接收关于军用装备的图像；客体识别部，基于利用所述图像中像素间的欧几里德距离的滤波器而从所述图像中识别多个维修客体及至少一个部件客体；以及维修对象客体提取部，基于识别出的所述至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。

Description

在应用相互关联规则挖掘的增强现实技术中支持军用装备维 修的服务器、方法及可穿戴设备
技术领域
本发明涉及一种在增强现实中基于客体间的相互关联数据支持军用装备维修的服务器、方法及可穿戴设备。
背景技术
在支持军用装备维修时，为了应用交互式电子技术手册(InteractiveElectronic Technical Manual，IETM)来分析军事装备及武器系统的维修和部件信息数据的表示范围多样且庞大的数据，出现了各种方法论。作为在现有的文本形式的数据范围内发现关于以图像(2D)、视频(3D)及虚拟/增强/混合现实为基础的非典型数据的有用相关关系以提取未来可执行的信息并将其用于决策的过程，正在应用一般物体识别(GeneralObject Recognition)技术。该一般物体识别技术是指利用事物所具有的多种特征来掌握图像中的事物是什么的技术。现有的物体识别技术一般使用通过利用物体的色相、特征点、图案等来推断物体的方式。
但是，在军用装备的情况下具有如下的问题：由于军用装备的外部由相同的色相、图案等形成，因此难以将现有的物体识别技术应用到军用装备中。
另外，HMD(Head Mounted Display，头盔显示器)为头部搭载型显示器，是指当用户在头部安装HMD时用户能够通过HMD直接收看眼前的图像的新一代显示装置。HMD主要通过在现实世界中叠加虚拟图像或虚拟UI来进行显示。
与这种HMD相关联地，在作为现有技术的韩国公开专利第2009-0105485中公开了利用HMD的多媒体提供系统及其提供方法。
近年来提供了利用HMD来支持军用装备维修的服务。但是，在利用HMD来维修军用装备的情况下，具有如下的问题：即，由于存在HMD与军用装备的维修客体之间的距离，因此在识别维修客体时花费较多的时间。
发明内容
技术问题
本发明提供一种支持军用装备维修的服务器、方法及可穿戴设备，其在利用可穿戴设备来进行军用装备维修时使维修客体及部件客体的识别所需要的时间最小化。
本发明提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其能够通过应用数据挖掘方法来分析关于军用装备的维修支持的相互关联规则，并且以分析结果为基础进行维修。
本发明提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其在进行军用装备维修时，为了给维修者提供简便性，通过可穿戴设备的屏幕来提供维修进展通知。
本发明提供一种支持军用装备维修的服务器、方法及可穿戴设备，其能够通过识别用于进行基于增强现实(AR，Augmented Reality)的军用装备维修的部件客体以提取维修对象客体而进行虚拟环境中的维修支持及维修教育系统的运营。
本发明提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其虽然在现有的交互式电子技术手册(IETM，Interactive Electronic Technical Manual)的情况下，难以基于纹理格式或文档有效地管理及分类数据，但能够通过如虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)、混合现实(MR，Mixed Reality)等的多媒体数据来有效地管理该数据。
本发明提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其作为利用关于军用装备的维修明细及部件信息的传感器数据与基于位置的技术之间的联动的混合现实技术，能够准备用于军用装备的维修支持及维修教育的综合运营的基础。
但是，本实施例所要解决的技术问题并非由如上所述的技术问题来限定，可存在其他技术问题。
技术方案
作为用于解决上述技术问题的手段，本发明的一实施例可提供一种服务器，包括：接收部，用于从穿戴于维修者的身体上的可穿戴设备接收关于军用装备的图像；客体识别部，基于利用所述图像中像素间的欧几里德距离的滤波器而从所述图像中识别多个维修客体及至少一个部件客体；以及维修对象客体提取部，基于识别出的所述至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。
本发明的另一实施例可提供一种维修支持方法，包括以下步骤：从穿戴于维修者的身体上的可穿戴设备接收关于军用装备的图像；基于利用所述图像中像素间的欧几里德距离的滤波器而从所述图像中识别多个维修客体及至少一个部件客体；以及基于识别出的所述至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。
本发明的又一实施例可提供一种可穿戴设备，包括：拍摄部，通过设置于可穿戴设备的相机来拍摄军用装备；传送部，用于将拍摄到的所述军用装备的图像传送给维修支持服务器；接收部，用于从所述维修支持服务器接收关于所述军用装备的维修对象客体的维修进展通知；以及显示部，用于将接收到的关于所述维修对象客体的维修进展通知显示到显示器，其中，针对所述维修对象客体，基于由所述维修支持服务器识别出的至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体，通过所述维修支持服务器基于利用像素间的欧几里德距离的滤波器而识别所述至少一个部件客体和各维修客体。
上述问题解决手段仅为举例说明，并非解释为用于限制本发明的意图。除上述示例性的实施例以外，可存在附图及本发明的详细说明中记载的附加实施例。
有益效果
根据前述的本发明的技术方案中的任一者，可提供如下的支持军用装备维修的服务器、方法及可穿戴设备，其在利用可穿戴设备来进行军用装备维修时，使维修客体及部件客体的识别所需要的时间最小化。
本发明可提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其能够通过应用数据挖掘方法来分析关于军用装备的维修支持的相互关联性规则，并且以分析结果为基础进行维修。
本发明可提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其在进行军用装备维修时，为了给维修者提供简便性，通过可穿戴设备的屏幕来提供维修进展通知。
本发明可提供一种支持军用装备维修的服务器、方法及可穿戴设备，其能够通过识别用于进行基于增强现实的军用装备维修的部件客体以提取维修对象客体而进行虚拟环境中的维修支持及维修教育系统的运营。
本发明可提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其虽然在现有的交互式电子技术手册的情况下，难以基于纹理格式或文档有效地管理及分类数据，但能够通过如虚拟现实、增强现实、混合现实等的多媒体数据来有效地管理该数据。
本发明可提供一种如下的支持军用装备维修的服务器、方法及可穿戴设备，其作为利用关于军用装备的维修明细及部件信息的传感器数据与基于位置的技术之间的联动的混合现实技术，能够准备用于军用装备的维修支持及维修教育的综合运营的基础。
附图说明
图1是表示本发明的一实施例所涉及的关于军用装备的维修支持系统的示意图。
图2是本发明的一实施例所涉及的可穿戴设备的结构图。
图3是用于说明在本发明的一实施例所涉及的可穿戴设备中将关于维修对象客体的维修信息显示到显示器的过程的示意图。
图4是在本发明的一实施例所涉及的可穿戴设备中被提供军用装备的维修支持的方法的顺序图。
图5是本发明的一实施例所涉及的服务器的结构图。
图6a至图6b是用于说明本发明的一实施例所涉及的识别军用装备的部件客体并提取部件客体的像素的过程的示意图。
图7a至图7c是用于说明本发明的一实施例所涉及的基于利用图像中像素间的欧几里德距离的滤波器而从图像中识别维修客体及部件客体的过程的示意图。
图8a及图8b是用于说明本发明的一实施例所涉及的相关数据的示意图。
图9是在本发明的一实施例所涉及的服务器中支持军用装备维修的方法的顺序图。
具体实施方式
下面，参照附图对本发明的实施例进行详细说明，使得本发明所属技术领域的技术人员能够容易实施。但是，本发明可以以多种不同的形式实现，并不限定于在此说明的实施例。并且，在附图中为了清楚地说明本发明，省略了与说明无关的部分，在说明书全文中，对相似部分使用了相似的附图标记。
在说明书全文中，当某部分与其他部分“连接”时，不仅包括“直接连接”的情况，还包括在中间设有其他元件的情况下“电连接”的情况。此外，当某部分“包括”某结构要素时，除非有相反的记载，这表示并不排除其他它结构要素，而是可进一步包括其他结构要素，应理解为并不是用来事先排除一个或一个以上的其他特征或数字、步骤、操作、结构要素、部件或它们的组合存在或附加的可能性。
在本说明书中，“部”包括由硬件实现的单元(unit)、由软件实现的单元及利用硬件及软件这两个实现的单元。此外，也可以利用两个以上的硬件来实现一个单元，也可以利用一个硬件来实现两个以上的单元。
在本说明书中，记载为由终端或设备执行的操作或功能中的一部分也可以通过与该终端或设备连接的服务器来代替执行。与此相同地，记载为由服务器执行的操作或功能中的一部分也可以由与该服务器连接的终端或设备来执行。
下面，参照附图对本发明的一实施例进行详细说明。
图1是表示本发明的一实施例所涉及的关于军用装备的维修支持系统的示意图。参照图1，关于军用装备的维修支持系统1可包括可穿戴设备110及维修支持服务器120。对于可穿戴设备110及维修支持服务器120而言，示意性地图示了能够通过关于军用装备的维修支持系统1来控制的结构要素。
图1的关于军用装备的维修支持系统1的各结构要素一般通过网络(network)来连接。例如，如图1所示，可穿戴设备110可以同时或者间隔地连接到维修支持服务器120。
网络是指能够在如终端及服务器等的各节点彼此之间进行信息交换的连接结构，包括局域网(LAN：Local Area Network)、广域网(WAN：Wide Area Network)、万维网(WWW：World Wide Web)、有线无线数据通信网、电话网、有限无线电视通信网等。作为无线数据通信网的一例，包括3G、4G、5G、3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)、LTE(Long Term Evolution，长期演进)、WIMAX(World Interoperability forMicrowave Access，全球微波接入互操作性)、Wi-Fi、蓝牙通信、红外线通信、超声波通信、可见光通信(VLC：Visible Light Communication)、可见光无线通信(LiFi)等，但并不限定于此。
可穿戴设备110能够通过设置于可穿戴设备110的相机来拍摄军用装备100。
可穿戴设备110能够将拍摄军用装备100而得到的图像传送给维修支持服务器120。
可穿戴设备110能够从维修支持服务器120接收关于军用装备100的维修对象客体的维修进展通知，并且将接收到的关于维修对象客体的维修进展通知显示到显示器。例如，可穿戴设备110能够将维修进展通知以增强现实、虚拟现实或混合现实等的形式显示到显示器。维修进展通知例如可包含关于当前进行维修的维修对象客体的通知及关于下一个进行维修的维修对象客体的通知。
可穿戴设备110能够从维修支持服务器120接收关于军用装备100的维修对象客体的维修信息，并且将接收到的关于维修对象客体的维修信息显示到显示器。例如，可穿戴设备120能够从维修支持服务器120以增强现实、虚拟现实或混合现实的形式接收维修信息。维修信息例如可包含维修对象客体的维修明细及关于维修对象客体的维修指南信息。
作为这种可穿戴设备110的一例，可包含能够穿戴于维修者的身体上的全息透镜(HoloLens)、Smart Glass(智能眼镜)、HMD或HUD(Head Up Display，平视显示器)。
维修支持服务器120能够从穿戴于维修者的身体上的可穿戴设备110接收关于军用装备100的图像。
维修支持服务器120可以基于利用像素间的欧几里德距离的滤波器而从图像中识别多个维修客体及至少一个部件客体。为此，维修支持服务器120将图像帧分割为多个单元(cell)，并且通过将提取出的至少一个部件客体的位置应用到图像帧的单元中而检测至少一个部件客体的边界线。
例如，维修支持服务器120可通过在图像中应用基于色相及质感成分的粒子滤波器而提取与各维修客体对应的粒子区域。在此，利用像素间的欧几里德距离的滤波器为自适应卡尔曼滤波器(Adaptive Kalman Filter)，维修支持服务器120可通过在粒子区域中应用自适应卡尔曼滤波器而从图像中追踪由维修者移动的至少一个部件客体。关于自适应卡尔曼滤波器将在后面叙述。
维修支持服务器120能够从识别出的至少一个部件客体中提取像素。此时，维修支持服务器120能够将提取出的至少一个像素群集为相似像素组。例如，维持支持服务器120能够将群集的相似像素组提取为多个候选维修区域，并且在提取出的多个候选维修区域中利用至少一个部件客体与各维修对象客体之间的距离来提取包含第一维修对象客体的维修区域。
维修支持服务器120可以基于识别出的至少一个部件客体与各维修客体之间的距离而在多个维修客体中提取第一维修客体对象。
维修支持服务器120能够从图像中判断由维修者移动的至少一个部件客体朝向各维修客体的接近状态。例如，维修支持服务器120能够将至少一个部件客体正在接近的维修客体提取为第一维修对象客体，并且识别包含在第一维修对象客体中的至少一个部件客体，提取识别出的部件客体的位置。
维修支持服务器120能够从可穿戴设备110进一步接收维修者的视线信息及维修者的头部移动信息中的至少一者。
维修支持服务器120可以基于维修者的视线信息及维修者的头部移动信息等而校正维修者的视线焦点。
维修支持服务器120可以基于识别出的至少一个部件客体与各维修客体之间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。在此，第一维修对象客体可指初始维修对象客体，第二维修对象客体可指要在第一维修对象客体之后进行维修的维修对象客体。
相关数据可包含与各维修客体对应的多个规则信息及关于多个规则信息中的每一者的可靠性信息。
在此，多个规则信息中的每一者例如可包含一次维修时一同进行维修的维修客体组、包含在各维修客体组中的维修客体的维修顺序等。
例如，可包含作为维修客体组的第一维修客体与第二维修客体之间的规则信息。在此，可以基于整个维修明细中维修第一维修客体的维修明细数及一同维修第一维修客体和第二维修客体的维修明细数而导出关于第一维修客体与第二维修客体之间的规则信息的可靠性信息。
维修支持服务器120能够将提取出的关于维修对象客体的维修进展通知传送给可穿戴设备110。在此，维修进展通知可包含关于当前进行维修的维修对象客体的通知及关于下一个进行维修的维修对象客体的通知。在此，通知例如可包含关于当前进行维修的维修对象客体的可维修通知或不可维修通知、关于下一个进行维修的维修客体的维修通知、关于与维修对象客体相关联的部件客体的通知等。
维修支持服务器120可以以增强现实、虚拟现实或混合现实的形式将关于维修对象客体的维修信息传送给可穿戴设备110。在此，维修信息可包含第一维修对象客体或第二维修对象客体的维修明细、关于第一维修对象客体或第二维修对象客体的维修指南信息等。
图2是本发明的一实施例所涉及的可穿戴设备的结构图。参照图1及图2，可穿戴设备110可包括拍摄部210、传送部220、接收部230及显示部240。
拍摄部210可通过设置于可穿戴设备110的相机来拍摄军用装备100。
传送部220能够将拍摄军用装备100而获得的图像传送给维修支持服务器120。例如，传送部220能够将拍摄军用装备100而获得的全息透镜图像传送给维修支持服务器120。
接收部230能够从维修支持服务器120接收关于军用装备100的维修对象客体的维修进展通知。维修进展通知例如可包含关于当前进行维修的维修对象客体的通知及关于下一个进行维修的维修对象客体的通知。例如，维修进展通知可包含关于当前进行维修的维修对象客体的可维修通知及不可维修通知，并且可包含关于下一个进行维修的维修对象客体的维修通知。
接收部230可从维修支持服务器120接收关于军用装备100的第一维修对象客体或第二维修对象客体的维修信息。例如，接收部230能够从维修支持服务器120以增强现实、虚拟现实或混合现实的形式接收维修信息。维修信息例如可包含第一维修对象客体或第二维修对象客体的维修明细和关于第一维修对象客体或第二维修对象客体的维修指南信息。
显示部240能够将接收到的关于维修对象客体的维修进展通知显示到显示器。例如，显示部240能够通过可穿戴设备110的显示器以增强现实、虚拟现实或混合现实中的任一形式显示维修进展通知。
显示部240能够将接收到的关于第一维修对象客体或第二维修对象客体的维修信息显示到显示器。
图3是用于说明在本发明的一实施例所涉及的可穿戴设备中将关于维修对象客体的维修信息显示到显示器的过程的示意图。参照图3，可穿戴设备110能够将关于维修对象客体的维修信息显示到显示器300。
例如，可穿戴设备110能够将关于维修对象客体的维修指南信息以虚拟现实的形式显示到显示器300的第一区域310中。可穿戴设备110能够通过显示器300的第一区域310来显示用于维修者的虚拟现实形式的关于第一维修对象客体或第二维修对象客体的维修指南图像、支持声音/图像/文本的维修手册等。
列举另一例，可穿戴设备110能够将第一维修对象客体或第二维修对象客体的维修明细以增强现实的形式显示到显示器300的第二区域320中。可穿戴设备110可通过显示器300的第二区域320且通过用于支持维修的维修状况的基于实例的推论按最邻近距离(nearest-Neighbor Distance)描述方法显示，并且容易表现基于非标记的维修明细内的第一维修对象客体或第二维修对象客体及部件接近，从而支持维修。
列举又一例，可穿戴设备110能够将维修工具箱的部件客体信息显示到显示器300的第三区域330中。可穿戴设备110能够通过显示器300的第三区域330且经过维修者的选择来显示必要的部件及维修工具列表，提供与维修支持相关联的相互影响矩阵(interactionmatrix)。
图4是在本发明的一实施例所涉及的可穿戴设备中被提供军用装备的维修支持的方法的顺序图。图4所示的在可穿戴设备110中被提供军用装备100的维修支持的方法包括由图1至图3所示的实施例所涉及的关于军用装备的维修支持系统1按时间序列进行处理的步骤。因此，即便是以下省略的内容，也能够应用到在图1至图3所示的实施例所涉及的可穿戴设备110中被提供军用装备100的维修支持的方法中。
在步骤S410中，可穿戴设备110可通过设置于可穿戴设备110的相机来拍摄军用装备。
在步骤S420中，可穿戴设备110能够将拍摄到的军用装备100的图像传送给维修支持服务器120。
在步骤S430中，可穿戴设备110能够从维修支持服务器120接收关于军用装备100的维修对象客体的维修进展通知。
在步骤S440中，可穿戴设备110能够将接收到的关于维修对象客体的装备进展通知显示到显示器。
虽然在图4中未图示，但可进一步包括以下步骤：可穿戴设备110从维修支持服务器120接收关于军用装备100的维修对象客体的维修信息以及将接收到的关于维修对象客体的维修信息显示到显示器。
在上述说明中，步骤S410至S440可根据本发明的实现例被进一步分割为附加步骤或组合成更少的步骤。此外，也可以根据需要省略一部分步骤，也可以转换步骤间的顺序。
图5是本发明的一实施例所涉及的维修支持服务器的结构图。参照图5，维修支持服务器可包括接收部510、图像分割部520、客体识别部530、像素提取部540、维修对象客体提取部550及传送部560。
接收部510能够从穿戴于维修者的身体上的可穿戴设备110接收关于军用装备100的图像。例如，接收部510能够从穿戴于维修者的身体上的可穿戴设备110接收拍摄到的军用装备100的全息透镜图像。
接收部510能够从可穿戴设备110进一步接收维修者的视线信息及维修者的头部移动信息中的至少一者。
图像分割部520能够将图像帧分割为多个单元。将图像帧分割为多个单元的理由是为了从图像中检测客体和边界线(线、曲线等)，由此将图像表现简化或变换为更有意义且容易解释的图像。为了从可穿戴设备110的角度识别客体，需要如下的过程：即，通过寻找如数字图像(2D)、视频及实际图像内的事物或对象物体等的一般物体的类别，从而经由分类处理分为多个帧内的集合。将图像帧分割为多个单元，其结果可以是集合性地包含整个图像的区域集合或者从图像中提取的轮廓集合。对于区域而言，各像素在如颜色、亮度或材质等的某种特征或计算出的属性观点方面相似，相邻的区域有可能在相同的特征观点方面显著不同。
客体识别部530能够从图像中探测多个维修客体，并且识别与探测到的维修客体中的至少一者对应的至少一个部件客体。客体识别部530能够识别包含在维修客体中的至少一个部件客体，并且提取识别出的部件客体的位置。例如，客体识别部530可通过将提取出的至少一个部件客体的位置应用到图像帧的单元中而检测至少一个部件客体的边界线。
像素提取部540能够从识别出的至少一个部件客体中提取像素。此时，像素提取部540能够将提取出的至少一个像素群集为相似像素组。例如，像素提取部540能够从利用k-means方法识别出的部件客体中提取像素并将该像素群集为相似像素组。进行群集的理由是需要各识别出的部件客体的位置的特征和状态，并且有可能会根据位置单位的大小发生关于特征和状态的数量及预测精密规则的差异。因此，通过预测为在不考虑群集的分级的情况下利用平面群集化方法事先分为规定的群集，从而确定群集的数量并进行局部群集化。
图6a至图6b是用于说明本发明的一实施例所涉及的识别军用装备的部件客体并提取部件客体的像素的过程的示意图。
图6a是用于说明本发明的一实施例所涉及的识别部件客体的过程的示意图。参照图6a，维修支持服务器120可通过识别包含在维修客体中的部件客体而提取识别出的部件客体的位置，并且通过分割为多个单元的2D图像帧600而将提取出的部件客体的位置应用到图像帧的单元中以检测部件客体的边界线。2D图像帧600可被构成为按最小单位的单元相同地分割，能够通过将部件客体的位置应用到图像帧的基准单元610中而检测部件客体的边界线。此外，能够通过从基准单元610导出直接单元620及间接单元630而判断部件客体朝向维修客体的接近状态。该帧的接近状态应用k-means方法并包含部件客体的大小及方向等。
例如，服务器120可通过T1、T2、T3、...、Tn等部件客体640且应用包含在各客体所具有的维修客体中的部件客体的功能或相邻客体所具有的功能来判断部件客体朝向维修对象客体的接近状态。维修支持服务器120能够记录探测图像帧的接近区域的接近状态发生变化的情况。
图6b是用于说明本发明的一实施例所涉及的提取部件客体的像素并群集化为相似像素组的过程的示意图。参照图6b，维修支持服务器120能够提取识别出的部件客体的像素650，并且将提取出的像素650群集化为相似像素组660。此时，服务器120可利用k-means方法来群集化为相似像素组660。
k-means可以在全息透镜图像中对连续事件等预测下一行为时分解为n(部件客体)个客体的k(维修对象客体)个群集。群集的相似性通过测量群集中成为群集的重心的客体的平均值而导出，并且通过群集的相似性而适合应用全息透镜环境或HMD设备。
关于k-means的下一个结果发生的条件部概率如下所述。在第一步骤中确定群集数k，在各群集中分配一个初始值或群集中心，在第二步骤轴中利用欧几里德距离将所有数据配属到最近的群集中心，在第三步骤中以配属于各群集的数据与新群集中心之间的距离成为最小的方式计算新群集中心，在第四步骤中直至群集中心几乎没有变化为止反复进行第二步骤和第三步骤。
重新返回到图5，客体识别部530可以基于利用图像中像素间的欧几里德距离的滤波器而从图像中识别多个维修客体及至少一个部件客体。在此，利用像素间的欧几里德距离的滤波器可以是自适应卡尔曼滤波器(Adaptive Kalman Filter)。客体识别部530可包括粒子区域提取部535。
粒子区域提取部535可通过在图像中应用基于色相及质感成分的粒子滤波器而提取与各维修客体对应的粒子区域。
例如，粒子区域提取部535能够从图像中生成粒子(particle)，计算经由各粒子(姿势)投影的三维环境模型图像、全息透镜的图像之间的亮度SSD(Sum of SquaredDifference，平方差和)及梯度SSD，并且通过更新各粒子的概率模型而提取包含维修客体的粒子区域。
在此，针对粒子，可通过应用基于色相及质感成分的粒子滤波器，从而实时生成及追踪与多个维修客体对应的粒子区域。由此，如果在初始图像中选择待生成的维修客体，则将该维修客体确定为目标粒子(target particle)，并且能够从目标粒子中以用于追踪的初始状态进行建模。
客体识别部530可通过在粒子区域中应用自适应卡尔曼滤波器而从图像中追踪由维修者移动的至少一个部件客体。
图7a至图7c是用于说明本发明的一实施例所涉及的基于利用图像中像素间的欧几里德距离的滤波器而从图像中识别维修客体及部件客体的过程的示意图。
参照图7a，拍摄到的军用装备的图像700可包括多个维修客体710。
参照图7b，客体识别部530能够对粒子区域进行黑白转换(720)，并且对包含在黑白转换后的粒子区域中的各像素进行二进制化(530,0或1)。客体识别部530可通过连接二进制化后的各像素中的值为“1”的像素而识别客体。此时，客体识别部530能够利用欧几里德距离以识别客体。
图7c是比较欧几里德距离和曼哈顿距离的示意图。参照图7c，如果利用曼哈顿距离740来连接像素p、q，则可确认像素p、q的干线距离为8像素。
相反，如果利用欧几里德距离750来连接像素p、q，则像素p、q的干线距离为_，可知该干线距离与利用曼哈顿距离740的情况相比非常短。
如此，客体识别部530可通过利用进化后的卡尔曼滤波器即像素间的欧几里德距离，从而能够更准确而有效地识别维修客体及部件客体。
再次返回到图5，客体识别部530能够识别包含在维修对象客体中的至少一个部件客体，并且提取识别出的部件客体的位置。
客体识别部530可以基于通过设置于可穿戴设备110的GPS(Global PositioningSystem，全球定位系统)及IMU(Inertial Measurement Unit，惯性测量单元)传感器获取的感测数据而校正维修者的视线焦点。在此，感测数据可包含进展方向、横向及高度方向的加速度、横滚(roll)、俯仰(pitch)及偏航(yaw)角速度。
通过基于感测数据而校正维修者的视线焦点，从而即使发生运动模糊(motionblur)、遮蔽(occlusion)等，也能够追踪维修者的焦点。
维修对象客体提取部550可以基于由客体识别部530识别出的至少一个部件客体与各维修客体之间的距离而从多个维修对象客体中提取第一维修对象客体。例如，维修对象客体提取部550能够将至少一个部件客体正在接近的维修客体提取为第一维修对象客体。
维修对象客体提取部550能够从图像中判断由维修者移动的至少一个部件客体朝向各维修客体的接近状态。在此，接近状态是指军用装备100的维修对象客体之间的距离及随距离和时间产生的变化程度，维修对象客体提取部550能够导出部件客体朝向各维修客体的相对接近状态。
例如，维修对象客体提取部550可以以中立(Neutral)方式、向内(Inward)方式及向外(Outward)方式中的任一种方式判断部件客体朝向各维修客体的接近状态。中立方式可指未在图像内探测到维修客体的状态，向内方式可指在图像内探测到部件客体并正在朝向维修客体接近的状态，向外方式可指在图像内部件客体离开维修客体的状态，能够利用这三种状态值来缩减接近状态的运算及存储所需的资源。
例如，在表示以前的间接要素移动特性和当前的间接要素移动特性状态的[中立，向内]状态或[向外，向内]状态的情况下，能够表示在距离军用装备100的范围区域内部件客体离开维修客体之后随着时间逐渐进一步接近维修客体的相对接近状态。
在此，判断接近状态时的距离单位可根据客体识别方式及测量设备等而不同。例如，在全息透镜显示器中为了图像的客体识别而处于可测量范围的情况下，可使用基于m或cm单位等的特定距离的距离，也可以将维修客体内的部件客体之间的距离作为基准使用。此时，维修对象客体提取部560可以以所有维修品种为对象导出维修客体及部件客体之间的相对接近状态。
判断接近状态的理由是，从军用装备100的特性上看，在维修客体和部件客体的情况下也可以具有固定性，还可以具有移动性，并且由于可穿戴设备110移动而应用到维修客体及部件客体的相对接近状态变化的情况。
维修对象客体提取部550可以基于识别出的至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。在此，第一维修对象客体可指初始维修对象客体，第二维修对象客体可指要在第一维修对象客体之后进行维修的维修对象客体。
相关数据可包含多个规则信息及关于多个规则信息的可靠性信息。在此，多个规则信息中的每一个例如可包含一次维修时一同进行维修的维修客体组、包含在维修客体组中的维修客体的维修顺序等。例如，多个规则信息可包含第一维修客体与第二维修客体间的规则信息，基于维修第一维修客体的维修明细数及一同维修第一维修客体和第二维修客体的维修明细数而导出可靠性信息。
传送部560可以以增强现实、虚拟现实或混合现实的形式将关于第一维修对象客体或第二维修对象客体的维修信息传送给可穿戴设备110。在此，维修信息可包含第一维修对象客体或第二维修对象客体的维修明细和关于第一维修对象客体或第二维修对象客体的维修指南信息。
传送部560能够将提取出的关于维修对象客体的维修进展通知传送给可穿戴设备110。在此，通知例如可包含关于当前进行维修的维修对象客体的可维修通知或不可维修通知、关于下一个进行维修的维修客体的维修通知、关于与维修对象客体相关联的部件客体的通知等。例如，为了让维修者对A维修对象客体进行维修，传送部560能够向可穿戴设备110传送强调表示A维修对象客体的通知。
此外，在维修者当前进行A维修对象客体的维修过程的情况下，为了让维修者能够在结束A维修对象客体的维修之后接着进行关于B维修对象客体的维修，传送部560能够向可穿戴设备110传送强调表示B维修对象客体的通知。此时，B维修对象客体可以是由维修对象客体提取部530从相关数据中可靠性最高的维修规则导出的维修客体。
图8a及图8b是用于说明本发明的一实施例所涉及的相关数据的示意图。
维修支持服务器120可利用马尔可夫矩阵以生成相关数据。例如，在假设将维修军用装备100的维修空间内的所有状态空间设为有限集合的情况下，可以用在各边附有0与1之间的实数的有限图表来表达时间同质马尔可夫链。即，在状态空间S上定义的离散时间马尔可夫链利用称为转移矩阵的矩阵，将该矩阵所具有的性质普遍化的矩阵为马尔可夫矩阵。能够通过导出该矩阵的固有值和固有向量来导出马尔可夫链的极限分布等。
为了应用这种方法，服务器120能够利用公式“(以前位置Xn-1，当前位置Xn)且(下一个应用位置Xn+1)”来对各客体赋予状态转换图(state transition diagram)。为此，能够借助条件概率(conditional probability)以数学方式计算移动性状态间的迁移概率。迁移概率是指有可能发生各状态间的迁移的条件概率。
维修支持服务器120能够利用上述公式来掌握包含在一个部件客体中的倾向并将该倾向应用到相互关联规则的发现中。例如，维修支持服务器120能够使部件客体的转换位置和当前位置以及下一个位置匹配。
维修支持服务器120能够通过生成的相关数据来推出至少一个维修客体与至少一个部件客体之间的关联性。
参照图8a，总体维修明细列表800可包含一次维修时一同实现维修的维修部件客体组。
例如，可确认在与第一ID对应的维修时执行A维修客体、B维修客体及C维修客体的维修，在与第二ID对应的维修时执行A维修客体、B维修客体及D维修客体的维修。
参照图8b，相关数据800可包含多个规则信息811、与各规则信息811对应的维修ID812及可靠性信息813。
多个规则信息811可以是一同维修第一维修客体及第二维修客体的情况被选择为规则信息的信息。多个规则信息是以支持率信息为基础选择的，其中，该支持率信息表示一同维修第一维修客体及第二维修客体的次数与总体维修明细的次数的比率。此时，当一同维修第一维修客体及第二维修客体时的支持率信息为已设定的比率(例如，50％以上)以上时，能够选择多个规则信息。
例如，一同维修A维修客体和B维修客体的情况的支持率信息能够通过总体维修明细的次数(六次)中的一同维修A维修客体和B维修客体的次数(三次)来导出3/6＝50％，从而一同维修A维修客体和B维修客体的情况被用作一个规则信息。
列举另一例，通过总体维修明细的次数(六次)中的一同维修B维修客体和D维修客体的次数(两次)导出2/6＝约33％，从而B维修客体和D维修客体的支持率信息无法到达预设比率，因此一同维修B维修客体和D维修客体的情况的支持率信息无法用作一个规则信息。能够通过这种支持率信息而使相关数据更加稳健。
可以基于相应的总体维修明细800中的维修第一维修客体的维修明细数及一同维修第一维修客体和第二维修客体的维修明细数而导出可靠性信息813。
例如，假设将第一维修客体设为A维修客体，将第二维修客体设为B维修客体。A维修客体包含在总体维修明细800中的第一维修ID、第二维修ID、第三维修ID及第四维修ID中，B维修客体包含在总体维修明细800中的第一维修ID、第二维修ID、第四维修ID及第五维修ID中。
此外，可知一同维修A维修客体和B维修客体的维修ID包含第一维修ID、第二维修ID和第五维修ID。
此时，在一同维修A维修客体和B维修客体的规则信息的情况下，基于一同维修A维修客体及B维修客体的明细数与维修A维修客体的维修明细数的比率而导出可靠性信息713，因此以(第一维修ID、第二维修ID、第五维修ID)/(第一维修ID、第二维修ID、第三维修ID、第四维修ID)＝3/4＝75％导出可靠性信息713。
在可靠性信息813的情况下，例如A维修客体所相应的第一ID、第二ID、第三ID及第五ID的维修客体中的与B维修客体一同维修的明细可以是第一ID、第二ID及第五ID。这能够表示一同维修四次维修中的三次维修，可靠性为75％。服务器120能够按可靠性信息最高的规则中的支持率信息最大的顺序确定维修对象客体。
图9是本发明的一实施例所涉及的由维修支持服务器支持军用装备的维修的方法的顺序图。由图9所示的服务器120支持军用装备100的维修的方法包括由维修支持系统1按时间序列对图1至图8b所示的实施例所涉及的军用装备100进行处理的步骤。因此，即便是以下所省略的内容，也能够应用到由图1至图8b所示的实施例所涉及的服务器120支持军用装备100的维修的方法中。
在步骤S910中，维修支持服务器120能够从穿戴于维修者的身体上的可穿戴设备110接收关于军用装备100的图像。
在步骤S920中，维修支持服务器120可以基于利用图像中像素间的欧几里德距离的像素而从图像中识别多个维修客体及至少一个部件客体。
在步骤S930中，维修支持服务器120可以基于识别出的至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。
在上述说明中，可根据本发明的实现例将步骤S910至S930进一步分割为附加步骤或者组合成更少的步骤。此外，也可以根据需要省略一部分步骤，也可以转换步骤间的顺序。
在通过图1至图9所说明的可穿戴设备中被提供军用装备的维修支持的方法及在服务器中提供军用装备的维修支持的方法也可以以包含由计算机执行且存储在介质中的计算机程序或计算机可执行指令的存储介质的形式实现。此外，在通过图1至图9所说明的可穿戴设备中被提供军用装备的维修支持的方法及在服务器中提供军用装备的维修支持的方法还可以以由计算机执行且存储在介质中的计算机程序的形式实现。
计算机可读介质可以是能够由计算机存取的任意可用介质，均包括挥发性及非挥发性介质、分离型及非分离型介质。此外，计算机可读介质可包括计算机存储介质。计算机存储介质均包括由用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术实现的挥发性及非挥发性、分离型及非分离型介质。
前述的本发明的说明用于举例说明，可应理解为本发明所属技术领域的技术人员在不变更本发明的技术思想或必要特征的情况下可以以其他具体形式容易进行变形。因此，应理解为以上所述的实施例在所有方面是示例性的而不是限定性的。例如，也可以分散实施以单一型说明的各结构要素，同样也可以以结合形式实施分散说明的结构要素。
本发明的范围由所附的权利要求书的范围来呈现而不是上述详细说明，应解释为从权利要求书范围的含义和范围以及该等同概念导出的所有变更或变形形式包含在本发明的范围中。

Claims (17)

1.一种服务器，其支持军用装备维修，包括：
接收部，用于从穿戴于维修者的身体上的可穿戴设备接收关于军用装备的图像；
客体识别部，基于利用所述图像中像素间的欧几里德距离的滤波器而从所述图像中识别多个维修客体及至少一个部件客体；以及
维修对象客体提取部，基于识别出的所述至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。
2.根据权利要求1所述的服务器，其中，
所述维修对象客体提取部基于识别出的所述至少一个部件客体与各维修客体之间的距离而在所述多个维修客体中提取所述第一维修对象客体。
3.根据权利要求2所述的服务器，其中，
所述客体识别部从所述图像中判断由所述维修者移动的所述至少一个部件客体朝向所述各维修客体的接近状态。
4.根据权利要求3所述的服务器，其中，
所述维修对象客体提取部将所述至少一个部件客体正在接近的维修客体提取为所述第一维修对象客体，
所述客体识别部识别包含在提取出的所述第一维修对象客体中的至少一个部件客体，并且提取识别出的所述部件客体的位置。
5.根据权利要求4所述的服务器，还包括图像分割部，所述图像分割部用于将所述图像的帧分割为多个单元，
其中，所述客体识别部通过将提取出的所述至少一个部件客体的位置应用到所述图像的帧的单元中而检测所述至少一个部件客体的边界线。
6.根据权利要求1所述的服务器，还包括像素提取部，所述像素提取部用于从识别出的所述至少一个部件客体中提取像素，
其中，所述像素提取部将提取出的至少一个像素群集为相似像素组。
7.根据权利要求6所述的服务器，其中，
所述维修对象客体提取部将群集的所述相似像素组提取为多个候选维修区域，并且在提取出的所述多个候选维修区域中利用所述至少一个部件客体与各所述维修对象客体之间的距离来提取包含所述第一维修对象客体的维修区域。
8.根据权利要求1所述的服务器，其中，
所述客体识别部包括粒子区域提取部，所述粒子区域提取部通过在所述图像中应用基于色相及质感成分的粒子滤波器而提取与所述各维修客体对应的粒子区域。
9.根据权利要求8所述的服务器，其中，
利用所述像素间的欧几里德距离的滤波器为自适应卡尔曼滤波器，
所述客体识别部通过在所述粒子区域中应用所述自适应卡尔曼滤波器而从所述图像中追踪由所述维修者移动的至少一个部件客体。
10.根据权利要求1所述的服务器，其中，
所述接收部从所述可穿戴设备进一步接收所述维修者的视线信息及所述维修者的头部移动信息中的至少一者。
11.根据权利要求10所述的服务器，其中，
所述客体识别部基于所述维修者的视线信息及所述维修者的头部移动信息中的至少一者而校正所述维修者的视线焦点。
12.根据权利要求1所述的服务器，其中，
所述相互关联规则数据包含多个规则信息及关于所述多个规则信息中的每一者的可靠性信息。
13.根据权利要求12所述的服务器，其中，
所述多个规则信息包含第一维修客体与第二维修客体间的规则信息，
所述可靠性信息是基于维修所述第一维修客体的维修明细数及一同维修所述第一维修客体和所述第二维修客体的明细数而导出的信息。
14.根据权利要求1所述的服务器，还包括传送部，所述传送部用于将关于提取出的所述维修对象客体的维修进展通知传送给所述可穿戴设备，
所述维修进展通知包含关于当前进行维修的维修对象客体的通知及关于下一个进行维修的维修对象客体的通知。
15.根据权利要求14所述的服务器，其中，
所述传送部以增强现实、虚拟现实或混合现实的形式将关于所述维修对象客体的维修信息传送给所述可穿戴设备，
所述维修信息包含所述第一维修对象客体或所述第二维修对象客体的维修明细和关于所述第一维修对象客体或所述第二维修对象客体的维修指南信息。
16.一种维修支持方法，其在服务器中支持军用装备维修，包括以下步骤：
从穿戴于维修者的身体上的可穿戴设备接收关于军用装备的图像；
基于利用所述图像中像素间的欧几里德距离的滤波器而从所述图像中识别多个维修客体及至少一个部件客体；以及
基于识别出的所述至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体。
17.一种可穿戴设备，其被提供军用装备的维修支持，包括：
拍摄部，通过设置于可穿戴设备的相机来拍摄军用装备；
传送部，用于将拍摄到的所述军用装备的图像传送给维修支持服务器；
接收部，用于从所述维修支持服务器接收关于所述军用装备的维修对象客体的维修进展通知；以及
显示部，用于将接收到的关于所述维修对象客体的维修进展通知显示到显示器，
其中，针对所述维修对象客体，基于由所述维修支持服务器识别出的至少一个部件客体与各维修客体间的预定相关数据而预测要在结束当前维修中的第一维修对象客体的维修之后进行维修的第二维修对象客体，
通过所述维修支持服务器基于利用像素间的欧几里德距离的滤波器而识别所述至少一个部件客体和各维修客体。
CN201880002249.2A 2018-02-23 2018-04-18 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备 Pending CN110546677A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020180021899A KR101874461B1 (ko) 2018-02-23 2018-02-23 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR10-2018-0021899 2018-02-23
KR1020180035213A KR101906560B1 (ko) 2018-03-27 2018-03-27 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR10-2018-0035213 2018-03-27
PCT/KR2018/004483 WO2019164057A1 (ko) 2018-02-23 2018-04-18 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스

Publications (1)

Publication Number Publication Date
CN110546677A true CN110546677A (zh) 2019-12-06

Family

ID=67688178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002249.2A Pending CN110546677A (zh) 2018-02-23 2018-04-18 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备

Country Status (2)

Country Link
CN (1) CN110546677A (zh)
WO (1) WO2019164057A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361024A (zh) * 2021-04-25 2021-09-07 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215128A1 (en) * 2001-09-12 2003-11-20 Pinotage Llc System and method for obtaining and utilizing maintenance information
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법
KR101357598B1 (ko) * 2013-01-29 2014-02-06 자동차부품연구원 증강현실을 이용한 차량 탑승자 구조 정보 제공 방법
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR101384627B1 (ko) * 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
KR20150074429A (ko) * 2013-12-24 2015-07-02 전자부품연구원 가상자원의 위치정보 매핑 방법 및 장치
TW201640416A (zh) * 2015-01-13 2016-11-16 Nec Corp 對象顯示系統、管理裝置、對象顯示方法以及記憶有管理程式之記錄媒體
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
US20170213390A1 (en) * 2016-01-22 2017-07-27 Locus Energy, Inc. Augmented reality tools for pv solar and/or storage system site survey, installation, commissioning, and operation and maintenance supported by on-site data collection
KR20170126843A (ko) * 2017-11-13 2017-11-20 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215128A1 (en) * 2001-09-12 2003-11-20 Pinotage Llc System and method for obtaining and utilizing maintenance information
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR101384627B1 (ko) * 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법
KR101357598B1 (ko) * 2013-01-29 2014-02-06 자동차부품연구원 증강현실을 이용한 차량 탑승자 구조 정보 제공 방법
KR20150074429A (ko) * 2013-12-24 2015-07-02 전자부품연구원 가상자원의 위치정보 매핑 방법 및 장치
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
TW201640416A (zh) * 2015-01-13 2016-11-16 Nec Corp 對象顯示系統、管理裝置、對象顯示方法以及記憶有管理程式之記錄媒體
US20170213390A1 (en) * 2016-01-22 2017-07-27 Locus Energy, Inc. Augmented reality tools for pv solar and/or storage system site survey, installation, commissioning, and operation and maintenance supported by on-site data collection
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
KR20170126843A (ko) * 2017-11-13 2017-11-20 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S AROMAA,ET AL.: "Use of wearable and augmented reality technologies in industrial maintenance work", 《ACADEMICMINDTREK "16》 *
赵守伟: "增强现实辅助维修关键技术研究", 《中国优秀博士学位论文全文数据库-信息科技辑》 *
赵新灿: "增强现实维修诱导系统关键技术研究", 《中国优秀博士学位论文全文数据库-工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361024A (zh) * 2021-04-25 2021-09-07 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法
CN113361024B (zh) * 2021-04-25 2023-12-12 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法

Also Published As

Publication number Publication date
WO2019164057A1 (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
EP3520045B1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
CN107431786B (zh) 图像处理设备、图像处理系统和图像处理方法
CN111402294B (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
WO2012014430A1 (ja) 移動体検出装置および移動体検出方法
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN102369549B (zh) 用于估计物体位置的信息创建设备、用于估计物体位置的信息创建方法
JP2023015989A (ja) 物品識別および追跡システム
CN108198172B (zh) 图像显著性检测方法和装置
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
US11823394B2 (en) Information processing apparatus and method for aligning captured image and object
EP3349142B1 (en) Information processing device and method
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
EP3410396B1 (en) Moving object tracking apparatus, moving object tracking method, and computer-readable medium
CN113362441B (zh) 三维重建方法、装置、计算机设备和存储介质
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
CN114120301A (zh) 一种位姿确定方法、装置及设备
KR101874461B1 (ko) 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
CN114185073A (zh) 一种位姿显示方法、装置及系统
CN115810179A (zh) 一种人车视觉感知信息融合方法及系统
KR101906560B1 (ko) 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
CN110546677A (zh) 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备
CN112446355A (zh) 一种公共场所行人识别方法及人流统计系统
US10847048B2 (en) Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191206

WD01 Invention patent application deemed withdrawn after publication