KR20220081599A - 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법 - Google Patents

3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법 Download PDF

Info

Publication number
KR20220081599A
KR20220081599A KR1020200171262A KR20200171262A KR20220081599A KR 20220081599 A KR20220081599 A KR 20220081599A KR 1020200171262 A KR1020200171262 A KR 1020200171262A KR 20200171262 A KR20200171262 A KR 20200171262A KR 20220081599 A KR20220081599 A KR 20220081599A
Authority
KR
South Korea
Prior art keywords
practice
virtual
maintenance
scenario
equipment
Prior art date
Application number
KR1020200171262A
Other languages
English (en)
Other versions
KR102469149B1 (ko
Inventor
조재구
Original Assignee
제이나인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제이나인 주식회사 filed Critical 제이나인 주식회사
Priority to KR1020200171262A priority Critical patent/KR102469149B1/ko
Publication of KR20220081599A publication Critical patent/KR20220081599A/ko
Application granted granted Critical
Publication of KR102469149B1 publication Critical patent/KR102469149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0069—Engineering, e.g. mechanical, electrical design

Abstract

본 발명은 3차원 설계데이터 기반 실물 객체 다방향 인식시스템에 관한 것으로서, 보다 상세하게는 가상 현실을 이용한 3차원 설계데이터 기반 일반 장비 정비 실습 시스템 및 이의 동작 방법을 제공하는 실물 객체 다방향 인식시스템에 관한 것이다.
본 발명은 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식하고, 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시하는 가상 정비 실습 제공 장치; 상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공하는 통신부; 상기 실습자의 동작에 응답하여 고장 상황이 입력되면 구성품의 고장에 대하여 상기 가상 정비 실습 제공 장치를 이용하여 정비사가 고장을 찾아낼 수 있도록 실습 상황을 구성하는 제어부;를 포함하고, 상기 제어부는, 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 가상고장 실습 시나리오 변환부;
상기 가상고장 모의실습을 위한 정비 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 설비/기기 및 배경 3D 모델링부; 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 실습도구 3D 모델링부;를 포함한다.

Description

3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법{Real object multi-directional recognition training system based on 3D design data and the method using it}
본 발명은 3차원 설계데이터 기반 실물 객체 다방향 인식시스템에 관한 것으로서, 보다 상세하게는 가상 현실을 이용하여 실제 정비 대상의 실제 없이 가상 현실상에서 3차원 렌더링된 정비 대상 객체를 대상으로 모형 공구를 이용하여 실습자가 정비 실습을 수행하도록 하는 3차원 설계데이터 기반 일반 장비 시스템 및 이의 동작 방법을 제공하는 실물 객체 다방향 인식시스템에 관한 것이다.
가상 현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서 그것을 사용하는 사람이 마치 실제 주변상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터(Human-Computer) 사이의 인터페이스를 말한다.
이러한 가상 현실은 실습 시스템에 적용되어 실습자가 가상 현실 기기를 착용하여 가상의 실습 환경에 참여함으로써 실습의 몰입 효과를 높이는 몰입형 가상 환경 기술로 발전하였다.
가상 현실 기술들은 실습자로 하여금 컴퓨터 시뮬레이션 환경과 상호작용이 이루어질 수 있도록 발전되었으며, 최근 이러한 가상 현실 기술들을 적용한 게임과 마케팅, 교육 컨텐츠 등이 등장하면서 가상의 3차원(3D) 현상을 실습자가 손쉽게 동적 제어하기 위한 기술이 개발되어 왔다.
이러한 기술들의 대표적으로 HMD(Head Mounted Display) 방식은 실습자가 별도의 VR 컨트롤러를 조작함으로써, 가상의 3D 형상을 동적 제어하며, 디스플레이 방식은 실습자가 화면 상의 손가락 터치를 통해 가상의 3D 형상을 동적으로 제어한다.
이러한 종래의 가상 현실 환경에서 실습자에게 정비 실습을 제공하기 위해서는, 단순히 가상 현실 환경 내에서 정비 위치(Marker)를 실습자가 터치하고, 실습자에게 정비 절차를 숙달시키도록 하는 방식을 사용했다.
그러나 이러한 종래 방식의 가상 현실상의 가상 정비 실습 방식의 경우, 실습자에 대한 정비 절차의 학습은 숙달이 가능하나, 실제 정비를 위해 사용하는 공구 사용에 대해서는 숙달이 어려운 문제가 존재한다.
한편, 햅틱스(햅틱 자극)는 인간의 감각운동 능력을 이해하고 이에 기반하여 실제환경, 가상환경, 증강환경 등 다양한 상황에서 사용자와 컴퓨터간의 물리적 상호작용에 대한 시스템을 연구하는 학문이다. 쉽게 얘기하면 사용자가 가상의 물체를 손으로 만질 수 있도록 해 준다.
그리고 햅틱스는 1990년대 후반부터 많은 연구가 이루어지기 시작한 신생학문이다.
시청각 장애인을 위한 통신 보조도구의 연구에서 발전하여 현재 학계나 산업체에서 활발한 연구가 이루어지고 가상/증강 현실, 로봇, 일반 소비자 가전, 의료 등 다양한 분야에 응용되고 있다.
그러나 설계데이터 기반 일반 장비 정비 실습 시스템 등에는 아직 활발히 사용되지 못하는 실정이어서 실습자들의 몰입 효과를 높이기 어려운 문제점이 있었다.
국내 등록특허공보 제10-2012835호(2019. 08. 21. 공고)
상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명은 가상 현실을 이용한 고가 장비 정비 실습 시스템 및 이의 동작 방법에 의하면, 실제 정비 대상의 실제 없이 가상 현실 상에서 3차원 렌더링된 정비 대상 객체를 대상으로 모형 공구를 이용하여 실습자가 정비 실습을 수행하도록 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템을 제공하는 데 목적이 있다.
본 발명은 고가 장비의 특성상 그의 인가 및 취급이 어렵고, 매우 고가인 장비에 대하여 실제 정비를 통한 학습 없이도, 가상 현실을 통한 정비 실습을 실습자에게 시킬 수 있는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템을 제공하는 데 목적이 있다.
상기 과제를 해결하기 위하여 본 발명은 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식하고, 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시하는 가상 정비 실습 제공 장치; 상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공하는 통신부; 상기 실습자의 동작에 응답하여 고장 상황이 입력되면 구성품의 고장에 대하여 상기 가상 정비 실습 제공 장치를 이용하여 정비사가 고장을 찾아낼 수 있도록 실습 상황을 구성하는 제어부;를 포함하고, 상기 제어부는, 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 가상고장 실습 시나리오 변환부; 상기 가상고장 모의실습을 위한 정비 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 설비/기기 및 배경 3D 모델링부; 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 실습도구 3D 모델링부;를 포함한다.
상기 가상 정비 실습 제공 장치는, 실습자의 손에 의해 파지되는 파지부를 포함할 수 있으며, 파지부의 상측에는 중공과 진동 모터가 형성되며, 상기 실습자가 가상고장 실습 시나리오 변환부(111)가 제공하는 정비 시나리오에 따라 제공되는 실습 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생하는 햅틱 글러브;에 연결되며, 상기 실습도구 3D 모델링부의 실습도구는 상기 햅틱 글러브의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경 3D 모델링부가 제공하는 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 정비 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부가 제어 명령을 전송한다.
상기 가상 정비 실습 제공 장치는, 상기 실습자의 두부에 장착되어 상기 생성된 정비 실습 컨텐츠를 상기 실습자에게 제공하는 HMD(Head Mounded Display);에 연결되며, 상기 가상 고장 모의실습의 정비에 필요한 툴 안내 데이터 및 툴 사용 절차 안내 데이터를 포함하는 컨텐츠 제공 중에 음성 인식부로부터 음성이 인식되면, 인식된 음성에 대응하는 상기 제어부가 제어명령을 수행하여 컨텐츠를 제어하고, 상기 HMD는 가상 고장 모의실습 절차 VR 영상 제공 중에 제어부로부터 사진, 동영상, 문자 메시지를 포함하는 컨텐츠가 전송되면, 가상 고장 모의실습에 따른 VR 영상과 함께 디스플레이하며, 상기 실습도구 3D 모델링부의 실습도구는 상기 HMD의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경 3D 모델링부가 제공하는 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 가상고장 실습 시나리오 변환부가 제공하는 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부가 제어 명령을 전송한다.
상기 가상 정비 실습 제공 장치는, 상기 가상 현실 상의 정비 객체에 대한 상기 실습자의 제어 신호인 제2 햅틱 신호를 발생하는 복수개의 가상 현실 컨트롤러;에 연결되며, 상기 실습도구 3D 모델링부의 실습도구는 상기 가상 현실 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경을 이용한 가상 고장 모의실습을 위한 시나리오에 기반하고, 상기 가상 고장 모의실습과 관련된 상기 실습자의 경력 정보 중 적어도 하나의 정보를 이용하여 선행지식 수준 정보를 생성하되, 제1 가중치, 제2 가중치, 및 상기 평가 정보 중에서 선택된 정보에 상기 제1 가중치를 적용하여 얻은 값, 및 상기 경력 정보에 상기 제2 가중치를 적용하여 얻은 값을 이용하여 상기 선행지식 수준 정보를 상기 제어부가 제공한다.
상기 가상 정비 실습 제공 장치는, 상기 가상 고장 모의실습에 따른 고장 대상 물품 관리 정보, 치공구 관리 정보, 점검 항목 관리 정보, 및 기타 항목 관리 정보를 포함하는 데이터베이스;를 포함하고, 상기 데이터베이스는 모션 센서로부터 상기 실습자의 동작에 관한 동작 정보를 수신하여 저장하고, 상기 동작 정보에 기반하여 상기 제어부는 데이터베이스에서 추출된 정비 교육을 수행하도록 제어한다.
상기 가상고장 실습 시나리오 변환부는, 상기 가상 고장 모의실습을 실행한 실습성과를 판단하여 다음에 실습할 실습 시나리오를 결정하여 제시하며, 실습횟수가 누적될수록 상기 실습결과 DB 서버에 저장된 실습 이력, 사고 이력 및 실습 패턴을 토대로 상기 조업자가 실습해야 할 실습 시나리오를 결정하여 제시하고, 상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함한다.
본 발명은 가상 정비 실습 제공 장치가 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시하는 단계; 통신부가 상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공하는 단계; 모션 센서가 상기 가상 정비 실습 제공 장치의 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식하는 단계; 가상고장 실습 시나리오 변환부가 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 단계; 설비/기기 및 배경 3D 모델링부가 상기 가상고장 모의실습을 위한 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 단계; 실습도구 3D 모델링부가 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 단계;로 이루어진다.
상기와 같이 이루어지는 본 발명은 3차원 설계데이터 기반으로 하여 실습자에게 실제 환경에서의 정비 실습 절차에서의 공구 사용을 통한 정비 숙달도와 동일한 효과를 제공할 수 있다.
상기와 같이 구성되는 본 발명의 실시예에 따른 고가 장비 정비 실습 시스템 및 이의 동작 방법에 의하면, 특성상 그의 인가 및 취급이 어렵고, 매우 고가인 장비에 대하여 실제 정비를 통한 학습 없이도, 가상 현실을 통한 정비 실습을 실습자에게 시킬 수 있는 효과가 있다.
도 1은 종래 발명에 따른 가상 현실 시스템을 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 설계데이터 기반 실물 객체 다방향 인식시스템의 개략적인 구성을 보여주는 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 설계데이터 기반 실물 객체 다방향 인식시스템의 세부적인 구성을 보여주는 도면이다.
도 4는 본 발명의 일실시예에 따른 햅틱 글러브의 동작 정보를 수신하고, 제어 명령을 전송하는 것을 보여주는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 HMD의 동작 정보를 수신하고, 제어 명령을 전송하는 것을 보여주는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 가상 현실 컨트롤러의 제1 가중치, 제2 가중치 등을 이용하여 제어하는 것을 보여주는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 데이터베이스에서 추출된 정비 교육을 수행하도록 제어하는 것을 보여주는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 햅틱 자극을 보여주는 그래프 도면이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 2와 도 3에 도시된 바와 같이 본 발명의 실물 객체 다방향 인식시스템(100)은 가상 정비 실습 제공 장치(110), 통신부(120), 제어부(130)를 포함한다.
가상 정비 실습 제공 장치(110)는 3차원 공간상의 위치 정보를 획득하여 실습자의 동작을 인식하고, 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실상으로 표시하는 장치이다.
가상 정비 실습 제공 장치(110)는 가상고장 실습 시나리오 변환부(111), 설비/기기 및 배경 3D 모델링부(112), 실습도구 3D 모델링부(113)를 포함한다.
또한, 가상 정비 실습 제공 장치(110)는 촉감 인터페이스인 햅틱 글러브(210), HMD(Head Mounted Display)(220), 가상 현실 컨트롤러(230), 모션센서 등과 연결된다.
가상 정비 실습 제공 장치(100)의 각 구성은 예시적인 것이며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다.
햅틱 글러브(210)는 실습자가 가상 현실상에서 정비 대상 장비에 대해 정비 시나리오에 따라 가상 정비를 수행할 때 필요한 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생한다.
여기서 상기 제1 햅틱 신호는 상기 실습자가 햅틱 글러브(210)를 착용하여 모형 공구를 움켜쥐거나, 모형 공구의 용도에 따른 정비 작업(예컨대, 드라이버를 사용한 회전 동작 등) 시 발생되는 신호를 포함할 수 있으며, 본 발명의 일실시 예에 따른 HMD(220)는 상기 실습자의 두부에 장착되어 상기 생성된 정비 교육 컨텐츠를 가상 현실상으로 제공한다.
가상 현실 컨트롤러(230)는 상기 HMD가 제공하는 가상 현실 학습 컨텐츠 상의 객체에 대한 상기 실습자의 제어 신호인 제2 햅틱 신호를 발생한다.
여기서, 상기 제2 햅틱 신호는 상기 실습자가 상기 가상 현실 학습 컨텐츠 상의 객체를 선택하고, 가상 현실 환경을 제어하기 위한 신호이다.
모션센서는 상기 햅틱 글러브(210), 상기 HMD(220) 및 상기 가상 현실 컨트롤러(230)의 3차원 공간상의 위치 정보를 획득하여 실습자의 동작을 인식한다.
통신부(120)는 상기 제1 햅틱 신호, 상기 제2 햅틱 신호 및 상기 위치 정보를 상기 가상 정비 실습 제공 장치(110)로 제공한다.
상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다.
예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
제어부(130)는 상기 실습자의 동작에 응답하여 고장 상황이 입력되면 구성품의 고장에 대하여 상기 가상 정비 실습 제공 장치를 이용하여 정비사가 고장을 찾아낼 수 있도록 실습 상황을 구성한다.
구체적으로 상기 제어부(130)는 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 가상고장 실습 시나리오 변환부(111), 상기 가상고장 모의실습을 위한 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 설비/기기 및 배경 3D 모델링부(112), 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 실습도구 3D 모델링부(113)를 포함한다.
이하 도 4와 도 7을 참고하여, 본 발명의 다양한 실시예를 설명한다.
상기 가상 정비 실습 제공 장치(110)는 실습자의 손에 의해 파지되는 파지부를 포함할 수 있으며, 파지부의 상측에는 중공과 진동 모터가 형성되며, 상기 실습자가 상기 가상고장 실습 시나리오 변환부(111)가 제공하는 정비 시나리오에 따라 제공되는 실습 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생하는 햅틱 글러브(210)에 연결된다.
상기 실습도구 3D 모델링부(113)의 실습도구는 상기 햅틱 글러브의 동작 정보를 수신한다.
상기 설비/기기 및 배경 3D 모델링부(112)는 상기 동작 정보와 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 가상고장 실습 시나리오 변환부(111)가 제공하는 정비 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부(130)가 제어 명령을 전송한다.
상기 가상 정비 실습 제공 장치(110)는 상기 실습자의 두부에 장착되어 상기 생성된 정비 실습 컨텐츠를 상기 실습자에게 제공하는 HMD(220);에 연결되며, 상기 가상 고장 모의실습의 정비에 필요한 툴 안내 데이터 및 툴 사용 절차 안내 데이터를 포함하는 컨텐츠 제공 중에 음성 인식부로부터 음성이 인식되면, 인식된 음성에 대응하는 상기 제어부(130)가 제어명령을 수행하여 컨텐츠를 제어한다.
상기 HMD(220)는 가상 고장 모의실습 절차 VR 영상 제공 중에 제어부(130)로부터 외부 정비 관련 사진, 동영상, 문자 메시지를 포함하는 컨텐츠가 전송되면, 가상 고장 모의실습에 따른 VR 영상과 함께 디스플레이한다.
상기 실습도구 3D 모델링부(113)의 실습도구는 상기 HMD의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경 3D 모델링부(112)가 제공하는 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 가상고장 실습 시나리오 변환부(111)가 제공하는 정비 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부(130)가 제어 명령을 전송한다.
상기 가상 정비 실습 제공 장치(110)는 상기 가상 현실 상의 정비 객체에 대한 상기 실습자의 제어 신호인 제2 햅틱 신호를 발생하는 복수개의 가상 현실 컨트롤러(230)에 연결된다.
상기 실습도구 3D 모델링부(113)의 실습도구는 상기 가상 현실 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경을 이용한 가상 고장 모의실습을 위한 시나리오에 기반하고, 상기 가상 고장 모의실습과 관련된 상기 실습자의 경력 정보 중 적어도 하나의 정보를 이용하여 선행지식 수준 정보를 생성하되, 제1 가중치, 제2 가중치, 및 상기 평가 정보 중에서 선택된 정보에 상기 제1 가중치를 적용하여 얻은 값, 및 상기 경력 정보에 상기 제2 가중치를 적용하여 얻은 값을 이용하여 상기 선행지식 수준 정보를 상기 제어부(130)가 제공한다.
상기 가상 정비 실습 제공 장치(110)는 상기 가상 고장 모의실습에 따른 고장 대상 물품 관리 정보, 치공구 관리 정보, 점검 항목 관리 정보, 및 기타 항목 관리 정보를 포함하는 데이터베이스(114)를 포함한다.
상기 데이터베이스(114)는 모션 센서로부터 상기 실습자의 동작에 관한 동작 정보를 수신하여 저장하고, 상기 동작 정보에 기반하여 상기 제어부(130)는 데이터베이스에서 추출된 정비 교육을 수행하도록 제어한다.
상기 가상고장 실습 시나리오 변환부(111)는 상기 가상 고장 모의실습을 실행한 실습성과를 판단하여 다음에 실습할 실습 시나리오를 결정하여 제시하며, 실습횟수가 누적될수록 상기 실습결과 DB 서버에 저장된 실습 이력, 사고 이력 및 실습 패턴을 토대로 상기 조업자가 실습해야 할 실습 시나리오를 결정하여 제시한다.
상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함한다.
이상에서 설명된 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 하드웨어 구성요소, 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.
예를 들어, 3차원 설계데이터 기반 실물 객체 다방향 인식시스템의 하드웨어 구성요소는 AI 알고리듬 명령(instruction)을 실행하고 응답할 수 있는 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
상기 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.
3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.
예를 들어, 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.
또한, 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
특히 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
상기 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.
도 8에 도시된 바와 같이 베버-페히너의 법칙이란 감각기에서 자극의 변화를 느끼기 위해서는 처음 자극에 대해 일정 비율 이상으로 자극을 받아야 된다는 이론을 말한다.
즉, 처음에 약한 자극을 받으면 자극의 변화가 적어도 그 변화를 인지할 수 있다.
하지만 처음에 강한 자극을 받으면 자극의 변화가 커야 그 변화를 인지할 수 있는 것이다.
따라서 본 발명에 따른 베버의 법칙은 3차원 설계데이터 기반 실물 객체 다방향 인식시스템은 다음과 같이 정의된 수학식을 이용 할 수 있다.
수학식 1에서 p는 자극을 인식하는 정도를 수치화한 것이고, S는 자극의 강도를 의미한다. 그리고 k는 비례상수이며, 베버 상수라고 한다.
Figure pat00001
햅틱 반응에서 최소식별차(Just Noticeable Difference; JND)를 일으키기 위해 필요한 물리적 자극의 강도의 증가가 다른 자극 수준들에 걸쳐 일관된 방식으로 변한다.
Figure pat00002
예를 들어 상기 수학식 2와 같이 햅틱 강도가 더 낮은 강도 수준에서 JND를 일으키기 위해서는 더 높은 강도 수준에서보다 더 작은 강도 변화가 요구된다.
이 때 "I" 를 자극의 강도, 상수 "k" 를 베버 소수(Weber's fraction)라고 하면, 다음의 수식이 나온다.
즉, 자극 강도상의 변화값을 최초의 강도와 비교한 값이 바로 베버 소수이며, 이 수가 작을수록 JND를 일으키기 위해서는 더 작은 변화만이 요구되기 때문에 더 나은 식별 능력을 가질 수 있음을 의미한다.
상술한 본 발명에서 사용되는 AI 3차원 설계데이터 생성 기능을 갖는 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 복수의 실물 객체 다방향 인식 시스템 정보를 연계하여 데이터를 전처리하는 단계, 전처리 과정을 거친 상기 데이터 세트를 생성하는 프로그램 명령과 3차원 설계데이터의 개별 정보, 실물 객체를 다방향으로 인식한 3차원 설계데이터의 θ 및 기울기의 크기를 나타내는 Z 값 정보 등이 저장되는 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이러한 전처리 데이터 중 결측된 데이터가 존재하는지 판단하고, 결측된 데이터가 존재하는 경우, 결측된 데이터에 해당하는 값을 보간법을 이용하여 결측 데이터를 산출하여 상기 메모리에 추가 입력한다.
상기 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하 본 발명의 실시를 위한 3차원 설계데이터 기반 실물 객체 다방향 인식시스템을 이용한 정비 실습 방법에 대하여 자세히 설명한다.
먼저 가상 정비 실습 제공 장치가 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시한다.
그리고 통신부가 상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공한다.
또한 모션 센서가 상기 가상 정비 실습 제공 장치의 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식한다.
그리고 가상고장 실습 시나리오 변환부가 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환한다.
계속하여 설비/기기 및 배경 3D 모델링부가 상기 가상고장 모의실습을 위한 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링한다.
마지막으로 실습도구 3D 모델링부가 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링한다.
100 : 실물 객체 다방향 인식시스템
110 : 가상 정비 실습 제공 장치
111 : 가상고장 실습 시나리오 변환부
112 : 설비/기기 및 배경 3D 모델링부
113 : 실습도구 3D 모델링부
210 : 촉감 인터페이스인 햅틱 글러브
220 : HMD(Head Mounted Display)
230 : 가상 현실 컨트롤러
120 : 통신부
130 : 제어부

Claims (7)

  1. 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식하고, 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시하는 가상 정비 실습 제공 장치;
    상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공하는 통신부;
    상기 실습자의 동작에 응답하여 고장 상황이 입력되면 구성품의 고장에 대하여 상기 가상 정비 실습 제공 장치를 이용하여 정비사가 고장을 찾아낼 수 있도록 실습 상황을 구성하는 제어부;를 포함하고,
    상기 제어부는,
    상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 가상고장 실습 시나리오 변환부;
    상기 가상고장 모의실습을 위한 정비 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 설비/기기 및 배경 3D 모델링부;
    상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 실습도구 3D 모델링부;를 포함하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  2. 청구항 1에 있어서,
    상기 가상 정비 실습 제공 장치는,
    실습자의 손에 의해 파지되는 파지부를 포함할 수 있으며, 파지부의 상측에는 중공과 진동 모터가 형성되며, 상기 실습자가 가상고장 실습 시나리오 변환부(111)가 제공하는 정비 시나리오에 따라 제공되는 실습 모형 공구를 조작함에 따라 발생하는 제1 햅틱 신호를 발생하는 햅틱 글러브;에 연결되며,
    상기 실습도구 3D 모델링부의 실습도구는 상기 햅틱 글러브의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경 3D 모델링부가 제공하는 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 정비 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부가 제어 명령을 전송하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  3. 청구항 1에 있어서,
    상기 가상 정비 실습 제공 장치는,
    상기 실습자의 두부에 장착되어 상기 생성된 정비 실습 컨텐츠를 상기 실습자에게 제공하는 HMD(Head Mounded Display);에 연결되며,
    상기 가상 고장 모의실습의 정비에 필요한 툴 안내 데이터 및 툴 사용 절차 안내 데이터를 포함하는 컨텐츠 제공 중에 음성 인식부로부터 음성이 인식되면, 인식된 음성에 대응하는 상기 제어부가 제어명령을 수행하여 컨텐츠를 제어하고,
    상기 HMD는 가상 고장 모의실습 절차 VR 영상 제공 중에 제어부로부터 사진, 동영상, 문자 메시지를 포함하는 컨텐츠가 전송되면, 가상 고장 모의실습에 따른 VR 영상과 함께 디스플레이하며,
    상기 실습도구 3D 모델링부의 실습도구는 상기 HMD의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경 3D 모델링부가 제공하는 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 가상고장 실습 시나리오 변환부가 제공하는 시나리오에 기반하여 상기 정비 교육이 정상 진행하도록 상기 제어부가 제어 명령을 전송하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  4. 청구항 1 또는 청구항 3에 있어서,
    상기 가상 정비 실습 제공 장치는,
    상기 가상 현실 상의 정비 객체에 대한 상기 실습자의 제어 신호인 제2 햅틱 신호를 발생하는 복수개의 가상 현실 컨트롤러;에 연결되며,
    상기 실습도구 3D 모델링부의 실습도구는 상기 가상 현실 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보와 설비/기기 및 배경을 이용한 가상 고장 모의실습을 위한 시나리오에 기반하고,
    상기 가상 고장 모의실습과 관련된 상기 실습자의 경력 정보 중 적어도 하나의 정보를 이용하여 선행지식 수준 정보를 생성하되, 제1 가중치, 제2 가중치, 및 상기 평가 정보 중에서 선택된 정보에 상기 제1 가중치를 적용하여 얻은 값, 및 상기 경력 정보에 상기 제2 가중치를 적용하여 얻은 값을 이용하여 상기 선행지식 수준 정보를 상기 제어부가 제공하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  5. 청구항 1에 있어서,
    상기 가상 정비 실습 제공 장치는,
    상기 가상 고장 모의실습에 따른 고장 대상 물품 관리 정보, 치공구 관리 정보, 점검 항목 관리 정보, 및 기타 항목 관리 정보를 포함하는 데이터베이스;를 포함하고,
    상기 데이터베이스는 모션 센서로부터 상기 실습자의 동작에 관한 동작 정보를 수신하여 저장하고, 상기 동작 정보에 기반하여 상기 제어부는 데이터베이스에서 추출된 정비 교육을 수행하도록 제어하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  6. 청구항 3에 있어서,
    상기 가상고장 실습 시나리오 변환부는,
    상기 가상 고장 모의실습을 실행한 실습성과를 판단하여 다음에 실습할 실습 시나리오를 결정하여 제시하며, 실습횟수가 누적될수록 상기 실습결과 DB 서버에 저장된 실습 이력, 사고 이력 및 실습 패턴을 토대로 상기 조업자가 실습해야 할 실습 시나리오를 결정하여 제시하고,
    상기 정비 대상 장비의 정비 내역, 상기 정비 대상 장비의 정비 시나리오, 상기 정비 대상 장비에 대한 정비 가이드 정보, 상기 정비 대상 장비의 정비 시나리오 상에서 상기 모형 공구가 위치해야 하는 위치 정보(Marker)를 포함하는 것을 특징으로 하는 3차원 설계데이터 기반 실물 객체 다방향 인식시스템.
  7. 가상 정비 실습 제공 장치가 가상 고장 모의실습 절차의 실습자가 생성하는 햅틱 신호를 가상 현실 상으로 표시하는 단계;
    통신부가 상기 햅틱 신호를 상기 가상 정비 실습 제공 장치로 제공하는 단계;
    모션 센서가 상기 가상 정비 실습 제공 장치의 3차원 공간 상의 위치 정보를 획득하여 실습자의 동작을 인식하는 단계;
    가상고장 실습 시나리오 변환부가 상기 가상 고장 모의실습 절차에 따른 시나리오를 가상고장 모의실습의 목적 및 대상에 적합하도록 변환하는 단계;
    설비/기기 및 배경 3D 모델링부가 상기 가상고장 모의실습을 위한 시나리오에 적합하도록 설비/기기 및 배경을 3D 모델링하는 단계;
    실습도구 3D 모델링부가 상기 3D 모델링이 이루어진 설비/기기 및 배경을 이용한 가상고장 모의실습을 위한 시나리오 진행을 위한 실습도구를 3D 모델링하는 단계;로 이루어진 3차원 설계데이터 기반 실물 객체 다방향 인식시스템을 이용한 정비 방법.
KR1020200171262A 2020-12-09 2020-12-09 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법 KR102469149B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200171262A KR102469149B1 (ko) 2020-12-09 2020-12-09 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200171262A KR102469149B1 (ko) 2020-12-09 2020-12-09 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220081599A true KR20220081599A (ko) 2022-06-16
KR102469149B1 KR102469149B1 (ko) 2022-11-22

Family

ID=82217581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200171262A KR102469149B1 (ko) 2020-12-09 2020-12-09 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102469149B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565424B1 (ko) * 2022-12-29 2023-08-08 현대건설(주) 증강현실 기반 건설장비의 안전교육 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636360B1 (ko) * 2015-10-26 2016-07-06 국방과학연구소 가상 현실을 이용한 가상 정비 훈련 시스템
KR20160136135A (ko) * 2015-05-19 2016-11-29 엘아이지넥스원 주식회사 훈련용 사용자 맞춤형 화면 제공 장치 및 방법
KR102012835B1 (ko) 2017-12-29 2019-08-21 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법
KR20200114856A (ko) * 2019-03-29 2020-10-07 한국동서발전(주) 가상고장 모의훈련 콘텐츠를 이용한 발전소 고장 대비 훈련 시스템 및 방법
KR102165692B1 (ko) * 2019-07-23 2020-11-04 한화시스템 주식회사 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136135A (ko) * 2015-05-19 2016-11-29 엘아이지넥스원 주식회사 훈련용 사용자 맞춤형 화면 제공 장치 및 방법
KR101636360B1 (ko) * 2015-10-26 2016-07-06 국방과학연구소 가상 현실을 이용한 가상 정비 훈련 시스템
KR102012835B1 (ko) 2017-12-29 2019-08-21 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
KR20200114856A (ko) * 2019-03-29 2020-10-07 한국동서발전(주) 가상고장 모의훈련 콘텐츠를 이용한 발전소 고장 대비 훈련 시스템 및 방법
KR102104326B1 (ko) * 2019-06-28 2020-04-27 한화시스템 주식회사 증강현실 기반 정비 교육 시스템 및 방법
KR102165692B1 (ko) * 2019-07-23 2020-11-04 한화시스템 주식회사 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565424B1 (ko) * 2022-12-29 2023-08-08 현대건설(주) 증강현실 기반 건설장비의 안전교육 시스템 및 방법

Also Published As

Publication number Publication date
KR102469149B1 (ko) 2022-11-22

Similar Documents

Publication Publication Date Title
Wang et al. Real-virtual components interaction for assembly simulation and planning
US10751877B2 (en) Industrial robot training using mixed reality
Delmerico et al. Spatial computing and intuitive interaction: Bringing mixed reality and robotics together
Xia Haptics for product design and manufacturing simulation
CN112428270A (zh) 用于灵活的人机协作的系统和方法
Ma et al. A framework for interactive work design based on motion tracking, simulation, and analysis
Sagardia et al. A platform for bimanual virtual assembly training with haptic feedback in large multi-object environments
KR102469149B1 (ko) 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
JP6632095B1 (ja) 学習済モデル生成装置、ロボット制御装置、及び、プログラム
Han et al. Vr-handnet: A visually and physically plausible hand manipulation system in virtual reality
Ong et al. 3D bare-hand interactions enabling ubiquitous interactions with smart objects
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
Ben Amor et al. Special issue on autonomous grasping and manipulation
US20210232289A1 (en) Virtual user detection
Papadopoulos et al. An Advanced Human-Robot Interaction Interface for Teaching Collaborative Robots New Assembly Tasks
Marín et al. A predictive interface based on virtual and augmented reality for task specification in a Web telerobotic system
Jiang et al. Flexible virtual fixture enhanced by vision and haptics for unstructured environment teleoperation
KR20200036261A (ko) 가상 객체 접촉시 실감 피드백을 제공하는 방법 및 이를 위한 장치
WO2019244112A1 (en) Teleoperation with a wearable sensor system
Ciobanu et al. Tactile controller using fuzzy logic for robot inhand manipulation
Grzejszczak et al. Selection of Methods for Intuitive, Haptic Control of the Underwater Vehicle’s Manipulator
Nahari Creating a Data Acquisition Platform for Robot Skill Training
KR102612430B1 (ko) 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
Omarali Exploring Robot Teleoperation in Virtual Reality
de Nóbrega Nogueira Self-adaptive Cobots in Cyber-Physical Production Systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant