KR102597124B1 - 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 - Google Patents
산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 Download PDFInfo
- Publication number
- KR102597124B1 KR102597124B1 KR1020210001326A KR20210001326A KR102597124B1 KR 102597124 B1 KR102597124 B1 KR 102597124B1 KR 1020210001326 A KR1020210001326 A KR 1020210001326A KR 20210001326 A KR20210001326 A KR 20210001326A KR 102597124 B1 KR102597124 B1 KR 102597124B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- reality content
- content
- standard architecture
- industry standard
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 95
- 238000004891 communication Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
본 발명의 산업 현장에서 작업자들이 실시간으로, 장비와 관련된 증강현실 기반의 작업 가이드를 위한 증강현실 콘텐츠를 저작하고 더 나아가,작업을 가이드할 수 있는 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼을 제공하여, 전문지식이 없는 작업자가 산업현장에서도 직관적으로 증강현실 콘텐츠를 쉽게 생성할 수 있도록 한다.
Description
본 발명은 산업 현장에서 작업자들이 실시간으로, 장비와 관련된 증강현실 기반의 작업 가이드를 위한 증강현실 콘텐츠를 저작하고 더 나아가, 작업을 가이드할 수 있는 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼을 제공하는 것이다.
증강현실(Augmented Reality, 이하 AR이라 함) 기술은 가상현실(Virtual Reality, 이하 VR이라 함)과 달리 사용자가 현실세계에서 가상공간의 콘텐츠 또는 서비스와 직접적이고 직관적인 상호작용을 할 수 있으며 사물에 가상정보를 덧붙여(Overlay) 다양한 정보를 제공할 수 있는 장점이 있다. 산업현장에 적용된 AR 기술 사례인 산업용 AR 콘텐츠는 작업자에게 데이터를 제공하여 조립, 수리, 검증, 모니터링, 품질관리, 교육 분야에 활용됨으로써 작업효율성(업무 효율)을 향상시키고 생산성을 개선할 수 있다.
이렇듯, 산업용 AR 콘텐츠를 산업현장에 이용하기 위해서는 기하학적 마커를 인식하여 실영상 위에 인식된 마커를 기준으로 가상의 콘텐츠를 합성하고, 가상의 콘텐츠에 대한 인터랙션을 제공하는 증강현실을 구현하기 위해서는 가상 콘텐츠와 인터랙션을 위한 조작들에 대한 많은 부분에서 설계하는 등의 많은 개발 작업이 필요하기 때문에, 개발비용이 높고 개발기간이 길어서 상용화에 있어 큰 어려움이 있다.
그러나 종래의 기술들은 PC 또는 모바일 기기에서 AR 콘텐츠를 저작하는 것에 초점이 맞춰있으므로, 산업현장의 장비 앞에서 HMD(Head-Mounted Display) 기반의 실감형 상호작용을 제공하여 직관적인 AR 콘텐츠의 저작이 가능한 기술의 필요성이 대두되었다.
본 발명의 목적은 HMD를 포함하는 AR 장치를 착용한 사용자(혹은 작업자)가 산업현장에서 PC와 가상증강현실에 관한 전문지식이 없이 직관적이고 실시간으로 증강현실 콘텐츠를 생성하기 위한 저작 시스템를 제공함에 있다.
본 발명의 또다른 목적은 상기 증강현실 콘텐츠의 저작시, 개방형 산업 표준 아키텍쳐(Open Platform Communication, OPC)에 기반하여 저작가능하도록 하여, 산업 장비와 관련된 증강현실 콘텐츠의 저작시, 상기 산업 장비의 여러 데이터들을 상기 증강현실 콘텐츠에 반영할 수 있도록 하는 데 있다.
본 발명의 또다른 목적은 상기 개방형 산업 표준 아키텍쳐와 관련된 데이터의 송수신시 적절한 보안수단을 제공하여, 성능에 지장이 없으면서도, 외부로부터의 데이터 해킹 등에 강인하도록 하는 데 있다.
본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 시스템은, HMD(Head-Mounted Display)를 착용한 작업자로부터 획득한 정보를 기반으로, 증강현실 기반의 작업공간을 생성하는 작업공간 생성모듈, 상기 생성된 작업공간에 작업자와의 인터렉션을 통해 증강현실 콘텐츠를 제작하는 실감형 증강현실 콘텐츠 저작모듈, 및 상기 증강현실 콘텐츠의 제작시, 개방형 산업 표준 아키텍쳐의 규격(standard)을 지원하도록 외부와의 통신을 지원하는 개방형 산업 표준 아키텍쳐 통신 모듈을 포함하여, 상기 작업자가 개방형 산업 표준에 연동되는 산업현장에서 직접 증강현실 콘텐츠를 실시간으로 저작할 수 있는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 작업공간 생성모듈은 영상 촬상부재를 더 포함하며, 상기 영상 촬상부재로부터 2D 영상과 3D 깊이 영상을 수집하여, 작업공간 정보 및 마커 정보를 생성하고 생성된 작업공간 정보를 상기 실감형 증강현실 콘텐츠 저작 모듈에 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 실감형 증강현실 콘텐츠 저작모듈은 상기 생성된 작업공간 정보와 마커 정보를 이용하여, 실감형 증강현실 콘텐츠를 저작하고, 상기 콘텐츠의 저작시에 가상 콘텐츠를 삽입하거나, 사용자 인터페이스를 삽입하거나, 상기 개방형 산업 표준 아키텍쳐에 연계하여, 상기 콘텐츠를 저작하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 개방형 산업 표준 아키텍쳐 통신 모듈은 상기 콘텐츠의 저작시에, 상기 산업현장의 장비와 관련된 산업 표준 아키텍쳐 데이터를 외부로부터 수신하는 것을 특징으로 한다.
본 발명의 증강현실 콘텐츠에 기반한 작업 가이드 플랫폼은 상술한 증강현실 콘텐츠 저작 시스템을 포함하며, 상기 작업자가 상기 증강현실 콘텐츠를 저작하면서, 필요한 산업 표준 아키텍쳐 데이터들을 상기 개방형 산업 표준 아키텍쳐 통신 모듈을 통해 송수신하는 개방형 산업 표준 아키텍쳐 서버; 및 상기 작업자에 의해 저작된 증강현실 콘텐츠를 보여주는 산업용 증강현실 콘텐츠 뷰어를 더 포함하는 것을 특징으로 한다.
본 발명은 산업현장에서 실감형 인터랙션을 통해 직관적이면서 쉽게 증강현실 콘텐츠를 생성할 수 있는 제작 편의성을 제공하는 효과가 있다.
또한 본 발명은 증강현실에 대한 전문적인 지식이 없는 작업자들이 산업현장에서 직관적이면서 쉽게, 개방형 산업 표준 아키텍쳐에 맞는 증강현실 콘텐츠를 저작하는 효과가 있다.
또한 본 발명은 저작자가 별도의 공간에서 증강현실 콘텐츠를 만들지 않아도 되어, 산업현장에서 필요한 증강현실 콘텐츠 제작에 필요한 시간 및 비용을 단축하는 경제적 효과가 있다.
결과적으로, 본 발명은 스마트팩토리와 같이 자동화/무인화의 환경에서, 적은 수의 공장 작업자들이 쉽게 산업현장에서의 장비에 관련된 트레이닝을 증강현실 콘텐츠를 통해 습득하도록 하는 효과가 있고, 스마트팩토리 분야에서, 증강현실 기술의 상용화를 가능하게 하는 효과가 있다.
도 1은 증강현실 콘텐츠 저작 시스템의 블록 다이어그램을 나타낸 것이다.
도 2는 작업 가이드 플랫폼의 블록 다이어그램을 나타낸 것이다.
도 3은 작업공간 생성과정을 도시화 한 것이다.
도 4는 실감형 증강현실 콘텐츠 저작 모듈의 저작 순서도를 도시한 것이다.
도 5는 산업용 증강현실 콘텐츠 뷰어의 동작 순서도를 도시한 것이다.
도 6은 산업용 증강현실 콘텐츠 저작모듈에서 작성된 시나리오의 예시도이다.
도 7 및 도 8은 작업자가 현장에서 장비에 관련된 증강현실 콘텐츠를 저작하는 실시예를 도시한 것이다.
도 2는 작업 가이드 플랫폼의 블록 다이어그램을 나타낸 것이다.
도 3은 작업공간 생성과정을 도시화 한 것이다.
도 4는 실감형 증강현실 콘텐츠 저작 모듈의 저작 순서도를 도시한 것이다.
도 5는 산업용 증강현실 콘텐츠 뷰어의 동작 순서도를 도시한 것이다.
도 6은 산업용 증강현실 콘텐츠 저작모듈에서 작성된 시나리오의 예시도이다.
도 7 및 도 8은 작업자가 현장에서 장비에 관련된 증강현실 콘텐츠를 저작하는 실시예를 도시한 것이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
상기 개방형 산업 표준 아키텍쳐는 구체적으로 OPC(Open Platform Communication)의 UA(Unified Architecture)일 수 있다.
상기 OPC UA의 경우, 스마트팩토리의 표준 통신규격이라고 볼 수 있는데, 산업 자동화 공간 및 기타 산업에서 안전하고 안정적인 데이터 교환을 위한 상호 운용성 표준으로, 플랫폼에 독립적이며 여러 공급 업체의 장치간(멀티 플랫폼)에 원활한 정보 흐름을 보장하는 특징을 갖고 있으며, 제조 시스템에서 이슈가 된 보안, 데이터 모델링, 멀티플랫폼 지원 등에 대한 새로운 요구사항을 해결할 수 있으며, 확장 가능성이 높은 특징을 갖는다.
또한, 상기 콘텐츠 저작 시스템(10000)은 상기 모듈들과 상기 모듈들의 세부적인 제공방법을 수행하는 프로세서와 상기 모듈들의 실행코드 및 결과물 등을 저장하는 메모리, 하드디스크 등의 저장매체를 포함할 수 있다.
또한, 상기 콘텐츠 저작 시스템(10000)을 포함하는 증강현실 콘텐츠에 기반한 작업 가이드 플랫폼(100000)의 세부 구성들(개방형 산업 표준 아키텍쳐 서버, 산업용 증강현실(AR) 콘텐츠 뷰어)의 세부 기능들의 수행시에도, 상술한 것과 같이 별도의 프로세서와 저장매체를 포함할 수 있다.
보다 구체적으로, 상기 작업 가이드 플랫폼(10000)은 상기 저작 시스템 및 추가적인 외부 구성(서버 및 뷰어 등)을 포함하여 하드웨어와 소프트웨어가 결합하여 제공하는 플랫폼 성격을 제공한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 시스템(10000)의 전체적인 구성을 포함하는 블록 다이어그램을 나타낸 것이다.
상기 작업공간 생성모듈(1000)은 도 1 내지 도 3에 도시된 것과 같이, 영상 촬상부재를 더 포함하며, 상기 영상 촬상부재로부터 2D 영상과 3D 깊이 영상을 수집하여, 작업공간 정보를 생성하며, 생성된 작업공간 정보 등을 후술하는 실감형 증강현실(AR) 콘텐츠 저작 모듈로 전송한다.
구체적으로, 상기 영상 촬상부재는 깊이 정보를 같이 촬상할 수 있도록 RGB-D 카메라를 사용할 수 있다.
결과적으로, 상기 작업공간 생성모듈(1000)은 상술한 RGB-D 카메라와 같은 영상 촬상부재를 통해, 마커의 인식을 위한 3D 영상과 포인트 클라우드(PointCloud, 3차원 좌표를 가지는 점들로 구성된 자료) 생성을 위한 3D 깊이 영상을 수집한다.
이 때, 상기 작업공간 생성모듈에서, 2D 영상에서는 장비에 부착된 마커의 상대위치(카메라의 위치 대비)와 위상(orientation)을 계산하여 원점좌표계로 변환하는 기능을 수행한다.
또한, 3D 깊이영상에서는 작업공간의 특징들을 추출하고 이를 후술되는 저작 모듈에서 사용 가능하도록, 포인트클라우드 정보로 변환한다.
이후 연산된 마커 기반의 원점좌표계 및 포인트클라우드 기반 공간정보는 넓은 작업공간위에 다수의 가상정보를 정확한 위치에 표시할 수 있도록 결합하여 구성된다.
이후, 상기 작업공간 생성모듈(1000)에 의해, 실감형 증강현실 콘텐츠 저작을 위한 작업공간은 원점좌표계를 기준으로 포인트클라우드 정보의 좌표 정보들을 갱신함으로써 생성된다.
최종적으로, 상기 작업공간 생성모듈(1000)에 의해 생성된 작업공간 정보, 마커 정보, 포인트클라우드 정보는 상기 실감형 증강현실(AR) 콘텐츠 저작모듈로 전송된다.
도 3과 도 8은 각각 상술한 것과 같은 마커, 포인트클라우드에 기반한 작업공간 생성과정에 대한 이론적 예시 및 실제 생성과정을 보여주도록 도시화한 것이다.
상기 실감형 증강현실 콘텐츠 저작모듈(2000)은 상기 작업공간 생성모듈(1000)로부터 전송받은 상기 마커 정보와 상기 작업공간 정보를 이용하여, 실감형 증강현실 콘텐츠를 저작하되, 상기 콘텐츠의 저작시에 가상 콘텐츠를 삽입하거나, 사용자 인터페이스를 삽입하거나, 상기 개방형 산업 표준 아키텍쳐에 연계하여, 산업 현장에서 실시간으로, 상기 콘텐츠를 저작하는 것을 특징으로 한다.
즉, HMD를 착용한 작업자가 실감형 콘텐츠를 저작하는 과정에서, 산업현장의 장비에 대해서, HMD 기반의 실제로 느껴지는 것과 같은 상호작용을 제공함으로써 보다 직관적인 AR 콘텐츠 저작활동이 실시간으로 가능하게 하는 효과를 제공한다.
이는 실감형 콘텐츠가 작업 현장에서 실시간적으로 저작되지 못하고, 다른 시간대에, 별도의 저작 공간에서 별도의 장비를 가지고 저작해야 하는 종래 기술들보다 쉽게 실감형 콘텐츠를 저작할 수 있는 효과를 제공한다.
보다 구체적인 실감형 증강현실 콘텐츠 저작모듈(200)의 저작 순서도는 도 4에 도시된 것과 같다.
즉, 작업자는 상기 HMD와의 상호 작용을 통해, 저작되는 콘텐츠와 관련된 프로젝트를 생성하고, 상기 작업공간 생성모듈(1000)로부터 수신한 작업공간 정보와 마커 정보, 포인트 클라우드 정보 등에 기반하여, 시나리오를 생성할 수 있다.
구체적으로, 프로젝트 생성부터 시나리오 생성까지는 해당 장비에 AR 콘텐츠 저작을 위한 3차원 작업공간을 생성하는 것을 의미한다.
여기서, 마커 및 작업공간 삽입은 상기 작업공간 생성모듈(1000)에서 전송된 마커 정보와 작업공간 정보를 프로젝트에 적용하는 것을 의미한다.
또한 상기 가상 콘텐츠의 삽입은 3D 모델, 문서, 텍스트 라벨, 오디오, 비디오 등과 같은 가상의 객체(object)를 상기 시나리오에 적용하는 것을 의미한다.
보다 구체적으로, 도 7 및 도 8에 도시된 것과 같이, 3D 모델은 화살표 등과 같은 가상모델들을 의미하며, 문서는 PDF와 같은 읽기전용 문서들을 의미하고, 텍스트 라벨은 3D 작업공간에서 입력된 2차원 문자들을 의미한다.
또한, 오디오는 사용자 인터페이스와 연결되어 사용자가 원하는 시점에 재생 가능한 음악 파일을 의미한다.
또한, 비디오는 3D 작업공간에 배치되어 재생 가능한 2차원 영상을 의미한다.
또한, 상기 사용자 인터페이스 삽입은 버튼, 슬라이드바, 그래프 등을 시나리오에 적용하는 것을 의미한다.
보다 구체적으로, 버튼은 사용자의 선택 제스처에 반응하여 on/off에 해당하는 액션을 제공하도록 구현될 수 있다.
또한, 슬라이드바는 사용자의 드래그 제스처에 반응하여 인터페이스 윈도우를 변형시키는 액션을 제공하도록 구현될 수 있고, 그래프란 후술되는 개방형 산업 표준 아키텍쳐 서버(20000)로부터 전송받은 데이터를 그래프로 시각화하는 액션을 제공할 수 있다.
여기서, 작업공간에 위치 지정은 도 7에서 도시된 것과 같이 사용자의 핸드 제스처에 기초한 HMD 기반의 상호작용을 통해 제어되는 것을 특징으로 한다.
상기 HMD 기반 상호작용에는 구체적으로 선택, 이동, 회전, 확대/축소의 기능을 포함할 수 있다.
결과적으로, 삽입된 상기 가상 콘텐츠, 상기 사용자 인터페이스, 상기 작업정보들의 관계를 연결하는 시나리오들은 파일의 형태로 저장되어 이후, 후술되는 산업용 증강현실(AR) 콘텐츠 뷰어(3000)에 전달된다. 보다 구체적으로, 상기 시나리오들이 저장되는 파일은 개방형 산업 표준 아키텍쳐 플랫폼에서 런타임으로 구동 가능한 에셋번들 형식으로 구현하는 것이 바람직하다.
도 6은 상술한 것과 같이 실감형 증강현실 콘텐츠 저작모듈(200)에서 상기 작업자가 저작한 시나리오에 대한 예시도이다.
도 1 내지 도 2에서 도시한 것과 같이, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)은 상기 실감형 증강현실 콘텐츠의 저작시에, 상기 산업현장의 장비와 관련된 산업 표준 아키텍쳐 데이터를 외부로부터 수신하는 것을 특징으로 한다.
이 때, 상기 산업 표준 아키텍쳐 데이터란, 상기 산업현장에서의 장비와 관련된 작업정보를 포함하며, 구체적으로는 작업잔량이나 현재 작업수행량 등의 정보를 포함할 수 있다.
또한, 상기 작업자가 상기 증강현실 콘텐츠를 저작하면서, 필요한 산업 표준 아키텍쳐 데이터들을 상기 개방형 산업 표준 아키텍쳐 통신 모듈을 통해 송수신하는 개방형 산업 표준 아키텍쳐 서버(20000) 및 상기 작업자에 의해 저작된 증강현실 콘텐츠를 보여주는 산업용 증강현실 콘텐츠 뷰어(30000)를 더 포함하는 작업자의 장비와 관련된 작업 가이드를 해줄 수 있는 플랫폼(100000)을 제공한다.
구체적으로 상기 작업 가이드 플랫폼(100000)을 이용하면, 작업자들의 장비와 관련된 트레이닝을 위한 증강현실 콘텐츠를 제공할 수 있다.
일 실시예로, 산업현장에서 특정한 장비 등을 처음 다루는 신규 작업자들을 위해, 장비의 구동이나 운전 등에 관련되어 증강현실 콘텐츠를 제공하여, 이러한 신규 작업자들이 HMD 등을 착용하고 상기 증강현실 콘텐츠를 이용하여 장비의 운영과 관련된 트레이닝을 할 수 있게 한다.
구체적으로, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)은 산업현장에 구축된 개방형 산업 표준 아키텍쳐 서버(20000, OPC UA 서버)에 현장에 실제 구축된 장비의 식별번호를 송신하고, 상기 식별번호로 확인된 장비의 작업정보(작업잔량, 현재 작업수행량 등)를 수신하는 단방향 데이터 전송 장치(OPC-UA 클라이언트)로 구현될 수 있다.
보다 구체적으로, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)은 상기 개방형 산업 표준 아키텍쳐 서버(20000)로부터 상기 장비에 상응하는 산업 표준 아키텍쳐 실시간 데이터 및 히스토리컬 데이터를 전송받는 개방형 산업 표준 아키텍쳐 수신부(OPC UA Subscriber, 도면부호 미도시)를 포함한다.
그리고 상기 개방형 산업 표준 아키텍쳐 수신부로부터 상기 장비의 작업정보를 추출하고, 이를 실감형 증강현실(AR) 콘텐츠 저작 모듈(2000) 및 산업용 증강현실(AR) 콘텐츠 뷰어(30000)에서 상기 실시간 데이터 및 상기 히스토리컬 데이터의 업데이트를 수행한다.
또한, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)은 산업용 증강현실(AR) 콘텐츠 서버로써 증강현실(AR) 콘텐츠를 위한 자원들(마커 정보, 작업공간 정보, 가상 콘텐츠, 사용자 인터페이스, 작업정보, 시나리오 등)을 관리하는 증강현실 콘텐츠 리소스 매니저(AR Content Resource Manager, 도면부호 미도시)로서의 역할을 수행한다.
또한, 상기 산업용 증강현실(AR) 콘텐츠 서버는 실감형 증강현실(AR) 콘텐츠 저작 모듈(2000)에서 작성되는 상기 시나리오 파일을 유무선 네트워크를 통해 업로드 받아 저장하고, 실감형 증강현실(AR) 콘텐츠 저작 모듈(2000)로부터 요청되는 증강현실(AR) 콘텐츠 자원들에 대한 접근을 제어하여 요청된 파일의 경로 및 데이터를 다운로드시킬 수 있도록 구성한다.
이러한 기능을 위해, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)은 개방형 산업 표준 아키텍처(OPC UA)를 지원하는 툴킷(Toolkit)으로구현하는 것이 바람직하다.
또한, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)과 상기 개방형 산업 표준 아키텍쳐 서버(20000)와의 통신에는 산업현장에서 동작하고 있는 장비의 민감한 데이터들(작업정보와 같은)의 통신시에는 해당 데이터의 효율적인 송수신과 더불어 데이터의 보안과 무결성을 보장하는 것 또한 중요하다.
바람직하게는, 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000)를 탑재한 디바이스(예를 들어 HMD)의 배터리 소모나 컴퓨팅 파워가 일반적인 서버 환경에 비해, 성능이 낮다고 볼 수 있고, 암호화에 소요되는 시간 등을 고려해서, 상기 암호화는 이러한 임베디드 컴퓨팅 환경에서 적합한 경량 해시 함수(lightweight hash function)를 사용하는 것이 바람직하다.
상기 경량 해시 함수란 SHA-3와 같은 표준적인 암호화 해시 알고리즘에서 일부 컴퓨팅 파워가 높게 소요되는 특징들을 제외하고도 송신 또는 수신되는 데이터의 무결성을 보장할 수 있도록 설계된 컴퓨팅 파워가 상대적으로 낮게 소모되는 해시 함수(일방향 함수)이다.
보다 구체적으로는 이러한 경량 해시함수 중에서도 키가 없이(unkeyed) 데이터의 치환(permutation)이 가능하도록 하는 스폰지(Sponge) 알고리즘을 사용하는 것이 바람직하다.
좀 더 구체적으로 스폰지는 원본 메시지(여기서는 랜덤키의 원본 데이터)를 일정한 크기로 만든 뒤(padding), 이를 키의 생성자만 알 수 있는 특정한 기준 크기(예를 들어 특정 비트 사이즈로 분할된 원본 메시지)로 복수 개로 분할한 뒤, 복수 개로 분할된 데이터(분할된 원본 메시지)의 후단에 랜덤한 데이터들을 여러 업데이트 함수를 활용하여 교환하고, 반대편에서는 이미 알고 있는 기준 크기를 활용하여 복호화도록 구현된다.
즉, 이러한 경량 해시함수를 활용하여, 해시함수의 보안성을 확보하면서, 일반적인 해시함수의 사용보다 상대적으로 적은 컴퓨팅 파워가 필요하도록 하여 결과적으로 상기 개방형 산업 표준 아키텍쳐 통신 모듈(3000) 및 산업현장의 장비들의 전력소모를 적게 하고, 오래 사용하도록 할 수 있다.
한편, 본 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술 분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10000 : 증강현실(AR) 콘텐츠 저작 시스템
1000 : 작업공간 생성모듈
2000 : 실감형 증강현실(AR) 콘텐츠 저작 모듈
3000 : 개방형 산업 표준 아키텍쳐 통신 모듈
20000 : 개방형 산업 표준 아키텍쳐 서버(OPC UA 서버, OPC UA Publisher)
21000 : 개방형 산업 표준 아키텍쳐 퍼블리셔(Publisher)
30000 : 산업용 증강현실(AR) 콘텐츠 뷰어
100000 : 증강현실 콘텐츠에 기반한 작업 가이드 플랫폼
1000 : 작업공간 생성모듈
2000 : 실감형 증강현실(AR) 콘텐츠 저작 모듈
3000 : 개방형 산업 표준 아키텍쳐 통신 모듈
20000 : 개방형 산업 표준 아키텍쳐 서버(OPC UA 서버, OPC UA Publisher)
21000 : 개방형 산업 표준 아키텍쳐 퍼블리셔(Publisher)
30000 : 산업용 증강현실(AR) 콘텐츠 뷰어
100000 : 증강현실 콘텐츠에 기반한 작업 가이드 플랫폼
Claims (5)
- 산업현장의 장비와 관련된 증강현실(AR) 콘텐츠를 저작하는 시스템에 있어서,
상기 시스템은 HMD(Head-Mounted Display)를 착용한 작업자로부터 획득한 정보를 기반으로, 증강현실 기반의 작업공간을 생성하는 작업공간 생성모듈;
상기 생성된 작업공간에 작업자와의 인터렉션을 통해 증강현실 콘텐츠를 제작하는 실감형 증강현실 콘텐츠 저작모듈; 및
상기 증강현실 콘텐츠의 제작시, 개방형 산업 표준 아키텍쳐의 규격(standard)을 지원하도록 외부와의 통신을 지원하는 개방형 산업 표준 아키텍쳐 통신 모듈을 포함하고,
상기 작업자가 개방형 산업 표준에 연동되는 산업현장에서 직접 상기 증강현실 콘텐츠를 실시간으로 저작하되,
상기 실감형 증강현실 콘텐츠 저작모듈은, 상기 생성된 작업공간 정보와 마커 정보를 이용하여, 실감형 증강현실 콘텐츠를 저작하고, 상기 콘텐츠의 저작시에 가상 콘텐츠를 삽입하거나, 사용자 인터페이스를 삽입하거나, 상기 개방형 산업 표준 아키텍쳐에 연계하여, 상기 콘텐츠를 저작하며,
상기 HMD와의 상호 작용을 통해, 저작되는 상기 증강현실 콘텐츠와 관련된 프로젝트를 생성하고, 상기 작업공간 생성모듈로부터 수신한 상기 작업공간 정보 및 마커 정보와, 포인트 클라우드 정보에 기반하여, 시나리오를 생성하되,
상기 HMD를 기반으로 하는 상호 작용은 선택, 이동, 회전, 확대 및 축소의 기능을 포함하고, 상기 가상 콘텐츠는 3D 모델, 문서, 텍스트 라벨, 오디오 및 비디오를 포함하는 가상의 객체(object)를 상기 시나리오에 적용하도록 삽입되며, 상기 사용자 인터페이스는 버튼, 슬라이드바 및 그래프를 포함하여 상기 시나리오에 적용하도록 삽입되고,
삽입된 상기 가상 콘텐츠, 사용자 인터페이스 및 작업정보들의 관계를 연결하는 시나리오들은 파일의 형태로 저장되어 산업용 증강현실(AR) 콘텐츠 뷰어에 전달되되, 상기 시나리오들이 저장되는 파일은 개방형 산업 표준 아키텍쳐 플랫폼에서 런타임으로 구동 가능한 에셋번들 형식으로 구현되며,
상기 개방형 산업 표준 아키텍쳐 통신 모듈은, 상기 콘텐츠의 저작시에, 상기 산업현장의 장비와 관련된 산업 표준 아키텍쳐 데이터를 외부로부터 수신하되, 개방형 산업 표준 아키텍쳐 서버에 실제 구축된 장비의 식별번호를 송신하고, 상기 식별번호로 확인된 장비의 작업정보를 수신하는 단방향 데이터 전송 장치로 구현되며,
상기 증강현실 콘텐츠를 위한 자원들을 관리하는 증강현실 콘텐츠 리소스 매니저로서의 역할을 수행하되, 상기 실감형 증강현실 콘텐츠 저작 모듈에서 작성되는 시나리오 파일을 유무선 네트워크를 통해 업로드 받아 저장하고, 상기 실감형 증강현실 콘텐츠 저작 모듈로부터 요청되는 증강현실 콘텐츠 자원들에 대한 접근을 제어하여 요청된 파일의 경로 및 데이터를 다운로드시키기 위해 상기 개방형 산업 표준 아키텍처를 지원하는 툴킷(Toolkit)으로 구현되며,
경량 해시 함수(lightweight hash function)를 사용하여 데이터를 암호화하되, 키가 없이(unkeyed) 데이터의 치환(permutation)이 가능하도록 하는 스폰지(Sponge) 알고리즘을 사용하는
증강현실 콘텐츠 저작 시스템. - 청구항 1에 있어서,
상기 작업공간 생성모듈은 영상 촬상부재를 더 포함하며, 상기 영상 촬상부재로부터 2D 영상과 3D 깊이 영상을 수집하여, 작업공간 정보 및 마커 정보를 생성하고 생성된 작업공간 정보를 상기 실감형 증강현실 콘텐츠 저작모듈에 전송하는 것을 특징으로 하는 증강현실 콘텐츠 저작 시스템. - 삭제
- 삭제
- 청구항 1 또는 2의 증강현실 콘텐츠 저작 시스템을 포함하며,
상기 작업자가 상기 증강현실 콘텐츠를 저작하면서, 필요한 산업 표준 아키텍쳐 데이터들을 상기 개방형 산업 표준 아키텍쳐 통신 모듈을 통해 송수신하는 개방형 산업 표준 아키텍쳐 서버; 및
상기 작업자에 의해 저작된 증강현실 콘텐츠를 보여주는 산업용 증강현실 콘텐츠 뷰어를 더 포함하는 것을 특징으로 하는 증강현실 콘텐츠에 기반한 작업 가이드 플랫폼.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210001326A KR102597124B1 (ko) | 2021-01-06 | 2021-01-06 | 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210001326A KR102597124B1 (ko) | 2021-01-06 | 2021-01-06 | 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220099284A KR20220099284A (ko) | 2022-07-13 |
| KR102597124B1 true KR102597124B1 (ko) | 2023-11-02 |
Family
ID=82401177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210001326A KR102597124B1 (ko) | 2021-01-06 | 2021-01-06 | 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102597124B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101940720B1 (ko) | 2016-08-19 | 2019-04-17 | 한국전자통신연구원 | 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100834904B1 (ko) | 2006-12-08 | 2008-06-03 | 한국전자통신연구원 | 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법 |
| KR101627169B1 (ko) * | 2013-09-27 | 2016-06-07 | 한국과학기술연구원 | 증강현실 컨텐츠 저작 및 제공 시스템 |
| KR101483054B1 (ko) | 2014-05-31 | 2015-01-16 | 연세대학교 산학협력단 | 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법 |
| KR102317134B1 (ko) * | 2017-10-31 | 2021-10-25 | 에스케이텔레콤 주식회사 | 증강현실용 컨텐츠 저작 장치 및 방법 |
| KR20190076770A (ko) * | 2017-12-22 | 2019-07-02 | 주식회사 이엠아이티 | 증강현실 기반 조립 가이드 시스템 |
| WO2020130170A1 (ko) * | 2018-12-18 | 2020-06-25 | 전자부품연구원 | Opc ua 발행/구독 모델 기반 부품 제조 공정 장비 시스템의 고도화 운용 방법 |
-
2021
- 2021-01-06 KR KR1020210001326A patent/KR102597124B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101940720B1 (ko) | 2016-08-19 | 2019-04-17 | 한국전자통신연구원 | 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220099284A (ko) | 2022-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200285464A1 (en) | Location tracking system and methods | |
| US10249095B2 (en) | Context-based discovery of applications | |
| US20200007615A1 (en) | Server kit configured to execute custom workflows and methods therefor | |
| US20200005523A1 (en) | Generative content system that supports location-based services and methods therefor | |
| US10650609B2 (en) | Virtual prototyping and assembly validation | |
| WO2016164342A1 (en) | Methods and apparatus for augmented reality applications | |
| US20200285912A1 (en) | Hub-and-spoke classification system and methods | |
| US20200285855A1 (en) | Hub and spoke classification system | |
| US10885123B2 (en) | Apparatus, systems, and methods for providing three-dimensional instruction manuals in a simplified manner | |
| Benbelkacem et al. | Augmented reality platform for collaborative E-maintenance systems | |
| US20130093760A1 (en) | Apparatus and method for generating depth information | |
| US20220222900A1 (en) | Coordinating operations within an xr environment from remote locations | |
| US20200151927A1 (en) | Systems and Methods for Creating and Delivering Augmented Reality Content | |
| WO2022077977A1 (zh) | 视频转换方法及视频转换装置 | |
| US20110022374A1 (en) | Transparent Flow Model Simulation Implementing Bi-Directional Links | |
| KR102418994B1 (ko) | 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 | |
| KR102051558B1 (ko) | Vr 훈련 시스템 및 방법 | |
| Chen et al. | Towards an Enterprise Operating System-Requirements for Standardisation. | |
| CN113791750A (zh) | 一种虚拟内容显示方法、装置和计算机可读存储介质 | |
| KR102597124B1 (ko) | 산업용 증강현실 콘텐츠 저작 시스템 및 이를 포함한 작업 가이드 플랫폼 | |
| KR102314782B1 (ko) | 3차원 증강현실 표시 방법 | |
| KR102103399B1 (ko) | 인공지능 기반 사물인식을 활용한 가상 증강정보 제공 시스템 및 그 방법 | |
| Irshad et al. | An interaction design model for information visualization in immersive augmented reality platform | |
| Mohamed | Deep learning for spatial computing: augmented reality and metaverse “the Digital Universe” | |
| US20210158045A1 (en) | Image markups |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |