KR102051309B1 - 지능형 인지기술기반 증강현실시스템 - Google Patents

Abstract

지능형 인지기술기반 증강현실시스템은 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 증강 가이드의 가상객체로써 표시하되, 상기 가상객체는 상기 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동하면서 동작을 지시하는 애니메이션 형태로 표시하는 스마트 기기를 포함하는 것을 특징으로 한다.

Description

지능형 인지기술기반 증강현실시스템{Intelligent technology based augmented reality system}

본 발명은 증강현실시스템에 관한 것으로서, 더 상세하게는 피지정수단에 해당하는 실제객체가 3D 모델링화 되어 가상객체로서 표시되는 지능형 인지기술기반 증강현실시스템에 관한 것이다.

일반적으로 플랜트는 넓은 공간상에 많은 주요 설비들이 복잡하게 밀집되어 있으며, 이러한 플랜트 산업은 고열, 고압 공정으로 이루어지기 때문에, 화재, 폭발과 같은 중대 사고가 발생하였을 경우, 그 피해 규모가 굉장히 커 고위험군 산업으로 분류되어 있다.

이에 따라, 플랜트 업체들은 주요 설비들에 안전 센서(압력, 누출 및 진동 센서 등)를 구비하여, 플랜트에서 야기되는 여러 위험 요인들을 지속적으로 모니터링하는 방법을 적극 도입하고 있다.

즉, 플랜트 설비들을 항시 실시간으로 감시할 수 있고, 신속히 설비의 위치를 찾고 플랜트 설비의 고장 및 비정상 상태 발생시, 가능한 한 빨리 최적의 의사결정을 내리기 위해서는 방대한 양의 데이터 수집, 처리, 분석, 저장 및 표시 등의 기능이 요구된다.

특히, 원자력, 기력, 복합화력, 수력, 풍력 등의 발전소는 주요 설비들의 경우, 정기적으로 예방 정비를 실시하며, 방사능 유출 및 발전소 비상 정지와 같은 심각한 상황이 발생할 경우, 빠른 시간 내에 대응 조치를 해야만 한다.

그러나 종래에는 이러한 대응에 필요한 의사 결정을 극히 단편적인 데이터 수집 및 분석에 의존하거나, 방대한 데이터 및 자료의 수집과 분석에 엄청난 시간과 비용이 소모되고 있었다. 또한, 해당 설비의 숙련된 전문가만이 수리, 점검을 수행할 수 있기 때문에 숙련된 전문가를 양성하기 위해서 엄청난 시간과 비용이 소모되고 있다. 이로 인하여, 발전소 설비의 이상상태로 인한 비상 및 재난 발생시, 신속하고 정확한 조치와 대응이 이루어지지 못하므로, 그에 따른 막대한 경제적, 사회적 손실 비용이 발생하는 문제점이 있었다.

한국공개특허 공개번호 제10-2005-0100778호("현장 중계 시스템 및 그 이용방법", 이하 선행문헌 1)에서는 초고속 통신망을 이용하여 리얼타임(real time)으로 현장을 촬영하여 비디오 및 오디오 정보를 사용자 단말기 및 중앙 통제 상황실로 송출이 가능하고, 현장 촬영 장비의 제어가 용이하고, 전송품질이 우수하고, 라이브 캐스팅(live casting) 제작비용이 저렴하고, 현장에서 발생하는 상황에 대한 통제 및 조치가 신속히 이루어질 수 있는 현장중계 시스템을 개시하고 있다.

그러나 선행문헌 1은 라이브캐스팅 데이터를 확인한 중앙 통제 상황실에서 현장에 별도의 지시사항이 있을 경우, 문자전송기 또는 TRS(Trunked Radio System)을 통해서 지령을 전달하고 있으나, 작업자가 문자로 전달되는 지령을 잘못 파악하여 잘못된 행동을 수행할 수 있는 문제점이 있다.

KR 10-2005-0100778 A

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 현장에서 생산성 향상 및 업무 효율 증대를 위한 지능형 인지기술기반 증강현실시스템을 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 증강 가이드의 가상객체로써 표시하되, 상기 가상객체를 상기 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동시키면서 동작을 지시하는 애니메이션 형태로 표시하는 스마트 기기를 포함하는 지능형 인지기술기반 증강현실시스템이 제공된다.

본 발명의 다른 실시예에 따르면, 현장 작업자가 소지하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하되, 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 상기 증강 가이드의 가상객체로써 표시하고, 상기 가상객체를 상기 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동시키면서 동작을 지시하는 애니메이션 형태로 표시하는 스마트 기기와, 터치 스크린에 상기 실제영상정보를 표시하며, 원격 전문가가 지시하는 지시사항 정보를 감지하여 서버로 전송하는 지원 단말기와, 상기 스마트 기기와 상기 지원 단말기 사이에서 데이터를 상호 중계하고, 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 스마트 기기에 실시간 제공하는 상기 서버를 포함하는 지능형 인지기술기반 증강현실시스템이 제공된다.

또한, 본 발명에 포함되는 상기 서버는 상기 실제영상정보의 실제객체를 영상 식별하고 식별된 실제객체에 각각 할당된 상기 증강 가이드의 가상객체를 상기 스마트 기기에 제공함에 있어서, 상기 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 상기 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 상기 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 상기 실제객체의 좌표를 다시 파악한 후, 파악된 상기 실제객체의 좌표를 갱신하고, 갱신된 상기 실제객체의 좌표에 미리 할당된 가상객체를 표시하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 서버는 상기 실제영상정보의 실제객체를 영상 식별하고 식별된 실제객체에 각각 할당된 상기 증강 가이드의 가상객체를 상기 스마트 기기에 제공함에 있어서, 상기 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 상기 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 상기 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 상기 실제객체의 좌표를 파악한 후 사물인식기반의 3차원 정합 좌표계를 추가로 생성하고, 상기 사물인식기반의 3차원 정합 좌표계를 기준으로 상기 공간기반의 3차원 정합 좌표계를 갱신하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 스마트 기기는 상기 실제영상정보의 실제객체를 상기 현장 작업자가 작동시키는 과정의 조작영상을 촬영함에 있어서, 촬영시점이 변경되더라도 선택된 실제객체의 최초촬영 시점을 유지하도록 상기 조작영상을 처리하는 것을 특징으로 한다.

또한, 본 발명에서 상기 조작영상은 상기 실제객체의 3차원 깊이정보를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 지능형 인지기술기반 증강현실시스템은,

피지정수단에 해당하는 실제객체가 3D 모델링화 되어 가상객체로서 표시하는데, 가상객체는 작업방식에 대한 정보를 애니메이션 형태로 증강현실안경으로 표시하므로 작업 효율성을 향상시킬 수 있다.

즉, 증강현실 지시모드에서, 증강현실안경은 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 증강 가이드의 가상객체로써 표시하는데,

가상객체는 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동하면서 동작을 지시하는 애니메이션 형태로 표시된다.

도 1은 본 발명의 일 실시예에 따른 증강현실시스템(1)의 구성도
도 2는 증강현실시스템(1)의 증강현실 원격지원모드의 개념도.
도 2a는 증강현실시스템(1)의 증강현실 지시모드의 예시도
도 2b 및 도 2c는 증강현실시스템(1)의 증강현실 현장모드의 예시도
도 3 및 도 3a는 증강현실시스템(1)의 증강현실 메뉴얼 생성모드에서의 동작상태를 나타낸 도면
도 4는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 동작상태를 나타낸 도면
도 5는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 다른 동작상태를 나타낸 도면
도 6은 테이블탑(200) 화면 구성의 예시도
도 7은 테이블탑(200)에서 객체를 감지하는 방법을 나타낸 도면
도 8은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제1 화면 예시도
도 9는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제2 화면 예시도
도 10은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제3 화면 예시도
도 11은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제4 화면 예시도
도 12는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제5 화면 예시도
도 13은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제6 화면 예시도
도 14는 증강현실안경(100)에 표시되는 증강 가이드의 예시도
도 15는 사물인식기반으로 구현되는 증강현실을 나타낸 도면이고, 도 15a는 공간인식기반으로 구현되는 증강현실을 나타낸 도면
도 16은 증강현실시스템(1)의 동작 개념도이고, 도 17은 증강현실시스템(1)의 동작 상태를 나타낸 예시도
도 18은 증강현실시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도이고, 도 18a는 증강현실시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도
도 19는 증강현실시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도이고, 도 20은 증강현실시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도
도 21은 증강현실시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도
도 22는 증강현실시스템(1)의 다른 동작원리를 나타낸 도면
도 23 및 도 23a는 증강현실시스템(1)의 또 다른 동작원리를 나타낸 도면
도 24는 증강현실시스템(1)의 스마트 기기의 구성도이고, 도 24a는 스마트 기기의 예시도
도 25는 증강현실시스템(1)의 안전모드가 동작하는 상태도
도 26은 증강현실시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실시스템(1)의 구성도이다.

본 실시예에 따른 증강현실시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 1을 참조하면, 지능형 인지기술기반 제조현장의 증강현실시스템(1)은 스마트 기기(100)와, 지원 단말기(200)와, 서버(300)를 포함하여 구성된다.

스마트 기기(100)는 현장의 작업자가 휴대하면서 사용할 수 있는, 증강현실안경, 스마트폰, 스마트 패드로 정의될 수 있다. 본 실시예에서 스마트 기기(100)는 증강현실안경이라고 가정하고 설명하기로 한다.

또한, 지원 단말기(200)는 개인용 컴퓨터, 테이블 탑, 증강현실안경, 스마트폰, 스마트 패드 등과 같이 통신기능을 이용하여 원격에서 전문가가 지시사항을 전달할 수 있는 기기로 정의된다. 본 실시예에서 지원 단말기(200)는 테이블 탑이라고 가정하고 설명하기로 한다.

상기와 같이 구성되는 증강현실시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.

지능형 인지기술기반 제조현장의 증강현실시스템(1)은, 증강현실 원격지원모드, 증강현실 지시모드, 증강현실 현장모드, 증강현실 메뉴얼 생성모드 및 증강현실 메뉴얼 실행모드로 각각 동작하도록 설정되어 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 현장에서 생산성 향상 및 업무 효율 증대를 달성할 수 있도록 구성된다.

도 2는 증강현실시스템(1)의 증강현실 원격지원모드의 개념도이다.

도 2를 참조하면, 증강현실 원격지원모드는 현장에서의 작업자의 업무 수행에 있어 업무 수행을 효율화하고 고도화 할 수 있는 화상 통신 업무지원 솔루션이 적용되어 있다. 즉, 현장에서의 업무를 수행하는 초임 작업자가 일반적인 설비점검, 매뉴얼, 장비구조 등에 대한 숙련 및 이해가 부족한 경우 원격지에 있는 전문가와의 스마트글라스(증강현실안경)에 기반한 화상 통신을 진행하여 업무 수행의 고도화와 효율화가 가능하다.

즉, 증강현실 원격지원모드에서, 증강현실안경(100)은 현장 작업자가 착용하고 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시한다.

증강현실 원격지원모드에서, 테이블탑(200)은 증강현실안경(100)으로부터 실제영상정보를 전송받아 터치 스크린에 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로서 증강현실안경(100)으로 전송한다.

즉, 원격 전문가는 현장 작업자가 증강현실안경(100)으로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.

현장 작업자는 증강현실안경(100)을 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,

원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 증강현실안경(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.

즉, 현장 작업자는 증강현실안경(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.

따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.

도 2a는 증강현실시스템(1)의 증강현실 지시모드의 예시도이다.

도 2a를 참조하면, 증강현실 지시모드에서, 증강현실안경(100)은 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 증강 가이드의 가상객체로써 표시한다.

이때, 가상객체는 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동하면서 동작을 지시하는 애니메이션 형태로 표시된다.

도 2a의 좌측도면에 표시된 바와 같이, 증강현실안경(100)을 착용한 작업자가 눈앞에 보이는 복수의 도구(피지정수단) 중 어느 하나를 손으로 선택하면, 선택된 피지정수단이 3D 모델링 되어 가상객체로써 증강된다.

이때, 도 2a의 우측도면에 표시된 바와 같이, 가상객체로써 증강된 피지정수단은 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동하면서 애니메이션 형태로 작업해야하는 위치와 동작을 표시한다.

동작을 지시하는 애니메이션 형태는 작업도구/공구(피지정수단)의 정회전, 역회전, 드릴작업, 쪼임, 풀림, 절단, 용접, 사포질 등과 같이 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 다양한 분야의 현장에서 적용될 수 있는 동작으로 정의될 수 있다.

한편, 동작을 지시하는 애니메이션은 원격 전문가가 원격에서 지시한 동작으로 정의될 수 있는데, 현장 작업자는 동작을 지시하는 애니메이션을 원하는 횟수만큼 다시보기(replay)를 할 수 있으며, 원하는 구간만을 원하는 횟수 만큼 반복해서 다시 볼 수 있다. 또한, 현장 작업자는 시간바(time bar)를 드래그 하여 애니메이션의 재생시점을 조절할 수도 있다.

참고적으로, 작업자가 증강된 피지정수단이 아닌 다른 피지정수단을 사용하여 작업 대상물로 이동할 경우, 증강현실안경(100)에는 잘못된 피지정수단을 선택했다는 경고를 표시할 수 있다.

본 실시예에서 피지정수단은 작업공구를 예시로 들었으나, 현장에서 작업자가 선택한 모든 피지정수단은 3D 모델링 되어 가상객체로써 증강되며, 작업위치로 이동하면서 애니메이션 형태로 표시될 수 있다. 따라서 증강현실시스템은 제조, 플랜트, 자동차 정비, 작업실, 실험실 등과 같은 다양한 분야의 현장에서 사용될 수 있다.

도 2b 및 도 2c는 증강현실시스템(1)의 증강현실 현장모드의 예시도이다.

도 2b 및 도 2c를 참조하면, 증강현실 현장모드는 비콘 센서 및 마커 등에 고유 아이디를 부여하여 자재 정보를 증강하는 기술이 적용된다.

증강현실안경(100)이 자재(장비)에 부착된 센서 및 마커 등을 인식하여 자재의 고유 아이디를 인식하고 이를 프라이머리 키(Primary Key)로 사용하여 관련 자재 정보를 서버(300)의 데이터베이스에서 가져와 증강현실안경(100)의 디스플레이 위로 증강 가시화한다.

기본적인 자재에 대한 정보 증강과 동시에 대형 물류 창고임을 감안하여 출고(이동) 대상 자재를 파악하고 이동되어야할 위치를 나타내주는 네비게이션 기능이 적용될 수 있다. 참고적으로 창고 내의 작업자의 현재 위치와 자재가 이동되어야 할 위치를 비콘 센서의 강도를 통하여 파악하고 이동 방향을 가시화하여 증강현실안경(100)으로 가이드 해주는 기능이 적용될 수 있다.

따라서 획득되는 증강 정보를 통해 현장의 작업자는 물류 창고 내의 각종 자재 정보를 시각적, 직관적으로 이해하고 자재 출고(이동) 등의 효율적인 업무 수행이 가능하다.

이때, 대상 설비에 대한 특별한 조작 없이 증강현실안경(100)으로 설비 인식 시 관련 데이터가 가시화되어 과거 이력을 조회하거나 설비 점검에 대한 가이드 등의 정보를 직관적으로 확인이 가능하다. 또한, 가시화된 정보를 바탕으로 작업자가 직관적으로 설비 정보 모니터링이 가능하며 유지보수 검사, 보고서 등의 생성/저장이 가능하다.

또한, 터빈 블레이드(압축기) 등의 설비에 대한 각 단계별 정보를 실시간으로 취득하고 각종 가이드 라인 정보, 센서 값 정보, 설비 내부 상태 정보 등을 증강현실안경, 태블릿 등의 증강현실기기의 디스플레이 위로 증강 가시화할 수 있다.

또한, 작업자가 설비 점검을 수행하기 전 점검 체크리스트들 항목들에 대한 수정 및 생성이 가능하도록 체크리스트 저작기능이 적용되어 실업무시 이러한 체크리스트 문서와 증강현실기기가 연계될 수 있다.

즉, 증강현실 현장모드에서, 증강현실안경(100)은 실제영상정보의 각 실제객체의 동작상태 및 과거정비이력을 서버로부터 제공받아 증강 가이드로써 투명 디스플레이에 표시하여 작업자에게 다양한 정보를 제공할 수 있다.

다음으로, 증강현실 메뉴얼 생성모드 및 증강현실 메뉴얼 실행모드는 일반적인 설비점검, 매뉴얼, 장비구조 등의 콘텐츠 개발 시, 전문가가 아닌 외부 개발사가 개발하는 경우가 대다수로 현장 작업자가 실제 업무에 활용함에 있어 괴리감이 발생한다.

따라서 산업현장의 특성을 고려하여 작업 전문가들이 직접 필요한 설비 매뉴얼 등의 콘텐츠를 직접 제작, 삭제, 수정 및 관리 할 수 있는 시스템이 제공된다.

즉, 증강현실 메뉴얼 생성모드에서, 증강현실안경(100)은 실제영상정보의 실제객체를 현장 작업자가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하며, 증강현실 메뉴얼 실행모드에서, 증강현실안경(100)은 조작영상을 증강 현실화하여 증강 가이드의 가상객체로써 실제객체와 정합하여 표시한다.

증강현실 메뉴얼 생성모드에서 실제객체를 현장 작업자가 작동시키는 과정의 조작영상을 촬영하고, 증강현실 메뉴얼 실행모드에서 기기(장비) 조작영상을 증강 현실화하여 실제객체와 정합하여 표시할 수 있다.

즉, 증강현실 메뉴얼 생성모드가 설정되면 증강현실안경(100)은 실제영상정보의 실제객체를 현장 작업자가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하고, 증강현실 메뉴얼 실행모드가 설정되면 증강현실안경(100)은 조작영상을 증강 현실화하여 증강 가이드의 가상객체로써 실제객체와 정합하여 표시한다.

증강현실안경(100)은 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 증강 가이드를 착용자의 시야범위 내에 표시한다.

서버(300)은 증강현실안경(100)으로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 증강 가이드(3차원 가상영상)를 증강현실안경(100)에 실시간으로 제공한다.

증강현실안경(100)은 기본적으로 위성위치정보를 현재위치정보로써 서버(300)에 제공하도록 구성된다. 증강현실안경(100)에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 서버(300)에 추가로 제공될 수 있다.

예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 증강현실안경(100)은, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 서버(300)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 서버(300)에 저장되어 있으므로, 증강현실안경(100)이 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 서버(300)에서는 증강현실안경(100)의 상대적인 이동경로를 파악할 수 있다.

즉, 증강현실안경(100)과 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다. 실내에서 현재위치정보를 획득하는 추가적인 방식에 대해서는 후술하기로 한다.

따라서 서버(300)는 증강현실안경(100)을 착용한 착용자(현장 작업자)의 현재위치정보와, 증강현실안경(100)의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 증강현실안경(100)으로 실시간으로 전송한다.

한편, 본 발명의 실시예에 따른 증강현실시스템(1)은, 증강현실 메뉴얼 생성모드에서 실제객체를 사용자(현장 작업자)가 작동시키는 과정의 조작영상을 촬영하고, 증강현실 메뉴얼 실행모드에서 (장비) 조작영상을 증강 현실화하여 실제객체와 정합하여 표시할 수 있다.

즉, 증강현실 메뉴얼 생성모드가 설정되면 증강현실안경(100)은 실제영상정보의 실제객체를 현장 작업자가 작동시키는 과정의 조작영상을 촬영하여 서버(300)로 전송하고, 증강현실 메뉴얼 실행모드가 설정되면 증강현실안경(100)은 조작영상을 증강 현실화하여 증강 가이드(3차원 가상영상)의 가상객체로써 실제객체와 정합하여 표시한다.

도 3 및 도 3a는 증강현실시스템(1)의 증강현실 메뉴얼 생성모드에서의 동작상태를 나타낸 도면이다.

도 3 및 도 3a를 참조하면, 증강현실 메뉴얼 생성모드가 설정된 후 증강현실안경(100)을 착용한 사용자(현장 작업자)가 증강현실 메뉴얼을 제작할 대상물(실제객체)을 바라보면서 대상물(실제객체)에 대한 증강현실용 3차원 정합 좌표계를 자동설정하게 된다.

이때, 사용자(현장 작업자)는 영상 녹화할 영역을 설정할 수 있다. 즉, 대상물(실제객체)을 선택하거나, 실제객체의 특정부분을 지정하여 영상녹화를 시작할 수 있다. 따라서 사용자(현장 작업자)가 증강현실 메뉴얼 생성모드를 설정한 후, 실제객체의 대한 유지보수 등의 행동이 증강현실안경(100)에 장착된 카메라를 통해 녹화된다.

참고적으로, 녹화 프레임 형태가 증강현실안경(100)의 착용자(현장 작업자)의 시점에 따라서 변형될 경우 3차원 객체 추적을 통해 프레임 형태를 원형 상태로 복원할 수 있다. 즉, 증강현실안경(100)은 실제영상정보의 실제객체를 사용자(현장 작업자)가 작동시키는 과정의 조작영상을 촬영함에 있어서, 촬영시점이 변경되더라도 선택된 실제객체의 최초촬영 시점을 유지하도록 조작영상을 처리할 수 있다.

또한, 조작영상은 실제객체의 3차원 깊이정보를 포함하는데, 증강현실안경(100)에는 3D센서가 구비되어 있으므로 이를 통해 실제객체의 3차원 영상을 획득할 수 있을 것이다. 즉, 증강현실안경(100)의 카메라는 일반적인 RGB 신호 획득 뿐만 아니라 3차원 점군(Point Cloud)을 획득할 수 있는 깊이 카메라(Depth)를 포함할 수 있다. 증강현실안경(100)에 대한 상세한 구성은 후술하기로 한다.

이와 같이 현장 작업자가 증강현실안경(100)을 착용한 후 실제객체에 대한 조작과정을 촬영하여 녹화영상을 저장하고 서버(300)에 업로드하는 과정이 진행된다.

여기에서 조작과정은 실제객체(장비)에 대한 사용법, 유지보수법 등을 포함한다. 즉 단순히 장비를 작동하는 과정과, 고장시 조치과정과, 고장시 분해 조립과정 등이 촬영된 후 서버(300)로 전송될 수 있다.

도 4는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 동작상태를 나타낸 도면이다.

도 4를 참조하면, 증강현실 메뉴얼 실행모드가 설정된 후 증강현실안경(100)을 착용한 현장 작업자가 대상물(실제객체)을 바라보면 대상물이 자동인식 된다. 즉, 현재위치정보 및 실제영상정보를 토대로 실제객체에 대응하는 증강 가이드(3차원 가상영상)가 증강현실안경(100)에 표시된다.

이때, 대상물(실제객체)과 함께 저장했던 동영상이 증강되어 표시되는데, 증강 동영상(가상객체)은 실물(실제객체)과 함께 보여 질 수 있도록 투명도가 조절되어 표시될 수 있다.

기본적으로 3차원 객체 추적을 통해 증강되는 증강 동영상(가상객체)은 대상물(실제객체)에 3차원적으로 정면에서 촬영한 영상처럼 정확하게 정합되어 표시된다.

참고적으로, 현장 작업자는 시선, 음성인식, 손 제스처, 별도의 증강현실안경(100)의 내장 입력장치(터치패드, 조이스틱)를 통해서 증강 동영상의 녹화 및 재생을 제어할 수 있다. 증강현실안경(100)에 대한 상세한 구성은 후술하기로 한다.

도 5는 증강현실시스템(1)의 증강현실 메뉴얼 실행모드에서의 다른 동작상태를 나타낸 도면이다.

도 5를 참조하면, 대상물(실제객체)과, 실제객체에 대한 가상영상이 정합되어 표시될 수 있다. 즉, 대상물을 분해하는 동작이 가상영상으로 정합되어 표시되는 과정이 도시되어 있다.

우선 제1 도면(A) 및 제2 도면(B)의 경우, 분해할 대상물의 첫 번째 영역이 점선 등으로 표시되므로, 사용자(현장 작업자)가 가상영상으로 표시되는 것과 동일하게 첫 번째 영역의 분해동작을 진행할 수 있다.

다음으로, 제2 도면(B) 및 제3 도면(C)의 경우, 분해할 대상물의 두 번째 영역이 점선 등으로 표시되므로, 사용자(현장 작업자)가 가상영상으로 표시되는 것과 동일하게 두 번째 영역의 분해동작을 진행할 수 있다.

이때, 분해과정이 표시되는 가상영상은 사용자(현장 작업자)의 실제분해 진행여부에 관계없이 동영상 형태로 연속적으로 재생되고 재생속도 및 반복속도가 지정될 수 있다.

참고적으로, 인터렉티브(interactive) 모드가 설정될 경우, 표시되는 가상영상은 사용자(현장 작업자)의 실제분해 진행여부에 동기화되면서 재생된다. 즉, 대상물의 첫 번째 영역의 분해동작이 완료되었음을 자동식별한 후, 두 번째 영역이 점선 등으로 표시되면서 두 번째 영역의 분해동작을 재생하게 된다. 이때, 대상물의 첫 번째 영역의 분해동작이 완료될 때까지 해당 가상영상은 반복적으로 재생되며, 분해시간이 지연될 경우 자동으로 영상 재생속도가 느리게 설정된다.

다시 도 1 및 도 2를 참조하면, 증강현실안경(100)은 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시한다.

테이블탑(200)은 증강현실안경(100)으로부터 실제영상정보를 전송받아 터치 스크린에 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로서 증강현실안경(100)으로 전송한다.

즉, 원격 전문가는 현장 작업자가 증강현실안경(100)으로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.

현장 작업자는 증강현실안경(100)을 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,

원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 증강현실안경(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.

즉, 현장 작업자는 증강현실안경(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.

따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.

한편, 도 2는 증강현실안경(100)과 테이블탑(200) 사이에 직접 데이터가 전송되는 개념이 도시되어 있으나, 도 1과 같이 서버(300)를 경유하여 증강현실안경(100)과 테이블탑(200)이 상호 간에 데이터를 전송하도록 구성될 수 있을 것이다.

증강현실안경(100)은 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하도록 구성된다.

테이블탑(200)은 터치 스크린에 실제영상정보를 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 서버(300)로 전송한다.

즉, 테이블탑(200)은, 실제영상정보를 표시하며 메뉴영역과 작업영역을 구분하여 표시하는 터치 스크린과, 터치 스크린의 일측에 배치되어 터치 스크린의 상부공간의 움직임 정보를 감지하는 3차원 카메라와, 원격 전문가의 음성을 녹음하여 전송하는 마이크와, 현장 작업자의 음성을 출력하는 스피커를 포함하여 구성된다. 마이크 및 스피커는 일체형으로 구성되어 헤드셋 형태로 원격 전문가가 머리에 착용하는 형태로 구성되는 것이 바람직하다.

테이블탑(200)의 제어회로, 유무선 통신회로 등은 발명의 요지가 아니므로 설명은 생략하기로 한다.

서버(300)는 증강현실안경(100)과 테이블탑(200) 사이에서 데이터를 상호 중계하고, 손 움직임 정보 및 지시사항 정보에 대응되는 증강 가이드가 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 증강현실안경(100)에 실시간 제공한다.

즉, 원격 전문가는 현장 작업자가 증강현실안경(100)으로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.

현장 작업자는 증강현실안경(100)을 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,

원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 증강현실안경(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.

즉, 현장 작업자는 증강현실안경(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.

따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.

도 6은 테이블탑(200) 화면 구성의 예시도이다.

도 6을 참조하면, 테이블탑(200)의 터치 스크린은 메뉴영역과 작업영역으로 구분되어 표시된다.

메뉴영역은 원격 전문가가 테이블탑(200)의 세부기능을 선택하기 위해 사용하므로, 현장 작업자에게는 표시되지 않는다.

메뉴영역은 측면, 상단에 메뉴들을 배치하여 손으로 쉽게 접근할 수 있도록 구성된다. 자동 사용성 평가를 통해 선택이 쉬운 메뉴 버튼 크기, 위치 결정이 자동 지정되는데, 자주 쓰이는 기능은 손과 가까운 위치에 배치되어 사용자(원격 전문가)가 신속하게 선택할 수 있다.

참고적으로 자주 쓰이는 기능은 사용자(원격 전문가)의 손과 가까운 위치에 자동 배치되도록 위치가 자동 조절될 수 있다. 즉, 사용자(원격 전문가)의 손이 소정의 시간동안 한 장소에 위치할 경우, 손의 위치에서 가까운 위치 순서대로 자주 쓰이는 메뉴들이 자동 이동할 수 있다.

작업영역은 현장 작업자가 전송한 실제영상정보가 표시되는 영역이면서 3차원 카메라가 객체를 검출하는 유효영역이다. 작업영역에서 원격 전문가가 펜 또는 지우개 등을 이용하여 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에 지시사항이 증강 가이드로써 표시된다.

이때 원격 전문가가 선택한 실제객체 주위에 펜을 통해 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에도 그 지시사항이 실제객체 주위에 드로잉 되어 증강 가이드로써 표시된다.

한편, 테이블탑(200)은 각 도구(펜, 지우개)가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 터치 스크린에서 이동하는 각 도구(펜, 지우개)의 이동좌표를 전송한다.

또한, 테이블탑(200)은 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송한다.

즉, 테이블탑(200)은 원격 전문가(사용자)의 행위, 즉 손을 사용하는지, 도구(펜, 지우개)를 사용하는지, 공구를 사용하는지를 판별한 후, 드로잉 가이드 모드 또는 행동 가이드 모드로 자동전환 된다.

기본적으로 행동 가이드 모드에서 원격 전문가의 모든 행위가 실시간으로 증강현실안경(100)로 전달되며, 드로잉 가이드 모드에서는 원격 전문가가 원하는 지시사항만이 선택적으로 증강현실안경(100)으로 전달되도록 구성된다.

즉, 증강현실안경(100)에 불필요한 지시사항 및 정보가 전달될 경우, 증강현실안경(100)을 착용한 현장 작업자가 혼란스러울 수 있으므로 필요한 정보만을 선택하여 전송되도록 설정할 수 있다. 또한, 드로잉 가이드 모드에서도 원격 전문가가 실시간 영상이 아닌 미리 녹화된 영상만을 전송하도록 선택할 수 있다.

도 7은 테이블탑(200)에서 객체를 감지하는 방법을 나타낸 도면이다.

도 7을 참조하면, 테이블탑(200)의 3차원 카메라는 터치 스크린 상부의 공간의 움직임을 3차원적으로 감지하도록 구성되는데,

기본적으로 3차원 깊이정보를 이용하여 각 공구, 각 도구(펜, 지우개) 및 원격 전문가의 손을 식별하고, 그 움직임 데이터를 연속적으로 저장한다.

또한, 테이블탑(200)의 3차원 카메라는 색상정보를 이용하여 원격 전문가의 손을 식별하고, 3차원 깊이정보를 이용하여 각 공구 및 각 도구(펜, 지우개)를 식별한 후, 그 움직임 데이터를 연속적으로 저장하도록 구성될 수 있다.

즉, 손과 같은 비강체는 색상을 이용하여 최초로 식별한 후 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 재확인하는 절차가 진행될 수 있다. 또한, 각 공구 및 각 도구 등과 같은 강체는 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 검출하는 절차가 진행될 수 있을 것이다.

즉, 우선 오프라인상에서 인식할 대상물을 사전에 학습 후 분리된 객체가 원격 전문가의 손, 펜, 지우개, 도구, 연장 인지 인식한다. 펜 지우개 도구 연장 등 외형이 변하지 않는 강체는 3차원 깊이 정보(3D depth data)를 기반으로 3차원 표면 매칭(3D surface matching)하여 인식할 수 있다.

또한, 그 이외의 손과 같은 비강체는 색상정보를 이용하여 손 식별 유무를 판별하도록 구성될 수 있다. 손의 색상정보는 시스템 처음 실행 시 시작 버튼을 누르거나 할 때 암묵적으로 손을 자동으로 검출하여 자동으로 손 색상을 학습하도록 설정되는 것이 바람직하다.

도 7에 도시된 객체를 감지하는 방법은 다음과 같이 진행된다.

우선, 3차원 카메라로부터의 입력영상 중에서 터치 스크린의 상부영역의 영상을 획득하는 과정이 수행된다. - S10 -

다음으로, 학습 및 인지할 터치 스크린 화면 영역을 좀 더 세부적으로 설정하는 과정이 수행된다. - S20 -

다음으로, 촬영된 영상의 깊이정보를 바탕으로 객체를 분리하는 과정이 수행된다. - S30 -

다음으로, 추출된 영역 내 객체의 컬러정보를 적용하는 과정이 수행된다. - S40 -

마지막으로, 터치 스크린 상부의 공간 좌표계와, 증강현실안경(100)의 좌표계의 정합이 이루어지면서 증강 가이드가 증강현실안경(100)의 투명 디스플레이에 표시되는 과정이 수행된다. - S50 -

도 8은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제1 화면 예시도이다.

도 8을 참조하면, 펜이 작업 영역 내에 있다면 자동으로 드로잉 모드로 전환되며, 터치 스크린 상의 펜 이동 좌표 전송을 수행하고, 좌표간 거리 계산하여 일정 거리 이상일 경우만 전송하도록 설정된다. 지우개 객체가 인식될 경우 스크린 상의 드로잉은 삭제된다.

펜은 터치 스크린의 스타일러스 펜으로 정의되고, 손의 색상과 다르게 하여 펜이 작업 영역 내에 있는지 판별할 수 있도록 한다. 펜이 작업영역에 있고 펜 끝이 터치 스크린에 접촉되면 해당 지점의 좌표를 서버 및 증강현실안경(스마트 글라스)로 전송한다.

드로잉을 삭제할 때는 지우개 형태의 감각형 객체를 인식하여 스크린 상의 메모를 신속하게 지울 수 있도록 한다. 즉, 지우개 객체를 인식하여 지우개 객체의 영역 내에 포함되는 드로잉 픽셀 값을 삭제한다.

도 9는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제2 화면 예시도이다.

도 9를 참조하면, 3차원 깊이 데이터(3D Depth data) 기반으로 맨손 또는 도구가 인식되면, 자동으로 행동 가이드 모드로 전환된다. 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 전송하여 직관성이 향상되는데, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 웹 실시간(Web RTC) 기반으로 데이터를 전송한다.

따라서 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 현장 작업자가 확인 할 수 있도록 하여 직관성이 향상되며, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 증강현실안경으로 전송할 수 있다.

도 10은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제3 화면 예시도이다.

도 10을 참조하면, 마우스 위치를 찾지 않고도 손으로 스크린을 터치하여 포인팅 할 수 있다. 손 끝 또는 펜 끝이 터치 스크린에 접촉되는 좌표를 검출하고 실시간 전송한다.

도 11은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제4 화면 예시도이다.

도 11을 참조하면, 터치 스크린 좌표 및 3차원 깊이 데이터(3D Depth data)를 기반으로 손 제스처를 인식할 수 있다. 손 끝이 터치 스크린 상에서 이동하는 2차원 좌표의 궤적을 시간 순으로 저장하고, 2차원 시계열 좌표를 웹 실시간(Web RTC) 기반으로 전송한다. 이때, 궤적의 길이가 일정 크기 이상이며 방향성이 있을 때만 해당 방향으로 화살표 증강하도록 설정될 수 있다. 화살표 객체는 현장 작업자가 착용한 증강현실안경에도 동시에 증강된다.

도 12는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제5 화면 예시도이다.

도 12를 참조하면, 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 표시된 이미지의 위치를 변경할 수 있다. 이미지 크기 및 회전 조정은 두 손 또는 두 손가락을 이용하여 진행할 수 있다. 이미지 조작 값(2축 이동, 2축 회전, 2축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.

도 13은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제6 화면 예시도이다.

도 13을 참조하면, 테이블탑(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경될 수 있다.

증강된 3차원 모델은 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 위치를 변경될 수 있다. 즉, 손을 이용하여 신속하고 직관적으로 3D 모델의 위치, 크기, 회전 조정할 수 있다. 이때, 조작 값(3축 이동, 3축 회전, 3축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.

즉, 원격 전문가가 테이블탑(200)에서 실체객체(부품)를 선택하고 3차원 모델로 증강시킨 후, 해당 부품의 조립과정, 분해과정 등을 직접 손으로 조작하는 영상을 실시간으로 현장 작업자의 증강현실안경(100)으로 전송하여 직관적인 증강 가이드를 제공할 수 있다.

참고적으로, 실물 키보드 또는 가상 키보드가 테이블탑(200)의 터치 스크린과 연동되어 사용될 수 있다. 실물 키보드가 작업 영역에 있을 경우 키보드를 인식하고, 자동으로 텍스트 가이드 모드로 전환되는데, 이때 키보드 및 손 영역은 증강현실안경(100)으로 전송하지 않는다.

다른 방식으로, 터치 스크린 화면 위에 가상 키보드를 띄워서 필요할 때만 사용하고 사용 후에는 키보드를 화면상에서 닫을 수 있는 소프트웨어 방식으로 동작할 수도 있다.

한편, 전문가가 가이드 하는 모든 작업 화면을 증강현실안경(스마트글라스)으로 전송하게 되면, 작업자가 혼동할 수 있다. 이러한 현상을 방지하기 위해서 전문가의 행동 의도를 파악하여 선별적으로 가이드 메뉴가 변경되도록 하며 가이드에 필요한 정보만이 증강현실안경(스마트글라스)으로 전송된다.

예를 들면 펜이 작업 공간에 나타나고 화면에 접촉하면 즉시 드로잉 모드로 변경되고, 이미지를 전송하는데 필요한 파일 로딩 시 파일 로딩 다이얼로그 화면은 현장 작업자에게 보여줄 필요가 없기 때문에 전송하지 않는다.

도 14는 증강현실안경(100)에 표시되는 증강 가이드의 예시도이다.

도 14는 도 13의 테이블탑(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경되는 하나의 예시를 나타낸 것이다.

즉, 터치 스크린 상의 실제영상정보 중에서 원격 전문가가 나사(실제객체)를 선택했을 경우, 나사가 3차원 모델로 증강되어 표시된다.

이때, 원격 전문가가 증강된 나사위에서 나사를 체결하기 위한 육각렌치를 손으로 들고 회전시킬 경우, 회전방향에 따라 증강된 나사가 회전하는 영상이 표시된다. 이때, 육각렌치의 회전방향 및 나사의 회전방향을 표시하는 화살표가 자동으로 표시될 수 있다.

이때, 원격 전문가가 실제 육각렌치가 아닌 가상의 육각렌치를 선택할 경우, 가상의 육각렌치도 동시에 증강되어 사용자(원격 전문가)의 손의 지시에 따라 회전하도록 설정될 수도 있을 것이다.

가상의 육각렌치를 사용할 경우, 원격 전문가의 음성명령, 즉 "시계방향 회전", "반시계방향 회전", "나사 풀기", "나사 체결하기", "3회 회전" 등과 같은 음성명령에 따라 증강된 육각렌치 및 나사가 움직이도록 설정될 수 있다.

한편, 원격 전문가가 음성으로 나사를 체결하는 구체적인 방식을 지시할 경우, 음성이 인식되어 텍스트로 터치 스크린의 화면에 표시되며, 육각렌치 또는 나사의 회전 횟수도 영상 감지되어 표시된다. 이때, 원격 전문가는 직접 텍스트를 입력하여 나사를 체결하는 구체적인 방식을 지시할 수도 있으며, 음성인식과 병행하여 지시할 수 있다.

이때, 터치 스크린에 표시되는 모든 영상 중에서 손을 제외한 영상이, 증강현실안경의 투명 디스플레이에 동시에 표시되므로, 증강현실안경을 착용한 현장 작업자는 원격 전문가가 바로 옆에서 작업을 지시하는 듯한 느낌을 얻을 수 있어, 정확한 작업 가이드가 가능하다.

원격 전문가는 실시간으로 증강 가이드를 전송하여 현장 작업자에게 지시할 수도 있으나, 순차적인 가이드를 위해, 자신의 지시동작을 미리 확인하고 필요한 영상만을 선택적으로 전송하도록 제어할 수 있다.

한편, 현장 작업자가 실제로 나사에 육각렌치를 삽입하여 나사를 체결할 때, 육각렌치 또는 나사의 회전 횟수가 영상 감지되어 표시되고, 육각렌치의 삽입 깊이도 영상 감지되어 표시될 수 있다. 즉, 최대 삽입치 및 최소 삽입치가 자동으로 감지되어 화면에 표시되므로 작업자는 육각렌치의 체결 깊이를 보다 정확하게 시각적으로 인지할 수 있다.

이때, 육각렌치의 길이정보와, 나사의 체결구멍 등과 같은 제원정보는 서버(300)에 미리 저장되어 있으므로, 미리 저장된 정보를 바탕으로 서버(300)에서 체결 깊이를 검출할 수 있을 것이다.

참고적으로, 서버(300)는 증강현실안경(100)의 투명 디스플레이의 좌표와, 테이블탑(200)의 터치 스크린의 좌표를 항상 실시간 정합하여, 현장 작업자의 시야와, 원격 전문가의 시야가 일치되도록 제어한다.

한편, 증강현실 지시모드에서는 증강현실안경(100)을 착용한 작업자가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 작업자의 손의 움직임에 따라 연동되어 위치가 변경되는 하나의 예시를 나타낸 것이다.

즉, 증강현실안경(100)의 실제영상정보 중에서 작업자가 나사(실제객체)를 선택했을 경우, 나사가 3차원 모델로 증강되어 표시된다.

이때, 작업자가 증강된 나사위에서 나사를 체결하기 위한 육각렌치를 손으로 들고 회전시킬 경우, 회전방향에 따라 증강된 나사가 회전하는 영상이 표시된다. 이때, 육각렌치의 회전방향 및 나사의 회전방향을 표시하는 화살표가 자동으로 표시될 수 있다.

이때, 작업자가 실제 육각렌치가 아닌 가상의 육각렌치를 선택할 경우, 가상의 육각렌치도 동시에 증강되어 사용자(현장 작업자)의 손의 지시에 따라 회전하도록 설정될 수도 있을 것이다. 즉, 실제 육각렌치를 선택할 경우, 육각렌치가 증강되어 표시되고 추천작업영상이 애니메이션화 되어 표시될 수 있다.

가상의 육각렌치를 사용할 경우, 작업자의 음성명령, 즉 "시계방향 회전", "반시계방향 회전", "나사 풀기", "나사 체결하기", "3회 회전" 등과 같은 음성명령에 따라 증강된 육각렌치 및 나사가 움직이도록 설정될 수 있다.

한편, 작업자가 음성으로 나사를 체결하는 구체적인 방식을 지시할 경우, 음성이 인식되어 텍스트로 화면에 표시되며, 육각렌치 또는 나사의 회전 횟수도 영상 감지되어 표시된다.

한편, 현장 작업자가 실제로 나사에 육각렌치를 삽입하여 나사를 체결할 때, 육각렌치 또는 나사의 회전 횟수가 영상 감지되어 표시되고, 육각렌치의 삽입 깊이도 영상 감지되어 표시될 수 있다. 즉, 최대 삽입치 및 최소 삽입치가 자동으로 감지되어 화면에 표시되므로 작업자는 육각렌치의 체결 깊이를 보다 정확하게 시각적으로 인지할 수 있다.

이때, 육각렌치의 길이정보와, 나사의 체결구멍 등과 같은 제원정보는 서버(300)에 미리 저장되어 있으므로, 미리 저장된 정보를 바탕으로 서버(300)에서 체결 깊이를 검출할 수 있을 것이다.

기본적으로 스마트 기기는 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 증강 가이드(3차원 가상영상)를 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 증강 가이드를 현장 작업자의 시야범위 내에 표시한다.

서버(300)은 스마트 기기로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 증강 가이드를 스마트 기기에 실시간으로 제공한다.

스마트 기기는 기본적으로 위성위치정보를 현재위치정보로써 서버(300)에 제공하도록 구성된다. 스마트 기기에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 서버(300)에 추가로 제공될 수 있다.

예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 스마트 기기는, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 서버(300)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 서버(300)에 저장되어 있으므로, 스마트 기기가 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 서버(300)에서는 스마트 기기의 상대적인 이동경로를 파악할 수 있다.

즉, 스마트 기기와 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다. 실내에서 현재위치정보를 획득하는 추가적인 방식에 대해서는 후술하기로 한다.

따라서 서버(300)은 스마트 기기를 착용 또는 소지한 사용자의 현재위치정보와, 스마트 기기의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 스마트 기기로 실시간으로 전송한다.

한편, 실내에서 실제객체를 식별하는 방식은 크게 2가지로 구분할 수 있다.

도 15는 사물인식기반으로 구현되는 증강현실을 나타낸 도면이고, 도 15a는 공간인식기반으로 구현되는 증강현실을 나타낸 도면이다.

도 15 및 도 15a를 참조하면, 우선 사물인식기반으로 실제객체를 식별하는 방식은 공간 대비 사물의 크기가 작기 때문에 영상 기반 학습이 용이하다. 다만, 사물이 영상 내에 포함되어 있어야만 인식이 가능하고, 인식 방향과 거리에 제약이 발생할 수 있다. 사물은 위치가 변경될 수 있기 때문에 사전에 위치를 저장하는 것이 어려운 과제이다. 참고적으로 사물인식기반의 3차원 정합 좌표계(증강현실 정합 좌표계)는 각 사물당 1개가 생성된다.

다음으로, 공간인식기반으로 실제객체의 위치를 식별하는 방식은 기본적으로 SLAM(Simultaneous Localization And Map-Building, Simultaneous Localization and Mapping) 기술을 적용한다. 슬램(SLAM)은 단말기(로봇)가 미지의 환경을 돌아다니면서 단말기(로봇)에 부착되어 있는 센서만으로 외부의 도움 없이 환경에 대한 정확한 3차원 지도를 작성하는 작업으로 자율주행을 위한 핵심기술로 정의될 수 있다.

즉, 공간인식기반 방식은 공간을 3차원적으로 인식하여 공간의 3차원 정합 좌표계를 생성하고 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하는 방식으로 정의될 수 있다.

따라서 사물이 영상 내에 포함되어 있지 않아도 사물(실제객체)에 가상객체를 증강할 수 있다. 다만, 초기 인식 지점으로부터 단말기가 이동되면 공간 추적 오차가 누적되어 증강현실 정보(가상객체)가 적절한 위치에 표출되기 어려울 수 있다. 참고적으로 공간기반의 3차원 정합 좌표계(증강현실 정합 좌표계)는 공간당 1개가 생성된다.

따라서 본 발명의 증강현실시스템(1)은, 실체객체가 촬영영상 내에 모두 존재하거나, 모두 존재하지 않거나, 부분적으로 존재하더라도 이를 정확하게 식별하여 실제객체에 할당된 가상객체를 목표된 위치에 표시할 수 있도록, 공간 인식 및 사물 인식을 동시에 적용하여 가상객체의 위치를 정확한 위치에 표시할 수 있도록 구성된다.

즉, 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제객체의 좌표를 파악한 후 사물인식기반의 3차원 정합 좌표계를 추가로 생성하고, 사물인식기반의 3차원 정합 좌표계를 기준으로 공간기반의 3차원 정합 좌표계를 갱신한다.

도 16은 증강현실시스템(1)의 동작 개념도이고, 도 17은 증강현실시스템(1)의 동작 상태를 나타낸 예시도이다.

도 16 및 도 17을 참조하여 증강현실시스템(1)의 동작원리를 설명하면 다음과 같다.

스마트 기기는 증강현실안경(100), 스마트폰, 스마트 패드 등과 같이 카메라 및 디스플레이가 포함되어 증강현실 컨텐츠를 표시할 수 있는 기기로 정의될 수 있다.

스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시한다.

따라서 실체객체가 촬영영상 내에 존재하지 않거나 부분적으로 존재하더라도 공간기반의 3차원 정합 좌표계만을 이용하여 실제객체에 할당된 가상객체를 목표된 위치에 표시할 수 있다.

이때, 스마트 기기는 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제객체의 좌표를 다시 파악한 후, 파악된 실제객체의 좌표를 갱신하고, 갱신된 실제객체의 좌표에 미리 할당된 가상객체를 표시할 수도 있다. 즉, 기본적으로 공간인식기반으로 실체객체의 위치를 식별하면서 동시에 사물인식기반을 적용한 후 식별된 실제객체의 위치의 좌표를 갱신할 수 있다.

한편, 스마트 기기는 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하는데,

이때 스마트 기기는 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제객체의 좌표를 파악한 후 사물인식기반의 3차원 정합 좌표계를 추가로 생성하고, 사물인식기반의 3차원 정합 좌표계를 기준으로 공간기반의 3차원 정합 좌표계를 갱신한다.

즉, 사물인식기반으로 실제객체가 식별될 때마다 실제객체의 좌표를 기준으로 공간기반의 3차원 정합 좌표계를 유추하여 보정할 수 있다.

도 17에 도시된 바와 같이 사물(실제객체)이 사물인식기반으로 영상 식별될 때마다 사물인식기반의 3차원 정합 좌표계(#n)를 추가로 생성하고, 이를 기반으로 공간기반의 3차원 정합 좌표계를 갱신함으로써, 스마트 기기의 이동 등으로 인한 공간기반의 3차원 정합 좌표계의 누적오차를 보정할 수 있다.

이때, 복수의 사물(실제객체)이 사물인식기반으로 영상 인식될 경우, 스마트 기기는 각 실제객체 간의 상대적인 위치를 고려하여 실제객체의 위치변화를 감지할 수 있다.

따라서 스마트 기기는 공간기반의 3차원 정합 좌표계를 통해 실제객체의 위치 이동여부를 확인할 수 있을 뿐만 아니라 여기에 각 실제객체 간의 상대적인 위치까지 추가로 고려하여 실제객체의 위치변화를 감지할 수 있을 것이다.

증강현실시스템(1)은 3차원 공간 위치 인식(SLAM 알고리즘)을 수행하면서 동시에 병렬적으로 인터랙션을 위한 사물을 인식/추적하고 콘텐츠를 정합한다.

우선, 스마트 기기에서 3차원 공간 학습(SLAM 알고리즘)을 수행하면서, 공간에 증강현실 정합 좌표계 생성한다. 다음으로 공간의 정합 좌표계를 기준으로 단말기의 자세(이동, 회전) 추적하는데, 만약 사전에 학습했던 공간이 인식되면 사전에 정의했던 증강현실 정합 좌표계를 불러올 수 있다.

다음으로 스마트 기기는 카메라 영상에서 사물 인식 시도하고, 사물이 인식될 경우, 사물인식기반의 3차원 정합 좌표계를 추가로 생성한다. 다음으로 사물 위에 정보(콘텐츠) 증강하는데, 스마트 기기의 카메라 영상 내에 사물의 많은 부분이 보이지 않더라도 공간 및 사물 기준으로 가상정보가 증강될 수 있다.

요약하면, 증강현실시스템(1)이 스마트 기기 및 서버(300)로 구성될 경우,

서버(300)는 실제영상정보의 실제객체를 영상 식별하고 식별된 실제객체에 각각 할당된 증강 가이드(3차원 가상영상)의 가상객체를 스마트 기기에 제공하고,

스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제객체의 좌표를 다시 파악한 후, 파악된 실제객체의 좌표를 갱신하고, 갱신된 실제객체의 좌표에 미리 할당된 가상객체를 표시한다.

또한, 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제객체의 좌표를 파악한 후 사물인식기반의 3차원 정합 좌표계를 추가로 생성하고, 사물인식기반의 3차원 정합 좌표계를 기준으로 공간기반의 3차원 정합 좌표계를 갱신한다.

한편, 본 발명의 실시예에 따른 증강현실시스템(1)은 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하여 유사객체를 식별할 수 있다.

또한, 증강현실시스템(1)은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다.

따라서 유사성이 높은 실제객체가 배열되더라도 이를 식별하여 각각의 실제객체에 할당된 가상객체를 표시하여 사용자에게 혼동 없는 정보를 전달할 수 있다.

객체의 시각인지기술은 네 가지 단계로 구분할 수 있다. - DCRI (Detection, Classification, Recognition, and Identification) -

우선, 발견(Detection)은 객체가 있는지 없는지만 알 수 있는 단계이다.

다음으로, 분류(Classification)는 객체가 어떤 분류인지 알 수 있는 단계이다. - 예를 들면 사람인지 동물인지 분류할 수 있음 -

다음으로, 인식(Recognition)은 객체의 개략적인 특성을 알 수 있는 단계이다. - 예를 들면 사람이 입고 있는 옷의 간략한 정보를 알 수 있음 -

마지막으로, 식별(Identification)은 객체의 세밀한 특성을 알 수 있는 단계이다. - 예를 들면 어떤 사람의 얼굴을 구분할 수 있고, 자동차 번호판의 숫자를 알 수 있음 -

본원발명의 증강현실시스템(1)은 식별(Identification)단계가 구현되어 유사한 실제객체의 세부 특성을 구분할 수 있도록 동작한다.

예를 들면 증강현실시스템(1)은 유사한 모양을 갖는 설비(실제객체)에 부착된 문자를 인식하고 고유식별번호를 부여하거나, 차이가 있는 부분을 식별한 후 그 부분을 추가인식영역을 선정하고, 추가인식영역의 2D/3D 특징정보 차이와, 위성위치정보 및 와이파이 신호 등으로 계측된 현재위치정보를 모두 이용하여 유사도 값이 높은 실제객체를 각각 구분할 수 있도록 구성된다.

도 18은 증강현실시스템(1)에서 유사객체를 식별하기 위한 학습과정을 나타낸 순서도이고, 도 18a는 증강현실시스템(1)에서 유사객체를 식별하기 위한 추가인식영역을 선정하는 과정을 도시한 구성도이다.

도 18 및 도 18a를 참조하면, 서버(300)는 실제영상정보의 실제객체를 식별하고 식별된 실제객체에 각각 할당된 증강 가이드(3차원 가상영상)의 가상객체를 스마트 기기에 제공하도록 동작한다.

즉, 서버(300)는 실제영상정보에 존재하는 복수의 실제객체 중에서 소정의 영상 유사도 값(d) 이상을 갖는 실제객체들은 각각의 실제영상정보를 차분하여 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여한다.

예를 들면 추가인식영역이 서로 다른 문자나, 숫자가 표시되어 있을 경우 서버(300)는 추가인식영역의 차이점을 토대로 각각의 실제객체에 고유 식별자를 부여한 후 이를 데이터베이스화하여 저장하고, 고유 식별자에 할당된 가상객체를 추가 스마트 기기로 전송할 수 있다.

즉, 복수의 실제객체가 소정의 영상 유사도 값(d) 이상을 가질 경우, 영상을 추상화하고 영상을 차분화하여 추가인식영역(추가 학습영역)을 설정한 후, 추가인식영역의 차이점을 식별하여 각각의 고유 식별자를 부여하는 것이다.

도 19는 증강현실시스템(1)에서 유사객체를 식별하는 과정을 나타낸 순서도이고, 도 20은 증강현실시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제1 예시도이다.

도 19 및 도 20을 참조하면, 스마트 기기로부터 실제영상정보가 전달되면, 서버(300)은 실제영상정보의 실제객체를 구분한 후, 유사 이미지가 존재하지 않을 경우(유사한 모양의 실제객체가 존재하지 않을 경우)에는 식별된 이미지에 해당하는 가상객체를 각각 할당한다.

이때, 서버(300)는 유사 이미지가 존재할 경우(유사한 모양의 실제객체가 존재할 경우) 추가인식영역의 정보를 비교하여 고유 식별자를 식별한 후, 고유 식별자에 해당하는 가상객체를 할당한다.

즉, 도 20에 도시된 바와 같이, 유사한 모양의 설비(실제객체)가 이웃한 위치에 배치될 경우, 서버(300)는 스마트 기기로부터 전송된 실제영상정보에서 복수의 실제객체를 인식한 후, 각 실제객체의 추가인식영역의 정보를 비교하여 고유 식별자를 식별하고 고유 식별자에 해당하는 가상객체를 할당한다.

한편, 각 설비의 추가인식영역에 서로 다른 식별마커가 인쇄되어 있을 경우, 그 식별마커의 형태는 다음과 같이 구성될 수 있다.

식별마커는 제1 식별마커 영역과, 제2 식별마커 영역과, 제3 식별마커 영역과, 제4 식별마커 영역을 포함하여 구성될 수 있다.

즉, 식별마커는 제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역을 하나의 식별자로써 인식한다. 즉, 스마트 기기는 기본적으로 제1 내지 제4 식별마커를 모두 촬영하여 서버(300)로 전송하고 서버(300)는 인식된 식별마커를 하나의 고유 식별자로써 인식한다.

이때, 제1 식별마커 영역은 가시광선 영역의 파장을 반사하도록 구성된다. 즉, 제1 식별마커 영역은 일반적인 도료로 인쇄되며 사람이 시각적으로 구분할 수 있도록 인쇄된다.

또한, 제2 식별마커 영역은 제1 적외선 파장을 반사하는데, 제1 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.

또한, 제3 식별마커 영역은 제1 적외선 파장 보다 긴 파장의 제2 적외선 파장을 반사하는데, 제2 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.

또한, 제4 식별마커 영역은 제1 적외선 파장 및 제2 적외선 파장을 동시에 반사하는데, 제1 및 제2 적외선 파장을 반사하는 도료로 인쇄되며 사람이 시각적으로 구분할 수 없다.

이때, 식별마커를 영상 촬영하는 스마트 기기의 카메라는 적외선 투과파장을 조절하는 분광필터가 장착되어 적외선 파장 영역을 촬영하여 인식할 수 있도록 구성된다.

따라서 설비에 인쇄된 식별마커 중 제1 식별마커 영역만이 사람이 시각적으로 확인할 수 있으며, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역은 사람이 시각적으로 확인할 수 없고 스마트 기기의 카메라를 통해 촬영될 수 있다.

제1 식별마커 영역, 제2 식별마커 영역, 제3 식별마커 영역 및 제4 식별마커 영역의 상대적인 인쇄위치(좌우상하)도 하나의 구분자로써 이용될 수 있다. 식별마커 영역에는 숫자, 기호, 부호 등과 같이 다양한 문자들이 인쇄될 수도 있다. 또한, 식별마커는 QR 코드, 바코드 형태로 인쇄될 수도 있을 것이다.

도 21은 증강현실시스템(1)에서 유사객체를 식별하는 상태를 나타낸 제2 예시도이다.

도 21을 참조하면, 서버(300)는 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다. 즉, 사용자(현장 작업자)의 현재위치정보를 추가적으로 고려하여 실제객체를 식별할 수 있다.

예를 들면 복수의 실제객체가 소정의 이격거리를 유지할 경우, 유사도 값이 높은 실제객체라 할지라도 사용자(현장 작업자)의 현재위치정보를 이용하여 이를 식별할 수 있다. 여기에서 현재위치정보는 사용자(현장 작업자)의 절대적인 위치정보, 상대적인 위치정보, 이동방향, 가속도 및 시선의 방향 등을 모두 포함한다고 가정한다.

이때, 서버(300)는 현재위치정보로도 식별되지 않는 실제객체들을 추가적으로 식별하기 위해 추가인식영역을 선정하고 이 영역을 인식하여 실제객체들의 차이를 식별할 수도 있을 것이다.

또한, 서버(300)는 각 실제객체의 현재위치정보를 토대로 추가인식영역의 후보위치를 결정할 수 있다.

즉, 도 21을 참조하면, 사용자(현장 작업자)가 제1 위치(P1)에 위치하고 정면에 위치한 실제객체를 응시할 경우,

서버(300)는 실제영상정보를 토대로 해당 실제객체와 사용자와의 이격거리를 판단한 후, 그 실제객체의 공간상의 좌표(x1,y1,z1)를 검출한다.

공간상의 좌표(x1,y1,z1)에 위치하는 실제객체에는 복수의 추가인식영역이 미리 설정되어 있으므로, 서버(300)는 실제객체의 공간상의 좌표(x1,y1,z1), 즉 실제객체의 현재위치정보를 토대로 추가인식영역의 후보위치를 결정할 수 있다.

서버(300)는 공간상의 좌표(x1,y1,z1)에 미리 어떤 실제객체가 존재하는지와, 그 실제객체의 어떤 부분이 추가인식영역으로 지정되어 있는지를 미리 파악하고 있으므로, 단순히 추가인식영역의 후보위치만을 식별하여 객체를 식별할 수 있는 것이다. 이와 같은 방식은 추가인식영역을 식별하기 위한 연산량이 감소할 수 있는 장점이 있다.

참고적으로, 실내공간이라고 가정하고 조명의 방향이 모두 일정하다고 가정하면, 유사한 실제객체라 할지라도 그 조명에 의한 그림자의 위치 및 크기는 서로 달라질 수 있다. 따라서 서버(300)는 사용자(현장 작업자)의 현재위치를 기준으로 각각의 실제객체의 그림자 위치 및 크기의 차이점을 추가정보로 이용하여 각각의 실제객체를 식별할 수도 있을 것이다.

한편, 실제영상정보의 실제객체에 각각 할당되어 표시되는 증강 가이드(3차원 가상영상)의 가상객체의 위치는, 실제객체와 소정의 이격거리를 유지하도록 자동 조절되어 스마트 기기에 표시된다.

또한, 각각의 가상객체 사이의 위치도 소정의 이격거리를 유지하도록 자동 조절되어 스마트 기기에 표시된다.

따라서 실제객체 및 가상객체간의 상호 위치관계를 고려하여 객체들이 서로 중첩되지 않도록 위치가 자동 조절되므로 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 광고효과가 상승할 수 있다.

도 22는 증강현실시스템(1)의 다른 동작원리를 나타낸 도면이다.

도 22를 참조하여 증강현실시스템(1)의 동작원리를 좀 더 상세히 설명하면 다음과 같다.

제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)는,

제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

또한, 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D1)는, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)와, 실제객체(Physical Object)의 중심점과 실제객체(Physical Object)의 최외곽영역 사이의 거리(R3)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

또한, 제1 가상객체(Virtual Object 1)와 제2 가상객체(Virtual Object 2) 사이의 이격거리(D1)는, 제1 가상객체(Virtual Object 1)의 중심점과 제1 가상객체(Virtual Object 1)의 최외곽영역 사이의 거리(R1)와, 제2 가상객체(Virtual Object 2)의 중심점과 제2 가상객체(Virtual Object 2)의 최외곽영역 사이의 거리(R2)의 합보다 더 긴 거리를 갖도록 자동 설정된다.

제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)는 수평방향 및 수직방향으로 이동하며, 다른 객체와 중복되어 사용자의 시야에서 벗어나지 않도록 3차원 공간상에서 위치가 자동 조절 - x , y , z 축을 기준으로 위치가 조절됨 - 된다.

한편, 실제객체(Physical Object) 및 제1 가상객체(Virtual Object 1) 사이와, 실제객체(Physical Object) 및 제2 가상객체(Virtual Object 2) 사이에는 각각의 가상선(L1, L2)이 동적으로 생성되어 표시된다.

가상선(L1, L2)은 많은 수의 가상객체가 화면상에 존재할 때, 실제객체(Physical Object)와의 연관성을 지시하기 위해 표시되며 가상선(L1, L2)의 굵기, 투명도, 색상은 사용자의 시선에 따라 자동으로 변경될 수 있다.

예를 들면 사용자가 제1 가상객체(Virtual Object 1)를 소정의 시간 이상 응시할 경우 스마트 기기가 제1 가상객체(Virtual Object 1)의 응시여부를 감지한 후, 실제객체(Physical Object)와 제1 가상객체(Virtual Object 1) 사이의 가상선(L1)의 굵기를 다른 가상선(L2)보다 더 굵게 변경하고, 투명도도 더 낮게 변경하고, 색상도 붉은색 등과 같이 강조될 수 있는 색상으로 자동 변경하도록 동작할 수도 있다.

이때, 실제객체(Physical Object)에 제1 가상객체(Virtual Object 1) 및 제2 가상객체(Virtual Object 2)가 모두 할당된다고 가정하면, 실제객체(Physical Object)에 할당된 복수의 가상객체의 거리는 상술한 바와 같이 소정의 이격거리(D2, D3)를 각각 유지하되, 더 세부적인 정보를 갖는 가상객체가 실제객체(Physical Object)에 상대적으로 더 가까이에 배치된다.

예를 들어 제1 가상객체(Virtual Object 1)의 정보가 더 세부적인 정보이고, 제2 가상객체(Virtual Object 2)의 정보는 상대적으로 개념적인 정보라고 가정하면,

제1 가상객체(Virtual Object 1)와 실제객체(Physical Object) 사이의 이격거리(D2)보다 제2 가상객체(Virtual Object 2)와 실제객체(Physical Object) 사이의 이격거리(D3)가 더 길게 자동 설정되어, 사용자가 세부적인 정보를 빠르게 인지할 수 있다.

또한, 실제객체(Physical Object)에 복수의 가상객체가 할당되어 있을 경우, 연관성이 높을수록 가상객체 사이의 거리가 더 가까이 배치되고, 연관성이 낮을수록 가상객체 사이의 거리가 더 멀리 자동 배치될 수 있다.

도 23 및 도 23a는 증강현실시스템(1)의 또 다른 동작원리를 나타낸 도면이다.

도 23 및 도 23a를 참조하면, 실제영상정보의 실제객체에 각각 할당되어 표시되는 증강 가이드(3차원 가상영상)의 가상객체의 정보량은, 실제객체와 사용자와의 거리에 따라 동적으로 자동 조절되어 스마트 기기에 표시될 수 있다.

따라서 사용자가 객체에 가까이 접근하였을 때 가상객체가 좀 더 세부적인 정보를 표시하므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 정보전달 효과가 상승할 수 있다.

일반적으로 사용자는 관심있는 객체에 대한 정보를 좀 더 가까이에서 보려하는 경향이 있으므로, 사용자가 관심 객체와 멀리 떨어져 있을 때는 추상적으로 정보를 표시하고, 사용자가 관심 객체에 근접할 경우 좀 더 상세한 정보를 표시하도록 동작한다.

사용자와 실제객체 또는 가상객체 사이의 거리가 소정의 이격거리(D1) 내에 도달할 때부터 실제객체에 할당된 가상객체가 표시되기 시작하며, 사용자와 실제객체 또는 가상객체 사이의 거리가 가까워질수록 좀 더 세부적인 정보의 가상객체가 표시된다.

즉, 하나의 실제객체에 할당된 가상객체의 정보는 계층화되어 있다. 도 8a에 도시된 바와 같이,

가장 추상적인 가상객체(A)는 사용자가 소정의 이격거리(D1)에 진입할 때 표시되고, 사용자가 실제객체 또는 가상객체에 좀 더 접근(D2)할 경우 좀 더 구체적인 정보를 갖는 가상객체(A1, A2)가 표시된다. 또한, 사용자가 실제객체 또는 가상객체에 가장 가까이 접근(D3)할 경우 가장 구체적인 정보를 갖는 가상객체(A1-1, A1-2, A2-1, A2-2)가 표시된다.

예를 들어 사용자의 전방에 실제객체로써 자동 판매기가 배치되어 있다고 가정하면,

사용자가 소정의 이격거리(D1)내로 진입할 때, 자동 판매기에 할당된 가상객체가 표시된다. 여기에서 가상객체는 자동 판매기의 아이콘으로 가정한다.

다음으로 사용자가 자동 판매기에 좀 더 접근(D2)할 경우, 자판기에서 판매되고 있는 음료수 제품들의 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다.

마지막으로 사용자가 자동 판매기에 가장 가까이 접근(D3)할 경우, 각 음료수 제품의 칼로리, 성분 등이 더 상세한 정보의 가상객체로써 표시될 수 있다.

다른 예를 들면, 사용자의 전방에 실제객체로써 자동차 판매점이 있다고 가정하면,

사용자가 소정의 이격거리(D1)내로 진입할 때, 자동차 판매점에 할당된 가상객체가 표시된다. 여기에서 가상객체는 판매되는 자동차 브랜드 아이콘으로 가정한다.

다음으로 사용자가 자동차 판매점에 좀 더 접근(D2)할 경우, 판매되고 있는 다양한 종류의 자동차 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다. 이때, 현재 전시되어 있는 자동차, 즉 실제객체가 있을 경우 그 실제객체 주변에 가상객체가 표시될 수 있으며, 전시되어 있지 않는 자동차, 즉 실제객체가 없을 경우에도 주변영역에 가상객체가 표시될 수 있다.

마지막으로 사용자가 자동차 판매점에 가장 가까이 접근(D3)할 경우, 판매되고 있는 자동차의 제원, 가격, 예상 출고일 등이 좀 더 상세한 정보의 가상객체로써 표시될 수 있다.

한편, 스마트 기기는 사용자가 확인하고 싶은 가상객체 또는 실제객체를 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 가상객체의 정보량을 재설정하여 표시할 수 있다.

즉, 사용자가 직접 이동하지 않고 진동을 통해 가상으로 이동했다고 가정하거나, 진동으로 이동거리에 가중치를 부여하고, 그 가상 이동거리에 따라 가상객체의 정보량을 재설정하여 표시할 수 있다.

즉, 진동의 변화율이 크다는 것은 사용자가 달리거나 빠르게 움직이는 것이며, 진동의 변화율이 작다는 것은 사용자가 천천히 움직이는 것에 해당하는 것이므로, 이를 토대로 이동거리를 산출할 수 있다. 따라서 사용자가 실제 움직이지 않고 고개 등을 위 아래로 흔들면서 진동을 부여하여 가상의 이동거리를 반영할 수도 있을 것이다.

사용자가 확인하고 싶은 방향을 응시한 상태, 예를 들어 사용자가 오른쪽으로 고개를 돌리고 오른쪽을 바라보는 동시에 진동이 계속해서 발생할 경우, 스마트 기기는 사용자의 응시방향과 진동을 토대로 이동방향 및 이동거리를 산출한다.

즉, 스마트 기기는 내장된 센서를 통해 사용자의 머리 회전을 감지하고, 진동을 감지한 후 가상의 현재위치를 산출하는데, 걷거나 뛰는 행동을 진동의 변화율을 통해 그 이동거리를 파악한다.

스마트 기기는 사용자가 응시한 방향을 감지할 때, 머리의 회전방향을 토대로 응시방향을 감지하도록 구성될 수 있고, 눈동자의 이동방향을 감지하여 응시방향을 감지하도록 구성될 수 있을 것이다.

또한, 머리의 회전방향 및 눈동자의 이동방향을 동시에 감지하고, 두 감지결과에 우선비중을 달리하여 응시방향을 보다 정밀하게 산출할 수 있다. 즉, 머리의 회전으로 인한 회전각도 감지에 50% 내지 100%의 비중을 부여하고, 눈동자의 이동방향에 0% 내지 60%의 비중을 부여하여 응시방향을 산출하도록 구성될 수 있을 것이다.

또한, 스마트 기기에서 이동거리확장 설정모드를 선택하고 실행하여, 산출된 가상 이동거리의 2배 내지 100배의 거리 가중치가 반영되도록 사용자가 설정할 수도 있다.

또한, 스마트 기기는 진동의 변화율에 대응하는 이동거리를 산출함에 있어서, 노이즈 값을 제외하기 위해, 진동 크기의 상위값 10%와 하위값 20%를 제외하고, 나머지 진동값의 변화율을 토대로 이동거리를 산출할 수 있다.

결과적으로 사용자는 실제로 실제객체 또는 가상객체로 접근하지 않거나, 아주 조금 접근하더라도 실제객체 또는 가상객체 바로 앞에 접근한 것과 같은 정보량을 갖는 가상객체를 확인할 수 있다.

도 24는 증강현실시스템(1)의 스마트 기기의 구성도이고, 도 24a는 스마트 기기의 예시도이다.

도 24 및 도 24a를 참조하면, 스마트 기기는 투명 디스플레이(110)와, 좌측 전방 카메라(121)와, 우측 전방 카메라(122)와, 좌측 3D센서(131)와, 우측 3D센서(132)와, 위성모듈(141)과, 통신모듈(142)과, 9축 센서(143)와, 배터리(144)와, 인식 카메라(145)와, 제어부(150)를 포함하여 구성된다.

투명 디스플레이(110)는 투명한 재질의 디스플레이로써 스마트 기기의 렌즈를 구성한다. 따라서 사용자가 전방을 주시한 상태에서 실제객체와 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이(110)는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.

좌측 전방 카메라(121)는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라(122)는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.

좌측 3D센서(131) 및 우측 3D센서(132)는 좌측 전방 카메라(121) 및 우측 전방 카메라(122)와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버(300)로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.

위성모듈(141)은 위성위치정보를 획득하기 위해 구비되고, 통신모듈(142)은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.

9축 센서(143)는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서(143)는 스마트 기기의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.

배터리(144)는 스마트 기기에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.

참고적으로, 배터리(144)는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다.

인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라(145)는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다.

기본적으로 인식 카메라(145)는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이(110)에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성될 수도 있을 것이다.

제어부(150)는 투명 디스플레이(110), 좌측 전방 카메라(121), 우측 전방 카메라(122), 좌측 3D센서(131), 우측 3D센서(132), 위성모듈(141), 통신모듈(142), 9축 센서(143), 배터리(144), 인식 카메라(145)의 동작을 제어한다.

한편, 제어부(150)는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.

복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.

제어부(150)는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.

예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,

제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.

또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부(150)는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.

도 25는 증강현실시스템(1)의 안전모드가 동작하는 상태도이다.

증강현실시스템(1)은 사용자의 안전을 위해 안전모드가 설정될 수 있다.

안전모드가 설정될 경우, 스마트 기기는 전방 카메라(121, 123)를 통해 사용자에게 접근하는 실제객체를 감지한다. 즉, 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게 접근하는 것을 감지하여 위험상황을 투명 디스플레이(110)에 표시할 수 있다.

도 25를 참조하면, 사용자가 전방을 주시하고 있는 상태의 화면이 도시되어 있는데, 중앙에 점선으로 표시된 사각영역은 시선집중구역으로 정의되며 점선의 테두리로 그 영역이 정의되어 있다. 이때, 전방 카메라(121, 122)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게(소정의 속도 이상) 접근하는 것을 감지할 경우,

시선집중구역의 크기가 자동으로 확장되고, 화면에 표시되고 있는 가상객체는 시선집중구역의 외곽방향으로 자동이동하거나, 그 투명도가 더욱 강화되어 사용자가 접근하는 실제객체를 용이하게 인지할 수 있도록 동작한다.

사용자에게 접근하는 실제객체의 속도에 비례(정비례 또는 제곱에 비례)하여 시선집중구역의 크기, 가상객체의 투명도, 외곽방향으로 이동하는 가상객체의 이동속도가 자동 결정될 수 있다.

또한, 인식 카메라(145)가 사용자의 눈동자의 방향을 감지할 경우, 시선집중구역은 눈동자의 방향에 따라 자동 이동하도록 동작한다. 즉, 사용자의 눈이 오른쪽을 응시하고 있을 경우 시선집중구역은 오른쪽 방향으로 이동한 상태이다. 이때, 전방 카메라(121, 123)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 접근 - 정면에서 접근 - 하는 것을 감지할 경우, 시선집중구역은 상술한 바와 같은 안전동작을 진행하되, 사용자의 정면방향으로 시선집중구역이 자동이동한다.

즉, 시선집중구역은 사용자에게 빠르게 접근하는 실제객체의 방향으로 자동이동하도록 설정될 수도 있을 것이다.

또한, 사용자에게 위험이 될 수 있는 실제객체에 새로운 가상객체가 할당되어 표시되고 실제객체(Physical Object)와의 연관성을 지시하기 위한 가상선이 표시될 수 있다. 이때 새로운 가상객체는 위험을 지시하는 아이콘, 문자 등으로 표시될 수 있으며 접근속도가 가상객체로써 추가 표시될 수도 있을 것이다.

참고적으로 인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지할 수 있으므로, 이러한 눈동자의 크기변화를 토대로 동작명령을 지시할 수 있다.

예를 들면 사용자가 눈을 소정의 시간동안 크게 뜰 때마다 점차적으로 하위 정보에 해당하는 가상정보를 표시하고, 눈을 소정의 시간동안 작게 뜰 때마다 점차적으로 상위 정보에 해당하는 가상정보를 표시하도록 지시될 수 있다. 또한, 인식 카메라(145)의 명령 인식률을 향상시키기 위해 사용자의 눈썹에 지시용 눈썹을 부착할 수도 있다. 지시용 눈썹은 소정의 적외선 파장을 반사하는 반사도료가 코팅되어 있으며, 인식 카메라(145)는 그 적외선 파장을 인식할 수 있도록 구성되어 명령 인식율을 향상시킬 수도 있을 것이다.

도 26은 증강현실시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도이다.

도 26을 참조하면, 증강현실시스템(1)은 오버헤드 뷰 모드(Overhead View Mode)가 설정될 수 있다.

오버헤드 뷰 모드(Overhead View Mode)는 사용자의 머리 위에서 촬영되어 합성된 영상이 투명 디스플레이(110)에 표시되는 모드를 의미한다.

즉, 도면에 미도시되었으나 스마트 기기에는 적외선 영역 및 가시광선 영역을 촬영할 수 있는 복수의 뷰 카메라가 안경 프레임을 따라 추가적으로 배열될 수 있다. 따라서 복수의 뷰 카메라에서 촬영된 영상을 합성하여 사용자의 시야에 제공할 수 있는데, 주간 뿐만 아니라 특히 야간에는 사용자가 안전하게 이동할 수 있는 발바닥 궤적을 표시할 수 있다. 이때, 발바닥 궤적은 소정의 이전 위치를 기준으로한 지면의 높이가 표시되어 사용자가 보다 안전하게 이동하는데 도움을 줄 수 있다.

또한, 증강현실시스템(1)은 와이파이 통신모듈이 내장되며 실내의 공간에 일정한 간격으로 배치되는 복수의 센싱부를 더 포함하여 구성될 수 있다.

복수의 센싱부는 실내에서 스마트 기기의 위치를 감지할 수 있도록 선택적으로 배치될 수 있으며,

복수의 센싱부는 스마트 기기에서 주기적으로 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 감지할 때마다 그 감지정보를 서버(300)로 전송하여, 서버(300)에서 복수의 센싱부의 절대위치를 기준으로 스마트 기기의 상대적 위치를 파악할 수 있을 것이다.

상술한 바와 같이 제안한 시스템에서는 실외에서는 위성위치정보를 바탕으로 현재위치정보를 획득하고, 실내에서는 와이파이 신호를 이용하여 현재위치정보를 획득하는 방식을 설명하였다.

한편, 실내 및 실외에서 현재위치정보를 획득할 수 있는 추가적인 방식에 대해 설명하면 다음과 같다.

와이파이 신호를 이용하는 방식은 기본적으로 삼각측량 및 핑거 프린팅 방식으로 구분할 수 있다.

우선, 삼각측량은 3개 이상의 AP(Access Point)로부터 신호강도(Received Signal Strength, RSS)를 측정하고 신호강도를 거리로 환산한 후 방정식을 통해 위치를 계산하는 방식이다.

다음으로, 핑거 프린팅 방식은 실내 공간을 작은 셀(cell)로 나누고 각 셀에서 직접 신호강도 값을 수집하고 데이터베이스화하여 라디오맵(Radio Map)을 구축한 후, 사용자 위치에서 수신된 신호강도 값을 데이터베이스와 비교하여 가장 유사한 신호 패턴을 보이는 셀을 사용자의 위치로 추정하는 방식이다.

다음으로, 주변에 스마트폰을 가진 다수의 사용자로부터 직간접적으로 와이파이 신호를 교환하면서 각 스마트폰의 위치 데이터를 수집하는 방식을 사용할 수도 있다.

또한, 스마트 기기의 통신모듈(142)은 블루투스 통신모듈을 포함하고 있으므로, 블루투스 통신을 이용하여 현재위치정보를 파악할 수 있다.

우선, 실내공간에 복수의 비콘을 배치시킨 후 어느 하나의 비콘과 통신을 진행할 때 그 비콘 주변에 사용자가 위치하고 있다고 추정하는 방식이 있다.

다음으로, 반구의 형태의 표면에 다수의 지향성 안테나가 배열된 수신기를 실내공간에 배치한 후, 스마트 기기에서 발신한 신호를 수신하는 특정 지향성 안테나의 식별을 통해 사용자의 위치를 추정하는 방식이 있다. 이때, 2개 이상의 수신기를 배치할 경우 사용자의 위치를 삼차원형태로 식별할 수도 있다.

또한, 위성위치정보를 토대로 사용자의 현재위치정보를 파악하고 있다가, 위성위치정보의 음영지역에 진입할 경우, 9축 센서(143)의 정보를 이용하여 속도 및 이동방향을 추정하는 방식이다. 즉, 걸음 수 측정(Step counting), 보폭 추정(Stride length estimation), 방향 추정(Heading estimation)을 통해 실내에서 사용자의 위치를 추정할 수 있다. 이때, 추정정보의 정확성을 높이기 위해 사용자의 신체조건(키, 몸무게, 보폭) 등의 정보를 입력받아 위치추정 연산에 사용할 수도 있다. 9축 센서(143)의 정보를 이용할 때, 상술한 와이파이 통신을 이용한 위치추정기법을 결합하여 추정정보의 정확성을 향상시킬 수 있다.

즉, 와이파이 기법으로 다소 정확도가 낮더라도 전역적으로(globally) 절대적인 좌표(absolute position)를 계산하고, 9축 센서(143)의 정보를 통해 지역적으로(locally) 높은 정확도의 상대 측위(relative position)를 결합하여 정확도를 향상 시킬 수 있다. 또한, 추가적으로 블루투스 통신방식을 적용하여 위치추정정보의 정확성을 보다 향상시킬 수도 있을 것이다.

또한, 실내공간에는 위치를 구분할 수 있는 고유의 자기장 정보가 형성되어 있으므로, 각 공간의 자기장맵을 구축한 후, 와이파이를 이용한 핑거 프린팅 방식과 유사하게 현재위치를 추정하는 방법이 적용될 수 있다. 이때, 사용자가 이동하면서 발생하는 자기장의 변화추세를 추가적인 정보로 이용할 수도 있다.

또한, 실내공간에 설치된 조명을 활용하는 방법이 있다. 즉, LED 조명을 사람이 식별할 수 없을 정도의 빠르기로 점멸하면서, 특정 위치 식별자를 출력하고 스마트 기기스마트 기기스마트 기기인식하여 위치를 추정하는 방식이 사용될 수 있다.

또한, 실내공간의 여러 위치와 다양한 각도에서 찍은 이미지들을 데이터베이스화 한 다음 사용자 위치에서 찍은 사진을 매칭하는 기법이 있으며, 실내 공간의 다양한 랜드마크(간판, 상표, 방 번호, 표지판 등)를 추가 식별함으로써 위치를 교정하는 방식이 사용될 수 있다.

참고적으로 실내공간에서 현재위치정보를 획득하는 방식은 상술한 방식을 적어도 하나 이상 조합하여 정확도를 향상시키는 것이 가장 바람직하다.

본 발명의 실시예에 따른 증강현실시스템은, 실체객체가 촬영영상 내에 모두 존재하거나 부분적으로 존재하더라도 이를 정확하게 식별하여 실제객체에 할당된 가상객체를 목표된 위치에 표시할 수 있다.

즉, 공간 인식 및 사물 인식을 동시에 적용하여 가상객체의 위치를 정확한 위치에 표시할 수 있다.

또한, 증강현실시스템은 공간인식기반으로 공간기반의 3차원 정합 좌표계를 생성하면서 실제객체의 좌표를 파악하는 동시에 사물인식기반으로 사물인식기반의 3차원 정합 좌표계를 추가로 생성하여 공간기반의 3차원 정합 좌표계를 보정함으로써 오차를 보정할 수 있다. 또한 여기에 상술한 사용자의 현재위치를 기준으로 실제객체를 구분하는 기법을 적용하여 여 실내 또는 실외에서 실제객체의 위치를 보다 정확하게 파악할 수 있을 것이다. 또한 여기에 유사객체를 식별하는 기법과, 객체간의 거리를 유지하는 기법과, 거리에 따라 가상객체의 정보량을 조절하는 기법을 적어도 하나 이상 적용하여 증강현실시스템을 구성할 수 있을 것이다.

또한, 본 발명의 실시예에 따른 증강현실시스템(1)은, 객체와 사용자와의 거리에 따라 가상객체의 정보량이 동적으로 조절되므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다.

따라서 증강현실광고의 형태로 가상객체가 표시될 경우 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 광고효과가 상승할 수 있다.

또한 본 발명의 실시예에 따른 증강현실시스템은 추가인식영역을 선정하고, 추가인식영역의 영상 차이점을 토대로 고유 식별자를 실제객체에 각각 부여하여 유사객체를 식별할 수 있다.

또한, 증강현실시스템은 추가인식영역의 영상 차이점을 토대로 각각의 실제객체에 부여된 고유 식별자와, 각 실제객체의 현재위치정보를 모두 고려하여 각각의 실제객체를 식별할 수 있다.

따라서 유사성이 높은 실제객체가 배열되더라도 이를 식별하여 각각의 실제객체에 할당된 가상객체를 표시하여 사용자에게 혼동 없는 정보를 전달할 수 있다.

참고적으로 증강현실시스템(1)에서는 실시간 영상(비정형 데이터) 전송의 경우 네트워크 통신 상태에 따라 트래픽을 분산시켜 끊어짐이 동작하며 네트워크 전송 속도가 일시적으로 느려질 경우 자동적으로 화질을 조정 하여 프레임 드랍(drop) 현상이 일어나지 않도록 동작한다.

본 발명의 실시예에 따른 지능형 인지기술기반 제조현장의 증강현실시스템은,

피지정수단에 해당하는 실제객체가 3D 모델링화 되어 가상객체로서 표시하는데, 가상객체는 작업방식에 대한 정보를 애니메이션 형태로 증강현실안경으로 표시하므로 작업 효율성을 향상시킬 수 있다.

즉, 증강현실 지시모드에서, 증강현실안경은 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 증강 가이드의 가상객체로써 표시하는데,

가상객체는 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동하면서 동작을 지시하는 애니메이션 형태로 표시된다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 스마트 기기(증강현실안경)
200 : 지원 단말기(테이블탑)
300 : 서버
110 : 투명 디스플레이
121 : 좌측 전방 카메라
122 : 우측 전방 카메라
131 : 좌측 3D센서
132 : 우측 3D센서
141 : 위성모듈
142 : 통신모듈
143 : 9축 센서
144 : 배터리
145 : 인식 카메라
150 : 제어부

Claims (6)

1. 삭제
2. 현장 작업자가 소지하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하되, 피지정수단에 해당하는 실제영상정보의 실제객체가 선택될 경우, 선택된 실제객체를 3D 모델링하여 상기 증강 가이드의 가상객체로써 표시하고, 상기 가상객체를 상기 피지정수단의 작업 대상물이 되는 실제객체의 작업위치로 이동시키면서 동작을 지시하는 애니메이션 형태로 표시하고, 상기 현장 작업자가 증강된 피지정수단이 아닌 다른 피지정수단을 사용하여 작업 대상물로 이동시킬 경우 경고하는 스마트 기기;
   터치 스크린에 상기 실제영상정보를 표시하며, 상기 터치 스크린의 상부공간에서 원격 전문가가 지시하는 지시사항 정보를 감지하여 서버로 전송하는 지원 단말기; 및
   상기 스마트 기기와 상기 지원 단말기 사이에서 데이터를 상호 중계하고, 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 스마트 기기에 실시간 제공하는 상기 서버;를 포함하고,
   상기 지원 단말기는, 펜 또는 지우개가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 상기 터치 스크린에서 이동하는 상기 펜 또는 상기 지우개의 이동좌표를 전송하고, 상기 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 상기 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송하며,
   상기 스마트 기기는, 상기 현장 작업자가 피지정수단을 사용하여 작업을 진행할 때, 작업 대상물의 회전 횟수 및 삽입 깊이를 영상 감지하여 표시하되, 상기 작업 대상물에 대한 상기 피지정수단의 최대 삽입치 및 최소 삽입치까지 자동감지하여 표시하는 것을 특징으로 하는 지능형 인지기술기반 증강현실시스템.
   
3. 제2항에 있어서,
   상기 서버는 상기 실제영상정보의 실제객체를 영상 식별하고 식별된 실제객체에 각각 할당된 상기 증강 가이드의 가상객체를 상기 스마트 기기에 제공함에 있어서,
   상기 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 상기 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 상기 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 상기 실제객체의 좌표를 다시 파악한 후, 파악된 상기 실제객체의 좌표를 갱신하고, 갱신된 상기 실제객체의 좌표에 미리 할당된 가상객체를 표시하는 것을 특징으로 하는 지능형 인지기술기반 증강현실시스템.
   
4. 제2항에 있어서,
   상기 서버는 상기 실제영상정보의 실제객체를 영상 식별하고 식별된 실제객체에 각각 할당된 상기 증강 가이드의 가상객체를 상기 스마트 기기에 제공함에 있어서,
   상기 스마트 기기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 상기 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 상기 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 상기 실제객체의 좌표를 파악한 후 사물인식기반의 3차원 정합 좌표계를 추가로 생성하고, 상기 사물인식기반의 3차원 정합 좌표계를 기준으로 상기 공간기반의 3차원 정합 좌표계를 갱신하는 것을 특징으로 하는 지능형 인지기술기반 증강현실시스템.
   
5. 제2항에 있어서,
   상기 스마트 기기는 상기 실제영상정보의 실제객체를 상기 현장 작업자가 작동시키는 과정의 조작영상을 촬영함에 있어서, 촬영시점이 변경되더라도 선택된 실제객체의 최초촬영 시점을 유지하도록 상기 조작영상을 처리하는 것을 특징으로 하는 지능형 인지기술기반 증강현실시스템.
   
6. 제5항에 있어서,
   상기 조작영상은 상기 실제객체의 3차원 깊이정보를 포함하는 것을 특징으로 하는 지능형 인지기술기반 증강현실시스템.

Images