KR101988278B1 - 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 - Google Patents

영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR101988278B1
KR101988278B1 KR1020170143754A KR20170143754A KR101988278B1 KR 101988278 B1 KR101988278 B1 KR 101988278B1 KR 1020170143754 A KR1020170143754 A KR 1020170143754A KR 20170143754 A KR20170143754 A KR 20170143754A KR 101988278 B1 KR101988278 B1 KR 101988278B1
Authority
KR
South Korea
Prior art keywords
image
unit
marker
reference point
camera
Prior art date
Application number
KR1020170143754A
Other languages
English (en)
Other versions
KR20190048635A (ko
Inventor
김강식
오기대
김상봉
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020170143754A priority Critical patent/KR101988278B1/ko
Publication of KR20190048635A publication Critical patent/KR20190048635A/ko
Application granted granted Critical
Publication of KR101988278B1 publication Critical patent/KR101988278B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Abstract

본 발명은 증강 현실 기술에 관한 것으로서, 더 상세하게는 설비 또는 시설에 설치되어 있는 각종 표시물의 위치를 실시간 영상에 정합하여 보여주는 증강현실 서비스를 구현하는 실시간 영상에 표지물 위치 증강 장치 및 방법에 대한 것이다.

Description

영상 속 사물의 3D 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체{Indication Objects Augmenting Apparatus using Base Point of 3D Object Recognition of Facilities and Buildings with Relative Coordinates of Indication Objects and Method thereof, and Computer readable storage medium}
본 발명은 증강 현실 기술에 관한 것으로서, 더 상세하게는 설비 또는 시설에 설치되어 있는 각종 표시물의 위치를 실시간 영상에 정합하여 보여주는 증강현실 서비스를 구현하는 실시간 영상에 표지물 위치 증강 장치 및 방법에 대한 것이다.
또한, 본 발명은 현장에 대한 실시간 영상에 센서의 위치와 측정 데이터를 전력설비와 정확하게 정합하여 보여줄 수 있는 실시간 영상에 표지물 위치 증강 장치 및 방법에 대한 것이다.
기존에서는 표지물에 GPS(Global Positioning System)를 이용하여 공간좌표를 부여하고 공간화한 실시간 영상에 표지물의 위치를 정합하여 보여주거나, 표지물의 위치 인근에 접근하면 표지물이 있음을 알리고 연관된 텍스트 형태의 정보를 실시간 영상에 겹쳐서 보여주는 방법이 사용되어 왔다.
GPS에 의한 공간좌표 이용방식은 공간좌표의 오차가 일반GPS의 경우
Figure 112017107962186-pat00001
이상으로 커서 실시간 영상에 있는 설비 또는 시설에 설치되어 있는 다수의 표지물을 차별되게 위치에 정합하여 보여주는 것은 매우 어려운 실정이다. 이를 보여주는 도면이 도 1에 도시된다. 도 1을 참조하면, 좌표상의 전류센서1과 실제 위치간에 증강오차가 발생하곤 한다. 또는 좌표상의 전주01과 실제 위치간에 증강오차가 발생한다.
부연하면, 현장에 설치하여 운영하고 있는 전력설비에는 온도, 진동, 풍속 등 각종 센서와 같은 표지물을 부착하여 운전상황을 모니터링 하고 있다. 『전력설비 스마트웨어러블 기술연구』,『안전 재난 관리 Fool Proof 시스템개발 사전연구』를 통하여 고안된 특허기술이다.
기존 증강 현실 기술에서는 설비에 부착한 센서에서 측정된 값들이 어느 위치에 있는 값인지를 나타내어 알려주기 위하여 GPS 좌표를 이용하거나 설비를 촬영한 사진위에 센서의 부착 위치와 번호 등을 표시하고 측정 데이터를 표형식으로 나타내는 방식을 채택하고 있다. 따라서, 자료를 구축하는데 어려움과 현장에서 측정 데이터를 확인하기에 불편함이 많았다.
또한, 표지물에 대한 연관된 정보를 텍스트 형태로 보여주는 것은 표지물의 위치를 파악하기 어려워 현실감이 떨어지는 단점을 가지고 있다.
1. 한국공개특허번호 제10-2017-0088501호 2. 한국등록특허번호 제10-1755248호(등록일자: 2017.07.03) 3. 한국등록특허번호 제10-1356644호(등록일자: 2014.01.22)
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 설비 또는 시설에 설치되어 있는 각종 표시물의 위치를 실시간 영상에 정합하여 보여주는 증강현실 서비스를 구현하는 실시간 영상에 표지물 위치 증강 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 현장에 대한 실시간 영상에 센서의 위치와 측정 데이터를 전력설비와 정확하게 정합하여 보여줄 수 있는 실시간 영상에 표지물 위치 증강 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 설비 또는 시설에 설치되어 있는 각종 표시물의 위치를 실시간 영상에 정합하여 보여주는 증강현실 서비스를 구현하는 실시간 영상에 표지물 위치 증강 장치를 제공한다.
상기 표지물 위치 증강 장치는,
사물을 담은 영상을 취득하는 영상 취득부;
상기 영상 속의 사물을 인식하는 사물 인식부;
사물 인식을 통하여 영상을 3D 영상 처리하는 영상 3D 처리부;
상기 사물의 기준점으로부터 상대좌표를 갖는 표지물 정보를 조회하는 표지물 정보 조회부;
3D 영상과 표지물의 좌표(위치)를 정합하는 실시간 좌표 정합부; 및
3D 영상과 표지물의 좌표(위치)를 증강하여 보여주는 증강 현실 표시부;를 포함하는 것을 특징으로 할 수 있다.
이때, 상기 영상 속의 사물을 인식하여 사물의 기준점을 정하는 경우 사물의 범위를 지정하여 사물의 기준점을 정할 수 있는 것을 특징으로 할 수 있다.
또한, 상기 3D 영상 처리는 사물인식, 특이점 인식, 엣지(Edge) 인식 기술 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 증강은 표지물의 데이터 정보도 함께 증강할 수 있는 것을 특징으로 할 수 있다.
또한, 상기 사물 인식부는, 영상속의 사물을 인식하는 사물 형상 인식부; 및 영상 속 사물에서 사물의 기준점을 정하도록 하는 사물 기준점 처리부;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 영상 3D 처리부는, 인식된 사물의 특징점과 카메라가 이루는 각도를 이용하여 사물과 카메라와의 거리를 계산하는 사물-카메라 거리 계산부; 위치 확인 수단을 이용하여 사물을 바라보는 자세(각도)를 계산하는 카메라 자세(각도) 계산부; 및 사물-카메라 거리계산 결과와 카메라 자세(각도) 값을 측량이론에 이용하여 영상을 3D화하는 영상 3D 좌표 계산부;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 표지물 정보 조회부는, 증강할 사물과 표지물에 관련한 정보를 DB(Database) 형태로 구축하는 사물-표지물 DB부;를 포함할 수 있다. 이때, 상기 표지물 정보 조회부는, 상기 사물 인식부의 사물 기준점 처리부에서 취득한 기준점의 위치를 이용하여 인근에 있는 설비 및 시설(사물)을 찾아 이에 연결되어 있는 표지물 정보를 조회하는 것을 특징으로 할 수 있다.
또한, 상기 사물-표지물 DB부는 외부 DB와 연결하여 사용되는 것을 특징으로 할 수 있다.
또한, 상기 실시간 좌표 정합부는, 정보를 화면에 증강할 때 카메라의 자세(각도)가 변경되면 증강할 정보의 좌표를 재계산하여야 할지를 판단하고, 판단 결과에 따라 영상 3D 좌표와 표지물의 좌표를 연산을 통하여 정합하는 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는, (a) 영상 취득부가 사물을 담은 영상을 취득하는 단계; (b) 사물 인식부가 상기 영상 속의 사물을 인식하는 단계;(c) 영상 3D 처리부가 사물 인식을 통하여 영상을 3D 영상 처리하는 단계; (d) 표지물 정보 조회부가 상기 사물의 기준점으로부터 상대좌표를 갖는 표지물 정보를 조회하는 단계; (e) 실시간 좌표 정합부가 3D 영상과 표지물의 좌표(위치)를 정합하는 단계; 및 (f) 증강 현실 표시부가 3D 영상과 표지물의 좌표(위치)를 증강하여 보여주는 단계;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법을 제공할 수 있다.
또한, 상기 (b) 단계는, 사물 형상 인식부가 영상속의 사물을 인식하는 단계; 및
사물 기준점 처리부가 영상 속 사물에서 사물의 기준점을 정하도록 하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 (c) 단계는, 사물-카메라 거리 계산부가 인식된 사물의 특징점과 카메라가 이루는 각도를 이용하여 사물과 카메라와의 거리를 계산하는 단계; 카메라 자세(각도) 계산부가 위치 확인 수단을 이용하여 사물을 바라보는 자세(각도)를 계산하는 단계; 및 영상 3D 좌표 계산부가 사물-카메라 거리계산 결과와 카메라 자세(각도) 값을 측량이론에 이용하여 영상을 3D화하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 (d) 단계는, 사물-표지물 DB부가 증강할 사물과 표지물에 관련한 정보를 DB(Database) 형태로 구축하는 단계;를 포함할 수 있다.
또한, 상기 (e) 단계는, 실시간 좌표 정합부가 정보를 화면에 증강할 때 카메라의 자세(각도)가 변경되면 증강할 정보의 좌표를 재계산하여야 할지를 판단하는 단계; 및 판단 결과에 따라 영상 3D 좌표와 표지물의 좌표를 연산을 통하여 정합하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또 다른 한편으로, 본 발명의 또 다른 일실시예는, 위에서 기술된 실시간 영상에 표지물 위치 증강 방법을 실행하는 프로그램 코드를 저장한 컴퓨터 판독 가능 저장 매체를 제공할 수 있다.
본 발명에 따르면, 현장에 대한 실시간 영상에 센서의 위치와 측정 데이터를 전력설비와 정확하게 정합하여 보여줄 수 있는 증강현실 기술을 구현할 수 있다.
또한, 본 발명의 다른 효과로서는 기존의 사진이용 방식이나 GPS이용 증강현실방식 보다 획기적으로 관리업무 단순화 및 현실감 증대에 따른 업무효율을 높일 수 있다는 점을 들 수 있다.
도 1은 일반적인 GPS에 의한 표지물 증강 오류의 예이다.
도 2는 사물 인식 및 기준점을 정의하는 화면예이다.
도 3은 본 발명의 일실시예에 따른 표지물 위치 증강(오차 감소)을 보여주는 개념도이다.
도 4는 본 발명의 일실시예에 따른 실시간 영상에 표지물 위치 증강 장치(100)의 구성도이다.
도 5는 본 발명의 다른 일실시예에 따른 전주 엣지(Edge) 검출 테스트의 개념도이다.
도 6은 도 5에서 검출 테스트 결과 사물 인식을 보여주는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 실시간 영상에 표지물 위치 증강 장치 및 방법을 상세하게 설명하기로 한다.
도 2는 사물 인식 및 기준점을 정의하는 화면예이다. 도 2를 참조하면, 실시간 영상의 설비 또는 시설의 형태(전주, 완철 등을 들 수 있음)를 인식(사물인식:Object Recognition)하여 실시간 영상을 공간화하여 설비 또는 시설의 일정 위치를 기준점으로 정의한다. 기준점은 사물인식을 통해 인식된 사물의 끝, 중앙점, 교차점 등을 말한다.
도 3은 본 발명의 일실시예에 따른 표지물 위치 증강(오차 감소)을 보여주는 개념도이다. 도 3을 참조하면, 실시간 영상에 정합하여 나타낼 표지물의 위치는 일정 위치로부터 각방향의 상대좌표를 부여하고, 실시간 영상에 보여지는 설비 또는 시설의 형태를 인식하여 실시간 영상을 공간화하여 설비 또는 시설의 일정 위치를 기준점으로 정하여 이 기준점으로부터 표지물의 상대좌표를 통하여 공간화한 실시간 영상에 표지물의 위치를 정합하여 정확하게 나타낸다. 도 3에서 상대좌표는 X,Y,Z 축으로 표시되며, 특히 Z축 방향은 완철 방향이다.
정확도를
Figure 112017107962186-pat00002
이내로 대폭 향상시킬 수 있으며, 설비 또는 시설과 표지물을 동시에 현실감 있게 나타낼 수 있어 기존에서 표지물의 위치를 표현하기 위해서 설비 또는 시설 사진에 표지물 번호 및 위치 표시 등의 자료작성이 필요 없게 되어 관리업무 단순화 및 효율개선 등 효과가 크다
도 4는 본 발명의 일실시예에 따른 실시간 영상에 표지물 위치 증강 장치(400)의 구성도이다. 도 4를 참조하면, 표지물 위치 증강 장치(400)는 영상 취득부(410), 사물 인식부(420), 영상 3D 처리부(430), 표지물 정보 조회부(440), 실시간 좌표 정합부(450), 증강현실 표시부(470) 등을 포함하여 구성될 수 있다.
영상 취득부(410)는 보고자 하는 대상물에 대한 영상을 취득하는 장치로, 카메라 등과 같은 영상 센서이다.
사물 인식부(420)는 영상 취득부(410)를 통하여 취득한 설비 및/또는 시설에 대한 영상에서 사물의 외곽선, 크기, 형태 등 형상을 인식하는 기능을 수행한다. 이를 위해, 사물 인식부(420)는 사물 형상을 인식하는 사물 형상 인식부(421), 인식된 사물 형상을 이용하여 기준점을 정의하는 사물 기준점 처리부(422)를 포함하여 구성될 수 있다.
3D 영상 처리부(430)는 사물 형상 인식부(421)에서 인식한 형상의 크기를 이용하여 사물과 카메라 간의 거리를 계산하는 기능을 수행하는 사물-카메라 거리 계산부(431), 영상 취득부(카메라)를 통하여 취득한 인식된 사물의 형상으로부터 카메라의 상하 좌우 자세(각도)를 계산하는 카메라 자세 계산부(432), 영상 취득부(410)를 통하여 나타나는 실시간 영상을 사물-카메라 거리와 카메라 자세(각도)를 이용하여 삼각함수 측량이론에 따라 3D 좌표를 갖는 영상으로 계산하는 기능을 수행하는 실시간 영상 3D 좌표 계산부(433) 등을 포함하여 구성될 수 있다.
카메라 자세 계산부(432)는 지자계 센서, 나침반 등의 위치 확인 수단을 이용하여 카메라가 사물을 바라보는 자세(각도)를 계산한다.
이러한 3D 영상 처리는 위에서 기술된 사물인식 기술이외에도, 특이점 인식, 엣지(Edge) 인식 기술 등이 이용될 수 있다.
표지물 정보 조회부(440)는 사물 인식부(420)의 사물 기준점 처리부(422)에서 취득한 기준점의 위치를 이용하여 인근에 있는 설비 및/또는 시설(사물)을 찾아 이에 연결 되어 있는 표지물 정보를 기업 데이터베이스(40)로부터 조회하여 사물-표지물 DB를 생성하는 기능을 수행한다. 사물-표지물 DB는 설비 및 시설(사물)의 위치, 표지물의 이름, 표지물의 사물의 기준점으로 부터 상대좌표, 표시 데이터 정보 등으로 구성되며 외부 기업DB와 유무선으로 연결되어 실시간으로 업데이트되는 DB이다.
실시간 좌표 정합부(450)는 3D 영상과 사물-표지물 DB에 대한 좌표를 정합하기 전에 영상 센서의 자세 변경 여부를 판단하여 좌표를 재계산하여 영상 3D 좌표와 표지물 상대좌표를 정합하는 기능을 수행한다. 부연하면, 영상과 사물-표지물 DB에 대한 좌표를 정합하기 전에 영상 센서의 자세 변경 여부를 확인하여 자세가 변경되면 사물 인식부(420)가 사물 인식을 다시 수행한다(451). 이와 달리, 자세 변경이 없다면 사물 인식을 통하여 3D 좌표화된 실시간 영상과 상대좌표 정보를 갖는 표지물을 실시간 영상과 정합한다(452).
증강현실 표시부(470)는 영상 취득부(410)를 통하여 들어온 실시간 영상에 표지물을 증강하여 나타내는 기능을 수행한다. 증강현식 표시부(470)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이 등이 될 수 있다.
도 5는 본 발명의 다른 일실시예에 따른 전주 엣지(Edge) 검출 테스트의 개념도이다. 도 5를 참조하면, 전주 엣지를 검출한다. 즉 좌측 화면은 대상물인 전주에서 전주 엣지의 검출 화면이고, 우측 화면은 미리 데이터베이스에 저장된 전주의 형상이다.
도 6은 도 5에서 검출 테스트 결과 사물 인식을 보여주는 개념도이다. 도 6을 참조하면, 도 5의 좌측 화면과 우측 화면을 비교하여 검출된 전주 엣지에서 사물인식을 통하여 교차점, 기준점 등을 정의한다.
명세서에 기재된 "~부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
본 발명에 따른 실시간 영상에 표지물 위치 증강 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 코드(명령)는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
400: 표지물 위치 증강 장치 410: 영상 취득부
420: 사물 인식부 430: 영상 3D 처리부
440: 표지물 정보 조회부 450: 실시간 좌표 정합부
470: 증강 현실 표시부

Claims (19)

  1. 사물을 담은 영상을 취득하는 영상 취득부;
    상기 영상 속의 사물을 인식하는 사물 인식부;
    사물 인식을 통하여 영상을 3D 영상 처리하는 영상 3D 처리부;
    상기 사물의 기준점으로부터 상대좌표를 갖는 표지물 정보를 조회하는 표지물 정보 조회부;
    3D 영상과 표지물의 좌표(위치)를 정합하는 실시간 좌표 정합부; 및
    3D 영상과 표지물의 좌표(위치)를 증강하여 보여주는 증강 현실 표시부;를 포함하며,
    상기 영상 속의 사물을 인식하여 사물의 기준점을 정하는 경우 사물의 범위를 지정하여 사물의 기준점을 정할 수 있는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 3D 영상 처리는 사물인식, 특이점 인식, 엣지(Edge) 인식 기술 중 어느 하나인 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  4. 제 1 항에 있어서,
    상기 증강은 표지물의 데이터 정보도 함께 증강할 수 있는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  5. 제 1 항에 있어서,
    상기 사물 인식부는,
    영상속의 사물을 인식하는 사물 형상 인식부; 및
    영상 속 사물에서 사물의 기준점을 정하도록 하는 사물 기준점 처리부;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  6. 제 1 항에 있어서,
    상기 영상 3D 처리부는,
    인식된 사물의 특징점과 카메라가 이루는 각도를 이용하여 사물과 카메라와의 거리를 계산하는 사물-카메라 거리 계산부;
    위치 확인 수단을 이용하여 사물을 바라보는 자세(각도)를 계산하는 카메라 자세(각도) 계산부; 및
    사물-카메라 거리계산 결과와 카메라 자세(각도) 값을 측량이론에 이용하여 영상을 3D화하는 영상 3D 좌표 계산부;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  7. 제 1 항에 있어서,
    표지물 정보 조회부는,
    증강할 사물과 표지물에 관련한 정보를 DB(Database) 형태로 구축하는 사물-표지물 DB부;를 포함하며, 상기 사물 인식부의 사물 기준점 처리부에서 취득한 기준점의 위치를 이용하여 인근에 있는 설비 및 시설(사물)을 찾아 이에 연결되어 있는 표지물 정보를 조회하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  8. 제 7 항에 있어서,
    상기 사물-표지물 DB부는 외부 DB와 연결하여 사용되는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  9. 제 1 항에 있어서,
    상기 실시간 좌표 정합부는, 정보를 화면에 증강할 때 카메라의 자세(각도)가 변경되면 증강할 정보의 좌표를 재계산하여야 할지를 판단하고, 판단 결과에 따라 영상 3D 좌표와 표지물의 좌표를 연산을 통하여 정합하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 장치.
  10. (a) 영상 취득부가 사물을 담은 영상을 취득하는 단계;
    (b) 사물 인식부가 상기 영상 속의 사물을 인식하는 단계;
    (c) 영상 3D 처리부가 사물 인식을 통하여 영상을 3D 영상 처리하는 단계;
    (d) 표지물 정보 조회부가 상기 사물의 기준점으로부터 상대좌표를 갖는 표지물 정보를 조회하는 단계;
    (e) 실시간 좌표 정합부가 3D 영상과 표지물의 좌표(위치)를 정합하는 단계; 및
    (f) 증강 현실 표시부가 3D 영상과 표지물의 좌표(위치)를 증강하여 보여주는 단계;를 포함하며,
    상기 영상 속의 사물을 인식하여 사물의 기준점을 정하는 경우 사물의 범위를 지정하여 사물의 기준점을 정할 수 있는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 3D 영상 처리는 사물인식, 특이점 인식, 엣지(Edge) 인식 기술 중 어느 하나인 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  13. 제 10 항에 있어서,
    상기 증강은 표지물의 데이터 정보도 함께 증강할 수 있는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  14. 제 10 항에 있어서,
    상기 (b) 단계는,
    사물 형상 인식부가 영상속의 사물을 인식하는 단계; 및
    사물 기준점 처리부가 영상 속 사물에서 사물의 기준점을 정하도록 하는 단계;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  15. 제 10 항에 있어서,
    상기 (c) 단계는,
    사물-카메라 거리 계산부가 인식된 사물의 특징점과 카메라가 이루는 각도를 이용하여 사물과 카메라와의 거리를 계산하는 단계;
    카메라 자세(각도) 계산부가 위치 확인 수단을 이용하여 사물을 바라보는 자세(각도)를 계산하는 단계; 및
    영상 3D 좌표 계산부가 사물-카메라 거리계산 결과와 카메라 자세(각도) 값을 측량이론에 이용하여 영상을 3D화하는 단계;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  16. 제 10 항에 있어서,
    상기 (d) 단계는,
    사물-표지물 DB부가 증강할 사물과 표지물에 관련한 정보를 DB(Database) 형태로 구축하는 단계;를 포함하며, 상기 사물 인식부의 사물 기준점 처리부에서 취득한 기준점의 위치를 이용하여 인근에 있는 설비 및 시설(사물)을 찾아 이에 연결되어 있는 표지물 정보를 조회하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  17. 제 16 항에 있어서,
    상기 사물-표지물 DB부는 외부 DB와 연결하여 사용되는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  18. 제 10 항에 있어서,
    상기 (e) 단계는, 실시간 좌표 정합부가 정보를 화면에 증강할 때 카메라의 자세(각도)가 변경되면 증강할 정보의 좌표를 재계산하여야 할지를 판단하는 단계; 및
    판단 결과에 따라 영상 3D 좌표와 표지물의 좌표를 연산을 통하여 정합하는 단계;를 포함하는 것을 특징으로 하는 실시간 영상에 표지물 위치 증강 방법.
  19. 제 10 항, 및 제12항 내지 제 18 항 중 어느 한 항에 따른 실시간 영상에 표지물 위치 증강 방법을 실행하는 프로그램 코드를 저장한 컴퓨터 판독 가능 저장 매체.
KR1020170143754A 2017-10-31 2017-10-31 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 KR101988278B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143754A KR101988278B1 (ko) 2017-10-31 2017-10-31 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143754A KR101988278B1 (ko) 2017-10-31 2017-10-31 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Publications (2)

Publication Number Publication Date
KR20190048635A KR20190048635A (ko) 2019-05-09
KR101988278B1 true KR101988278B1 (ko) 2019-06-12

Family

ID=66545658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143754A KR101988278B1 (ko) 2017-10-31 2017-10-31 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Country Status (1)

Country Link
KR (1) KR101988278B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348876A (zh) * 2019-08-08 2021-02-09 北京地平线机器人技术研发有限公司 一种标志牌的空间坐标获取方法及装置
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021001A (ko) * 2004-09-02 2006-03-07 (주)제니텀 엔터테인먼트 컴퓨팅 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
KR101356644B1 (ko) 2009-02-25 2014-02-04 삼성전자주식회사 위치 인식 시스템 및 그 방법
KR101280170B1 (ko) * 2011-08-01 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
KR20170088501A (ko) 2016-01-25 2017-08-02 주식회사 이지시스 국소위치인식시스템
KR101755248B1 (ko) 2016-01-27 2017-07-07 (주)에이아이퍼스트 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말

Also Published As

Publication number Publication date
KR20190048635A (ko) 2019-05-09

Similar Documents

Publication Publication Date Title
CN110595494B (zh) 地图误差确定方法和装置
TWI574223B (zh) 運用擴增實境技術之導航系統
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
CN111220154A (zh) 车辆定位方法、装置、设备和介质
US10769802B2 (en) Indoor distance measurement method
CN112101339B (zh) 地图兴趣点的信息获取方法、装置、电子设备和存储介质
JP6296056B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114581532A (zh) 多相机外参的联合标定方法、装置、设备和介质
EP3098569B1 (en) Method, apparatus and computer program code for providing navigation information in relation to augmented reality guidance
CN101833115A (zh) 基于增强现实技术的生命探测与救援系统及其实现方法
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN111536990A (zh) 在传感器之间的在线外参误标定检测
CN112147632A (zh) 车载激光雷达感知算法的测试方法、装置、设备和介质
KR20210022343A (ko) 지하시설물 관련 혼합현실 제공방법 및 시스템
KR101988278B1 (ko) 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
CN113570664A (zh) 增强现实导航显示方法和装置、电子设备、计算机介质
CN111862199A (zh) 定位方法、装置、电子设备和存储介质
KR20220100813A (ko) 자율주행 차량 정합 방법, 장치, 전자 기기 및 차량
CN111612851B (zh) 用于标定相机的方法、装置、设备以及存储介质
CN103903253A (zh) 一种可移动终端定位方法及系统
CN113566847B (zh) 导航校准方法和装置、电子设备、计算机可读介质
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
US20220236069A1 (en) Method and apparatus for route navigation, electronic device, computer readable medium
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant