KR20140090022A - 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치 - Google Patents

3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치 Download PDF

Info

Publication number
KR20140090022A
KR20140090022A KR20130002224A KR20130002224A KR20140090022A KR 20140090022 A KR20140090022 A KR 20140090022A KR 20130002224 A KR20130002224 A KR 20130002224A KR 20130002224 A KR20130002224 A KR 20130002224A KR 20140090022 A KR20140090022 A KR 20140090022A
Authority
KR
South Korea
Prior art keywords
dimensional
electronic map
photographing apparatus
image
angle
Prior art date
Application number
KR20130002224A
Other languages
English (en)
Other versions
KR101932537B1 (ko
Inventor
김성덕
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020130002224A priority Critical patent/KR101932537B1/ko
Priority to US13/935,689 priority patent/US9361731B2/en
Priority to CN201410008287.2A priority patent/CN103914876B/zh
Publication of KR20140090022A publication Critical patent/KR20140090022A/ko
Application granted granted Critical
Publication of KR101932537B1 publication Critical patent/KR101932537B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본원은 3차원으로 제작된 지도(이하 3D MAP)표면에 영상을 투영하는 방법에 관한 발명이다. 본 발명의 바람직한 일 실시예로서, 상기 방법은 가상촬영장치의 위치에서 가상화각벡터 각각과 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출하는 단계; 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 단계; 상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에 디스플레이하기 위해 2차원 좌표값으로 변환한 후 입력 영상을 상기 선택된 픽셀에 실시간으로 합성하여 실시간으로 출력하는 단계를 포함한다.

Description

3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치{Method and Apparatus for displaying the video on 3D map}
본원은 3차원으로 제작된 지도(이하 3D MAP)표면에 영상을 투영하는 방법에 관한 발명이다. 상세히, 특정 영역을 촬영한 영상을 실시간으로 3D Map에 3차원 형식으로 일체화 되도록 투영하는 방법에 관한 것이다.
도 1 을 참고하면, 종래에는 특정 영역을 촬영한(101) 감시영상을 지도상에 표시할 때, 지도가 2차원인지 3차원 형태인지와 관계없이, 감시영상(110)은 항상 2차원 형태로 지도 위의 특정 위치에 투영되었다.
그 결과 투영되는 영상(110)이 Map(100)의 어느 부분에 해당하는지 정확히 파악하기 어려운 문제가 있었다. 또한, 영상(110)과 Map 간의 연계성이 떨어져, 감시 영상(110)이 Map(100) 상의 어느 부분에 대응되는지 파악이 어려워, 감시 효과가 떨어졌다.
KR 2010-0109257 A
본 발명의 바람직한 일 실시예에서는 촬영된 감시영상을 Map 내의 대응되는 부분에 투영시켜, Map과 감시영상의 연계성을 증대시키고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는 3차원 Map 내의 대응되는 부분에 촬영된 영상을 3차원 형태로 투영시켜, Map과 감시영상을 일체화시키고자 한다.
본 발명의 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 방법은 3차원 전자지도 내에서 실제 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 단계; 상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출하는 단계; 상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 단계; 상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에 디스플레이하기 위해 2차원 좌표값으로 변환하는 단계; 상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 단계;및 상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 단계;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 장치는 3차원 전자지도 내에서 실제 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 기준설정부; 상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출하는 교차점추출부; 상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 선택부; 상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에서 이용하는 2차원 좌표값으로 변환하는 변환부; 상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 영상합성부;및 상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 출력부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 시스템은 폴리곤으로 구성된 3차원 전자지도의 데이터를 저장하는 Map서버; 감시영역을 촬영하는 촬영장치; 및 상기 촬영장치에서 촬영한 영상을 상기 3차원 전자지도 상의 대응되는 위치에 합성하는 영상합성장치;를 포함하고, 상기 영상합성장치는 상기 3차원 전자지도 내에서 상기 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 기준설정부; 상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 폴리곤과의 최근접 교차점들을 추출하는 교차점추출부; 상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 선택부; 상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에서 이용하는 2차원 좌표값으로 변환하는 변환부; 상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 영상합성부;및 상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 출력부;를 포함한다.
3D 기술의 발전에 의해 감시지역을 나타내는 Map의 지형 및 여러 가지 물체의 표현도 현실과 가깝게 표현이 가능하여 졌다. 본 발명에서는 감시지역 Map과 감시영상을 밀접하게 결합하여 더욱 효과적인 감시효과를 가져올 수 있다.
도 1 은 종래의 감시영상의 일 예를 나타낸다.
도 2 는 본 발명의 바람직한 일 실시예로서, 감시영상과 Map을 일체화한 일 예를 도시한다.
도 3 내지 4는 본 발명의 바람직한 일 실시예로서, 최근접교차점을 설정하는 일 실시예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 도 4에서 선택된 3차원 픽셀의 좌표값을 2차원 좌표값으로 변경하여 합성하는 일 예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 시스템의 구성도를 도시한다.
도 7 내지 10은 본 발명의 바람직한 일 실시예로서, 출력부에서 합성된 영상이 포함된 3차원 전자지도를 출력하는 일 예를 도시한다.
도 11 은 본 발명의 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 방법의 흐름도를 도시한다.
이하에서, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한, 본 발명에 보다 더 충실하도록 하기 위해서, 본 발명의 취지를 벗어나지 않는 범위 내에서 당업자 수준의 변경이나 변형이 있을 수 있음을 명기하는 바이다.
도 1 은 종래의 감시영상의 일 예를 나타낸다.
종래에는 특정 영역을 촬영한(101) 감시영상(110)을 Map에 표시할 때 항상 2차원 형태로 지도 위의 특정 위치에 표시하였다. 그 결과 투영되는 영상(110)이 Map(100)의 어느 부분을 표시하는지 정확히 파악하기 어려운 문제가 있었다.
도 2 는 본 발명의 바람직한 일 실시예로서, 감시영상과 Map을 일체화한 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 도 1 과 같이 감시영상이 Map의 어느 부분에 해당하는지 어려운 문제점을 해결하고자 한다. 보다 상세히, 도 2 에 도시된 바와 같이 특정 지점 또는 사용자가 설정한 지점에서(201) 촬영된 감시영상(210)을 3차원 Map(200) 내의 대응되는 부분에 3차원 형태로 투영시키는 방법을 제시하고자 한다.
도 3 내지 4는 본 발명의 바람직한 일 실시예로서, 최근접교차점을 설정하는 일 실시예를 도시한다.
촬영장치에서 촬영한 영상을 3차원 전자 지도 내의 대응되는 위치에 표시하기 위하여, 촬영한 영상과 3차원 전자지도를 구성하는 폴리곤 과의 교차점을 추출한다.
도 3 을 참고하면, 3차원 전자 지도 내에 가상촬영장치(301)의 위치를 파악한다. 가상촬영장치(301)의 위치는 3차원 전자지도 내에서 실제 촬영장치의 위치에 대응되는 위치로 구현될 수 있다.
실제 촬영장치의 위치는 GPS를 통해 실시간으로 파악이 가능하다. 촬영장를 재설치하거나 설치 위치를 변경하는 경우에는 그에 따라 가상촬영장치(301)의 위치가 변경될 수 있다.
가상촬영장치(301)의 위치가 파악되면, 파악된 위치를 기준으로 4개의 가상화각벡터(S310, S320, S330, S340)와 3차원 전자지도를 구성하는 각 폴리곤과의 교차점을 파악한다.
4개의 가상화각벡터(S310, S320, S330, S340)는 실제 촬영장치의 화각모서리에서의 화각정보에 대응되도록 구현된다. 촬영장치의 화각정보는 제조사에서 기설정한 값을 이용하거나 또는 사용자가 설정할 수도 있다.
도 3에서, 제 1 가상화각벡터(S310)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 311 지점이다 . 제 2 가상화각벡터(S320)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 321, 322, 323 지점이다. 제 3 가상화각벡터(S330)와 3차원 전자지도를 구성하는 폴리곤과의 교차점은 331, 332, 333 지점이다. 그리고, 제 4 가상화각벡터(S340)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 341 지점이다.
본 발명의 바람직한 일 실시예에서는 가상촬영장치(301)에서 4개의 가상화각벡터(S310, S320, S330, S340)와 3차원 전자지도를 구성하는 각 폴리곤과의 교차점들 중 최근접 교차점을 파악한다.
도 3을 참고하면, 제 1 가상화각벡터(S310)와 차원 전자지도를 구성하는 폴리곤과의 최근접 교차점은 311지점이다. 제 2 가상화각벡터(S320)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 321지점이다. 제 3 가상화각벡터(S330)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 331지점이다. 그리고, 제 4 가상화각벡터(S340)와 차원 전자지도를 구성하는 폴리곤과의 교차점은 341지점이다.
도 4 는 본 발명의 바람직한 일 실시예로서, 최근접 교차점 a', b',c' 및 d'(411, 421, 431, 441)을 도시한다.
본 발명의 바람직한 일 실시예에서는, 최근접 교차점들 a', b',c' 및 d'(411, 421, 431, 441) 좌표 범위 이내에 있는 픽셀만을 선택한다.
상세히, 최근접 교차점들 a', b',c' 및 d'(411, 421, 431, 441)의 3차원 좌표와 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 최근접 교차점들 a', b',c' 및 d'(411, 421, 431, 441) 좌표 범위 이내에 있는 픽셀들만(450)을 선택한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 도 4에서 선택된 3차원 픽셀의 좌표값을 2차원 좌표값으로 변경하여 합성하는 일 예를 도시한다.
3차원 전자지도 상에서 도 4에서 선택된 픽셀들은 3차원 좌표값의 형태로 표시되었으나, 이상의 3차원 좌표값을 2차원 디스플레이에 표시하기 위해서는 2차원 좌표값이 필요하다. 2차원 좌표값은 도 5에 도시된 격자의 좌표값을 이용할 수도 있고, 다른 기공지된 방법을 이용하여 좌표값을 변화시킬 수 있다.
본 발명의 바람직한 일 실시예에서는 3차원 좌표값과, 3차원 좌표값을 변경한 2차원 좌표값을 대응시켜 저장부에 기저장하도록 구현이 가능하다.
이상과 같이 선택된 픽셀의 좌표를 2차원 형태로 변경한 후, 선택된 픽셀의 2차원 좌표값을 이용하여 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성한다. 입력 영상의 매 프레임마다 Texture를 변환하여 선택된 픽셀의 2차원 좌표값에 대응되도록 합성을 수행한다. 본 발명의 바람직한 일 실시예에서는 선택된 픽셀의 2차원 좌표값에 촬영한 영상을 합성하기 위하여 Direct X 등의 공지된 영상 합성 기술을 이용할 수 있다. 이후 3차원 전자지도 내에 촬영 영상이 합성되면, 3차원 전자지도를 디스플레이에 실시간으로 출력한다.
도 6은 본 발명의 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 시스템의 구성도를 도시한다.
3차원 전자지도상에 촬영영상을 표시하는 시스템은 영상합성장치(600), Map서버(610) 및 촬영장치(620)를 포함한다.
Map서버(610)는 폴리곤으로 구성된 3차원 전자지도의 데이터를 저장한다. 촬영장치(620)는 감시영역을 촬영하는 장치로, 카메라, 스마트폰, 비디오 카메라, 노트북, 핸드헬드 장치 등 영상을 촬영하는 장치를 모두 포함한다.
영상합성장치(600)는 촬영장치(620)에서 촬영한 영상을 3차원 전자지도 상의 대응되는 위치에 합성한다. 영상합성장치(600)에서는 Map서버(610)로부터 3차원 전자지도 데이터를 가져와 내부 버퍼에 저장하도록 구현할 수 있다. 영상합성장치의 일 예로는 카메라, 핸드폰, 스마트폰, 테블릿 PC, 노트북, 컴퓨터, 휴대용 단말기 등이 있다.
영상합성장치(600)는 기준설정부(601), 교차점추출부(602), 선택부(603), 변환부(604), 영상합성부(605), 출력부(606)를 포함하고, 저장부(607)를 더 포함하도록 구현이 가능하다.
기준설정부(601)는 가상촬영장치의 위치를 파악한다. 가상촬영장치는 실제 촬영장치에 대응되는 개념에 해당한다. 가상촬영장치의 위치는 3차원 전자지도 내에서 실제 촬영장치의 위치에 대응되는 위치로 구현될 수 있다.
교차점추출부(602)는 가상촬영장치의 위치를 기준으로 4개의 가상화각벡터 각각과 3차원 전자지도를 구성하는 폴리곤과의 최근접 교차점들을 추출한다. 구체적인 실시예는 도 3 및 4를 참고한다.
선택부(603)는 최근접 교차점들의 3차원 좌표와 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택한다. 도 4 를 참고하면, 최근접 교차점 a', b', c' 및 d'(411, 421, 431, 441) 범위 내에 있는 픽셀만을 선택한다.
변환부(604)는 선택부(603)에서 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에서 이용하는 2차원 좌표값으로 변환한다. 일 예로서, 변환부(604)는 3D화면의 View Matrix를 통해 변환시켜 2D출력좌표를 획득할 수 있다.
영상합성부(605)에서는 선택부(603)에서 선택된 픽셀의 2차원 좌표값을 이용하여 촬영장치(620)의 입력 영상을 선택된 픽셀에 실시간으로 합성한다. 이 경우, 촬영장치(620)의 입력 영상을 변환부(604)에서 변환된 2D 출력좌표에 맞게 Texture 이미지를 변환시킨 최종적인 출력 이미지를 기반으로 선택된 픽셀에 합성을 구현할 수 있다. 이 경우, 도 2와 같이 3차원 전자지도 내의 폴리곤 출력화면에 촬영 영상이 덮여진 형태로 합성이 가능하다.
출력부(606)는 합성된 영상이 포함된 3차원 전자지도를 디스플레이에 실시간으로 출력한다. 출력부(606)에서 출력하는 출력범위는 도 7 내지 9와 같이 사용자 입력(630)에 따라 다양하게 구현이 가능하다. 사용자 입력(630)의 예로는 키보드, 마우스, 첨펜, 손가락 등이 있다.
저장부(607)에서는 3차원 전자지도에서 이용되는 3차원 좌표정보 및 이상의 3차원 좌표정보를 2차원 디스플레이상에 표시하기 위해 2차원 좌표값으로 변환한 정보를 기저장하도록 구현이 가능하다.
도 7 은 사용자가 출력 범위를 다각형 형태(710)로 지정한 일 예를 도시한다. 도 8은 출력 범위를 합성 영상의 특정 부분(810, 820, 830)만으로 지정한 일 예를 도시한다. 도 9는 디스플레이 화면을 다중 분할하여 사용자가 보고자 하는 부분(910, 920, 931, 932, 933, 941, 942 및 943)을 다양하게 변형하여 출력한 일 예를 도시한다.
또한 출력부(605)는 3차원 전자지도 내에서 합성된 영상만이 부각되도록 디스플레이에 실시간으로 출력이 가능하다. 일 예로, 도 10과 같이 합성된 영상을 제외한 지역을 어둡게 구현하거나 또는 반투명으로 처리하여 합성된 영상을 부각시킬 수 있다.
도 11은 본 발명의 바람직한 일 실시예로서, 3차원 전자지도상에 촬영영상을 표시하는 방법의 흐름도를 도시한다. 기준설정부에서는 3차원 전자지도 내에서 실제 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악한다(S1110).
교차점 추출부에서는 가상촬영장치의 위치에서 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출한다(S1120).
선택부에서는 최근접 교차점들의 3차원 좌표와 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택한다(S1130).
변환부에서는 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에 디스플레이하기 위해 2차원 좌표값으로 변환한다(S1140).
이후 영상합성부에서 선택된 픽셀의 2차원 좌표값을 이용하여 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성한다(S1150). 이후, 출력부에서는 합성된 영상이 포함된 3차원 전자지도를 디스플레이에 실시간으로 출력한다(S1160).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (13)

  1. 3차원 전자지도 내에서 실제 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 단계;
    상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출하는 단계;
    상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 단계;
    상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에 디스플레이하기 위해 2차원 좌표값으로 변환하는 단계;
    상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 단계;및
    상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 단계;를 포함하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  2. 제 1 항에 있어서, 상기 가상화각벡터는
    상기 실제 촬영장치의 화각에 대응되는 각도를 지니며, 상기 3차원 전자지도 내에서 이용되고, 4개의 벡터로 구성되는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  3. 제 1 항에 있어서,
    상기 3차원 전자지도에서 이용되는 3차원 좌표정보를 상기 2차원 디스플레이에 표시하기 위해 2차원 형태로 변환한 좌표값인 2차원 좌표값 정보를 저장부에 기저장하고, 상기 변환하는 단계는 상기 기저장된 정보를 이용하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  4. 제 1 항에 있어서, 상기 합성된 영상의 일부 부분은
    사용자가 지정하도록 구현이 가능한 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  5. 제 1 항에 있어서, 상기 출력하는 단계에서
    상기 3차원 전자지도 내에서 상기 합성된 영상만이 부각되도록 상기 디스플레이에 실시간으로 출력하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  6. 제 5 항에 있어서,
    상기 3차원 전자지도 내에서 상기 합성된 영상을 제외한 지역을 어둡게 또는 반투명으로 처리하여 상기 합성된 영상만이 부각되도록 구현하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 방법.
  7. 3차원 전자지도 내에서 실제 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 기준설정부;
    상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 3차원 전자지도를 구성하는 각 폴리곤과의 최근접 교차점들을 추출하는 교차점추출부;
    상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 선택부;
    상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에서 이용하는 2차원 좌표값으로 변환하는 변환부;
    상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 영상합성부;및
    상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 출력부;를 포함하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 장치.
  8. 제 7 항에 있어서,
    상기 3차원 전자지도에서 이용되는 3차원 좌표정보 및 상기 3차원 좌표정보를 상기 2차원 디스플레이상에 표시하기 위해 2차원 좌표값으로 변환한 정보를 기저장하고 있는 저장부;를 더 포함하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 장치.
  9. 제 7 항에 있어서, 상기 가상촬영장치의 위치는
    GPS를 통해 파악된 상기 실제 촬영장치 위치에 대응되는 상기 3차원 전자지도 내의 위치인 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 장치.
  10. 제 7 항에 있어서, 상기 가상화각벡터는
    상기 실제 촬영장치의 화각에 대응되는 각도를 지니며, 상기 3차원 전자지도 내에서 이용되고, 4개의 벡터로 구성되는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 장치.
  11. 폴리곤으로 구성된 3차원 전자지도의 데이터를 저장하는 Map서버;
    감시영역을 촬영하는 촬영장치; 및
    상기 촬영장치에서 촬영한 영상을 상기 3차원 전자지도 상의 대응되는 위치에 합성하는 영상합성장치;를 포함하고, 상기 영상합성장치는
    상기 3차원 전자지도 내에서 상기 촬영장치가 설치된 위치에 대응되는 가상촬영장치의 위치를 파악하는 기준설정부;
    상기 가상촬영장치의 위치에서 상기 촬영장치의 화각 정보를 기초로 생성한 가상화각벡터 각각과 상기 폴리곤과의 최근접 교차점들을 추출하는 교차점추출부;
    상기 최근접 교차점들의 3차원 좌표와 상기 폴리곤을 구성하는 픽셀의 3차원 좌표를 비교하여 상기 최근접 교차점들 좌표 범위 이내에 있는 픽셀만을 선택하는 선택부;
    상기 선택된 픽셀의 3차원 좌표값을 2차원 디스플레이에서 이용하는 2차원 좌표값으로 변환하는 변환부;
    상기 선택된 픽셀의 2차원 좌표값을 이용하여 상기 촬영장치에서 촬영한 영상을 상기 선택된 픽셀에 실시간으로 합성하는 영상합성부;및
    상기 합성된 영상이 포함된 상기 3차원 전자지도를 상기 디스플레이에 실시간으로 출력하는 출력부;를 포함하는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 시스템.
  12. 제 11 항에 있어서, 상기 가상촬영장치의 위치는
    GPS를 통해 파악된 상기 실제 촬영장치 위치에 대응되는 상기 3차원 전자지도 내의 위치인 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 시스템.
  13. 제 11 항에 있어서, 상기 가상화각벡터는
    상기 실제 촬영장치의 화각에 대응되는 각도를 지니며, 상기 3차원 전자지도 내에서 이용되고, 4개의 벡터로 구성되는 것을 특징으로 하는 3차원 전자지도상에 촬영영상을 표시하는 시스템.
KR1020130002224A 2013-01-08 2013-01-08 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치 KR101932537B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130002224A KR101932537B1 (ko) 2013-01-08 2013-01-08 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
US13/935,689 US9361731B2 (en) 2013-01-08 2013-07-05 Method and apparatus for displaying video on 3D map
CN201410008287.2A CN103914876B (zh) 2013-01-08 2014-01-08 用于在3d地图上显示视频的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130002224A KR101932537B1 (ko) 2013-01-08 2013-01-08 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140090022A true KR20140090022A (ko) 2014-07-16
KR101932537B1 KR101932537B1 (ko) 2019-03-15

Family

ID=51040529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130002224A KR101932537B1 (ko) 2013-01-08 2013-01-08 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치

Country Status (3)

Country Link
US (1) US9361731B2 (ko)
KR (1) KR101932537B1 (ko)
CN (1) CN103914876B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011235A (ko) * 2015-07-22 2017-02-02 주식회사 엘지씨엔에스 구조물 영상 관리 방법, 영상처리장치, 및 영상조회장치
KR20200010296A (ko) * 2017-05-19 2020-01-30 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 디스플레이 시스템들을 위한 키보드들
KR102573048B1 (ko) 2022-12-08 2023-08-31 주식회사 집쇼코리아 3d 공간 스캔 데이터를 활용한 공간 대여 시스템
KR102639271B1 (ko) 2022-12-09 2024-02-21 주식회사 집쇼코리아 3d 공간 스캔 데이터 기반 가상 공간을 활용한 공간 대여 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
EP2996088B1 (en) 2014-09-10 2018-08-29 My Virtual Reality Software AS Method for visualising surface data together with panorama image data of the same surrounding
CN105628034B (zh) * 2016-02-04 2019-04-23 合肥杰发科技有限公司 导航地图更新方法及设备
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
KR101998318B1 (ko) * 2017-09-06 2019-10-01 단국대학교 산학협력단 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质
CN111161129B (zh) * 2019-11-25 2021-05-25 佛山欧神诺云商科技有限公司 二维图像的立体交互设计方法、系统
CN112964227A (zh) * 2021-02-23 2021-06-15 求实科技集团有限公司 一种基于机器视觉分析的智能巡检系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935879A (en) * 1987-08-05 1990-06-19 Daikin Industries, Ltd. Texture mapping apparatus and method
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US6677967B2 (en) * 1997-11-20 2004-01-13 Nintendo Co., Ltd. Video game system for capturing images and applying the captured images to animated game play characters
KR20090041804A (ko) * 2007-10-24 2009-04-29 중앙대학교 산학협력단 3차원 가상 신발 착용 시스템 및 이의 운용방법
JP2010224919A (ja) * 2009-03-24 2010-10-07 Zenrin Co Ltd 画像生成装置、画像生成方法
KR20100109257A (ko) 2009-03-31 2010-10-08 엘지전자 주식회사 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
KR20110088995A (ko) * 2010-01-29 2011-08-04 주식회사 울프슨랩 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
US20110193859A1 (en) * 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd Apparatus and method for generating octree based 3D map
KR20110114114A (ko) * 2010-04-13 2011-10-19 최현환 실사형 3차원 네비게이션 구현방법
US8339394B1 (en) * 2011-08-12 2012-12-25 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
KR101204080B1 (ko) 2007-07-27 2012-11-22 삼성테크윈 주식회사 감시 카메라 시스템 및 그의 제어방법
KR20090070418A (ko) 2007-12-27 2009-07-01 주식회사 케이티 사용자 생성 객체 표시 시스템 및 그 제어 방법
CN102157011B (zh) * 2010-12-10 2012-12-26 北京大学 利用移动拍摄设备进行动态纹理采集及虚实融合的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935879A (en) * 1987-08-05 1990-06-19 Daikin Industries, Ltd. Texture mapping apparatus and method
US6677967B2 (en) * 1997-11-20 2004-01-13 Nintendo Co., Ltd. Video game system for capturing images and applying the captured images to animated game play characters
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
KR20090041804A (ko) * 2007-10-24 2009-04-29 중앙대학교 산학협력단 3차원 가상 신발 착용 시스템 및 이의 운용방법
JP2010224919A (ja) * 2009-03-24 2010-10-07 Zenrin Co Ltd 画像生成装置、画像生成方法
KR20100109257A (ko) 2009-03-31 2010-10-08 엘지전자 주식회사 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
US20120019627A1 (en) * 2009-03-31 2012-01-26 Choi Yoo-Jin Mobile robot with single camera and method for recognizing 3d surroundings of the same
KR20110088995A (ko) * 2010-01-29 2011-08-04 주식회사 울프슨랩 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
US20110193859A1 (en) * 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd Apparatus and method for generating octree based 3D map
KR20110114114A (ko) * 2010-04-13 2011-10-19 최현환 실사형 3차원 네비게이션 구현방법
US8339394B1 (en) * 2011-08-12 2012-12-25 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sawhney, H. S., et al. "Video flashlights: real time rendering of multiple videos for immersive model visualization." ACM International Conference Proceeding Series. Vol. 28.(2002)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011235A (ko) * 2015-07-22 2017-02-02 주식회사 엘지씨엔에스 구조물 영상 관리 방법, 영상처리장치, 및 영상조회장치
KR20200010296A (ko) * 2017-05-19 2020-01-30 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 디스플레이 시스템들을 위한 키보드들
US11610371B2 (en) 2017-05-19 2023-03-21 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
KR102573048B1 (ko) 2022-12-08 2023-08-31 주식회사 집쇼코리아 3d 공간 스캔 데이터를 활용한 공간 대여 시스템
KR102639271B1 (ko) 2022-12-09 2024-02-21 주식회사 집쇼코리아 3d 공간 스캔 데이터 기반 가상 공간을 활용한 공간 대여 시스템

Also Published As

Publication number Publication date
US20140192055A1 (en) 2014-07-10
CN103914876A (zh) 2014-07-09
KR101932537B1 (ko) 2019-03-15
CN103914876B (zh) 2018-06-22
US9361731B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
KR101932537B1 (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
KR101667345B1 (ko) 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
US8970586B2 (en) Building controllable clairvoyance device in virtual world
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US8817046B2 (en) Color channels and optical markers
KR20170122725A (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN112370784B (zh) 虚拟场景显示方法、装置、设备以及存储介质
WO2019065536A1 (ja) 再構成方法および再構成装置
JP2016006627A (ja) 画像処理装置と画像処理方法
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
WO2017017790A1 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP2016511850A (ja) プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置
KR20160096966A (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN116109765A (zh) 标注对象的三维渲染方法、装置、计算机设备、存储介质
JP2016081225A (ja) 情報提示システム
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
JP2010231741A (ja) 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant