KR102145109B1

KR102145109B1 - 지도 생성 및 운동 객체 위치 결정 방법 및 장치

Info

Publication number: KR102145109B1
Application number: KR1020180132474A
Authority: KR
Inventors: 왕 조우; 먀오 얀; 이페이 잔; 시옹 두안; 창지에 마; 샨펑 랑; 용강 진
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2017-12-29
Filing date: 2018-10-31
Publication date: 2020-08-14
Also published as: EP3505866A1; JP6862409B2; US10878621B2; EP3505866B1; KR20190082070A; JP2019179021A; CN108225348A; CN108225348B; US20190206124A1

Abstract

본 개시의 예시적 실시예들에 의하면, 지도 생성 및 운동 객체 위치 결정 방법, 장치 및 컴퓨터 판독 가능한 저장 매체를 제공한다. 지도 생성 방법은, 수집 객체의 진행 과정에 수집한 이미지 및 이미지가 수집될 때의 수집 객체의 위치를 지시하는 이미지에 관련된 위치 데이터와 이미지의 3차원 정보를 지시하는 이미지에 관련된 포인트 클라우드 데이터를 획득하는 단계를 포함한다. 해당 방법은, 이미지와 위치 데이터를 기반으로, 지도의 전역 특징층 중의 제1 요소를 생성하는 단계를 더 포함한다. 해당 방법은, 이미지와 포인트 클라우드 데이터를 기반으로, 제1 요소에 대응되는 지도의 국부 특징층 중의 제2 요소를 생성하는 단계를 더 포함한다.

Description

지도 생성 및 운동 객체 위치 결정 방법 및 장치{METHODS AND APPARATUSES FOR MAP GENERATION AND MOVING ENTITY LOCALIZATION}

본 개시의 실시예들은 주로 위치 결정 기술 분야에 관한 것으로, 보다 구체적으로는 지도 생성 및 지도 기반의 운동 객체 위치 결정 방법 및 장치에 관한 것이다.

사람들의 일상 생활에서, 운동 객체의 위치를 획득하고, 위치 기반의 서비스(예컨대, 항법)를 제공하고, 교통 상황 정보를 제공하는 등이 편리하도록, 자주 각종의 운동 객체들(예컨대, 이동 중인 사람, 주행 중인 교통 수단 등)에 대해 위치 결정을 진행할 필요가 존재한다. 위치 결정의 정밀도가 높을 수록, 제공하는 서비스는 사용자의 요구를 더욱 잘 만족시킬 수 있다.

한편, 인공 지능 기술 분야가 발전함에 따라, 무인 주행 기술은 이미 각광을 받게 되었고, 점점 많은 연구기관 및 상업회사에서 모두 무인 주행 기술에 대한 투자와 배치를 진행하기 시작하였다. 무인 주행 기술 분야에서, 필수적인 하나의 기술은 바로 고정밀도의 위치 결정이다. 무인 주행 교통 수단의 양산 생산을 실현하기 위해, 하나의 병목으로는 어떻게 저렴한 비용의 방식으로 고정밀도의 위치 결정 결과를 획득하는가에 있다.

본 개시의 예시적 실시예들에 의하면, 지도 생성 방법 및 운동 객체 위치 결정 방안을 제공한다.

본 개시의 제1 양태에 있어서, 지도 생성 방법을 제공한다. 해당 방법은, 수집 객체의 진행 과정에 수집한 이미지 및 해당 이미지에 관련된 위치 데이터와 포인트 클라우드 데이터를 획득하는 단계를 포함한다. 위치 데이터는 해당 이미지가 수집될 때의 수집 객체의 위치를 지시하고, 포인트 클라우드 데이터는 상기 이미지의 3차원 정보를 지시한다. 해당 방법은, 해당 이미지 및 해당 위치 데이터를 기반으로, 지도의 전역 특징층 중의 제1 요소를 생성하는 단계를 더 포함한다. 해당 방법은, 해당 이미지 및 해당 포인트 클라우드 데이터를 기반으로, 제1 요소에 대응되는 지도의 국부 특징층 중의 제2 요소를 생성하는 단계를 더 포함한다.

본 개시의 제2 양태에 있어서, 운동 객체 위치 결정 방법을 제공한다. 해당 방법은 운동 객체의 진행 과정에 수집한 이미지를 획득하는 단계를 포함한다. 해당 방법은, 해당 이미지가 수집될 때의 운동 객체의 위치 데이터를 획득하는 단계를 더 포함한다. 해당 방법은, 해당 이미지, 해당 위치 데이터 및 본 개시의 제1 양태에 따른 지도를 기반으로, 운동 객체의 위치 결정을 확정하는 단계를 더 포함한다.

본 개시의 제3 양태에 있어서, 지도 생성 장치를 제공한다. 해당 장치는, 수집 객체의 진행 과정에 수집한 이미지 및 해당 이미지가 수집될 때의 수집 객체의 위치를 지시하는 해당 이미지에 관련된 위치 데이터와 해당 이미지의 3차원 정보를 지시하는 해당 이미지에 관련된 포인트 클라우드 데이터를 획득하도록 구축된 획득 모듈과, 해당 이미지 및 해당 위치 데이터를 기반으로, 지도의 전역 특징층 중의 제1 요소를 생성하도록 구축된 전역 특징층 생성 모듈과, 해당 이미지 및 해당 포인트 클라우드 데이터를 기반으로, 제1 요소에 대응되는 지도의 국부 특징층 중의 제2 요소를 생성하도록 구축된 국부 특징층 생성 모듈을 포함한다.

본 개시의 제4 양태에 있어서, 운동 객체 위치 결정 장치를 제공한다. 해당 장치는, 운동 객체의 진행 과정에 수집한 이미지를 획득하도록 구축된 이미지 획득 모듈과, 해당 이미지가 수집될 때의 운동 객체의 위치 데이터를 획득하도록 구축된 위치 획득 모듈과, 해당 이미지, 해당 위치 데이터 및 본 개시의 제1 양태에 따른 지도를 기반으로, 운동 객체의 위치 결정을 확정하도록 구축된 위치 결정 모듈을 포함한다.

본 개시의 제5 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 본 개시의 제1 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.

본 개시의 제6 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 본 개시의 제2 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.

본 개시의 제7 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제1 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.

본 개시의 제8 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프로세서에 의해 실행될 경우 본 개시의 제2 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.

발명의 내용 부분에서 설명한 내용은 본 개시의 실시예들의 관건적이거나 중요한 특징을 한정하고자 하는 것이 아니며, 본 개시의 범위를 한정하기 위한 것이 아님을 이해하여야 한다. 본 개시의 기타 특징들은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.

본 개시의 각 실시예의 전술한 및 기타의 특징, 이점 및 방면들은 첨부된 도면들을 결부하고 아래의 상세한 설명을 참조함으로써 더욱 명확해질 것이다. 첨부된 도면들에 있어서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시하며, 첨부된 도면들에 있어서:
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경의 개략도를 나타낸다.
도2는 본 개시의 실시예에 따른 지도 생성 방법의 흐름도를 나타낸다.
도3은 본 개시의 실시예에 따른 운동 객체 위치 결정 방법의 흐름도를 나타낸다.
도4는 본 개시의 실시예에 따른 운동 객체 위치 결정 방법의 흐름도를 나타낸다.
도5는 본 개시의 실시예에 따른 지도 생성 장치의 블록도를 나타낸다.
도6은 본 개시의 실시예에 따른 운동 객체 위치 결정 장치의 블록도를 나타낸다.
도7은 본 개시의 다수의 실시예들을 실시할 수 있는 컴퓨팅 기기의 블록도를 나타낸다.

아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 보다 상세한 설명을 진행하기로 한다. 첨부된 도면들에는 본 개시의 일부의 실시예들이 표시되나, 본 개시는 각종의 형식으로 실현될 수 있음을 이해하여야 하고, 본 개시가 본원에 진술된 실시예들에 한정되는 것으로 해석하여서는 아니된다. 반대로, 이러한 실시예들은 본 개시의 더욱 명확하고 완정한 이해를 위해 제공된다. 본 개시의 첨부된 도면들과 실시예들은 단지 예시적인 작용으로 이용될 뿐, 본 개시의 보호 범위를 한정하기 위한 것이 아님을 이해하여야 한다.

본 개시의 실시예들을 설명함에 있어서, 용어 "포함” 및 이와 유사한 용어는 개방적인 포함으로 이해하여야 하며, 즉, "... 포함하나, 이에 한정되지 않는다”로 이해하여야 한다. 용어 "기반으로”는 "적어도 부분적으로 ... 기반으로”로 이해하여야 한다. 용어 "일 실시예” 또는 "해당 실시예는” "적어도 하나의 실시예”로 이해하어야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상물을 지시할 수 있다. 아래에는 기타의 명확한 정의 및 함축적인 정의가 포함될 수 있다.

앞서 언급한 바와 같이, 사용자에게 보다 양호한 위치 기반의 서비스를 제공하기 위해, 정확한 위치 결정을 진행할 필요가 존재한다. 특히, 무인 주행 기술 분야에서, 상대적으로 저렴한 비용으로 차량의 정확한 자동 위치 결정을 실현하는 것은 보다 중요하다.

종래의 위치 결정 방안은 일반적으로 레이저 포인트 클라우드 기반의 위치 결정 방법 및 이미지 기반의 위치 결정 방법으로 구분될 수 있다. 레이저 포인트 클라우드 기반의 위치 결정 방법의 장점은 위치 결정의 정밀도가 높고, 기술이 상대적으로 성숙되어 있으나, 결함 또한 아주 명확하며, 즉, 비용이 너무 높고, 양산화를 실현하지 못한다. 이미지 기반의 위치 결정 방법은 비용이 상대적으로 낮고, 양산화를 실현하기 용이하나, 그의 정밀도는 높지 않고, 무인 주행의 요구를 만족하지 못한다.

본 개시의 실시예들에 의하면, 지도 기반의 운동 객체 위치 결정 방안을 제공한다. 해당 방안은 라이다의 위치 결정의 정밀도가 높은 장점 및 카메라의 비용이 낮은 장점을 충분히 이용한다. 해당 방안은 주로 2개의 부분을 포함하며, 여기서, 제1 부분은 오프라인으로 이미지 특징층을 구비하는 지도를 생성하는 것이고, 제2 부분은 온라인으로 생성된 지도를 이용하여 운동 객체에 대해 위치 결정을 진행하는 것이다.

본 개시의 맥락에 있어서, 용어 "운동 객체"는 운동 가능한 임의의 객체, 예컨대, 사람, 차량 또는 운동 가능한 기타의 장치이다. 본 개시의 실시예들에 있어서, 운동 객체에 대해 정확하게 위치 결정을 진행할 수 있기 위해, 운동 객체는 이미지 데이터를 수집할 수 있는 카메라, 예컨대, 고정밀 카메라, 파노라마 카메라, 모노 카메라 등이 장착될 수 있다.

본 개시의 맥락에 있어서, 용어 "수집 객체"는 포인트 클라우드 데이터, 이미지 데이터, 위치 데이터 및/또는 기타 적당한 데이터를 수집할 수 있는 객체이다. 수집 객체는 특정의 운동 객체, 예컨대, 차량, 사람 또는 운동 가능한 기타의 장치일 수 있다. 수집 객체에는 카메라, 위치 센서 및/또는 라이다 등의 장치가 장착될 수 있으나, 운동 객체에는 카메라, 위치 센서가 장착될 수 있으며, 운동 객체에는 라이다가 장착되지 않을 수 있다. 카메라는 고정밀 카메라, 파노라마 카메라, 모노 카메라 등일 수 있다. 위치 센서는 GPS 장치, A-GPS(보조형 GPS) 장치, span-cpt 등일 수 있다. 라이다는 단일 라인 라이다, 다중 라인 라이다, 3D 라이다 등일 수 있다.

상기 차량은 자율 주행 차량 및/또는 비자율 주행 차량 등을 포함할 수 있다. 자율 주행 차량은 무인 주행 차량으로도 지칭되며, 즉, 부분적으로 또는 전체적으로 자율 주행 조작을 실행할 수 있는 차량이다. 비자율 주행 차량은 완전히 사람에 의해 주행 조작 명령이 제공되는 차량을 가리킨다.

본 개시의 실시예들에 있어서, 수집 객체와 운동 객체는 상호 관련되는 것임을 해당 기술 분야의 당업자는 이해하여야 한다. 예를 들어, 데이터를 수집할 때 수집 객체가 운동 상황에 처해 있으면, 이때, 수집 객체는 운동 객체로 간주될 수 있다. 한편, 운동 객체에 대해 위치 결정을 진행할 경우, 운동 객체가 이미지를 수집하여 해당 이미지를 기반으로 위치 결정을 진행하고자 할 경우, 이때, 운동 객체는 수집 객체로 간주될 수 있다.

지도 생성 과정에, 카메라로 수집한 이미지 및 위치 센서로 획득한 위치 정보를 이용하여 지도의 전역 특징층을 생성하고, 카메라로 수집한 이미지 및 라이다로 획득한 포인트 클라우드를 이용하여 지도의 국부 특징층을 생성한다. 전역 특징층에서, 대략적인 위치 정보와 이미지의 전역 특징을 관련시키고, 국부 특징층에서, 정확한 3차원 공간 좌표 정보와 해당 이미지의 국부 특징을 관련시킨다. 이로써, 이미지의 전역 특징과 국부 특징을 통해, 대략적인 위치 정보와 정확한 3차원 정보를 관련시킨다.

운동 객체에 대해 위치 결정을 진행하는 과정에, 운동 객체의 진행 과정에 수집한 이미지 및 해당 이미지가 수집될 때의 운동 객체의 하나의 대략적인 위치를 이용하여, 전역 특징층과 국부 특징층을 구비하는 생성된 지도를 기반으로, 해당 이미지에 관련된 3차원 공간 좌표 정보를 확정하여, 3차원 공간 좌표 정보를 기반으로 운동 객체의 위치를 보다 정확하게 확정한다. 제1 부분에서 생성된 고정밀 지도를 기반으로, 운동 객체에는 이미지를 수집하기 위한 카메라 및 대략적인 위치를 획득하기 위한 위치 센서(예컨대, GPS 장치)가 구비되기만 하면, 라이다가 구비되지 않더라도, 실시간의 3차원 정보를 획득할 수 있다.

아래의 설명에서, 설명의 편의를 위하여, 본 개시의 아래의 실시예들은 차량을 예로 들어 각 실시예를 설명하기로 한다. 그러나, 본 개시의 방안은 유사한 방식으로 기타 유형의 수집 객체 및/또는 운동 객체에 적용될 수도 있음을 해당 기술 분야의 당업자는 이해하여야 한다.

아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 구체적인 설명을 진행하기로 한다.

도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경(100)의 개략도를 나타낸다. 해당 예시적 환경(100)에서, 지도(110)는 컴퓨팅 기기(120)에 의해 생성되고, 해당 지도(110)는 이미지 특징층을 구비한다. 지도(110)를 생성하기 위해, 컴퓨팅 기기(120)는 먼저 이미지 데이터, 위치 데이터 및 포인트 클라우드 데이터 등을 수집한다. 수집 객체(예컨대, 차량(140)) 상에는 이미 동기화된 위치 센서, 라이다 및 카메라가 설치된다. 데이터 수집 단계에서, 카메라는 차량(140)의 주행 과정에 이미지를 수집하고, 위치 센서는 이미지가 수집될 때의 차량(140)의 위치를 획득하며, 라이다는 이미지에 관련된 포인트 클라우드 데이터를 획득하고, 해당 포인트 클라우드 데이터는 해당 이미지의 3차원 정보를 지시한다. 저장 장치(130)는 차량(140)의 주행 과정에 수집한 이미지, 이미지가 수집될 때의 차량(140)의 위치 및 이미지에 관련된 포인트 클라우드 데이터 등을 관련시키는 방식으로 저장할 수 있다. 일부의 실시예들에 있어서, 저장 장치(130)는 지도(110)를 저장할 수도 있다.

본 개시의 일부의 실시예들에 있어서, 카메라, 위치 센서 및 라이다의 주파수들은 서로 다를 수 있으므로, 위치 센서로 획득한 위치는 이미지가 수집될 때의 차량(140)의 위치와 반드시 정확히 대응되는 것은 아니며, 라이다로 수집한 포인트 클라우드 데이터는 이미지와 반드시 정확히 대응되는 것은 아니다. 이를 위해, 수집한 이미지, 위치 및 포인트 클라우드 사이가 상호 대응되도록, 이들에 대해 보간 등의 조작을 진행할 수 있으며, 상호 대응되는 이미지, 위치, 포인트 클라우드는 관련되게 저장 장치(130)에 저장될 수 있다.

컴퓨팅 기기(120)는 저장 장치(130)로부터 차량(140)의 진행 과정에 수집한 이미지, 이미지가 수집될 때의 차량(140)의 위치를 지시하는 위치 데이터 및 이미지의 3차원 정보를 지시하는 포인트 클라우드 데이터를 획득한다. 컴퓨팅 기기(120)는 이미지와 위치 데이터를 기반으로, 지도의 전역 특징층을 생성한다. 컴퓨팅 기기(120)는 또한 이미지와 포인트 클라우드 데이터를 기반으로, 지도의 국부 특징층을 생성한다. 전역 특징층에서 수집한 각 이미지는 모두 하나의 대응되는 전역 요소를 구비하고, 국부 특징층에서 수집한 각 이미지는 모두 하나의 대응되는 국부 요소를 구비하며, 동일한 이미지의 전역 요소와 국부 요소는 상호 대응되는 것이다. 도2는 전역 특징층 중의 하나의 전역 요소 및 국부 특징층 중의 하나의 국부 요소를 어떻게 생성하는지를 구체적으로 나타내며, 아래에 이에 대한 상세한 설명을 진행하기로 한다.

해당 예시적 환경(100)에서, 컴퓨팅 기기(160)로 운동 객체(예컨대, 차량(150))의 위치 결정을 확정한다. 차량(150)에는 카메라(예컨대, 저렴한 비용의 모노 카메라)와 위치 센서(예컨대, GPS 장치)가 설치된다. 컴퓨팅 기기(160)는 차량(150)의 주행 과정에 카메라로 수집한 이미지 및 해당 이미지가 수집될 때의 위치 센서로 획득한 위치 데이터를 획득한다. 컴퓨팅 기기(160)는 획득한 이미지, 위치 데이터 및 컴퓨팅 기기(120)로 생성한 지도(110)를 기반으로, 차량(150)의 위치 결정을 확정한다. 도3은 컴퓨팅 기기(160)가 어떻게 차량(150)에 대해 위치 결정을 진행하는지를 구체적으로 나타내며, 아래에 이에 대한 상세한 설명을 진행하기로 한다.

비록 도1에서 차량(140)과 차량(150)은 상이한 차량들로 도시되나, 이들은 동일한 차량일 수도 있으며, 즉, 해당 차량은 지도를 구축하도록 이용될 수 있을 뿐만 아니라 구축된 지도를 이용하여 위치 결정을 진행할 수도 있음을 해당 기술 분야의 당업자는 이해하여야 한다. 또한, 컴퓨팅 기기(160)와 컴퓨팅 기기(120)는 상이한 부재들로 도시되나, 이들은 동일한 부재일 수도 있으며, 즉, 동일한 컴퓨팅 기기로 지도 생성 및 차량 위치 결정 양자를 완성한다. 비록 컴퓨팅 기기(160)는 차량(150)과 분리되는 것으로 도시되나, 컴퓨팅 기기(160)는 차량(150) 내부에 위치할 수도 있음을 또한 이해하여야 한다.

또한, 도1에 도시된 각 부재의 수량, 구조, 연결 관계 및 배치는 모두 예시적인 것일 뿐, 한정적인 것이 아니며, 그중의 일부 부재들은 선택 가능한 것이며, 해당 기술 분야의 당업자는 본 개시의 범위 내에서 수량, 구조, 연결 관계 및 배치 등의 방면에서 조정을 진행할 수 있음을 이해하여야 한다.

아래에 도2를 결부하여 전역 특징층 중의 전역 요소와 국부 특징층 중의 국부 요소의 생성 과정에 대한 구체적은 설명을 진행하기로 한다. 도2는 본 개시의 실시예에 따른 지도 생성 방법(200)의 흐름도를 나타낸다. 방법(200)은 예컨대, 도1 중의 컴퓨팅 기기(120)에 의해 실행될 수 있다.

블록(202)에서, 컴퓨팅 기기(120)는 수집 객체(예컨대, 차량(140))의 진행 과정에 수집한 이미지, 해당 이미지에 관련된 위치 데이터 및 해당 이미지에 관련된 포인트 클라우드 데이터를 획득한다. 위치 데이터는 해당 이미지가 수집될 때의 차량(140)의 위치를 지시하고, 포인트 클라우드 데이터는 해당 이미지의 3차원 정보(예컨대, 해당 이미지 중의 대상물이 현실 세계에서의 3차원 좌표)를 지시한다.

본 개시의 일부의 실시예들에 있어서, 카메라는 차량(140)과 관련되게 설정되고, 예컨대, 차량(140)의 상단, 측면, 전방 차창, 후방 차창 등의 위치에 설치되고, 차량(140)의 운전자 또는 승객이 휴대한 카메라 또는 촬상 기능을 구비한 기타 장치(예컨대, 휴대폰, 태블릿 PC 등)일 수도 있다. 아울러, 위치 센서(예컨대, GPS 장치) 및 라이다는 모두 카메라와 동기화되게 설정될 수 있다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 해당 카메라로부터 수집한 이미지를 획득할 수 있고, GPS 장치로부터 해당 카메라와 동기적으로 수집한 차량(140)의 위치 데이터를 획득할 수 있으며, 라이다로부터 해당 카메라와 동기적으로 수집한 포인트 클라우드 데이터를 획득할 수 있다.

블록(204)에서, 컴퓨팅 기기(120)는 획득한 이미지와 위치 데이터를 기반으로 전역 특징층 중의 제1 요소(즉, 전역 요소)를 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 획득한 이미지의 전역 특징을 추출한다. 이미지의 전역 특징은 이미지의 전체적 속성, 예컨대, 색상, 텍스처, 형상, 공간 포락 등을 표시한다. 본 개시의 일부의 실시예들에 있어서, 추출한 전역 특징은 이미지의 공간 포락이다. 후속적인 컴퓨팅이 편리하기 위해, 컴퓨팅 기기(120)는 추출한 전역 특징을 하나의 기술어(예컨대, 일정한 차원의 벡터)로 표시할 수 있으며, 이는 전역 특징 기술어로 지칭될 수도 있다. 컴퓨팅 기기(120)는 이미지로부터 추출한 전역 특징과 이미지가 수집될 때의 차량(140)의 위치를 관련시켜 지도의 전역 특징층 중의 하나의 전역 요소를 생성한다. 예를 들어, 전역 요소의 형식은 {전역 특징 기술어, 위치}일 수 있다.

블록(206)에서, 컴퓨팅 기기(120)는 획득한 이미지와 포인트 클라우드 데이터를 기반으로, 지도의 국부 특징층 중의 제2 요소(즉, 국부 요소)를 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 이미지의 다수의 국부 특징들(예컨대, N개)을 추출한다. 국부 특징은 이미지의 국부 영역(예컨대, 이미지 중의 하나의 픽셀 주위의 영역)의 속성, 예컨대, 에지, 각도 포인트, 선, 곡선 등을 표시한다. 마찬가지로, 후속적인 컴퓨팅이 편리하기 위해, 컴퓨팅 기기(120)는 추출한 다수의 국부 특징들 중의 각 국부 특징을 하나의 기술어로 표시할 수 있으며, 이는 국부 특징 기술어도 지칭될 수도 있다.

일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 포인트 클라우드 데이터로부터 이미지의 각 국부 특징에 관련된 3차원 정보를 추출한다. 예를 들어, 하나의 국부 특징이 반영하는 것이 이미지 중의 픽셀(x, y) 주위의 국부 영역의 속성일 경우, 컴퓨팅 기기(120)는 포인트 클라우드 데이터로부터 픽셀(x, y)에 대응되는 공간 3차원 좌표를 추출한다. 컴퓨팅 기기(120)는 추출한 각 국부 특징과 해당 국부 특징에 관련된 3차원 정보를 관련시켜 지도의 국부 특징층 중의 하나의 국부 요소를 생성한다. 예를 들어, 국부 요소의 형식은 {(국부 특징 기술어1, 3차원 정보1), (국부 특징 기술어2, 3차원 정보2) ???? (국부 특징 기술어N, 3차원 정보N)}일 수 있다. 국부 특징층에는 라이다로 수집한 3차원 정보가 포함되므로, 생성된 지도의 정밀도는 더욱 높게 된다.

이렇게, 하나의 이미지를 상대로 하여, 대략적인 위치 정보를 이용하여 전역 특징층 중의 하나의 전역 요소를 생성하고, 포인트 클라우드 데이터를 이용하여 국부 특징층 중의 하나의 국부 요소를 생성할 수 있다. 동일한 이미지로부터 생성된 전역 요소와 국부 요소는 상호 대응되는 것이다.

저장 장치(130)에 저장된 각 이미지를 상대로 하여, 또는 후속적으로 지도를 업데이트하기 위해 수집한 다른 이미지들을 상대로 하여, 도2에 도시된 방법(200)이 중복됨으로써, 지도(110)의 전역 특징층과 국부 특징층을 부단히 풍부하게 할 수 있다. 생성된 지도는 클라우드 서버 단에 저장될 수 있다.

생성된 지도(110)에 있어서, 전역 특징층에서, 이미지의 전역 특징과 대략적인 위치 정보를 관련시키고, 국부 특징층에서, 이미지의 국부 특징과 정교한 3차원 정보를 관련시킴으로써, 이미지의 전역 특징과 국부 특징을 교량으로, 대략적인 위치 정보와 정교한 3차원 정보를 관련시킨다. 이러한 지도를 이용하여, 라이다가 설치되지 않은 차량에 대해 고정밀도의 위치 결정을 진행할 수 있다.

아래에 도3을 결부하여 어떻게 본 개시의 실시예에 따른 생성된 지도를 이용하여 차량과 같은 운동 객체에 대해 위치 결정을 진행하는지를 설명하기로 한다. 도3은 본 개시의 실시예에 따른 운동 객체 위치 결정 방법(300)의 흐름도를 나타낸다. 방법(300)은 도1에 도시된 컴퓨팅 기기(160)에 의해 실행될 수 있다.

블록(302)에서, 컴퓨팅 기기(160)는 운동 객체(예컨대, 차량(150))의 진행 과정에 수집한 이미지를 획득한다. 본 개시의 일부의 실시예들에 있어서, 컴퓨팅 기기(160)는 차량(150) 내부의 카메라로부터 이미지를 획득할 수 있다.

블록(304)에서, 컴퓨팅 기기(160)는 이미지가 수집될 때의 차량(150)의 위치 데이터를 획득한다. 예를 들어, 컴퓨팅 기기(160)는 차량(150) 내부의 GPS 장치로부터 위치 데이터를 획득할 수 있다. 본 개시의 일부의 실시예들에 있어서, 카메라는 차량(150)과 관련되게 설정되고, 예컨대, 차량(150)의 상단, 측면, 전방 차창, 후방 차창 등의 위치에 설치되고, 차량(150)의 운전자 또는 승객이 휴대한 카메라 또는 촬상 기능을 구비한 기타 장치(예컨대, 휴대폰, 태블릿 PC 등)일 수도 있다. 아울러, GPS 장치는 카메라와 동기화되게 설정될 수 있다.

블록(306)에서, 컴퓨팅 기기(160)는 획득한 이미지, 위치 데이터 및 본 개시의 실시예에 따른 이미지 특징층을 구비하는 지도를 기반으로, 차량(150)의 위치 결정을 확정한다. 본 개시의 실시예에 따른 전역 특징층과 국부 특징층을 구비하는 지도를 이용하여, 차량(150) 상에는 저렴한 비용의 카메라와 GPS 장치가 설치되기만 하면, 값 비싼 라이다가 설치되지 않더라도, 고정밀도의 위치 결정을 실현할 수 있다. 도4는 나아가 어떻게 이미지, 위치 데이터 및 이미지 특징층을 구비하는 지도를 기반으로 차량에 대한 위치 결정을 진행하는지에 대한 보다 상세한 과정을 나타내며, 아래에 이에 대한 상세한 설명을 진행하기로 한다.

선택 가능하게, 컴퓨팅 자원을 절약하기 위해, 컴퓨팅 기기(160)는 먼저 차량(150)으로부터 하나 또는 다수의 계획 경로들을 획득하고, 이어서 클라우드 서버로부터 해당 계획 경로들에 관련된 지도의 일부분을 다운로드할 수 있다. 이러한 방식을 통해, 컴퓨팅 기기(160)는 전체적인 지도를 이용할 필요가 없이 단지 해당 지도의 일부분만을 이용하므로, 비용 지출을 절약하고 처리 효율 및 속도를 향상시킨다.

도4는 본 개시의 일부의 실시예들에 따른 운동 객체 위치 결정 방법(400)을 나타낸다. 아래에 도4를 결부하여 운동 객체 위치 결정 과정에 대한 상세한 설명을 진행하기로 한다. 방법(400)은 도1에 도시된 컴퓨팅 기기(160)에 의해 실행될 수 있다.

블록(402)에서, 컴퓨팅 기기(160)는 이미지의 전역 특징과 국부 특징을 추출한다. 상술한 바와 같이, 전역 특징은 이미지의 전체적 속성, 예컨대, 이미지의 공간 포락을 표시한다. 국부 특징은 이미지의 국부 영역(즉, 이미지의 일부분)의 속성을 표시한다. 본 개시의 일부의 실시예들에 있어서, 컴퓨팅 기기(160)는 전역 특징 기술어를 이용하여 추출한 전역 특징을 표시하고, 국부 특징 기술어를 이용하여 추출한 국부 특징을 표시한다. 본 개시의 일부의 실시예들에 있어서, 추출한 국부 특징은 다수개이며, 예컨대 국부 특징1' 내지 국부 특징N'이다.

블록(404)에서, 컴퓨팅 기기(160)는 위치 데이터를 기반으로, 전역 특징층으로부터 후보 요소 집합을 확정한다. 본 개시의 일부의 실시예들에 있어서, 컴퓨팅 기기(160)는 전역 특징층으로부터 후보 요소 집합 중의 후보 요소로서 하기와 같은 전역 요소를 선택하며, 즉: 해당 전역 요소에 관련된 위치와 위치 데이터가 표시하는 위치 사이의 거리는 기정 역치 내에 위치한다. 상기 기정 역치는 예컨대 100 미터, 200 미터 등이다.

블록(406)에서, 컴퓨팅 기기(160)는 후보 요소 집합으로부터 이미지로부터 추출한 전역 특징에 매칭되는 전역 매칭 요소를 확정한다. 본 개시의 일부의 실시예들에 있어서, 컴퓨팅 기기(160)는 추출한 전역 특징과 후보 요소 집합 중의 각 후보 요소의 전역 특징에 대해 비교를 진행하고, 상기 비교를 기반으로 후보 요소 집합으로부터 전역 특징에 매칭되는 전역 매칭 요소를 확정한다.

블록(408)에서, 컴퓨팅 기기(160)는 국부 특징층으로부터 전역 매칭 요소에 대응되는 국부 매칭 요소를 확정한다. 상술한 바와 같이, 전역 매칭 요소에 대응되는 국부 매칭 요소는 N개의 조목들을 포함할 수 있으며, 각 조목은 하나의 국부 특징과 상응한 3차원 정보를 구비하며, 예컨대, 이의 형식은 {(국부 특징 기술어1, 3차원 정보1), (국부 특징 기술어2, 3차원 정보2) …… (국부 특징 기술어N, 3차원 정보N)}일 수 있다.

블록(410)에서, 컴퓨팅 기기(160)는 국부 매칭 요소를 기반으로, 이미지로부터 추출한 국부 특징에 관련된 3차원 정보를 확정한다. 구체적으로, 이미지로부터 추출한 다수의 국부 특징들 중의 각 국부 특징i'(1'<=i'<=N')에 대해, 컴퓨팅 기기(160)는 이를 국부 매칭 요소 중의 N개의 국부 특징 중의 각각과 비교를 진행하여, 국부 매칭 요소 중 국부 특징i'에 매칭되는 국부 매칭 특징을 확정한다. 또한, 국부 특징i’에 관련된 3차원 정보로서 국부 매칭 특징에 관련된 3차원 정보를 획득한다.

블록(412)에서, 컴퓨팅 기기(160)는 확정한 3차원 정보를 기반으로, 운동 객체의 위치 결정을 확정한다. 본 개시의 일부의 실시예들에 있어서, 확정한 3차원 정보를 기반으로, 예컨대, PnP(perspective-n-point) 알고리즘을 통해 카메라 자태에 대해 값을 구해내어, 운동 객체의 위치 결정을 확정한다.

지도는 전역 특징과 국부 특징을 통해 대략적인 위치와 정교한 3차원 좌표를 관련시키므로, 실제 위치 결정 과정에, 차량(150)은 단지 카메라(예컨대, 모노 카메라)와 위치 센서(예컨대, GPS)를 설치하기만 하면, 값 비싼 고정밀도의 라이다가 설치되지 않더라도, 차량(150)의 고정밀도의 위치 결정을 실현할 수 있다.

도5는 본 개시의 실시예에 따른 지도 생성 장치(500)의 블록도를 나타낸다. 도5에 도시된 바와 같이, 장치(500)는, 수집 객체의 진행 과정에 수집한 이미지 및 해당 이미지가 수집될 때의 수집 객체의 위치를 지시하는 해당 이미지에 관련된 위치 데이터와 해당 이미지의 3차원 정보를 지시하는 해당 이미지에 관련된 포인트 클라우드 데이터를 획득하도록 구축된 획득 모듈(510)과, 해당 이미지 및 해당 위치 데이터를 기반으로, 지도의 전역 특징층 중의 제1 요소를 생성하도록 구축된 전역 특징층 생성 모듈(520)과, 해당 이미지 및 해당 포인트 클라우드 데이터를 기반으로, 제1 요소에 대응되는 지도의 국부 특징층 중의 제2 요소를 생성하도록 구축된 국부 특징층 생성 모듈(530)을 포함한다.

본 개시의 일부의 실시예들에 있어서, 획득 모듈(510)은, 수집 객체와 관련되게 설정된 카메라로 수집한 상기 이미지를 획득하도록 구축된 이미지 획득 모듈과, 위치 센서와 카메라가 동기적으로 수집한 수집 객체의 위치 데이터를 획득하도록 구축된 위치 획득 모듈과, 라이다와 카메라가 동기적으로 수집한 포인트 클라우드 데이터를 획득하도록 구축된 포인트 클라우드 획득 모듈을 포함한다.

본 개시의 일부의 실시예들에 있어서, 전역 특징층 생성 모듈(520)은, 이미지의 전체적 속성을 표시하는 이미지의 전역 특징을 추출하도록 구축된 전역 특징 추출 모듈과, 위치 데이터와 전역 특징을 관련시켜 전역 특징층 중의 제1 요소를 생성하도록 구축된 관련 모듈을 포함한다.

본 개시의 일부의 실시예들에 있어서, 국부 특징층 생성 모듈(530)은, 이미지의 일부분에 관한 속성을 표시하는 이미지의 국부 특징을 추출하도록 구축된 국부 특징 추출 모듈과, 포인트 클라우드 데이터로부터 국부 특징에 관련된 3차원 정보를 추출하도록 구축된 3차원 정보 추출 모듈과, 국부 특징과 3차원 정보를 관련시켜 국부 특징층 중의 제2 요소를 생성하도록 구축된 관련 모듈을 포함한다.

도6은 본 개시의 실시예에 따른 운동 객체 위치 결정 장치(600)의 블록도를 나타낸다. 도6에 도시된 바와 같이, 장치(600)는, 운동 객체의 진행 과정에 수집한 이미지를 획득하도록 구축된 이미지 획득 모듈(610)과, 해당 이미지가 수집될 때의 운동 객체의 위치 데이터를 획득하도록 구축된 위치 획득 모듈(620)과, 해당 이미지, 해당 위치 데이터 및 본 개시의 실시예에 따른 지도를 기반으로, 운동 객체의 위치 결정을 확정하도록 구축된 위치 결정 모듈(630)을 포함한다.

본 개시의 일부의 실시예들에 있어서, 위치 결정 모듈(630)은, 이미지의 전체적 속성을 표시하는 이미지의 전역 특징과 이미지의 일부분에 관한 속성을 표시하는 이미지의 국부 특징을 추출하도록 구축된 특징 추출 모듈과, 운동 객체의 위치 데이터를 기반으로, 지도의 전역 특징층으로부터 후보 요소 집합을 확정하도록 구축된 후보 요소 확정 모듈과, 후보 요소 집합으로부터 전역 특징에 매칭되는 전역 매칭 요소를 확정하도록 구축된 전역 매칭 요소 확정 모듈과, 지도의 국부 특징층으로부터 전역 매칭 요소에 대응되는 국부 매칭 요소를 확정하도록 구축된 국부 매칭 요소 확정 모듈과, 국부 매칭 요소를 기반으로, 국부 특징에 관련된 3차원 정보를 확정하도록 구축된 3차원 정보 확정 모듈과, 상기 3차원 정보를 기반으로, 운동 객체의 위치 결정을 확정하도록 구축된 위치 결정 확정 모듈을 포함한다.

본 개시의 일부의 실시예들에 있어서, 장치(600)는, 운동 객체의 계획 경로를 획득하도록 구축된 계획 경로 획득 모듈과, 계획 경로에 관련된 지도를 다운로드하도록 구축된 지도 다운로드 모듈을 더 포함한다.

본 개시의 일부의 실시예들에 있어서, 이미지 획득 모듈(610)은 운동 객체에 관련되게 설정된 카메라로 수집한 이미지를 획득하도록 더 구축된다. 위치 획득 모듈(620)은, 위치 센서와 카메라가 동기적으로 수집한 운동 객체의 위치 데이터를 획득하도록 더 구축된다.

도7은 본 개시의 실시예들을 실시할 수 있는 예시적 기기(700)의 개략적 블록도를 나타낸다. 기기(700)는 도1의 컴퓨팅 기기(120) 및 컴퓨팅 기기(160)를 구현하도록 이용될 수 있다. 도시된 바와 같이, 기기(700)는, 중앙 처리 유닛(701; CPU)을 포함하되, CPU(701)는 읽기 전용 메모리(702; ROM)에 저장된 컴퓨터 프로그램 명령 또는 저장 유닛(708)으로부터 랜덤 액세스 메모리(703; RAM)에 로딩된 컴퓨터 프로그램 명령에 따라 각종의 적당한 동작과 처리를 실행할 수 있다. RAM(703)에는 기기(700)의 작동에 필요한 각종의 프로그램 및 데이터가 더 저장될 수 있다. CPU(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(705)도 버스(704)에 연결된다.

기기(700) 중의 I/O 인터페이스(705)에 연결되는 다수의 부재들로서, 키보드, 마우스 등과 같은 입력 유닛(706)과, 각종 유형의 표시 장치, 스피커 등과 같은 출력 유닛(707)과, 자기 디스크, 콤팩트 디스크 등과 같은 저장 유닛(708)과, 랜카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(709)이 포함된다. 통신 유닛(709)은 기기(700)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종의 전기 통신망을 통해 기타의 기기와 정보/데이터를 교환하는 것을 허용한다.

중앙 처리 유닛(701)은 전술한 각 방법과 처리, 예컨대 방법(200), 방법(300) 및/또는 방법(400)을 실행한다. 예를 들어, 일부의 실시예들에 있어서, 방법(200), 방법(300) 및/또는 방법(400)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있으며, 이는 기계 판독 가능한 매체(예컨대 저장 유닛(708))에 유형적으로 포함된다. 일부의 실시예들에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(702) 및/또는 통신 유닛(709)을 경유하여 기기(700) 상에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되고 CPU(701)에 의해 실행될 경우, 전술한 방법(200), 방법(300) 및/또는 방법(400)의 하나 또는 다수의 단계를 실행할 수 있다. 선택 가능하게, 기타의 실시예에 있어서, CPU(701)는 기타의 임의의 적당한 방식을 통해 (예컨대, 펌웨어의 도움으로) 방법(200), 방법(300) 및/또는 방법(400)을 실행하도록 구축될 수 있다.

본원에 설명된 이상의 기능들은 적어도 부분적으로 하나 또는 다수의 하드웨어 로직 부재로 실행될 수 있다. 예를 들어, 사용 가능한 모범적인 유형의 하드웨어 로직 부재는, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템-온-칩 시스템(SOC), 복합프로그래머블 로직 소자(CPLD) 등을 포함하나, 이에 한정되지 않는다.

본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래머블 언어들의 임의의 조합을 이용하여 프로그래밍될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 주문형 컴퓨터 또는 기타의 프로그래머블 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드가 프로세서 또는 제어 장치에 의해 실행될 경우, 흐름도 및/또는 블록도에 규정된 기능/조작들이 실시되도록 한다. 프로그램 코드는 완전히 기계 상에서 실행되거나, 부분적으로 기계 상에서 실행되거나, 독립적인 소프트웨어 패키지로서 부분적으로 기계 상에서 실행되고 부분적으로 원격 기계 상에서 실행되거나, 또는 완전히 원격 기계 또는 서비스 상에서 실행될 수 있다.

본 개시의 맥락에 있어서, 기계 판독 가능한 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능한 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능한 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 와이어 기반의 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 특정된 순서를 이용하여 각 조작을 설명하였으나, 이는 이러한 조작들이 도시된 특정된 순서 또는 순차 순서로 실행되는 것을 요구하거나, 원하는 결과를 실현하기 위해 도시된 모든 조작들이 실행되어야 하는 것을 요구하는 것으로 이해하여서는 아니된다. 일정한 환경에 있어서, 멀티 태스킹과 병렬 처리는 유리할 수 있다. 마찬가지로, 앞선 토론에는 여러가지 구체적인 구현들의 세부사항들이 포함되나, 이들은 본 개시의 범위에 대한 한정으로 해석하여서는 아니된다. 별도의 실시예의 맥락에 설명된 일부의 특징들은 조합의 방식으로 단일의 구현에 구현될 수 있다. 반대로, 단일의 구현의 맥락에 설명된 각종의 특징들도 별도로 또는 임의의 적당한 서브 조합의 방식으로 다수의 구현들에 구현될 수도 있다.

구조 특징 및/또는 방법 로직 동작에 특정된 언어를 이용하여 본 주제를 설명하였으나, 특허청구범위에 한정된 주제는 반드시 전술한 특정된 특징 또는 동작들에 한정되어야 하는 것이 아님을 이해하여야 한다. 반대로, 전술한 특정된 특징 또는 동작들은 단지 특허청구범위를 구현하는 예시적 형식이다.

Claims

지도 생성 방법에 있어서,
수집 객체의 진행 과정에 수집한 이미지 및 상기 이미지가 수집될 때의 상기 수집 객체의 위치를 지시하는 상기 이미지에 관련된 위치 데이터와 상기 이미지의 3차원 정보를 지시하는 상기 이미지에 관련된 포인트 클라우드 데이터를 획득하는 단계와,
상기 이미지와 상기 위치 데이터를 기반으로, 상기 지도의 전역 특징층 중의 제1 요소를 생성하는 단계와,
상기 이미지와 상기 포인트 클라우드 데이터를 기반으로, 상기 제1 요소에 대응되는 상기 지도의 국부 특징층 중의 제2 요소를 생성하는 단계를 포함하고,
상기 전역 특징층 중의 제1 요소를 생성하는 단계는,
상기 이미지의 전체적 속성을 표시하는 상기 이미지의 전역 특징을 추출하는 단계와,
상기 위치 데이터와 상기 전역 특징을 관련시켜 상기 제1 요소를 생성하는 단계를 포함하고,
상기 국부 특징층 중의 제2 요소를 생성하는 단계는,
상기 이미지의 일부분에 관한 속성을 표시하는 상기 이미지의 국부 특징을 추출하는 단계와,
상기 포인트 클라우드 데이터로부터 상기 국부 특징에 관련된 3차원 정보를 추출하는 단계와,
상기 국부 특징과 상기 3차원 정보를 관련시켜 상기 제2 요소를 생성하는 단계를 포함하는 지도 생성 방법.
제1항에 있어서,
상기 이미지 및 상기 위치 데이터와 상기 포인트 클라우드 데이터를 획득하는 단계는,
상기 수집 객체와 관련되게 설정된 카메라로 수집한 상기 이미지를 획득하는 단계와,
위치 센서와 상기 카메라가 동기적으로 수집한 상기 수집 객체의 위치 데이터를 획득하는 단계와,
라이다와 상기 카메라가 동기적으로 수집한 상기 포인트 클라우드 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 지도 생성 방법.
운동 객체 위치 결정 방법에 있어서,
상기 운동 객체의 진행 과정에 수집한 이미지를 획득하는 단계와,
상기 이미지가 수집될 때의 상기 운동 객체의 위치 데이터를 획득하는 단계와,
상기 이미지, 상기 위치 데이터 및 제1항 또는 제2항의 지도 생성 방법에 의해 생성된 지도를 기반으로, 상기 운동 객체의 위치 결정을 확정하는 단계를 포함하는 운동 객체 위치 결정 방법.
제3항에 있어서,
상기 운동 객체의 위치 결정을 확정하는 단계는,
상기 이미지의 전체적 속성을 표시하는 상기 이미지의 전역 특징과 상기 이미지의 일부분에 관한 속성을 표시하는 상기 이미지의 국부 특징을 추출하는 단계와,
상기 운동 객체의 위치 데이터를 기반으로, 상기 지도의 전역 특징층으로부터 후보 요소 집합을 확정하는 단계와,
상기 후보 요소 집합으로부터 상기 전역 특징에 매칭되는 전역 매칭 요소를 확정하는 단계와,
상기 지도의 국부 특징층으로부터 상기 전역 매칭 요소에 대응되는 국부 매칭 요소를 확정하는 단계와,
상기 국부 매칭 요소를 기반으로, 상기 국부 특징에 관련된 3차원 정보를 확정하는 단계와,
상기 3차원 정보를 기반으로, 상기 운동 객체의 위치 결정을 확정하는 단계를 포함하는 것을 특징으로 하는 운동 객체 위치 결정 방법.
제3항에 있어서,
상기 운동 객체의 계획 경로를 획득하는 단계와,
상기 계획 경로에 관련된 상기 지도를 다운로드하는 단계를 더 포함하는 운동 객체 위치 결정 방법.
제3항에 있어서,
상기 이미지를 획득하는 단계는,
상기 운동 객체에 관련되게 설정된 카메라로 수집한 상기 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 운동 객체 위치 결정 방법.
제6항에 있어서,
상기 운동 객체의 위치 데이터를 획득하는 단계는,
위치 센서와 상기 카메라가 동기적으로 수집한 상기 운동 객체의 위치 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 운동 객체 위치 결정 방법.
지도 생성 장치에 있어서,
수집 객체의 진행 과정에 수집한 이미지 및 상기 이미지가 수집될 때의 상기 수집 객체의 위치를 지시하는 상기 이미지에 관련된 위치 데이터와 상기 이미지의 3차원 정보를 지시하는 상기 이미지에 관련된 포인트 클라우드 데이터를 획득하도록 구축된 획득 모듈과,
상기 이미지와 상기 위치 데이터를 기반으로, 상기 지도의 전역 특징층 중의 제1 요소를 생성하도록 구축된 전역 특징층 생성 모듈과,
상기 이미지와 상기 포인트 클라우드 데이터를 기반으로, 상기 제1 요소에 대응되는 상기 지도의 국부 특징층 중의 제2 요소를 생성하도록 구축된 국부 특징층 생성 모듈을 포함하고,
상기 전역 특징층 생성 모듈은,
상기 이미지의 전체적 속성을 표시하는 상기 이미지의 전역 특징을 추출하도록 구축된 전역 특징 추출 모듈과,
상기 위치 데이터와 상기 전역 특징을 관련시켜 상기 제1 요소를 생성하도록 구축된 관련 모듈을 포함하고,
상기 국부 특징층 생성 모듈은,
상기 이미지의 일부분에 관한 속성을 표시하는 상기 이미지의 국부 특징을 추출하도록 구축된 국부 특징 추출 모듈과,
상기 포인트 클라우드 데이터로부터 상기 국부 특징에 관련된 3차원 정보를 추출하도록 구축된 3차원 정보 추출 모듈과,
상기 국부 특징과 상기 3차원 정보를 관련시켜 상기 제2 요소를 생성하도록 구축된 관련 모듈을 포함하는 지도 생성 장치.
제8항에 있어서,
상기 획득 모듈은,
상기 수집 객체와 관련되게 설정된 카메라로 수집한 상기 이미지를 획득하도록 구축된 이미지 획득 모듈과,
위치 센서와 상기 카메라가 동기적으로 수집한 상기 수집 객체의 상기 위치 데이터를 획득하도록 구축된 위치 획득 모듈과,
라이다와 상기 카메라가 동기적으로 수집한 상기 포인트 클라우드 데이터를 획득하도록 구축된 포인트 클라우드 획득 모듈을 포함하는 것을 특징으로 하는 지도 생성 장치.
운동 객체 위치 결정 장치에 있어서,
상기 운동 객체의 진행 과정에 수집한 이미지를 획득하도록 구축된 이미지 획득 모듈과,
상기 이미지가 수집될 때의 상기 운동 객체의 위치 데이터를 획득하도록 구축된 위치 획득 모듈과,
상기 이미지, 상기 위치 데이터 및 제1항 또는 제2항의 지도 생성 방법에 의해 생성된 지도를 기반으로, 상기 운동 객체의 위치 결정을 확정하도록 구축된 위치 결정 모듈을 포함하는 운동 객체 위치 결정 장치.
제10항에 있어서,
상기 위치 결정 모듈은,
상기 이미지의 전체적 속성을 표시하는 상기 이미지의 전역 특징과 상기 이미지의 일부분에 관한 속성을 표시하는 상기 이미지의 국부 특징을 추출하도록 구축된 특징 추출 모듈과, 상기 운동 객체의 위치 데이터를 기반으로, 상기 지도의 전역 특징층으로부터 후보 요소 집합을 확정하도록 구축된 후보 요소 확정 모듈과,
상기 후보 요소 집합으로부터 상기 전역 특징에 매칭되는 전역 매칭 요소를 확정하도록 구축된 전역 매칭 요소 확정 모듈과,
상기 지도의 국부 특징층으로부터 상기 전역 매칭 요소에 대응되는 국부 매칭 요소를 확정하도록 구축된 국부 매칭 요소 확정 모듈과,
상기 국부 매칭 요소를 기반으로, 상기 국부 특징에 관련된 3차원 정보를 확정하도록 구축된 3차원 정보 확정 모듈과,
상기 3차원 정보를 기반으로, 상기 운동 객체의 위치 결정을 확정하도록 구축된 위치 결정 확정 모듈을 포함하는 것을 특징으로 하는 운동 객체 위치 결정 장치.
제10항에 있어서,
상기 운동 객체의 계획 경로를 획득하도록 구축된 계획 경로 획득 모듈과,
상기 계획 경로에 관련된 상기 지도를 다운로드하도록 구축된 지도 다운로드 모듈을 더 포함하는 운동 객체 위치 결정 장치.
제10항에 있어서,
상기 이미지 획득 모듈은,
상기 운동 객체에 관련되게 설정된 카메라로 수집한 상기 이미지를 획득하도록 더 구축되는 것을 특징으로 하는 운동 객체 위치 결정 장치.
제13항에 있어서,
상기 위치 획득 모듈은,
위치 센서와 상기 카메라가 동기적으로 수집한 상기 운동 객체의 위치 데이터를 획득하도록 더 구축되는 것을 특징으로 하는 운동 객체 위치 결정 장치.
기기에 있어서,
하나 또는 다수의 프로세서와,
하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1항 또는 제2항의 방법을 구현하도록 하는 기기.
기기에 있어서,
하나 또는 다수의 프로세서와,
하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제5항의 방법을 구현하도록 하는 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 프로그램은 프로세서에 의해 실행될 경우 제1항 또는 제2항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 프로그램은 프로세서에 의해 실행될 경우 제5항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
삭제
삭제
삭제
삭제