KR102151815B1 - Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence - Google Patents

Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence Download PDF

Info

Publication number
KR102151815B1
KR102151815B1 KR1020180159606A KR20180159606A KR102151815B1 KR 102151815 B1 KR102151815 B1 KR 102151815B1 KR 1020180159606 A KR1020180159606 A KR 1020180159606A KR 20180159606 A KR20180159606 A KR 20180159606A KR 102151815 B1 KR102151815 B1 KR 102151815B1
Authority
KR
South Korea
Prior art keywords
lidar
camera
data
image
image data
Prior art date
Application number
KR1020180159606A
Other languages
Korean (ko)
Other versions
KR20200071960A (en
Inventor
박태형
권순섭
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180159606A priority Critical patent/KR102151815B1/en
Publication of KR20200071960A publication Critical patent/KR20200071960A/en
Application granted granted Critical
Publication of KR102151815B1 publication Critical patent/KR102151815B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/20—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 실시예는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있도록 하는 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.In this embodiment, LiDAR data is projected onto an image area photographed by a camera based on camera parameter information to generate LiDAR image data, and by using this to detect an object, an additional fusion algorithm and range limitation are not limited. The present invention relates to a method for detecting an object using fusion of a camera and a lidar sensor to efficiently detect an object through a simplified network, and an apparatus therefor.

Description

카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치{Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence}Object detection method using camera and lidar sensor fusion, and apparatus therefor TECHNICAL FIELD [Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence]

본 발명의 실시예는 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.An embodiment of the present invention relates to a method for detecting an object using fusion of a camera and a lidar sensor, and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the embodiments of the present invention and does not constitute the prior art.

자율주행 자동차란 운전자가 자동차의 주행을 조작하는 것이 아닌 자동차 자체적으로 주행을 제어하여 목적지까지 이동하는 자동차를 말한다. 자율주행 자동차의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 이를 이용하여 사람, 장애물, 주변 차량 등을 검출하는 것은 매우 중요한 작업 중 하나이다.An autonomous vehicle refers to a vehicle that moves to a destination by controlling the driving of the vehicle itself rather than the driver manipulating the driving of the vehicle. In order to drive an autonomous vehicle, various types of sensors are required to monitor the surrounding environment on behalf of the driver, and detecting people, obstacles, and surrounding vehicles using this is one of the most important tasks.

최근 자율주행 자동차와 관련된 연구에서는 사람이나 차량을 보다 정확하게 인식하기 위해 다양한 센서(예: 라이다, 카메라, 레이더, 초음파센서 등)를 융합하는 방식이 제안되고 있다. 예컨대, 카메라와 라이다 센서의 융합 방법으로는 도 1a와 같이 각 센서별로 객체를 검출한 결과를 가지고 융합하는 방법, 도 1b와 같이 라이다로 객체 후보군들을 찾고, 카메라로 최종 객체를 찾는 방법, 도 1c와 같이 카메라, 라이다 데이터를 복잡한 딥러닝 네트워크에 넣어 객체를 찾는 방법이 존재한다.In recent studies related to autonomous vehicles, a method of fusion of various sensors (eg, lidar, camera, radar, ultrasonic sensor, etc.) has been proposed to more accurately recognize a person or vehicle. For example, as a fusion method of a camera and a lidar sensor, a method of fusing with the result of detecting an object for each sensor as shown in FIG. 1A, a method of searching for object candidate groups with a lidar as shown in FIG. As shown in Fig. 1c, there is a method of finding an object by putting camera and lidar data into a complex deep learning network.

하지만, 이러한, 종래의 방법에는 단점이 존재한다. 먼저, 첫 번째 방법의 경우 추가적으로 융합하는 시스템을 만들어야 한다는 문제점이 있다. 두 번째 방법은 카메라 영역만 객체를 찾을 수 있고, 그 외의 영역에서는 객체를 찾을 수 없다는 문제점이 있다. 마지막 방법은 카메라와 라이다 데이터는 차원과 성질이 다르기 때문에 복잡한 딥러닝 네트워크를 사용할 수 밖에 없다는 점에서 문제점이 존재한다. 이에 따라, 본 발명에서는 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합 방법을 통해 보다 효율적인 객체 검출이 가능토록 하는 새로운 기술을 제안한다.However, there are drawbacks to this, conventional method. First, in the case of the first method, there is a problem in that a system that additionally converges must be created. The second method has a problem that an object can be found only in the camera area, and the object cannot be found in other areas. The last method has a problem in that the camera and LiDAR data have different dimensions and properties, so that a complex deep learning network must be used. Accordingly, the present invention proposes a new technology that enables more efficient object detection through a fusion method between a camera and a lidar sensor using data projection.

본 실시예는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있도록 하는 데 그 목적이 있다.In this embodiment, LiDAR data is projected onto an image area photographed by a camera based on camera parameter information to generate LiDAR image data, and by using this to detect an object, an additional fusion algorithm and range limitation are not limited. Its purpose is to enable efficient object detection through a simplified network.

본 실시예는, 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 센서부; 상기 라이다 데이터를 카메라 파라미터 정보를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 영상 처리부; 및 상기 라이다 영상 데이터를 기반으로 객체를 검출하는 객체 검출부를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치를 제공한다.In this embodiment, a sensor unit for collecting image data and lidar data from a camera and a lidar sensor; An image processing unit generating lidar image data by projecting the lidar data onto an image area photographed by the camera, based on camera parameter information; And an object detector configured to detect an object based on the lidar image data. An object detection device using a lidar sensor and a camera is provided.

또한, 본 실시예의 다른 측면에 의하면, 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서, 상기 카메라 및 상기 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 과정; 상기 라이다 데이터를 카메라 파라미터를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 과정; 및 상기 라이다 영상 데이터를 기반으로 객체를 검출하는 과정을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법을 제공한다.In addition, according to another aspect of the present embodiment, a method of detecting an object using a lidar sensor and a camera, comprising: collecting image data and lidar data from the camera and the lidar sensor; Generating lidar image data by projecting the lidar data onto an image area photographed by the camera based on a camera parameter; And it provides an object detection method using a lidar sensor and a camera comprising the step of detecting an object based on the lidar image data.

본 실시예에 의하면, 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있는 효과가 있다.According to the present embodiment, the LIDA image data is generated by projecting the lidar data on the image area photographed by the camera based on the camera parameter information, and the object is detected using this to detect an additional fusion algorithm and limit of range limitation. There is an effect that object detection can be efficiently performed through a more simplified network without.

도 1a 내지 1c는 일반적으로 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 객체 검출장치를 개략적으로 나타낸 블록 구성도이다.
도 4는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 5 내지 도 7은 본 실시예에 따른 라이다 센서와 카메라 융합 방법을 설명하기 위한 예시도이다.1A to 1C are diagrams for explaining a method of generally detecting an object by fusing a lidar sensor and a camera.
2 is a view for explaining a method of detecting an object by fusing a lidar sensor and a camera according to the present embodiment.
3 is a block diagram schematically showing an object detection apparatus according to the present embodiment.
4 is a flowchart illustrating a method of detecting an object by fusing a lidar sensor and a camera according to the present embodiment.
5 to 7 are exemplary diagrams for explaining a method for fusion of a lidar sensor and a camera according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings. In describing the present invention,'... Terms such as'sub' and'module' mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.

본 실시예는 자율주행 자동차에 배치되는 적어도 하나의 라이다(LiDAR: Light Detection and Ranging) 센서 및 카메라를 융합하는 방식에 대해 기재하고 있으나 이는 일 실시예에 따른 것으로서, 라이다 데이터 및 영상을 융합하여 객체를 검출하는 다양한 분야에 적용될 수 있다.This embodiment describes a method of fusing at least one LiDAR (Light Detection and Ranging) sensor and a camera disposed in an autonomous vehicle, but this is according to an embodiment, and the LiDAR data and images are fused. Therefore, it can be applied to various fields of object detection.

도 2는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.2 is a view for explaining a method of detecting an object by fusing a lidar sensor and a camera according to the present embodiment.

본 실시예에서는 도 2에 도시된 바와 같이, 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합 방법을 통해 보다 효율적인 객체 검출이 가능토록 하는 새로운 기술을 제안한다.In this embodiment, as shown in FIG. 2, a new technique for more efficient object detection is proposed through a fusion method between a camera and a lidar sensor using data projection.

보다 구체적으로, 본 실시예에 따른 객체 검출방법에 의하는 경우, 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하고, 라이다 데이터를 카메라 파라미터 정보를 기반으로 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 한편, 본 실시예의 경우, 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합을 위해, 카메라의 내부, 외부 파라미터, 화각을 알고 있으며, 카메라와 라이다 센서 사이에 캘리브레이션이 적용되었다고 가정한다.More specifically, in the case of the object detection method according to the present embodiment, image data and lidar data are collected from a camera and a lidar sensor, and lidar data is stored on an image area captured by the camera based on camera parameter information. Is projected on to generate lidar image data. Meanwhile, in the case of the present embodiment, it is assumed that for the fusion between the camera and the lidar sensor using data projection, the internal and external parameters of the camera, and the angle of view are known, and calibration is applied between the camera and the lidar sensor.

이후, 생성된 라이다 영상 데이터에서 최종적으로 객체를 검출하는 동작을 수행한다. 한편, 본 실시예에 따른 라이다 영상 데이터의 경우 카메라의 영상 데이터와 성질이 비슷하게 때문에 하나의 객체 검출 알고리즘을 사용하여 객체 검출이 이루어질 수 있는 효과가 있다.Thereafter, an operation of finally detecting an object from the generated lidar image data is performed. Meanwhile, in the case of the lidar image data according to the present embodiment, since the property of the image data of the camera is similar to that of the camera, object detection can be performed using a single object detection algorithm.

본 실시예에 따른 객체 검출방법에 의하는 경우, Raw 데이터 단계에서 카메라의 영상 데이터와 라이다 센서의 라이다 데이터 간의 융합을 진행하기 때문에 추가적인 융합 알고리즘이 필요 없어 리소스가 적게 든다는 장점이 존재한다. 이와 더불어, 카메라 및 라이다 센서의 융합과정에서 문제가 되었던 범위 제한이나, 데이터 특성의 상이함으로 인한 복잡한 딥러닝 네트워크의 사용에 대한 문제를 해결할 수 있다.In the case of the object detection method according to the present embodiment, there is an advantage that resources are reduced because an additional fusion algorithm is not required because fusion between image data of a camera and lidar data of a lidar sensor is performed in the raw data stage. In addition, it is possible to solve the problem of the use of a complex deep learning network due to a range limitation, which was a problem in the process of fusion of cameras and lidar sensors, or differences in data characteristics.

도 3은 본 실시예에 따른 객체 검출장치를 개략적으로 나타낸 블록 구성도이다.3 is a block diagram schematically showing an object detection apparatus according to the present embodiment.

객체 검출장치(300)는 라이다 센서 및 카메라와 연동하여 객체(예: 차량)을 검출하는 장치로서, 본 실시예에 따른 객체 검출장치(300)는 카메라와 라이다 센서 간의 융합을 통해 생성된 라이다 영상 데이터를 기반으로 소정의 거리에 있는 전방의 객체를 검출한다. 구체적으로, 객체 검출장치(300)는 라이다 데이터를 카메라 파라미터 정보를 기반으로 카메라로 촬영된 이미지 영역 상에 투영하여 제공함으로써 보다 효율적인 객체의 검출이 이루어질 수 있도록 동작한다.The object detection device 300 is a device that detects an object (eg, a vehicle) by interlocking with a lidar sensor and a camera, and the object detection device 300 according to the present embodiment is generated through fusion between the camera and the lidar sensor. An object in front of a predetermined distance is detected based on the lidar image data. Specifically, the object detection apparatus 300 is operated to perform more efficient object detection by projecting and providing lidar data on an image area photographed by a camera based on camera parameter information.

본 실시예에 따른 객체 검출장치(300)는 센서부(310), 영상 처리부(320) 및 객체 검출부(330)를 포함한다. 여기서, 본 실시예에 따른 객체 검출장치(300)에 포함되는 구성 요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 객체 검출장치(300)는 객체 검출부(330)를 미포함하는 형태로 구현될 수 있으며, 이 경우, 카메라와 라이다 센서의 융합 기능만을 수행하게 된다.The object detection apparatus 300 according to the present embodiment includes a sensor unit 310, an image processing unit 320, and an object detection unit 330. Here, the components included in the object detection apparatus 300 according to the present embodiment are not necessarily limited thereto. For example, the object detection device 300 may be implemented in a form not including the object detection unit 330, and in this case, only the fusion function of the camera and the lidar sensor is performed.

센서부(310)는 적어도 하나의 센서를 구비하고, 구비된 센서를 이용하여 차량 주변의 교통조건과 주행환경의 감지를 위한 데이터를 수집하는 장치를 의미한다.The sensor unit 310 refers to a device that includes at least one sensor and collects data for detecting traffic conditions and driving environments around the vehicle by using the provided sensor.

본 실시예에 있어서, 센서부(310)는 라이다 센서 및 카메라를 센싱수단으로서 구비하고, 구비된 라이다 센서 및 카메라를 이용하여 라이다 데이터 및 영상 데이터를 수집할 수 있다. 즉, 센서부(310)는 카메라로부터 감지 영역을 촬영한 영상 데이터를 수집하고, 라이다 센서로부터 감지 영역의 주변에 위치하는 객체의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지한 라이다 데이터를 수집한다.In this embodiment, the sensor unit 310 may include a lidar sensor and a camera as sensing means, and may collect lidar data and image data using the lidar sensor and camera. That is, the sensor unit 310 collects image data photographing the detection area from the camera, and detects distance, direction, speed, temperature, material distribution, and concentration characteristics of objects located around the detection area from the lidar sensor. Collect one lidar data.

라이다 센서는 차량의 주변(전방)을 향하여 레이저를 발사한다. 라이다 센서에 의해 발사된 레이저는 산란되거나 반사되어 차량으로 되돌아올 수 있다.The lidar sensor fires a laser towards the vehicle's periphery (front). The laser emitted by the lidar sensor can be scattered or reflected and returned to the vehicle.

라이다 센서는 레이저를 이용하여 측정한 거리정보(Distance Information)를 3D 공간에서 점들의 집합(Point의 Set) 형태로 나타내며, 이러한 거리정보를 포함하는 라이다 데이터를 제공한다. 예를 들어, 라이다 센서는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량의 주변에 위치하는 타겟의 물리적 특성에 대한 정보를 획득할 수 있다.The lidar sensor represents distance information measured using a laser in the form of a set of points in 3D space, and provides lidar data including such distance information. For example, the lidar sensor may acquire information on the physical characteristics of a target located around the vehicle based on a change in time, intensity, frequency, and polarization state of the laser return.

라이다 센서는 차량의 배치 위치에 따라 복수 개가 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 라이다 센서는 복수의 저해상도 라이다 센서를 이용하여 고해상도 라이다 센서를 이용한 것과 같은 결과물을 도출할 수 있다. 라이다 센서는 일정 각도(Angle)마다 주변의 물체(장애물)까지의 거리(Distance)를 측정한다. 여기서, 일정 각도는 축(Axis)에 따라 수평각 해상도 및 수직각 해상도(horizontal/vertical angular resolution)로 구분된다.It is preferable that a plurality of lidar sensors are installed according to the arrangement position of the vehicle, but are not limited thereto. The lidar sensor can derive the same result as using a high-resolution lidar sensor by using a plurality of low-resolution lidar sensors. The lidar sensor measures the distance to surrounding objects (obstacles) at a certain angle. Here, a certain angle is divided into a horizontal angle resolution and a vertical angle resolution (horizontal/vertical angular resolution) according to the axis.

카메라는 차량의 주변환경(전방)을 촬영한 영상을 생성하고, 생성된 영상을 제공한다. 여기서, 영상은 복수의 이미지를 포함하고, 각각의 이미지에는 사람의 눈과 비슷한 컬러정보가 포함되어 있는 2D 형태의 이미지 데이터를 의미한다. 카메라는 차량 주변의 영상에 대한 이미지를 생성할 수 있다면 다양한 형태의 영상 촬영장치로 구현될 수 있다.The camera generates an image photographing the surrounding environment (front) of the vehicle and provides the generated image. Here, the image includes a plurality of images, and each image refers to 2D image data including color information similar to a human eye. The camera can be implemented with various types of image capturing devices as long as it can generate images of images around the vehicle.

다른 실시예에서 라이다 센서 및 카메라는 센서부(310)의 구성요소로서 미포함되는 형태로 구현될 수 있으며, 이 경우, 센서부(310)는 차량에 설치된 라이다 센서 및 카메라와의 연동을 통해 상기의 라이다 데이터 및 영상 데이터를 수집하고, 이를 영상 처리부(320) 및 객체 검출부(330)로 제공하는 중계 기능을 수행한다.In another embodiment, the lidar sensor and the camera may be implemented in a form that is not included as a component of the sensor unit 310. In this case, the sensor unit 310 is connected with the lidar sensor installed in the vehicle and the camera. A relay function is performed to collect the lidar data and image data and provide the data to the image processing unit 320 and the object detection unit 330.

영상 처리부(320)는 카메라와 라이다 센서 간의 융합 절차를 수행하는 장치를 의미한다. 본 실시예에 따른 영상 처리부(320)는 데이터 투영 방식을 통해 카메라와 라이다 센서 간의 융합을 진행한다.The image processing unit 320 refers to a device that performs a fusion procedure between a camera and a lidar sensor. The image processing unit 320 according to the present embodiment performs fusion between a camera and a lidar sensor through a data projection method.

보다 자세하게는, 영상 처리부(320)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 즉, 영상 처리부(320)는 라이다 데이터를 카메라로 촬영된 이미지 영역 상에 투영함으로써 마치 라이다 데이터가 카메라의 영상 데이터인것 처럼 변환하여 출력한다.In more detail, the image processing unit 320 generates lidar image data by projecting lidar data onto an image area captured by the camera based on camera parameter information. That is, the image processing unit 320 projects the lidar data onto an image area captured by the camera, thereby converting and outputting the lidar data as if it were image data of the camera.

한편, 라이다 센서로 수집되는 라이다 데이터만으로도 어느 정도 차량이나 사람 같은 객체의 검출이 가능하다. 하지만, 영상 데이터의 경우 객체의 검출이 라이다 데이터보다 보다 정확하게 이루어질 수 있다. 이점에 기인하여, 영상 처리부(320)는 라이다 데이터를 카메라로 촬영된 이미지 영역 상에 투영하고, 이를 통해 라이다 데이터를 영상 데이터와 비슷한 성질의 라이다 영상 데이터로 변환하여 제공한다. 이는, 라이다 데이터를 그대로 사용하는 경우 대비 객체의 검출이 보다 정확하게 이루어질 수 있도록 하면서도, 하나의 객체 검출 알고리즘을 통해 객체의 검출이 가능토록 하는 효과가 있다.On the other hand, it is possible to detect an object such as a vehicle or a person to some extent with only the lidar data collected by the lidar sensor. However, in the case of image data, object detection can be performed more accurately than LiDAR data. Due to this, the image processing unit 320 projects the lidar data onto an image area captured by the camera, and converts the lidar data into lidar image data having properties similar to the image data and provides it. This has the effect of enabling object detection through a single object detection algorithm while enabling the detection of an object more accurately compared to the case of using LiDAR data as it is.

이하, 도 5 내지 도 7을 함께 참조하여, 본 실시예에 따른 영상 처리부(320)의 구체적인 동작에 대해 설명하도록 한다.Hereinafter, a detailed operation of the image processing unit 320 according to the present embodiment will be described with reference to FIGS. 5 to 7 together.

먼저 영상 처리부(320)는 생성할 라이다 영상 데이터의 개수를 정한다. 본 실시예에 있어서, 영상 처리부(320)는 카메라의 화각 정보를 기반으로 라이다 데이터로부터 생성하고자 하는 라이다 영상 데이터의 개수를 정한다. 이때, 카메라의 화각 정보는 사전에 영상 처리부(320) 상에 수집될 수 있다.First, the image processing unit 320 determines the number of lidar image data to be generated. In this embodiment, the image processing unit 320 determines the number of lidar image data to be generated from lidar data based on the angle of view information of the camera. In this case, the angle of view information of the camera may be collected on the image processing unit 320 in advance.

도 5를 참조하면, 영상 처리부(320)는 카메라의 경우 화각(FOV)이 정해져 있고, 라이다 데이터는 360°촬영이 가능하기 때문에 카메라의 화각을 가지고 생성할 라이다 영상 데이터의 개수(n)을 정한다. 즉, 영상 처리부(320)는 라이다 데이터를 카메라의 화각 정보를 기반으로 복수 개의 영역으로 분할하고, 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성한다. 이를 수학식으로 나타내면 수학식 1과 같다.Referring to FIG. 5, in the case of the camera, the image processing unit 320 has a fixed field of view (FOV), and since the lidar data can be photographed 360°, the number of lidar image data to be generated with the camera's field of view (n) Is set. That is, the image processing unit 320 divides the lidar data into a plurality of regions based on the angle of view information of the camera, and generates lidar image data corresponding to each divided region. This can be expressed as Equation 1.

Figure 112018124446857-pat00001
Figure 112018124446857-pat00001

이때, 구한 n은 실수로 나오기 때문에 소수점을 버려 영상의 개수를 정한다. 도 5의 (a) 및 (b)를 참조하면, 화각이 60°인 카메라를 가지고 있다면 생성되는 라이다 영상 데이터는 6개가 만들어지고, 90°인 카메라를 가지고 있다면 생성되는 라이다 영상 데이터의 개수는 4개가 만들어진다. 그리도, 70°인 카메라를 가지고 있다면, 수학식 1을 통해 마찬가지로 6개의 라이다 영상 데이터가 만들어진다.At this time, since the obtained n comes out as a real number, the decimal point is discarded to determine the number of images. 5A and 5B, if you have a camera with a view angle of 60°, 6 LiDAR image data are generated, and if you have a camera with 90°, the number of LiDAR image data generated 4 are made. Also, if you have a camera of 70°, 6 lidar image data are similarly created through Equation 1.

한편, 생성되는 라이다 영상 데이터의 경우 현재 카메라의 자세와 라이다 센서의 자세를 가지고 만든 파라미터이기 때문에, 카메라와 라이다 센서가 겹쳐진 영역이 아니면 라이다 영상 데이터가 제대로 나오지 않는다는 문제점이 존재한다. 이를 해결하기 위해, 영상 처리부(320)는 앞서 카메라의 화각 정보를 기반으로 분할된 복수 개의 분할 영역 중 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역에 대한 라이다 영상 데이터를 생성 시 해당 분할 영역과 카메라의 화각 정보가 매칭되도록 조정한다. 예컨대, 영상 처리부(320)는 도 6의 (a) 및 (b)에 도시된 바와 같이, 라이다 데이터를 회전시켜 라이다 영상 데이터를 만들 영역을 카메라와 겹치도록 조정한다.On the other hand, since the generated LiDAR image data is a parameter made with the current camera posture and the LiDAR sensor posture, there is a problem that the LiDAR image data is not properly displayed unless the camera and LiDAR sensor overlap areas. In order to solve this, the image processing unit 320 generates lidar image data for the remaining divided areas except for the divided areas matched on the view angle range of the camera among the plurality of divided areas previously divided based on the view angle information of the camera. Adjust so that the divided area and the angle of view information of the camera are matched. For example, as shown in (a) and (b) of FIG. 6, the image processing unit 320 rotates the lidar data and adjusts the region in which the lidar image data is to be created to overlap the camera.

영상 처리부(320)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 보다 상세하게는, 영상 처리부(320)는 라이다 데이터의 포인트 좌표, 카메라 파라미터, 카메라와 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 라이다 데이터의 3D 데이터를 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다.The image processing unit 320 generates lidar image data by projecting lidar data onto an image area captured by a camera based on camera parameter information. In more detail, the image processing unit 320 uses at least one variable among point coordinates of the lidar data, a camera parameter, a rotation matrix between the camera and a lidar sensor, and a movement vector to convert the 3D data of the lidar data into an image area. Projected onto the image to generate lidar image data.

영상 처리부(320)는 라이다 데이터의 포인트 좌표를 회전 행렬 및 이동 벡터를 이용하여 카메라 좌표계로 변경한다.The image processing unit 320 changes the point coordinates of the lidar data into a camera coordinate system using a rotation matrix and a movement vector.

영상 처리부(320)는 카메라 좌표계를 카메라 파라미터를 이용하여 이미지 영역에 투영하여 라이다 영상 데이터를 생성한다. 즉, 영상 처리부(320)는 카메라 좌표계를 카메라의 초점거리 및 중점 중 적어도 하나의 카메라 파라미터를 이용하여 영상 좌표계로 변경한다.The image processing unit 320 generates lidar image data by projecting the camera coordinate system onto the image area using camera parameters. That is, the image processing unit 320 changes the camera coordinate system to an image coordinate system by using at least one camera parameter of a focal length and a center point of the camera.

영상 처리부(320)가 위의 과정을 이용하여 라이다 데이터를 라이다 영상 데이터로 변환하는 것은 수학식 2와 같이 나타낼 수 있다.Converting the LiDAR data into LiDAR image data by the image processing unit 320 using the above process may be expressed as Equation (2).

Figure 112018124446857-pat00002
Figure 112018124446857-pat00002

여기서 xc, yc는 이미지 내의 픽셀 좌표, xi, yi, zi는 라이다 데이터의 포인트 좌표를 의미한다. 또한, K는 카메라 내부 파라미터로 3 × 3 행렬이고, R은 라이다 센서와 카메라의 회전 관계 행렬, T는 이동 벡터를 의미한다.Here, x c , y c denote pixel coordinates in the image, and x i , y i , z i denote point coordinates of LiDAR data. In addition, K is a 3 × 3 matrix as an internal parameter of the camera, R is a rotation relation matrix between the lidar sensor and the camera, and T is a motion vector.

영상 처리부(320)는 라이다 데이터의 거리, 밝기 강도 및 높이 중 적어도 하나의 변수값을 이용하여 영상 좌표계에 상응하는 거리, 밝기 강도 및 높이 값을 산출한다. 한편, 라이다 데이터는 L(L={pi}, pi={xi, yi, zi, Ii})로 구성되어 있으며(pi는 라이다 데이터의 포인트 좌표), 컬러 영상은 일반적으로 3채널로 구성되어 있다. 이에, 라이다 데이터를 영상으로 변환할 때 거리(r), 밝기 강도(

Figure 112018124446857-pat00003
), 높이(
Figure 112018124446857-pat00004
)를 사용하며 식으로 표현하면 수학식 3과 같다.The image processing unit 320 calculates a distance, brightness intensity, and height value corresponding to the image coordinate system by using at least one variable value of the distance, brightness intensity, and height of the lidar data. Meanwhile, the lidar data is composed of L(L={p i }, p i ={x i , y i , z i , I i }) (p i is The point coordinates of the lidar data) and color images are generally composed of 3 channels. Accordingly, when converting LiDAR data into an image, the distance (r) and brightness intensity (
Figure 112018124446857-pat00003
), Height(
Figure 112018124446857-pat00004
) Is used, and it is expressed as Equation 3.

Figure 112018124446857-pat00005
Figure 112018124446857-pat00005

영상 처리부(320)가 위의 과정을 이용하여 라이다 데이터를 라이다 영상 데이터로 변환한 결과는 도 7을 통해 확인할 수 있다.A result of the image processing unit 320 converting the LiDAR data into LiDAR image data using the above process can be confirmed through FIG. 7.

객체 검출부(330)는 영상 처리부(320)에 의해 생성된 라이다 영상 데이터를 기반으로 객체를 검출한다.The object detection unit 330 detects an object based on the lidar image data generated by the image processing unit 320.

본 실시예에 있어서, 객체 검출부(330)는 객체 검출 알고리즘을 이용하여 라이다 영상 데이터 내 객체를 검출할 수 있다. 한편, 객체 검출부(330)가 객체 검출 알고리즘을 이용하여 라이다 영상 데이터 내 객체를 검출하는 방법은 종래의 객체 검출 알고리즘을 이용하여 영상 데이터 내 객체를 검출하는 방법과 동일한 바 자세한 설명은 생략하도록 한다.In this embodiment, the object detection unit 330 may detect an object in the lidar image data using an object detection algorithm. Meanwhile, the method of detecting an object in the LIDAR image data using the object detection algorithm by the object detection unit 330 is the same as the method of detecting an object in the image data using a conventional object detection algorithm, so a detailed description will be omitted. .

도 4는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of detecting an object by fusing a lidar sensor and a camera according to the present embodiment.

객체 검출장치(300)는 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집한다(S402).The object detection apparatus 300 collects image data and lidar data from the camera and lidar sensor (S402).

객체 검출장치(300)는 카메라의 화각 정보를 기반으로 단계 S402의 라이다 센서를 복수 개의 영역으로 분할한다(S404). 단계 S404에서 객체 검출장치(300)는 카메라의 경우 화각(FOV)이 정해져 있고, 라이다 데이터는 360°촬영이 가능하기 때문에 카메라의 화각을 가지고 생성할 라이다 영상 데이터의 개수(n)을 정한다.The object detection apparatus 300 divides the lidar sensor of step S402 into a plurality of regions based on the angle of view information of the camera (S404). In step S404, the object detection device 300 determines the number of lidar image data (n) to be generated with the camera's angle of view because the camera has a field of view (FOV) and the lidar data can be photographed 360°. .

객체 검출장치(300)는 단계 S404의 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성하기 앞서, 대상이되는 분할 영역이 카메라의 화각 범위 상에 매칭되는지 여부를 확인하고(S406), 확인결과에 따라 대상이되는 분할 영역과 카메라의 화각 정보가 매칭되도록 라이다 데이터를 회전시킨다(S408). 단계 S408에서 객체 검출장치(300)는 라이다 데이터를 회전시켜 라이다 영상 데이터를 만들 영역을 카메라와 겹치도록 조정한다.The object detection apparatus 300 checks whether the target divided region matches the field of view of the camera before generating the lidar image data corresponding to each divided region in step S404 (S406), and Accordingly, the lidar data is rotated so that the target divided area and the angle of view information of the camera are matched (S408). In step S408, the object detection apparatus 300 rotates the lidar data to adjust the region in which the lidar image data is to be created to overlap the camera.

객체 검출장치(300)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다(S410). 단계 S410에서 객체 검출장치(300)는 라이다 데이터의 포인트 좌표, 카메라 파라미터, 카메라와 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 라이다 데이터의 3D 데이터를 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다.The object detection apparatus 300 generates lidar image data by projecting lidar data onto an image area photographed by the camera based on camera parameter information (S410). In step S410, the object detection device 300 uses at least one variable of a point coordinate of the lidar data, a camera parameter, a rotation matrix between the camera and a lidar sensor, and a motion vector to convert the 3D data of the lidar data onto the image area. Is projected on to generate lidar image data.

객체 검출장치(300)는 단계 S410에서 생성한 라이다 영상 데이터를 기반으로 객체를 검출한다(S412).The object detection apparatus 300 detects an object based on the lidar image data generated in step S410 (S412).

여기서, 단계 S402 내지 S412는 앞서 설명된 객체 검출장치(300)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, since steps S402 to S412 correspond to the operation of each component of the object detection apparatus 300 described above, further detailed description will be omitted.

도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 4, it is described that each process is sequentially executed, but is not limited thereto. In other words, since it may be applicable to changing and executing the processes illustrated in FIG. 4 or executing one or more processes in parallel, FIG. 4 is not limited to a time series order.

전술한 바와 같이 도 4에 기재된 객체 검출방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the object detection method illustrated in FIG. 4 is a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) that is implemented as a program and can be read using software of a computer. Can be written on.

이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the embodiments of the present invention, and those of ordinary skill in the technical field to which the embodiments of the present invention belong to, various modifications and modifications without departing from the essential characteristics of the embodiments of the present invention Transformation will be possible. Accordingly, the embodiments of the present invention are not intended to limit the technical idea of the embodiments of the present invention, but to explain, and the scope of the technical idea of the embodiments of the present invention is not limited by these embodiments. The scope of protection of the embodiments of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the rights of the embodiments of the present invention.

300: 객체 검출장치 310: 센서부
320: 영상 처리부 330: 객체 검출부300: object detection device 310: sensor unit
320: image processing unit 330: object detection unit

Claims (8)

카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 센서부;
상기 라이다 데이터를 카메라 파라미터 정보를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 영상 처리부; 및
상기 라이다 영상 데이터를 기반으로 객체를 검출하는 객체 검출부를 포함하되,
상기 영상 처리부는,
상기 라이다 데이터를 상기 카메라 파라미터 정보 중 화각(FOV) 정보를 기반으로
Figure 112020053235745-pat00015
인 n개의 영역으로 분할하여 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성하여 상기 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역을 상기 화각 범위에 매칭하는 것
을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.A sensor unit for collecting image data and lidar data from the camera and lidar sensor;
An image processing unit generating lidar image data by projecting the lidar data onto an image area photographed by the camera based on camera parameter information; And
Including an object detection unit for detecting an object based on the lidar image data,
The image processing unit,
The lidar data is based on field of view (FOV) information among the camera parameter information
Figure 112020053235745-pat00015
Dividing into n areas, generating lidar image data corresponding to each divided area, and matching the remaining divided areas excluding the divided areas matched on the field of view range of the camera to the view angle range
An object detection device using a lidar sensor and a camera, characterized in that. 제 1항에 있어서,
상기 영상 처리부는,
상기 라이다 데이터의 포인트 좌표, 상기 카메라 파라미터, 상기 카메라와 상기 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 상기 라이다 데이터의 3D 데이터를 상기 이미지 영역 상에 투영하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The image processing unit,
Projecting the 3D data of the lidar data onto the image area using at least one variable of a point coordinate of the lidar data, the camera parameter, a rotation matrix between the camera and the lidar sensor, and a motion vector An object detection device using a lidar sensor and a camera, characterized in that. 제 2항에 있어서,
상기 영상 처리부는,
상기 라이다 데이터의 포인트 좌표를 상기 회전 행렬 및 상기 이동 벡터를 이용하여 카메라 좌표계로 변경하고, 상기 카메라 좌표계를 상기 카메라 파라미터를 이용하여 상기 이미지 영역에 투영하여 상기 라이다 영상 데이터를 생성하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 2,
The image processing unit,
A point coordinate of the lidar data is changed to a camera coordinate system using the rotation matrix and the movement vector, and the camera coordinate system is projected onto the image area using the camera parameter to generate the lidar image data. Object detection device using a lidar sensor and a camera. 제 3항에 있어서,
상기 영상 처리부는,
상기 카메라 좌표계를 상기 카메라의 초점거리 및 중점 중 적어도 하나의 상기 카메라 파라미터를 이용하여 영상 좌표계로 변경하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 3,
The image processing unit,
An object detection apparatus using a lidar sensor and a camera, wherein the camera coordinate system is changed to an image coordinate system using at least one of the camera parameters of a focal length and a center point of the camera. 제 4항에 있어서,
상기 영상 처리부는,
상기 라이다 데이터의 거리, 밝기 강도 및 높이 중 적어도 하나의 변수값을 이용하여 상기 영상 좌표계에 상응하는 거리, 밝기 강도 및 높이 값을 산출하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 4,
The image processing unit,
An object detection device using a lidar sensor and a camera, characterized in that the distance, brightness intensity, and height value corresponding to the image coordinate system are calculated using at least one variable value of the distance, brightness intensity, and height of the lidar data. . 삭제delete 제 1항에 있어서,
상기 영상 처리부는,
상기 n개의 분할 영역 중 상기 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역에 대한 상기 라이다 영상 데이터를 생성 시 상기 라이다 데이터를 회전시켜 상기 라이다 영상 데이터의 생성 대상이 되는 분할 영역이 상기 카메라의 화각 범위 상에 매칭되도록 조정하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.The method of claim 1,
The image processing unit,
When generating the lidar image data for the remaining partitioned regions other than the partitioned region matched on the angle of view of the camera among the n partitioned regions, the lidar data is rotated to generate the lidar image data. An object detection apparatus using a lidar sensor and a camera, characterized in that the area is adjusted to match the field of view of the camera. 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서,
상기 카메라 및 상기 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 과정;
상기 라이다 데이터를 카메라 파라미터를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 과정; 및
상기 라이다 영상 데이터를 기반으로 객체를 검출하는 과정을 포함하되,
상기 영상 데이터를 생성하는 과정은,
상기 라이다 데이터를 상기 카메라 파라미터 정보 중 화각(FOV) 정보를 기반으로
Figure 112020053235745-pat00016
인 n개의 영역으로 분할하여 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성하여 상기 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역을 상기 화각 범위에 매칭하는 것
을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법.In a method of detecting an object using a lidar sensor and a camera,
Collecting image data and lidar data from the camera and the lidar sensor;
Generating lidar image data by projecting the lidar data onto an image area photographed by the camera based on a camera parameter; And
Including the process of detecting an object based on the lidar image data,
The process of generating the image data,
The lidar data is based on field of view (FOV) information among the camera parameter information
Figure 112020053235745-pat00016
Dividing into n areas, generating lidar image data corresponding to each divided area, and matching the remaining divided areas excluding the divided areas matched on the field of view range of the camera to the view angle range
Object detection method using a lidar sensor and a camera, characterized in that.
KR1020180159606A 2018-12-12 2018-12-12 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence KR102151815B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180159606A KR102151815B1 (en) 2018-12-12 2018-12-12 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180159606A KR102151815B1 (en) 2018-12-12 2018-12-12 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence

Publications (2)

Publication Number Publication Date
KR20200071960A KR20200071960A (en) 2020-06-22
KR102151815B1 true KR102151815B1 (en) 2020-09-03

Family

ID=71142539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180159606A KR102151815B1 (en) 2018-12-12 2018-12-12 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence

Country Status (1)

Country Link
KR (1) KR102151815B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348294B1 (en) * 2020-08-24 2022-01-12 한국철도기술연구원 self-driving vehicle control system using cognitive learning data and control method
KR102584070B1 (en) * 2020-11-23 2023-10-10 한국전자통신연구원 Apparatus for recogning object of automated driving system using error removal based on object classification and method using the same
KR102433287B1 (en) * 2021-10-12 2022-08-18 주식회사 에너자이(ENERZAi) Method for, device for, and system for generating an learning set
KR102639637B1 (en) * 2021-10-12 2024-02-22 주식회사 에너자이 Method for, device for, and system for generating an learning set
CN116047112A (en) * 2021-10-28 2023-05-02 华为技术有限公司 Method, device and storage medium for measuring surface flow velocity of fluid
KR20230109406A (en) 2022-01-13 2023-07-20 경북대학교 산학협력단 Apparatus and method for detecting an object based on fusion of thermal imaging camera and lidar sensor
CN115267746A (en) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 Positioning method for laser radar point cloud projection error and related equipment
KR102479774B1 (en) * 2022-09-15 2022-12-21 주식회사 라스테크 Humanoid robot having robot arm

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101644370B1 (en) * 2014-10-23 2016-08-01 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR101672732B1 (en) * 2014-12-24 2016-11-07 한국항공우주연구원 Apparatus and method for tracking object

Also Published As

Publication number Publication date
KR20200071960A (en) 2020-06-22

Similar Documents

Publication Publication Date Title
KR102151815B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence
Liu et al. A novel real-time moving target tracking and path planning system for a quadrotor UAV in unknown unstructured outdoor scenes
US11915502B2 (en) Systems and methods for depth map sampling
US11204417B2 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
US7684590B2 (en) Method of recognizing and/or tracking objects
US8180107B2 (en) Active coordinated tracking for multi-camera systems
KR100879623B1 (en) Automated wide area surveillance system using ptz camera and method therefor
JP2011123071A (en) Image capturing device, method for searching occlusion area, and program
RU2656711C2 (en) Method and system for detecting and tracking of moving objects based on three-dimensional sensor data
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
JP6526955B2 (en) Sensor information integration method and device thereof
CN112346073A (en) Dynamic vision sensor and laser radar data fusion method
JP6552448B2 (en) Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
CN113160327A (en) Method and system for realizing point cloud completion
CN107122770A (en) Many mesh camera systems, intelligent driving system, automobile, method and storage medium
JP4344860B2 (en) Road plan area and obstacle detection method using stereo image
Hammer et al. UAV detection, tracking, and classification by sensor fusion of a 360 lidar system and an alignable classification sensor
GB2562037A (en) Three-dimensional scene reconstruction
Nedevschi Online cross-calibration of camera and lidar
Benli et al. Thermal multisensor fusion for collaborative robotics
KR20210112672A (en) Processor for detecting objects, and objects detecting method
Li et al. Motion inspires notion: self-supervised visual-LiDAR fusion for environment depth estimation
KR20160125803A (en) Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest
Sheh et al. On building 3d maps using a range camera: Applications to rescue robotics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right