KR102507068B1 - A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT - Google Patents

A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT Download PDF

Info

Publication number
KR102507068B1
KR102507068B1 KR1020220097426A KR20220097426A KR102507068B1 KR 102507068 B1 KR102507068 B1 KR 102507068B1 KR 1020220097426 A KR1020220097426 A KR 1020220097426A KR 20220097426 A KR20220097426 A KR 20220097426A KR 102507068 B1 KR102507068 B1 KR 102507068B1
Authority
KR
South Korea
Prior art keywords
information
detection
weather
reliability
calculating
Prior art date
Application number
KR1020220097426A
Other languages
Korean (ko)
Inventor
황재영
이자인
김권
성상은
박현주
윤정수
이감연
Original Assignee
주식회사 인포웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인포웍스 filed Critical 주식회사 인포웍스
Priority to KR1020220097426A priority Critical patent/KR102507068B1/en
Application granted granted Critical
Publication of KR102507068B1 publication Critical patent/KR102507068B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

An object detection system according to one embodiment of the present invention includes: a first LiDAR which detects an object within a detection location using a wavelength band of a first range; a second LiDAR which detects an object within the detection location using a wavelength band of a second range different from the first range; a weather calculation module which calculates weather information within the detection location; and a data generation module which generates data for calculating final information which is information related to object recognition in the detection location by utilizing first detection information detected by the first LiDAR, second detection information detected by the second LiDAR, and the weather information.

Description

악천후 환경에 강건한 FMCW LiDAR 물체 탐지 시스템 및 물체 탐지 방법 {A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT}A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT}

본 발명은 악천후에도 체를 감지하기 위한 라이다(FMCW LiDAR) 물체 탐지 시스템 및 물체 탐지 방법에 대한 것이다. The present invention relates to a FMCW LiDAR object detection system and object detection method for detecting an object even in bad weather.

라이다는 레이저 펄스를 발사하여 그 빛이 대상 물체에 반사되어 돌아오는 것을 받아 물체까지 거리 등을 측정하고 물체 형상까지 이미지화하는 기술이다. 라이다를 장착하고 레이저 펄스를 발사해서 돌아오는 시간을 측정하면 반사 지점의 공간 위치를 분석할 수 있다. 라이다는 대상 물체까지 거리, 속도와 운동 방향, 온도, 주변의 대기 물질 분석 및 농도 측정 등 다방면에서 활용된다. 구름, 빗방울, 에어로졸 등을 감지할 수 있어 기상 관측과 지형을 정밀하게 그려 내거나 비행체 착륙 유도에 쓰인다. LIDAR is a technology that fires laser pulses, receives the light reflected from the target object, measures the distance to the object, and even images the shape of the object. By mounting lidar and firing laser pulses and measuring the return time, the spatial location of the reflection point can be analyzed. LiDAR is used in various fields such as measuring the distance to a target object, speed and direction of motion, temperature, ambient air material analysis and concentration measurement. It can detect clouds, raindrops, and aerosols, so it is used for meteorological observation, precise drawing of terrain, or guidance for aircraft landing.

다만, 빛을 이용한 라이더는 비가 오가나 안개가 끼는 상황에서 각각의 입자에서 빛이 반사되어 라이더의 성능이 급격히 떨어지는 문제가 발생한다. However, the rider using light has a problem in that the performance of the rider rapidly deteriorates because the light is reflected from each particle in a rainy or foggy situation.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 악천후에도 물체를 탐지할 수 있는 FMCW LiDAR 물체 탐지 시스템 및 물체 탐지 방법을 제공하고자 한다.The present invention is to solve the above problems, and to provide an FMCW LiDAR object detection system and object detection method capable of detecting an object even in bad weather.

본 발명의 일 실시예에 따른 물체 탐지 시스템은, 제1 범위의 파장대를 이용하여 탐지 장소 내의 물체를 감지하는 제1 라이다; 상기 제1 범위와 다른 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체를 감지하는 제2 라이다; 상기 탐지 장소 내의 날씨 정보를 산출하는 날씨 계산 모듈; 및 상기 제1 라이다에서 감지된 제1 감지 정보, 상기 제2 라이다에서 감지된 제2 감지 정보 및 상기 날씨 정보를 활용하여 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보를 산출하는 데이터 생성 모듈;을 포함할 수 있다. An object detection system according to an embodiment of the present invention is a first lid that detects an object within a detection location using a first range of wavelengths; a second lidar that detects an object within the detection location using a wavelength band of a second range different from the first range; a weather calculation module for calculating weather information within the detection location; and generating data for calculating final information that is information related to object recognition in the detection location by utilizing the first detection information detected by the first lidar, the second detection information detected by the second lidar, and the weather information. module; may be included.

또한, 상기 날씨 계산 모듈은, 상기 탐지 장소를 촬영하는 카메라부 및 상기 카메라부에서 수집되는 정보를 기초로 날씨 산출 모델을 이용하여 날씨 정보를 산출하는 계산 모듈을 구비할 수 있다. The weather calculation module may include a camera unit that photographs the detection location and a calculation module that calculates weather information using a weather calculation model based on information collected by the camera unit.

또한, 상기 날씨 산출 모델은, 딥 러닝을 통해 산출된 모델일 수 있다. Also, the weather calculation model may be a model calculated through deep learning.

또한, 상기 제1 범위는, 700nm 내지 1100nm일 수 있다. In addition, the first range may be 700 nm to 1100 nm.

또한, 상기 제2 범위는, 1400nm 내지 1600nm일 수 있다. In addition, the second range may be 1400 nm to 1600 nm.

또한, 상기 제1 감지 정보와 상기 제2 감지 정보의 유사한 정도인 유사도를 계산하는 유사도 산출 모듈;을 더 포함하고, 상기 데이터 생성 모듈은, 상기 유사도를 함께 고려하여 상기 최종 정보를 산출할 수 있다. In addition, a similarity calculation module for calculating a similarity, which is a degree of similarity between the first detection information and the second detection information, is further included, and the data generating module may calculate the final information by considering the similarity together. .

또한, 상기 유사도와 상기 날씨 정보를 이용하여 상기 제1 감지 정보의 신뢰도인 제1 신뢰도 및 상기 제2 감지 정보의 신뢰도인 제2 신뢰도를 산출하는 신뢰도 산출 모듈;을 더 포함할 수 있다. The device may further include a reliability calculation module configured to calculate first reliability, which is the reliability of the first sensing information, and second reliability, which is the reliability of the second sensing information, by using the similarity and the weather information.

또한, 상기 데이터 생성 모듈은, 상기 제1 신뢰도와 상기 제2 신뢰도를 이용하여 상기 제1 감지 정보와 상기 제2 감지 정보의 가중치를 설정하여 상기 최종 정보를 산출할 수 있다. The data generation module may calculate the final information by setting weights of the first detection information and the second detection information using the first reliability and the second reliability.

본 발명의 일 실시예에 따른 물체 탐지 방법은, 물체 탐지 시스템을 이용하여 탐지 장소 내의 물체를 탐지하는 물체 탐지 방법에 있어서, 제1 범위의 파장대가 이용되어 탐지 장소 내의 물체가 감지되어 제1 감지 정보가 산출되는 단계; 상기 제1 범위와 다른 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체가 감지되어 제2 감지 정보가 산출되는 단계; 상기 탐지 장소 내의 날씨 정보가 산출되는 단계; 및 상기 제1 감지 정보, 상기 제2 감지 정보, 상기 날씨 정보가 이용되어 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보가 산출되는 단계;를 포함할 수 있다. An object detection method according to an embodiment of the present invention is an object detection method for detecting an object within a detection site using an object detection system, wherein a wavelength band of a first range is used to detect an object within a detection site, thereby performing first detection. information is calculated; detecting an object within the detection location using a wavelength band of a second range different from the first range and calculating second detection information; calculating weather information within the detection location; and calculating final information that is information related to object recognition in the detection location by using the first detection information, the second detection information, and the weather information.

또한, 상기 제1 범위는, 700nm 내지 1100nm이며, 상기 제2 범위는, 1400nm 내지 1600nm일 수 있다. In addition, the first range may be 700 nm to 1100 nm, and the second range may be 1400 nm to 1600 nm.

본 발명에 따른 라이다 물체 탐지 시스템 및 물체 탐지 방법은 정확한 물체 탐지를 진행할 수 있다. The lidar object detection system and object detection method according to the present invention can accurately detect objects.

또한, 오탐률을 저감시킬 수 있다. In addition, the false positive rate can be reduced.

다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.However, the effects of the present invention are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 물체 탐지 시스템의 구성도
도 2는 본 발명의 일 실시예에 따른 물체 탐지 시스템의 흐름도
도 3은 본 발명의 일 실시예에 따른 물체 탐지 시스템의 실제 탐지 화면1 is a block diagram of an object detection system according to an embodiment of the present invention
2 is a flowchart of an object detection system according to an embodiment of the present invention
3 is an actual detection screen of an object detection system according to an embodiment of the present invention

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, delete, etc. other elements within the scope of the same spirit, through other degenerative inventions or the present invention. Other embodiments included within the scope of the inventive idea can be easily proposed, but it will also be said to be included within the scope of the inventive concept.

또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.

도 1은 본 발명의 일 실시예에 따른 물체 탐지 시스템의 구성도이다. 1 is a block diagram of an object detection system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 물체 탐지 시스템(100)은, 제1 범위의 파장대를 이용하여 탐지 장소 내의 물체를 감지하는 제1 라이다(110), 상기 제1 범위와 다른 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체를 감지하는 제2 라이다(120), 상기 탐지 장소 내의 날씨 정보를 산출하는 날씨 계산 모듈(140) 및 상기 제1 라이다(110)에서 감지된 제1 감지 정보, 상기 제2 라이다(120)에서 감지된 제2 감지 정보 및 상기 날씨 정보를 활용하여 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보를 산출하는 데이터 생성 모듈(150)을 포함할 수 있다.Referring to FIG. 1 , an object detection system 100 according to an embodiment of the present invention includes a first lidar 110 that detects an object within a detection location using a wavelength band of a first range, In the second lidar 120 for detecting an object within the detection site using a wavelength band of another second range, the weather calculation module 140 for calculating weather information within the detection site, and the first lidar 110 A data generating module 150 that calculates final information that is information related to object recognition in the detection location by utilizing the detected first detection information, the second detection information detected by the second lidar 120, and the weather information can include

또한, 상기 물체 탐지 시스템(100)은, 상기 제1 감지 정보와 상기 제2 감지 정보의 유사한 정도인 유사도를 계산하는 유사도 산출 모듈(130) 및 상기 유사도와 상기 날씨 정보를 이용하여 상기 제1 감지 정보의 신뢰도인 제1 신뢰도 및 상기 제2 감지 정보의 신뢰도인 제2 신뢰도를 산출하는 신뢰도 산출 모듈(160)을 더 포함할 수 있다. In addition, the object detection system 100 may perform the first detection using a similarity calculation module 130 that calculates a degree of similarity between the first detection information and the second detection information, and the similarity and the weather information. It may further include a reliability calculation module 160 that calculates first reliability, which is the reliability of information, and second reliability, which is the reliability of the second sensed information.

제1 라이다(110)는 근적외선(NIR)을 이용하여 물체를 탐지하는 라이더일 수 있다. The first lidar 110 may be a lidar that detects an object using near infrared rays (NIR).

일례로, 제1 범위는 700nm 내지1100nm 사이의 파장대를 의미할 수 있다. As an example, the first range may mean a wavelength range between 700 nm and 1100 nm.

다만, 이에 한정하지 않고, 상기 제1 범위는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.However, it is not limited thereto, and the first range can be variously modified at a level obvious to those skilled in the art.

물은 근적외선(NIR)을 흡수하므로, 제1 범위의 파장은 가시선에서 분명하지 않은 육지, 물체와 물의 경계를 식별하는데 용이할 수 있다. Since water absorbs near-infrared (NIR) rays, wavelengths in the first range may facilitate identification of boundaries between land and objects that are not clear in the visible line.

일례로, 제2 범위는 1400nm 내지 1600nm일 수 있다. As an example, the second range may be 1400 nm to 1600 nm.

바람직하게는 제2 범위는 1550nm일 수 있다. Preferably, the second range may be 1550 nm.

이는, 1550nm일때가 가장 높은 눈 안전성이 있기 때문일 수 있다. This may be because there is the highest eye safety at 1550 nm.

다만, 이에 한정하지 않고, 제2 범위는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.However, it is not limited thereto, and the second range can be variously modified at a level obvious to those skilled in the art.

날씨 계산 모듈(140)은 상기 탐지 장소를 촬영하는 카메라부(141) 및 상기 카메라부(141)에서 수집되는 정보를 기초로 날씨 산출 모델을 이용하여 날씨 정보를 산출하는 계산 모듈(142)을 구비할 수 있다. The weather calculation module 140 includes a camera unit 141 that photographs the detection location and a calculation module 142 that calculates weather information using a weather calculation model based on information collected by the camera unit 141. can do.

카메라부(141)는 탐지 장소를 촬영하여 영상 정보를 취득할 수 있다. The camera unit 141 may acquire image information by photographing the detection location.

일례로, 카메라부(141)는 EO Camera일 수 있다. For example, the camera unit 141 may be an EO Camera.

다만, 이에 한정하지 않고, 카메라부(141)의 종류는 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.However, it is not limited thereto, and the type of camera unit 141 can be variously modified at a level obvious to those skilled in the art.

계산 모듈(142)은 상기 카메라부(141)로부터 전달닫은 영상 정보를 기초로 탐지 장소의 날씨를 산출할 수 있다. The calculation module 142 may calculate the weather of the detection location based on the image information transferred from the camera unit 141 .

날씨 산출 모델은 딥 러닝을 통해 산출된 모델일 수 있다. The weather calculation model may be a model calculated through deep learning.

일례로, 계산 모듈(142)은 과거의 수많은 영상 정보와 이와 대응되는 날씨를 딥러닝시켜 날씨 산출 모델을 생성할 수 있다. For example, the calculation module 142 may generate a weather calculation model by performing deep learning on a lot of past image information and weather corresponding thereto.

여기서, 딥러닝에 이용되는 학습 알고리즘은 공지된 알고리즘을 활용할 수 있으므로, 이에 대한 자세한 설명은 공지된 기술과 중복되는 한도에서 생략될 수 있다. Here, since the learning algorithm used in deep learning may utilize a known algorithm, a detailed description thereof may be omitted to the extent that it overlaps with known techniques.

또한, 날씨 산출 모델은 심층 신경망 알고리즘을 활용하는 것 이외의 악천후를 정보화 할 수 있는 다양한 알고리즘으로 대체 가능할 수 있다. In addition, the weather calculation model can be replaced with various algorithms capable of informatizing bad weather other than using deep neural network algorithms.

유사도 산출 모듈(130)은 제1 감지 정보와 제2 감지 정보의 유사한 정도를 산출할 수 있다. The similarity calculation module 130 may calculate a degree of similarity between the first sensing information and the second sensing information.

제1 범위와 제2 범위가 다르기 때문에 파장 특성에 따라 제1 감지 정보와 제2 감지 정보는 서로 상이할 수 있다. Since the first range and the second range are different, the first sensing information and the second sensing information may be different from each other according to wavelength characteristics.

일례로, 유사도 산출 모듈(130)은 유클리드 거리를 통해서 유사도를 산출할 수 있다. For example, the similarity calculation module 130 may calculate the similarity through the Euclidean distance.

Figure 112022081774432-pat00001
Figure 112022081774432-pat00001

[식 1][Equation 1]

여기서,

Figure 112022081774432-pat00002
는 제1 감지 정보 중 'x'축에 대한 위치를 의미할 수 있으며,
Figure 112022081774432-pat00003
는 제1 감지 정보 중 'y'축에 대한 위치를 의미할 수 있으며,
Figure 112022081774432-pat00004
는 제1 감지 정보 중 'z'축에 대한 위치를 의미할 수 있다.here,
Figure 112022081774432-pat00002
May mean a position on the 'x' axis of the first sensing information,
Figure 112022081774432-pat00003
May mean a position on the 'y' axis of the first sensing information,
Figure 112022081774432-pat00004
may mean a position on the 'z' axis of the first sensing information.

또한,

Figure 112022081774432-pat00005
는 제2 감지 정보 중 'x'축에 대한 위치를 의미할 수 있으며,
Figure 112022081774432-pat00006
는 제2 감지 정보 중 'y'축에 대한 위치를 의미할 수 있으며,
Figure 112022081774432-pat00007
는 제1 감지 정보 중 'z'축에 대한 위치를 의미할 수 있다. also,
Figure 112022081774432-pat00005
May mean a position on the 'x' axis of the second sensing information,
Figure 112022081774432-pat00006
May mean a position on the 'y' axis of the second sensing information,
Figure 112022081774432-pat00007
may mean a position on the 'z' axis of the first sensing information.

또한, K는 각각의 측정 점들을 의미할 수 있다. Also, K may mean each measurement point.

신뢰도 산출 모듈(160)은 유사도 및 날씨 정보를 이용하여 제1 감지 정보의 신뢰도인 제1 신뢰도 및 상기 제2 감지 정보의 신뢰도인 제2 신뢰도를 산출할 수 있다.
이때, 상기 제1 신뢰도는 0 내지 0.5 사이의 수치로 산출될 수 있으며, 상기 제2 신뢰도는 0.5 내지 1 사이의 수치로 산출될 수 있으며, 상기 제1 신뢰도와 상기 제2 신뢰도의 합은 1 일 수 있다. The reliability calculation module 160 may calculate first reliability, which is the reliability of the first sensed information, and second reliability, which is the reliability of the second sensed information, by using the similarity and the weather information.
In this case, the first reliability may be calculated as a numerical value between 0 and 0.5, and the second reliability may be calculated as a numerical value between 0.5 and 1, and the sum of the first reliability and the second reliability is 1 day. can

일례로, 신뢰도 산출 모듈(160)은 날씨가 비나 눈이 오지 않을 경우에는 제1 감지 정보의 신뢰도가 높게 산출될 수 있으며, 날씨가 비나 눈이 올 경우에는 제2 감지 정보의 신뢰도가 높게 산출될 수 있다. 또한, 상기 유사도가 높을수록 제1 신뢰도가 높게 산출될 수 있으며, 상기 유사도가 낮을수록 제2 신뢰도가 높게 산출될 수 있다. For example, the reliability calculation module 160 may calculate high reliability of the first sensing information when the weather is neither rainy nor snowy, and high reliability of the second sensing information when the weather is rainy or snowy. can In addition, the higher the similarity, the higher the first reliability may be calculated, and the lower the similarity, the higher the second reliability.

삭제delete

삭제delete

다만, 이에 한정하지 않고, 신뢰도 산출 방법은 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.However, it is not limited thereto, and the reliability calculation method can be variously modified at a level obvious to those skilled in the art.

신뢰도 산출 모듈(160)에서 산출된 제1 신뢰도와 제2 신뢰도를 이용하여 데이터 생성 모듈(150)은 최종 정보를 산출할 수 있다. The data generation module 150 may calculate final information using the first reliability and the second reliability calculated by the reliability calculation module 160 .

여기서, 최종 정보란 디스플레이 상에 이미지화되는 데이터로서, 사용자가 최종적으로 확인할 수 있는 이미지에 대한 데이터를 의미할 수 있다. Here, the final information is data imaged on a display, and may mean data about an image that a user can finally check.

삭제delete

상기 데이터 생성 모듈(150)은 상기 제1 신뢰도와 상기 제2 신뢰도를 이용하여 상기 제1 감지 정보와 상기 제2 감지 정보의 가중치를 설정하여 상기 최종 정보를 산출할 수 있다. The data generating module 150 may calculate the final information by setting weights of the first detection information and the second detection information using the first reliability level and the second reliability level.

Figure 112022081774432-pat00008
Figure 112022081774432-pat00008

[식 2][Equation 2]

여기서,

Figure 112022081774432-pat00009
는 가중치를 의미할 수 있고,
Figure 112022081774432-pat00010
는 제1 신뢰도를 의미할 수 있고,
Figure 112022081774432-pat00011
는 제2 신뢰도를 의미할 수 있다. here,
Figure 112022081774432-pat00009
may mean a weight,
Figure 112022081774432-pat00010
May mean the first reliability,
Figure 112022081774432-pat00011
may mean the second reliability.

데이터 생성 모듈(150)은 식 3을 이용하여 최종 데이터를 산출할 수 있다. The data generation module 150 may calculate final data using Equation 3.

Figure 112022081774432-pat00012
Figure 112022081774432-pat00012

[식 3][Equation 3]

여기서,

Figure 112022081774432-pat00013
은 제1 감지 정보를 의미할 수 있고,
Figure 112022081774432-pat00014
은 제2 감지 정보를 의미할 수 있다.here,
Figure 112022081774432-pat00013
May mean the first detection information,
Figure 112022081774432-pat00014
may mean second sensing information.

또한,

Figure 112022081774432-pat00015
는 최종 정보를 의미할 수 있다. also,
Figure 112022081774432-pat00015
may mean final information.

도 2는 본 발명의 일 실시예에 따른 물체 탐지 시스템의 흐름도이다.2 is a flowchart of an object detection system according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 물체 탐지 방법은, 물체 탐지 시스템(100)을 이용하여 탐지 장소 내의 물체를 탐지하는 물체 탐지 방법에 있어서, 제1 라이다(110)에 의해 제1 범위의 파장대가 이용되어 탐지 장소 내의 물체가 감지되어 제1 감지 정보가 산출되는 단계, 제2 라이다(120)에 의해 상기 제1 범위와 다른 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체가 감지되어 제2 감지 정보가 산출되는 단계, 카메라부(141)에 의해 영상 정보가 수집되며 계산 모듈(142)에 의해 상기 탐지 장소 내의 날씨 정보가 산출되는 단계, 유사도 산출 모듈(130)에 의해 제1 감지 정보와 제2 감지 정보의 유사도가 산출되는 단계, 신뢰도 산출 모듈(160)에 의해 제1 신뢰도와 제2 신뢰도가 산출되는 단계, 데이터 생성 모듈(150)에 의해 가중치가 산출되는 단계 및 상기 제1 감지 정보, 상기 제2 감지 정보, 상기 날씨 정보가 이용되어 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보가 산출되는 단계를 포함할 수 있다. Referring to FIG. 2 , an object detection method according to an embodiment of the present invention is an object detection method for detecting an object within a detection location using an object detection system 100, by a first lidar 110 A step of detecting an object within a detection site using a wavelength band of a first range and calculating first detection information, using a wavelength band of a second range different from the first range by a second lidar 120 to detect the detection site Step of detecting an object in the inside and calculating second detection information, step of collecting image information by the camera unit 141 and calculating weather information in the detection place by the calculation module 142, similarity calculation module 130 Calculating the similarity between the first detection information and the second detection information by, calculating the first reliability and the second reliability by the reliability calculation module 160, calculating the weight by the data generating module 150 and calculating final information that is information related to object recognition in the detection location by using the first detection information, the second detection information, and the weather information.

도 3은 본 발명의 일 실시예에 따른 물체 탐지 시스템의 실제 탐지 화면이다. 3 is an actual detection screen of an object detection system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 물체 탐지 시스템을 이용하여 비오는 날씨에 임의의 장소에서 탐지를 수행하였다.Referring to FIG. 3 , detection was performed at an arbitrary place in rainy weather using the object detection system of the present invention.

도면에서 보는 것과 같이, 비오는 날씨에도 주변 물체가 문제없이 식별되는 것을 확인할 수 있다. As shown in the figure, it can be confirmed that the surrounding objects are identified without problems even in rainy weather.

첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위해, 본 발명의 기술적 사상과 관련성이 없거나 떨어지는 구성에 대해서는 간략하게 표현하거나 생략하였다.In the accompanying drawings, in order to more clearly express the technical idea of the present invention, components that are not related to or detached from the technical idea of the present invention are briefly expressed or omitted.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and characteristics of the present invention have been described based on the embodiments according to the present invention, but the present invention is not limited thereto, and various changes or modifications can be made within the spirit and scope of the present invention. It is apparent to those skilled in the art, and therefore such changes or modifications are intended to fall within the scope of the appended claims.

100 : 물체 탐지 시스템 110 : 제1 라이다
120 : 제2 라이다 130 : 유사도 산출 모듈100: object detection system 110: first lidar
120: second lidar 130: similarity calculation module

Claims (10)

700nm 내지 1100nm 범위인 제1 범위의 파장대를 이용하여 탐지 장소 내의 물체를 감지하는 제1 라이다;
상기 제1 범위와 다른 1400nm 내지 1600nm 범위인 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체를 감지하는 제2 라이다;
상기 탐지 장소 내의 날씨 정보를 산출하는 날씨 계산 모듈;
상기 제1 라이다에서 감지된 제1 감지 정보와 상기 제2 라이다에서 감지된 제2 감지 정보의 유사한 정도를 유클리드 거리를 통해 유사도를 산출하는 유사도 산출 모듈;
상기 유사도와 상기 날씨 정보를 이용하여 상기 제1 감지 정보의 신뢰도인 제1 신뢰도 및 상기 제2 감지 정보의 신뢰도인 제2 신뢰도를 산출하는 신뢰도 산출 모듈; 및
상기 제1 감지 정보, 상기 제2 감지 정보, 상기 유사도 및 상기 날씨 정보를 활용하여 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보를 산출하는 데이터 생성 모듈;을 포함하고,
상기 날씨 계산 모듈은,
EO Camera를 이용하여 상기 탐지 장소를 촬영하는 카메라부 및 심층 신경망 알고리즘 기반의 딥 러닝을 통해 산출된 모델인 날씨 산출 모델을 이용하여 상기 카메라부에서 전달받은 영상 정보를 기초로 날씨 정보를 산출하는 계산 모듈을 구비하고,
상기 데이터 생성 모듈은,
상기 제1 신뢰도와 상기 제2 신뢰도를 이용하여 상기 제1 감지 정보와 상기 제2 감지 정보의 가중치를 설정하여 상기 최종 정보를 산출하는,
물체 탐지 시스템.
A first lidar that detects an object within a detection site using a wavelength band of a first range ranging from 700 nm to 1100 nm;
a second lidar for detecting an object within the detection location using a wavelength band of a second range of 1400 nm to 1600 nm different from the first range;
a weather calculation module for calculating weather information within the detection location;
a similarity calculation module for calculating a similarity between the first sensing information detected by the first lidar and the second sensing information detected by the second lidar through a Euclidean distance;
a reliability calculation module configured to calculate first reliability, which is the reliability of the first sensed information, and second reliability, which is the reliability of the second sensed information, by using the similarity and the weather information; and
A data generation module that calculates final information that is information related to object recognition in the detection location by utilizing the first detection information, the second detection information, the similarity, and the weather information;
The weather calculation module,
Calculation that calculates weather information based on image information received from the camera unit using a weather calculation model, which is a model calculated through deep learning based on a camera unit and a deep neural network algorithm, that captures the detection location using an EO camera have a module,
The data generation module,
Calculating the final information by setting weights of the first detection information and the second detection information using the first reliability and the second reliability,
object detection system.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 제1항의 물체 탐지 시스템을 이용하여 탐지 장소 내의 물체를 탐지하는 물체 탐지 방법에 있어서,
제1 범위의 파장대가 이용되어 탐지 장소 내의 물체가 감지되어 제1 감지 정보가 산출되는 단계;
상기 제1 범위와 다른 제2 범위의 파장대를 이용하여 상기 탐지 장소 내의 물체가 감지되어 제2 감지 정보가 산출되는 단계;
날씨 계산 모듈에 의해 상기 탐지 장소 내의 날씨 정보가 산출되는 단계;
상기 제1 감지 정보와 상기 제2 감지 정보의 유사한 정도를 유클리드 거리를 통해 유사도가 산출되는 단계;
상기 유사도와 상기 날씨 정보를 이용하여 상기 제1 감지 정보의 신뢰도인 제1 신뢰도 및 상기 제2 감지 정보의 신뢰도인 제2 신뢰도가 산출되는 단계; 및
데이터 생성 모듈에 의해 상기 제1 감지 정보, 상기 제2 감지 정보, 상기 유사도 및 상기 날씨 정보가 이용되어 상기 탐지 장소 내의 물체 인식과 관련된 정보인 최종 정보가 산출되는 단계;를 포함하고,
상기 날씨 계산 모듈은,
EO Camera를 이용하여 상기 탐지 장소를 촬영하는 카메라부 및 심층 신경망 알고리즘 기반의 딥 러닝을 통해 산출된 모델인 날씨 산출 모델을 이용하여 상기 카메라부에서 전달받은 영상 정보를 기초로 날씨 정보를 산출하는 계산 모듈을 구비하고,
상기 데이터 생성 모듈은,
상기 제1 신뢰도와 상기 제2 신뢰도를 이용하여 상기 제1 감지 정보와 상기 제2 감지 정보의 가중치를 설정하여 상기 최종 정보를 산출하는,
물체 탐지 방법.
An object detection method for detecting an object in a detection location using the object detection system of claim 1,
detecting an object within a detection location by using a wavelength band within a first range and calculating first detection information;
detecting an object within the detection location using a wavelength band of a second range different from the first range and calculating second detection information;
calculating weather information in the detection location by a weather calculation module;
calculating a similarity between the first sensing information and the second sensing information through a Euclidean distance;
calculating first reliability, which is the reliability of the first sensed information, and second reliability, which is the reliability of the second sensed information, by using the similarity and the weather information; and
Calculating final information, which is information related to object recognition in the detection location, by using the first detection information, the second detection information, the similarity, and the weather information by a data generation module;
The weather calculation module,
Calculation that calculates weather information based on image information received from the camera unit using a weather calculation model, which is a model calculated through deep learning based on a camera unit and a deep neural network algorithm, that captures the detection location using an EO camera have a module,
The data generation module,
Calculating the final information by setting weights of the first detection information and the second detection information using the first reliability and the second reliability,
object detection method.
 삭제delete
KR1020220097426A 2022-08-04 2022-08-04 A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT KR102507068B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220097426A KR102507068B1 (en) 2022-08-04 2022-08-04 A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220097426A KR102507068B1 (en) 2022-08-04 2022-08-04 A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT

Publications (1)

Publication Number Publication Date
KR102507068B1 true KR102507068B1 (en) 2023-03-08

Family

ID=85508215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220097426A KR102507068B1 (en) 2022-08-04 2022-08-04 A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT

Country Status (1)

Country Link
KR (1) KR102507068B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092366A (en) * 2008-02-27 2009-09-01 성균관대학교산학협력단 Sensor fusion system and sensor fusion method
KR20170119260A (en) * 2016-04-18 2017-10-26 주식회사 월드텍 Apparatus for weather observation using camera captured images and method thereof
KR20190049871A (en) * 2016-09-20 2019-05-09 이노비즈 테크놀로지스 엘티디 LIDAR system and method
KR102077611B1 (en) * 2018-08-10 2020-02-17 (주)에스디시스템 Laser scanner improving accuracy of detection and distance resolving power

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092366A (en) * 2008-02-27 2009-09-01 성균관대학교산학협력단 Sensor fusion system and sensor fusion method
KR20170119260A (en) * 2016-04-18 2017-10-26 주식회사 월드텍 Apparatus for weather observation using camera captured images and method thereof
KR20190049871A (en) * 2016-09-20 2019-05-09 이노비즈 테크놀로지스 엘티디 LIDAR system and method
KR102077611B1 (en) * 2018-08-10 2020-02-17 (주)에스디시스템 Laser scanner improving accuracy of detection and distance resolving power

Similar Documents

Publication Publication Date Title
JP6667596B2 (en) Object detection system, autonomous vehicle using the same, and object detection method thereof
US9819925B2 (en) Stereo vision for sensing vehicles operating environment
KR101364727B1 (en) Method and apparatus for detecting fog using the processing of pictured image
EP3265781A1 (en) Method and apparatus for processing spectral images
WO2019152787A1 (en) Apparatuses and methods for gas flux measurements
KR101339026B1 (en) Method and apparatus for thermal camera visibility enhancing
Wilson et al. Recent advances in thermal imaging and its applications using machine learning: A review
CN109946703A (en) A kind of sensor attitude method of adjustment and device
CN111739099B (en) Falling prevention method and device and electronic equipment
Van den Broek et al. Detection and classification of infrared decoys and small targets in a sea background
Utaminingrum et al. Fast obstacle distance estimation using laser line imaging technique for smart wheelchair
Lee et al. New approach for snow cover detection through spectral pattern recognition with MODIS data
Hanapi et al. A review on remote sensing-based method for tree detection and delineation
Jakovčević et al. Visual spatial-context based wildfire smoke sensor
US20150103341A1 (en) Method of identification from a spatial and spectral object model
KR102507068B1 (en) A WEATHER-RUGGED FMCW LiDAR OBJECT DETECTION SYSTEM AND A METHOD FOR DETECTING OBJECT
CN112673377A (en) Monitoring device and method for monitoring man overboard
Fehlman et al. Mobile robot navigation with intelligent infrared image interpretation
KR20200059521A (en) Apparatus and Method for Automatically Detecting Landslide Area
WO2020217812A1 (en) Image processing device that recognizes state of subject and method for same
JP7428136B2 (en) Information processing device, information processing system, and information processing method
KR20210044127A (en) Visual range measurement and alarm system based on video analysis and method thereof
JP6878067B2 (en) Landmine detection system and landmine detection method
JP6798337B2 (en) Plant discrimination device, plant discrimination method and computer program for plant discrimination
KR20200058721A (en) drone dectection system for measuring three dimension safety information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant