KR102211483B1 - Information estimation apparatus and mothod of the object based on the laser pattern analysis - Google Patents
Information estimation apparatus and mothod of the object based on the laser pattern analysis Download PDFInfo
- Publication number
- KR102211483B1 KR102211483B1 KR1020190093627A KR20190093627A KR102211483B1 KR 102211483 B1 KR102211483 B1 KR 102211483B1 KR 1020190093627 A KR1020190093627 A KR 1020190093627A KR 20190093627 A KR20190093627 A KR 20190093627A KR 102211483 B1 KR102211483 B1 KR 102211483B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- laser light
- pattern image
- acquisition unit
- image
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title abstract description 10
- 230000003287 optical effect Effects 0.000 claims abstract description 80
- 230000008859 change Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000001678 irradiating effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 물체 정보 추정 장치 및 방법에 관한 것으로, 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for estimating object information, and to an apparatus and method for estimating object information based on laser array pattern analysis.
최근 자율 주행 차량, 자율 로봇 등과 같이 스스로 주변 물체를 검출하고, 검출된 물체의 위치, 크기 및 형태 등을 분석하여 각종 작업을 수행하는 장치들의 보급이 확산되고 있으며, 이로 인해 주변 물체를 검출하는 획득하는 물체 검출 기술에 대한 관심 또한 급격히 높아지고 있다.Recently, the spread of devices that detect surrounding objects by themselves, such as autonomous vehicles and autonomous robots, and perform various tasks by analyzing the location, size, and shape of the detected objects, are spreading. Interest in object detection technology is also rapidly increasing.
현재 물체 검출 기술에서는 대표적으로 초음파 센서, 레이더 센서가 이용되고 있다. 그러나 초음파 센서 및 레이더 센서는 고가의 센서이기에 저가의 장비에는 사용되기 어려운 측면이 있다.Currently, in object detection technology, ultrasonic sensors and radar sensors are typically used. However, since ultrasonic sensors and radar sensors are expensive sensors, they are difficult to use in low-cost equipment.
한편, 레이저를 이용한 물체 검출 기술로 가장 주목받고 있는 기술이 라이다(Lidar) 센서 기술이다. 라이다 센서 시스템의 구성은 레이저 송신부, 레이저 검출부, 신호 수집 및 처리와 데이터를 송수신하기 위한 부분으로 구분된다.On the other hand, Lidar sensor technology is the technology that attracts the most attention as an object detection technology using a laser. The configuration of the lidar sensor system is divided into a laser transmission unit, a laser detection unit, a signal collection and processing, and a part for transmitting and receiving data.
라이다 센서는 레이더 센서와 유사하게 레이저 광의 파형이나 파장을 변조하여 빔 신호로서 조사하고, 반사되어 수신되는 빔 신호를 분석하여 물체를 검출한다. 이때, 레이저 신호의 변조 방법에 따라 TOF(time-of-flight) 방식과 위상 천이(phase-shift) 방식으로 구분될 수 있다. TOF 방식은 레이저가 펄스 파형으로 변조된 빔 신호를 방출하여 측정범위 내에 있는 물체들로부터 반사된 빔 신호들이 수신기에 도착하는 시간을 측정함으로써 거리를 측정하는 것이 가능하다. 위상 천이 방식은 특정 주파수를 가지고 연속적으로 변조되는 레이저 광을 방출하고 측정 범위 내에 있는 물체들로부터 반사되어 돌아오는 레이저 광의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식이다.Similar to radar sensors, the lidar sensor modulates the waveform or wavelength of laser light to irradiate it as a beam signal, and detects an object by analyzing the reflected beam signal. In this case, according to the modulation method of the laser signal, it may be classified into a time-of-flight (TOF) method and a phase-shift method. In the TOF method, it is possible to measure the distance by measuring the time when the beam signals reflected from objects within the measurement range arrive at the receiver by emitting a beam signal modulated with a pulse waveform. The phase shifting method is a method of calculating time and distance by emitting laser light that is continuously modulated with a specific frequency and measuring the amount of phase change of laser light reflected from objects within a measurement range and returned.
그러나 라이다 센서의 경우, 확산되지 않는 레이저 광의 특성상 한 시점에 지정된 일점 포인트 영역의 물체 검출만을 검출할 수 있으므로, 넓은 면적에 대해 물체를 검출하기 위해서는 레이저 조사 각도를 변경하면서 연속적으로 반복하여 조사하고, 반사되어 입사된 광 신호를 신속하게 분석하여 객체를 검출해야 하며, 이로 인해 고성능, 고가의 장비가 요구되는 문제가 있다.However, in the case of the lidar sensor, because of the nature of the non-diffused laser light, it can only detect an object in a designated one-point area at a point in time. To detect an object over a large area, the laser irradiation angle is changed and irradiated continuously. In addition, it is necessary to quickly analyze the reflected and incident optical signal to detect an object, which requires high performance and expensive equipment.
본 발명의 목적은 레이저 광이 기지정된 패턴을 갖도록 필터링하여 조사하고, 조사된 레이저 광의 패턴 영역에 대한 영상을 분석하여, 패턴 영역 내로 진입하는 물체의 거리, 크기 등에 따른 패턴의 변화로부터 물체 정보를 획득할 수 있는 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법을 제공하는데 있다.An object of the present invention is to filter and irradiate the laser light to have a predetermined pattern, analyze the image of the pattern area of the irradiated laser light, and obtain object information from the change in the pattern according to the distance and size of the object entering the pattern area. It is to provide an apparatus and method for estimating object information based on laser array pattern analysis that can be obtained.
본 발명의 다른 목적은 저비용으로 지정된 영역 내로 진입한 물체에 대한 정보를 획득할 수 있는 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and method for estimating object information based on laser array pattern analysis capable of acquiring information on an object entering a designated area at low cost.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 물체 정보 추정 장치는 기지정된 어레이 패턴의 레이저 광을 조사하는 레이저부; 상기 레이저 광이 조사되어 형성된 어레이 패턴을 촬영하여 다수의 광 픽셀이 포함된 패턴 영상을 획득하는 패턴 영상 획득부; 및 미리 획득되어 저장된 초기 패턴 영상과 현재 획득된 패턴 영상을 비교하여 어레이 패턴의 다수의 광 픽셀의 2차원 위치 좌표의 변화를 판별하고, 판별된 2차원 위치 좌표 변화로부터 상기 다수의 광 픽셀의 3차원 좌표를 계산하여 물체 정보를 추정하는 물체 정보 획득부; 를 포함한다.Object information estimation apparatus according to an embodiment of the present invention for achieving the above object includes a laser unit for irradiating the laser light of a predetermined array pattern; A pattern image acquisition unit for obtaining a pattern image including a plurality of optical pixels by photographing the array pattern formed by irradiating the laser light; And comparing the previously acquired and stored initial pattern image with the currently acquired pattern image to determine changes in 2D position coordinates of the plurality of optical pixels of the array pattern, and 3 of the plurality of optical pixels from the determined 2D position coordinate change. An object information acquisition unit for estimating object information by calculating dimensional coordinates; Includes.
상기 물체 정보 획득부는 상기 레이저부와 상기 패턴 영상 획득부의 배치 조건에 따라 미리 획득된 설정 정보와 다수의 광 픽셀의 2차원 위치 좌표의 변화를 이용하여 상기 다수의 광 픽셀의 3차원 좌표를 계산하고, 계산된 3차원 좌표로부터 물체의 위치, 크기 및 형상에 대한 정보를 추정할 수 있다.The object information obtaining unit calculates the three-dimensional coordinates of the plurality of optical pixels by using setting information obtained in advance according to the arrangement condition of the laser unit and the pattern image obtaining unit and a change in the two-dimensional position coordinates of the plurality of optical pixels. , From the calculated 3D coordinates, information on the location, size, and shape of the object can be estimated.
상기 설정 정보는 패턴 영상 획득부가 배치되는 높이와 각도, 화각 및 상기 패턴 영상 획득부로부터 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 기지정된 기준 광 픽셀까지의 거리(L) 정보를 포함할 수 있다.The setting information may include a height and angle at which the pattern image acquisition unit is disposed, an angle of view, and distance (L) information from the pattern image acquisition unit to a predetermined reference optical pixel among a plurality of optical pixels of the pattern array in the initial pattern image. have.
상기 패턴 영상 획득부는 상기 레이저 광이 조사되어 형성된 어레이 패턴에 대한 영상을 획득하는 영상 획득부; 및 상기 영상 획득부에서 획득된 영상을 필터링하여 다수의 광 픽셀을 제외한 배경 이미지를 제거하여 패턴 영상을 획득하는 영상 처리부; 를 포함할 수 있다.The pattern image acquisition unit includes an image acquisition unit that acquires an image of an array pattern formed by irradiating the laser light; And an image processing unit that filters the image obtained by the image acquisition unit to remove a background image excluding a plurality of optical pixels to obtain a pattern image. It may include.
상기 레이저부는 레이저 광을 생성하여 출력하는 레이저 모듈; 및 상기 레이저 모듈에서 출력되는 레이저 광을 인가받아 기지정된 어레이 패턴을 갖도록 변환하여 출력하는 패턴 생성 모듈; 을 포함할 수 있다.A laser module generating and outputting laser light; And a pattern generation module configured to receive the laser light output from the laser module, convert it to have a predetermined array pattern, and output it. It may include.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 물체 정보 추정 방법은 미리 지정된 테스트 환경에서 기지정된 어레이 패턴의 레이저 광을 조사하고, 상기 레이저 광이 조사되어 형성된 어레이 패턴을 촬영하여 다수의 광 픽셀이 포함된 초기 패턴 영상과 테스트 환경에 대한 설정 정보를 저장하는 단계: 물체 정보를 획득하기 위해 기지정된 지향 방향으로 어레이 패턴의 레이저 광을 조사하는 단계; 어레이 패턴을 촬영하여 패턴 영상을 획득하는 단계; 상기 패턴 영상을 초기 패턴 영상과 비교하여, 어레이 패턴의 다수의 광 픽셀의 2차원 위치 좌표의 변화를 판별하는 단계; 및 판별된 2차원 위치 좌표 변화로부터 상기 다수의 광 픽셀의 3차원 좌표를 계산하여 물체 정보를 추정하는 단계; 를 포함한다.The object information estimation method according to another embodiment of the present invention for achieving the above object is to irradiate a predetermined array pattern of laser light in a predetermined test environment, and photograph an array pattern formed by irradiating the laser light to obtain a plurality of light. Storing an initial pattern image including pixels and setting information on a test environment: irradiating laser light of the array pattern in a predetermined direction to obtain object information; Capturing an array pattern to obtain a pattern image; Comparing the pattern image with an initial pattern image to determine changes in 2D positional coordinates of a plurality of optical pixels of the array pattern; And estimating object information by calculating 3D coordinates of the plurality of optical pixels from the determined 2D positional coordinate change. Includes.
따라서, 본 발명의 실시예에 따른 물체 정보 추정 장치 및 방법은 레이저 모듈에서 방사되는 레이저 광이 기지정된 어레이 패턴을 갖도록 필터링하여 조사하고, 조사된 레이저 광이 형성하는 패턴 영역을 촬영하여 획득되는 패턴 영상의 변화를 분석하여, 패턴 영역 내로 진입하는 물체의 거리, 크기 등의 다양한 물체 정보를 저비용으로도 정확하게 획득할 수 있다.Therefore, the object information estimation apparatus and method according to an embodiment of the present invention is a pattern obtained by filtering and irradiating the laser light emitted from the laser module to have a predetermined array pattern, and photographing a pattern area formed by the irradiated laser light. By analyzing changes in the image, various object information such as distance and size of an object entering the pattern area can be accurately obtained at low cost.
도 1은 본 발명의 일 실시예에 따른 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치의 개략적 구조를 나타낸다.
도 2는 레이저부의 구성과 레이저부에서 방사된 레이저 광에 의해 생성된 레이저 어레이 패턴의 일예를 나타낸다.
도 3은 도 1의 레이저부와 영상 획득부의 배치 구조와 레이저부에서 방사된 레이저 광에 의해 생성된 레이저 어레이 패턴의 일예를 나타낸다.
도 4는 레이저 광에 의해 생성된 레이저 어레이 패턴과 어레이 패턴 영상 사이의 관계를 설명하기 위한 도면이다.
도 5 내지 도 7은 도 2의 레이저 어레이 패턴에 물체가 진입한 경우 발생하는 레이저 어레이 패턴의 변화를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 레이저 어레이 패턴 분석 기반 물체 정보 추정 방법을 나타낸다.1 shows a schematic structure of an apparatus for estimating object information based on laser array pattern analysis according to an embodiment of the present invention.
2 shows an example of a configuration of a laser unit and a laser array pattern generated by laser light emitted from the laser unit.
FIG. 3 shows an example of an arrangement structure of a laser unit and an image acquisition unit of FIG. 1 and a laser array pattern generated by laser light emitted from the laser unit.
4 is a diagram for explaining a relationship between a laser array pattern generated by laser light and an array pattern image.
5 to 7 are diagrams for explaining a change in a laser array pattern that occurs when an object enters the laser array pattern of FIG. 2.
8 shows a method of estimating object information based on laser array pattern analysis according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean units that process at least one function or operation, which is hardware, software, or hardware. And software.
도 1은 본 발명의 일 실시예에 따른 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치의 개략적 구조를 나타내고, 도 2는 레이저부의 구성과 레이저부에서 방사된 레이저 광에 의해 생성된 레이저 어레이 패턴의 일예를 나타내며, 도 3은 도 1의 레이저부와 영상 획득부의 배치 구조와 레이저부에서 방사된 레이저 광에 의해 생성된 레이저 어레이 패턴의 일예를 나타낸다.1 shows a schematic structure of an apparatus for estimating object information based on laser array pattern analysis according to an embodiment of the present invention, and FIG. 2 shows an example of a configuration of a laser unit and a laser array pattern generated by laser light emitted from the laser unit. 3 shows an arrangement structure of a laser unit and an image acquisition unit of FIG. 1 and an example of a laser array pattern generated by laser light emitted from the laser unit.
도 1을 참조하면, 본 실시예에 따른 물체 정보 추정 장치는 레이저부(110), 패턴 영상 획득부(120), 물체 정보 획득부(130) 및 메모리부(140)를 포함한다.Referring to FIG. 1, the object information estimation apparatus according to the present embodiment includes a
도 2를 참조하면, 레이저부(110)는 미리 지정된 각도(θ2)를 지향하도록 배치되고, 레이저 광이 기지정된 각도 범위에서 기지정된 패턴을 형성하도록 조사한다. 레이저부(110)는 레이저 광을 생성하여 방사하는 레이저 모듈(111)과 레이저 모듈에서 방사되는 레이저 광이 기지정된 패턴을 갖고 조사되도록 변환하는 패턴 생성 모듈(113)을 포함하여 구성될 수 있다.Referring to FIG. 2, the
레이저 모듈(111)은 레이저 광을 생성하여 패턴 생성 장치(113)로 방사한다. 이때 레이저 모듈(111)은 균일한 파장 및 세기의 레이저 광을 생성할 수 있다.The
패턴 생성 모듈(113)은 레이저 모듈(111)에서 조사된 레이저 광이 기지정된 패턴을 갖는 레이저 광으로 조사되도록 필터링한다. 패턴 생성 모듈(113)은 일예로 도 2에 도시된 바와 같이, 레이저 모듈(111)로부터 인가된 레이저 광이 어레이 패턴으로 조사되도록 레이저 광을 필터링할 수 있다. 여기서 패턴 생성 모듈(113)이 레이저 광을 어레이 패턴으로 조사하는 것은 물체의 위치 및 구조를 추정하기 용이하도록 하기 위한 것이다.The
이때 패턴 생성 모듈(113)은 입사된 레이저 광을 기지정된 패턴으로 분산시켜, 분산된 레이저 광이 어레이 패턴으로 조사되도록 필터링할 수 있다. 즉 패턴 생성 모듈(113)은 입사된 레이저 광을 필터링하여 확산시킴으로서 요구되는 패턴으로 조사되도록 조절하는 레이저 패턴 필터로 구현될 수 있다.At this time, the
기존의 패턴 생성 모듈(113)이 레이저 광이 특정 패턴으로 조사되도록 하기 위해서는 입사된 레이저 광의 조사 각도를 연속적으로 가변하였다. 즉 연속적으로 인가되는 레이저 광이 조사되는 위치가 패턴 내에서 지정된 초기 위치로부터 최종 위치로 계속하여 변경되도록 조절하고, 최종 위치까지 레이저 광이 조사되면 다시 초기위치에서 레이저 광이 조사되도록 레이저 광의 조사 각도를 조절하였다. 따라서 레이저 광의 조사 각도를 매우 빠르게 연속하여 가변해야 했으며, 패턴 내에서 동일한 위치에 레이저 광이 조사될 수 있도록 하기 위해서는 정밀한 조사 각도 조절이 요구되었다.In order for the conventional
그러나 최근에는 도 2에 도시된 바와 같이, 레이저 광이 출력되는 레이저 모듈(111)의 전단에 결합되어, 레이저 광이 요구되는 패턴으로 확산되어 조사되도록 하는 간단한 구조의 패턴 필터가 여러 분야에서 다양하게 이용되고 있다. 이는 단순히 광의 반사와 굴절 및 확산을 이용한 구조로서 레이저 광이 항상 균일한 패턴으로 조사될 뿐만 아니라, 레이저 광의 조사 각도를 조절하는 기존의 레이저 패턴 생성기에 비해 매우 저렴하다는 장점이 있다.However, recently, as shown in FIG. 2, a pattern filter having a simple structure, which is coupled to the front end of the
그리고 본 실시예에서 레이저부(110)는 라이다 센서와 달리 레이저를 변조하여 조사할 필요가 없으며, 조사된 레이저 광이 반사된 반사광을 다시 수신할 필요가 없다.In this embodiment, unlike the lidar sensor, the
상기한 바와 같이 라이다 센서의 경우, 방사되는 레이저 광 신호와 반사되어 입사되는 신호 사이의 차이를 판별해야 하므로, 레이저 광을 펄스 파형으로 변조하거나 위상 변조하여 조사해야 한다.As described above, in the case of the lidar sensor, since the difference between the emitted laser light signal and the reflected and incident signal must be determined, the laser light must be modulated into a pulse waveform or phase modulated to be irradiated.
반면 본 실시예의 물체 정보 추정 장치에서는 패턴 영상 획득부(120)를 이용하여 레이저부(110)에서 조사된 어레이 패턴의 레이저 광에 대한 영상을 획득한다. 따라서 레이저부(110)는 레이저 광을 기지정된 각도 범위로 조사할 뿐, 반사되는 광을 수신할 필요가 없다.On the other hand, in the object information estimating apparatus of the present embodiment, an image of the laser light of the array pattern irradiated by the
이는 조사된 레이저 광과 수신된 레이저 광 사이의 차이를 비교하지 않기 때문이다. 그러므로 레이저부(110)는 레이저광을 별도로 변조하지 않고 그대로 방사할 수 있다. 즉 레이저부(110)는 별도의 변조 수단을 구비할 필요가 없다. 뿐만 아니라 조사된 레이저 광의 반사광 수신하기 위한 수신 구성이 요구되지 않는다.This is because it does not compare the difference between the irradiated laser light and the received laser light. Therefore, the
따라서 본 실시예의 레이저부(110)는 매우 간단한 구조로 구성될 수 있으며, 저비용으로 제조될 수 있다.Therefore, the
패턴 영상 획득부(120)는 레이저부(110)에서 조사된 레이저 광이 형성하는 어레이 패턴에 대한 패턴 영상을 획득한다. 패턴 영상 획득부(120) 또한 레이저부(110)와 마찬가지로 미리 지정된 각도(θ1)를 지향하도록 배치된다. 패턴 영상 획득부(120)는 시야각(Field of View: 이하 FOV) 내에 레이저 광에 의해 형성된 어레이 패턴이 모두 포함되도록 지정된 각도(θ1)를 지향하도록 배치된다.The pattern
이때 패턴 영상 획득부(120)는 레이저부(110)의 지향 각도(θ2)와 동일한 지향 각도(θ1 = θ2 = θ)를 갖도록 배치될 수 있다. 패턴 영상 획득부(120)의 지향 각도(θ1)는 레이저부(110)의 지향 각도(θ2)와 반드시 동일할 필요는 없으나, 패턴 영상 획득부(120)의 지향 각도(θ1)와 레이저부(110)의 지향 각도(θ2)가 동일하면, 이후 물체 정보 추정 시에 계산이 용이해진다.In this case, the pattern
패턴 영상 획득부(120)는 영상 획득부(121)와 영상 처리부(123)를 포함하며, 영상 획득부(121)는 이미지 센서 등으로 구현되어 레이저 광에 의해 형성된 어레이 패턴을 촬영하여 영상을 획득한다.The pattern
그리고 영상 처리부(123)는 영상 획득부(121)에서 획득된 영상에 대해 기지정된 방식으로 영상 처리하여 노이즈를 제거한다. 뿐만 아니라, 영상 처리부(123)는 어레이 패턴을 용이하게 분석할 수 있도록, 기지정된 파장을 갖는 레이저 광을 필터링하여 추출할 수 있다. 즉 획득된 영상에서 레이저 광이 형성하는 어레이 패턴만을 추출하고 나머지를 제거하여 패턴 영상을 획득할 수도 있다.In addition, the
또한 영상 처리부(123)는 레이저 광이 조사되어 어레이 패턴이 형성된 이후 영상에서 레이저 광이 조사되기 이전 획득된 영상을 차감함으로써, 주변 배경이 제거된 패턴 영상을 획득할 수도 잇따.In addition, the
물체 정보 획득부(130)는 패턴 영상 획득부(120)에서 획득된 패턴 영상을 분석하여 물체 정보를 획득한다. 물체 정보 획득부(130)는 미리 획득된 초기 패턴 영상의 어레이 패턴과 현재 획득된 패턴 영상의 어레이 패턴을 비교하여 차이를 분석함으로써, 물체의 위치 및 형상 등에 대한 정보를 획득한다.The object
레이저부(110)에서 방사된 레이저 광은 어레이 패턴으로 지면에 조사되고, 물체가 어레이 패턴 영역에 진입하지 않으면, 항시 동일한 형태로 유지된다. 그러나 물체가 어레이 패턴 영역 내로 진입하게 되면, 레이저부(110)에서 방사된 레이저 광의 일부는 지면에 조사되는 반면, 물체가 진입한 영역에서는 물체에 조사된다. 즉 물체가 어레이 패턴 영역으로 진입함에 따라 어레이 패턴에 변화가 발생하게 된다. 그리고 패턴 영상 획득부(120)는 물체의 진입에 의해 변화하는 패턴 영상을 획득하며, 물체 정보 획득부(130)는 패턴 영상에 포함된 패턴 어레이의 변화를 분석하여 물체의 진입 여부를 판별할 수 있다.The laser light emitted from the
특히 물체 정보 획득부(130)는 물체가 진입하여 적어도 하나의 광 포인트(또는 광 픽셀이라 함)의 위치가 변경되면, 변경된 광 픽셀의 x 방향 및 y 방향으로의 변화량을 분석하여 물체의 위치 및 크기와 형상 등을 판별할 수 있다. 물체 정보 획득부(130)가 패턴 영상에 포함된 패턴 어레이의 변화로부터 물체의 정보를 추출하는 상세한 방법은 후술하도록 한다.In particular, when an object enters and the position of at least one light point (or optical pixel) is changed, the object
메모리부(140)는 패턴의 변화를 판별하기 위한 기준으로 초기 패턴 영상 또는 초기 패턴 영상에서 추출된 초기 어레이 패턴을 저장하고, 물체 정보 획득부(130)로 저장된 초기 패턴 영상 또는 초기 어레이 패턴을 전달하여 물체 정보 획득부(130)가 패턴 어레이의 변화를 분석할 수 있도록 한다. 여기서는 설명의 편의를 위하여 메모리부(140)를 별도로 도시하였으나, 메모리부(140)는 물체 정보 획득부(130)에 포함되어 구성될 수 있다.The
즉 본 실시예에서는 레이저부(110)가 어레이 패턴을 갖는 레이저 광을 조사하고, 패턴 영상 획득부(120)가 레이저부(110)에서 어레이 패턴을 갖고 조사된 레이저 광에 대한 패턴 영상을 획득하며, 물체 정보 획득부(130)가 패턴 영상 내에 나타나는 레이저 광의 어레이 패턴 변화를 분석하여 어레이 패턴 영역 내에 배치되는 물체의 위치 및 크기, 형상과 같은 물체 정보를 정확하게 추출할 수 있다.That is, in this embodiment, the
따라서 라이다 센서와 달리 레이저 광을 변조하여 조사할 필요가 없을 뿐만 아니라, 조사된 레이저 광의 반사광을 수신할 필요가 없으므로, 레이저부(110)의 구조가 간단하고 저비용으로 제조 가능하다.Therefore, unlike the lidar sensor, it is not necessary to modulate and irradiate the laser light, and since there is no need to receive the reflected light of the irradiated laser light, the structure of the
한편, 기존에도 이미지 센서를 이용하여 물체에 대한 영상을 획득하고 획득된 물체에 대한 영상을 분석하여 물체에 대한 정보를 추출하는 다양한 방법이 제안된 바 있다. 그러나 이미지 센서에서 획득된 영상에서 물체에 대한 정보를 추출하는 경우, 물체와 주변 환경에 대해 식별할 수 있어야 하며, 식별된 물체의 크기나 형상과 같은 정보를 정확하게 획득하기 위해서는 매우 복잡한 후처리 과정을 요구한다. 경우에 따라서는 후처리를 위해 인공 신경망을 이용하기도 하며, 일반적으로 고비용의 고성능 연산 장치가 이용되는 경우가 많다.Meanwhile, various methods of extracting information on an object by acquiring an image of an object using an image sensor and analyzing the image of the acquired object have been proposed. However, when extracting information about an object from an image acquired by an image sensor, it is necessary to be able to identify the object and its surrounding environment, and a very complex post-processing process is required to accurately acquire information such as the size or shape of the identified object. Demand. In some cases, artificial neural networks are used for post-processing, and in general, high-performance computing devices with high cost are often used.
그에 비해 본 실시예에 따른 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치는 영상에서 직접 물체를 식별하여 분석하지 않고, 레이저 광이 생성한 어레이 패턴의 변화를 분석하여 상대적으로 매우 간단한 연산으로 물체에 대한 정보를 추출할 수 있다. 즉 저비용의 연산 장치로도 물체에 대한 정보를 정확하게 추출할 수 있다. 특히 영상 획득부(121)가 획득한 영상에서 레이저 광의 파장만을 필터링하여 패턴 영상을 획득하는 경우, 더욱 간략하게 물체에 대한 정보를 획득할 수 있다.In contrast, the apparatus for estimating object information based on laser array pattern analysis according to the present embodiment does not directly identify and analyze the object in the image, but analyzes the change in the array pattern generated by the laser light, and provides information on the object with a relatively very simple operation. Can be extracted. That is, information about an object can be accurately extracted even with a low-cost computing device. In particular, when the
도 4는 레이저 광에 의해 생성된 레이저 어레이 패턴과 어레이 패턴 영상 사이의 관계를 설명하기 위한 도면이다.4 is a diagram for explaining a relationship between a laser array pattern generated by laser light and an array pattern image.
도 4를 참조하면, 기지정된 각도로 배치된 레이저부(110)에서 지정된 각도 범위에서 기지정된 어레이 패턴으로 조사된 레이저 광은 지면에 다수의 광 포인트를 생성할 수 있다. 이때, 다수의 광 포인트는 도 4에 도시된 바와 같은 원 또는 타원 패턴으로 생성될 수 있으나, 이에 한정되지 않는다. 즉 광 포인트의 패턴은 다양하게 조절될 수 있다.Referring to FIG. 4, laser light irradiated from the
그리고 패턴 영상 획득부(120)는 도 4와 같은 다수의 광 포인트가 생성된 어레이 패턴 영역을 촬영하여 패턴 영상을 획득한다. 이때 패턴 영상은 영상 획득부(121)에서 획득된 영상에 대해 영상 처리부(123)가 노이즈 제거 및 필터링 등의 전치리를 수행한 영상으로, 여기서는 레이저 광의 파장에 따른 광 포인트만을 남겨두고 나머지는 필터링을 통해 제외한 것으로 가정하여 도시하였다.In addition, the pattern
물체 정보 획득부(130)는 패턴 영상 획득부(120)에서 획득된 패턴 영상 다수의 광 포인트 각각을 광 픽셀로 설정하고, 어레이 패턴이 포함된 어레이 패턴 영역을 관심 영역으로 설정한다. 이때 물체 정보 획득부(130)는 패턴 영상 획득부(120)가 배치되는 높이(H)와 각도(θ) 및 패턴 영상 획득부(120)가 어레이 패턴을 촬영하는 화각(FOV), 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 적어도 하나의 광 픽셀까지의 거리(L)가 미리 측정되어 저장된다. 여기서 적어도 하나의 광 픽셀은 기준 광 픽셀로서 일예로 패턴 어레이의 중앙에 위치한 광 픽셀일 수 있으나 이에 한정되지 않는다.The object
또한 물체 정보 획득부(130)는 패턴 어레이의 다수의 광 픽셀 중 거리(L)가 미리 측정된 광 픽셀을 기준 광 픽셀로 설정하고, 기준 광 픽셀로부터 나머지 광 픽셀들까지의 거리에 대한 좌표(x, y)를 판별하여 저장한다. 즉 물체 정보 획득부(130)는 거리가 측정된 기준 광 픽셀을 영점(0, 0)으로 하여 나머지 광 픽셀들의 상대 위치를 좌표(x, y)로 미리 획득하여 저장할 수 있다.In addition, the object
이후 물체 정보 획득부(130)는 물체가 패턴 어레이로 진입하여 다수의 광 픽셀 중 적어도 하나의 위치가 변화하면, 물체의 외곽 형상에 따라 변화한 다수의 광 픽셀의 위치를 이용하여 물체의 위치 및 크기를 추정한다. 그리고 변화가 발생한 광 픽셀의 위치 좌표를 분석하여 물체의 외형을 추정할 수 있다.Thereafter, when the object enters the pattern array and the position of at least one of the plurality of optical pixels changes, the object
도 5 내지 도7은 도 2의 레이저 어레이 패턴에 물체가 진입한 경우 발생하는 레이저 어레이 패턴의 변화를 설명하기 위한 도면이다.5 to 7 are diagrams for explaining a change in a laser array pattern that occurs when an object enters the laser array pattern of FIG. 2.
도 6은 물체(200)의 배치에 따른 레이저 어레이 패턴의 변화를 3차원 공간에서 나타낸 도면이다. 그리고 도 7에서 (a)는 초기 패턴 영상의 광 픽셀 배치를 나타내고, (b)는 물체가 배치된 경우에 획득된 패턴 영상의 광 픽셀 배치를 나타낸다.6 is a diagram illustrating a change in a laser array pattern according to an arrangement of an
도 5 에 도시된 바와 같이, 레이저 광이 어레이 패턴으로 조사되는 어레이 패턴 영역에 물체(200)가 배치되면, 레이저부(110)에서 방출된 레이저 광의 일부는 물체(200)로 입사되어 지면에 조사되지 않고 물체에 조사된다. 그리고 물체(200)에 광 포인트가 형성됨에 따라 영상 획득부(120)가 패턴 영상 획득 시에 초기 패턴 영상과 동일한 광 포인트를 획득하는 각도에 변화(Δθ)가 발생하게 되고, 이러한 각도의 변화는 패턴 영상에서 광 픽셀의 위치, 여기서는 x축 방향으로의 변화로 나타나게 된다. 즉 물체(200)의 형상에 따라 광 포인트가 형성되는 위치가 변화하게 된다.As shown in FIG. 5, when the
도 7의 (a)와 (b)를 비교하면, 광 포인트가 물체에 입사되는 위치에서만 광 픽셀의 위치에 변화가 발생한다. 즉 물체의 외곽에서는 광 포인트가 그대로 지면에 조사되고 있으므로, 광 픽셀의 위치에 변화가 발생하지 않는다. 따라서 광 픽셀의 위치 변화가 발생한 영역에만 물체가 위치하므로, 변화가 발생한 영역의 크기로부터 물체의 크기를 판별할 수 있다.Comparing (a) and (b) of FIG. 7, the position of the optical pixel is changed only at the position where the optical point is incident on the object. That is, since the light point is irradiated to the ground as it is in the outer part of the object, there is no change in the position of the light pixel. Therefore, since the object is located only in the area where the position change of the optical pixel has occurred, the size of the object can be determined from the size of the area where the change has occurred.
또한 물체가 어레이 패턴 영역에 배치됨에 따라 패턴 영상에서 물체의 전면에 입사된 광 포인트에 대한 광 픽셀의 경우, y축 방향은 그대로 유지되는데 반해, -x축 방향으로 이동하였으며, 간격이 더 좁아진 것을 알 수 있다. 반면, 물체의 상면에 입사된 광 픽셀의 경우, -x축 방향으로 이동하였으나, 물체의 전면에 입사된 광 픽셀에 비해 적게 이동함에 따라 전면에 입사된 광 픽셀과 x축 방향에서의 간격이 커지게 되었음을 알 수 있다.In addition, as the object is arranged in the array pattern area, in the case of the optical pixel for the light point incident on the front surface of the object in the pattern image, the y-axis direction is maintained as it is, whereas the y-axis direction is moved in the -x-axis direction, and the gap becomes narrower Able to know. On the other hand, in the case of the optical pixel incident on the upper surface of the object, it has moved in the -x-axis direction, but as it moves less than the optical pixel incident on the front surface of the object, the distance between the optical pixel incident on the front surface and the x-axis direction increases You can see that you have lost.
이러한 광 픽셀의 위치 변화는 반대로 각도에 변화(Δθ)를 계산할 수 있음을 의미하고, 계산된 각도의 변화(Δθ)를 이용하여 다수의 광 픽셀 각각의 3차원 위치(x, y, z)를 판별할 수 있다. This change in the position of the optical pixel means that the change in the angle (Δθ) can be calculated on the contrary, and the three-dimensional position (x, y, z) of each of the plurality of optical pixels is determined using the calculated angle change (Δθ). Can be identified.
패턴 영상 획득부(120)가 배치되는 높이(H)와 각도(θ) 및 화각(FOV), 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 적어도 하나의 광 픽셀까지의 거리(L)가 미리 알려져 있을 때, 2차원 패턴 영상의 다수의 광 픽셀의 위치 변화로부터 3차원 위치(x, y, z)는 공지된 기술로서 간단한 수학식을 통해 계산될 수 있으며, 다양한 방법을 통해 계산될 수 있으므로 여기서는 상세하게 설명하지 않는다.The height (H) and angle (θ) and the field of view (FOV) at which the pattern
그러므로 광 픽셀의 위치 좌표 변화로부터 물체의 위치와 크기를 판별할 수 있을 뿐만 아니라, 인접한 광 픽셀 사이의 간격 변화를 통해 물체의 형상을 판별할 수 있다. 즉 물체 정보를 추정할 수 있다.Therefore, not only can the position and size of the object be determined from the change in the position coordinates of the optical pixel, but also the shape of the object can be determined through the change in the distance between adjacent optical pixels. That is, object information can be estimated.
특히 다수의 광 픽셀 각각에 대한 3차원 좌표가 계산되면, 인접한 광 픽셀에 대한 3차원 좌표를 서로 연결함으로써, 물체(200)의 외곽 형상을 시각적으로도 도출할 수 있다.In particular, when the 3D coordinates for each of the plurality of optical pixels are calculated, the outer shape of the
여기서는 설명의 편의를 위하여 광 픽셀의 사이즈를 매우 크게 도시하였으나, 실제 적용 시에 광 픽셀은 매우 작은 점으로 나타날 수 있으며 각 광 픽셀 사이의 간격 또한 매우 조밀할 수 있다. 그리고 광 픽셀의 크기가 작고 광 픽셀 사이의 간격이 조밀할수록 더욱 물체에 대한 정보를 더욱 정확하게 추정할 수 있다.Here, for convenience of explanation, the size of the optical pixel is shown to be very large. However, in actual application, the optical pixel may appear as a very small dot, and the interval between each optical pixel may be very dense. In addition, the smaller the size of the optical pixel and the denser the distance between the optical pixels, the more accurately the information about the object can be estimated.
도 8은 본 발명의 일 실시예에 따른 레이저 어레이 패턴 분석 기반 물체 정보 추정 방법을 나타낸다.8 shows a method of estimating object information based on laser array pattern analysis according to an embodiment of the present invention.
도 1 내지 도 7을 참조하여, 도 8의 물체 정보 추정 방법을 설명하면, 우선 미리 지정된 테스트 환경에서 지정된 각도로 기지정된 각도 범위 내에서 지정된 패턴을 형성하도록 레이저 광을 조사하고, 조사된 레이저 광이 지면에서 형성하는 패턴을 촬영하여 초기 패턴 영상을 획득한다(S11). 이때 레이저 광은 지정된 균일한 파장 및 세기로 조사될 수 있으며, 패턴 생성 모듈에 의해 어레이 패턴으로 변환되어 조사된다. 어레이 패턴에는 다수의 광 포인트가 형성되며, 광 포인트의 크기 및 간격은 다양하게 조절될 수 있다.Referring to FIGS. 1 to 7, the method of estimating object information of FIG. 8 will be described. First, laser light is irradiated to form a specified pattern within a predetermined angle range at a specified angle in a predetermined test environment, and the irradiated laser light An initial pattern image is obtained by photographing a pattern formed on this surface (S11). At this time, the laser light may be irradiated with a designated uniform wavelength and intensity, and converted into an array pattern by a pattern generation module and irradiated. A plurality of light points are formed in the array pattern, and the size and spacing of the light points may be variously adjusted.
그리고 패턴 영상은 레이저 광이 조사되는 전체 영역에 대해 촬영하여 획득될 수 있으며, 노이즈 제거 및 레이저 광의 패턴만이 도출되도록 필터링된 영상일 수 있다.In addition, the pattern image may be obtained by photographing the entire area to which the laser light is irradiated, and may be an image filtered so that only the pattern of the laser light and noise is removed.
그리고 획득된 초기 패턴 영상과 함께 초기 패턴 영상을 획득하는 설정 정보를 함께 저장한다(S12). 여기서 설정 정보는 패턴 영상 획득부(120)가 배치되는 높이(H)와 각도(θ) 및 화각(FOV), 그리고 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 기준 광 픽셀까지의 거리(L)가 포함되며, 기준 광 픽셀을 기준으로 하는 나머지 광 픽셀의 위치 정보가 더 포함될 수 있다. 여기서 다수의 광 픽셀의 위치 정보는 2차원 좌표(x, y)의 형태로 저장될 수 있다.In addition, setting information for obtaining the initial pattern image is stored together with the acquired initial pattern image (S12). Here, the setting information includes the height (H), angle (θ) and field of view (FOV) at which the pattern
이후, 실제 물체 정보를 추정하기 위한 환경에서 다시 레이저 광이 어레이 패턴을 갖도록 변환하여 지정된 지향 각도로 조사한다(S13). 그리고 조사된 레이저 광의 어레이 패턴을 촬영하여 패턴 영상을 획득한다(S14). 여기서 이때 레이저 광이 조사되는 각도와 어레이 패턴을 촬영하는 패턴 영상 획득부(120)의 조건은 테스트 환경과 동일하다.Thereafter, in an environment for estimating the actual object information, the laser light is converted to have an array pattern and is irradiated at a designated direction angle (S13). Then, an array pattern of the irradiated laser light is photographed to obtain a pattern image (S14). Here, the angle at which the laser light is irradiated and the condition of the pattern
패턴 영상이 획득되면 획득된 패턴 영상의 다수의 광 픽셀 각각의 위치와 초기 패턴 영상 대응하는 광 픽셀 각각의 위치 좌표에 변화가 발생하였는지 판별한다(S15).When the pattern image is acquired, it is determined whether a change occurs in the positions of each of the plurality of optical pixels of the acquired pattern image and the position coordinates of each of the optical pixels corresponding to the initial pattern image (S15).
만일 광 픽셀 위치 좌표에 변화가 발생한 것으로 판별되면, 2차원 패턴 영상에서 발생된 광 픽셀의 위치 좌표 변화를 설정 정보를 이용하여 3차원 좌표로 변환한다(S15).If it is determined that a change in the optical pixel position coordinates has occurred, the change in the position coordinates of the optical pixel generated in the 2D pattern image is converted into 3D coordinates using the setting information (S15).
그리고 다수의 광 픽셀의 3차원 좌표로부터 물체 정보를 추정한다(S17). 여기서 추정되는 물체 정보는 물체의 위치와 크기 및 형상에 대한 정보일 수 있다. 특히 물체의 형상의 경우, 획득된 다수의 광 픽셀의 3차원 좌표를 서로 연결함으로써, 사용자가 인지할 수 있는 시각 정보로 획득할 수도 있다.Then, object information is estimated from the three-dimensional coordinates of a plurality of optical pixels (S17). The object information estimated here may be information on the location, size, and shape of the object. In particular, in the case of the shape of an object, it is possible to obtain visual information that can be recognized by a user by connecting the obtained 3D coordinates of a plurality of optical pixels with each other.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Here, the computer-readable medium may be any available medium that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (Read Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
110: 레이저부 111: 레이저 모듈
113: 패턴 생성 모듈 120: 패턴 영상 획득부
121: 영상 획득부 123: 영상 처리부
130: 물체 정보 획득부 140: 메모리부110: laser unit 111: laser module
113: pattern generation module 120: pattern image acquisition unit
121: image acquisition unit 123: image processing unit
130: object information acquisition unit 140: memory unit
Claims (11)
물체에 대해 상기 레이저 광이 조사되어 형성된 어레이 패턴을 촬영하여 다수의 광 픽셀이 포함된 패턴 영상을 획득하는 패턴 영상 획득부; 및
미리 획득되어 저장된 초기 패턴 영상과 현재 획득된 패턴 영상을 비교하여 어레이 패턴의 다수의 광 픽셀의 2차원 위치 좌표의 변화를 판별하고, 판별된 2차원 위치 좌표 변화로부터 상기 다수의 광 픽셀의 3차원 좌표를 계산하여 물체 정보를 추정하는 물체 정보 획득부; 를 포함하되,
상기 물체 정보 획득부는
상기 레이저부와 상기 패턴 영상 획득부의 배치 조건에 따라 미리 획득된 설정 정보와 다수의 광 픽셀의 2차원 위치 좌표의 변화를 이용하여 상기 다수의 광 픽셀의 3차원 좌표를 계산하고, 계산된 3차원 좌표로부터 물체의 위치, 크기 및 형상에 대한 정보를 추정하고,
상기 레이저부는
레이저 광을 생성하여 출력하는 레이저 모듈; 및
상기 레이저 모듈에서 출력되는 레이저 광을 인가받아 기지정된 어레이 패턴을 갖도록 변환하여 출력하는 패턴 생성 모듈; 을 포함하며,
상기 패턴 생성 모듈은 레이저 광을 필터링하여 확산시킴으로써 요구되는 패턴으로 조사되도록 조절하는 물체 정보 추정 장치.
A laser unit for irradiating laser light of a predetermined array pattern;
A pattern image acquisition unit configured to acquire a pattern image including a plurality of optical pixels by photographing an array pattern formed by irradiating the laser light onto an object; And
Compare the previously acquired and stored initial pattern image with the currently acquired pattern image to determine changes in the 2D positional coordinates of the plurality of optical pixels of the array pattern, and the 3D of the plurality of optical pixels from the determined 2D positional coordinate change. An object information acquisition unit that estimates object information by calculating coordinates; Including,
The object information acquisition unit
The three-dimensional coordinates of the plurality of optical pixels are calculated using the setting information obtained in advance according to the arrangement condition of the laser unit and the pattern image acquisition unit and the two-dimensional position coordinates of the plurality of optical pixels, and the calculated 3D Estimate information about the location, size and shape of an object from the coordinates,
The laser unit
A laser module for generating and outputting laser light; And
A pattern generation module that receives the laser light output from the laser module, converts it to have a predetermined array pattern, and outputs it; Including,
The pattern generation module is an object information estimation device that filters and diffuses the laser light so as to be irradiated with a required pattern.
패턴 영상 획득부가 배치되는 높이와 각도, 화각 및 상기 패턴 영상 획득부로부터 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 기지정된 기준 광 픽셀까지의 거리(L) 정보를 포함하는 물체 정보 추정 장치.The method of claim 1, wherein the setting information
An object information estimation apparatus comprising information about a height, an angle, a field of view at which the pattern image acquisition unit is disposed, and a distance (L) from the pattern image acquisition unit to a predetermined reference light pixel among a plurality of light pixels of the pattern array in the initial pattern image.
상기 레이저 광이 조사되어 형성된 어레이 패턴에 대한 영상을 획득하는 영상 획득부; 및
상기 영상 획득부에서 획득된 영상을 필터링하여 다수의 광 픽셀을 제외한 배경 이미지를 제거하여 패턴 영상을 획득하는 영상 처리부; 를 포함하는 물체 정보 추정 장치.The method of claim 1, wherein the pattern image acquisition unit
An image acquisition unit that acquires an image of an array pattern formed by irradiating the laser light; And
An image processing unit that filters the image obtained by the image acquisition unit to remove a background image excluding a plurality of optical pixels to obtain a pattern image; Object information estimation apparatus comprising a.
물체 정보를 획득하기 위해 물체에 대해 기지정된 지향 방향으로 어레이 패턴의 레이저 광을 조사하는 단계;
어레이 패턴을 촬영하여 패턴 영상을 획득하는 단계;
상기 패턴 영상을 초기 패턴 영상과 비교하여, 어레이 패턴의 다수의 광 픽셀의 2차원 위치 좌표의 변화를 판별하는 단계; 및
판별된 2차원 위치 좌표 변화로부터 상기 다수의 광 픽셀의 3차원 좌표를 계산하여 물체 정보를 추정하는 단계; 를 포함하되,
상기 물체 정보를 추정하는 단계는
상기 레이저 광의 조사 위치 및 각도와 상기 패턴 영상을 획득하는 패턴 영상 획득부의 배치 조건에 따라 미리 설정되어 저장된 상기 설정 정보와 다수의 광 픽셀의 2차원 위치 좌표의 변화를 이용하여 상기 다수의 광 픽셀의 3차원 좌표를 계산하는 단계; 및
계산된 3차원 좌표로부터 물체의 위치, 크기 및 형상에 대한 정보를 추정하는 단계; 를 포함하며,
상기 레이저 광을 조사하는 단계는
레이저 광을 생성하여 출력하는 단계; 및
출력된 레이저 광이 기지정된 어레이 패턴을 갖도록 변환하는 단계; 를 포함하고, 레이저 광을 필터링하여 확산시킴으로써 요구되는 패턴으로 조사되도록 조절하는 물체 정보 추정 방법.
Irradiating laser light of a predetermined array pattern in a predetermined test environment, photographing an array pattern formed by irradiating the laser light, and storing an initial pattern image including a plurality of optical pixels and setting information on the test environment:
Irradiating the laser light of the array pattern in a direction of a predetermined direction with respect to the object to obtain object information;
Capturing an array pattern to obtain a pattern image;
Comparing the pattern image with an initial pattern image to determine changes in 2D positional coordinates of a plurality of optical pixels of the array pattern; And
Estimating object information by calculating 3D coordinates of the plurality of optical pixels from the determined 2D positional coordinate change; Including,
Estimating the object information
According to the position and angle of the laser light irradiation and the arrangement condition of the pattern image acquisition unit acquiring the pattern image, the setting information stored in advance and the change in the 2D position coordinates of the plurality of optical pixels are used to determine the plurality of optical pixels. Calculating three-dimensional coordinates; And
Estimating information on the location, size, and shape of the object from the calculated 3D coordinates; Including,
The step of irradiating the laser light
Generating and outputting laser light; And
Converting the output laser light to have a predetermined array pattern; Including, by filtering and diffusing the laser light object information estimation method for adjusting to be irradiated in a required pattern.
다수의 광 픽셀에 대해 계산된 3차원 좌표를 기반으로 서로 인접한 광 픽셀을 선으로 연결하여 상기 물체에 대한 형상을 시각적으로 추정하는 물체 정보 추정 방법.The method of claim 6, wherein estimating information on the shape
An object information estimation method for visually estimating a shape of the object by connecting optical pixels adjacent to each other with lines based on the three-dimensional coordinates calculated for a plurality of optical pixels.
상기 패턴 영상 획득부가 배치되는 높이와 각도, 화각 및 상기 패턴 영상 획득부로부터 초기 패턴 영상에서 패턴 어레이의 다수의 광 픽셀 중 기지정된 기준 광 픽셀까지의 거리 정보를 포함하는 물체 정보 추정 방법.The method of claim 6, wherein the setting information
An object information estimation method comprising: height and angle at which the pattern image acquisition unit is disposed, an angle of view, and distance information from the pattern image acquisition unit to a predetermined reference light pixel among a plurality of light pixels of a pattern array in the initial pattern image.
상기 레이저 광이 조사되어 형성된 어레이 패턴에 대한 영상을 획득하는 단계; 및
획득된 영상을 필터링하여 다수의 광 픽셀을 제외한 배경 이미지를 제거하여 패턴 영상을 획득하는 단계; 를 포함하는 물체 정보 추정 방법.The method of claim 6, wherein obtaining the pattern image
Obtaining an image of an array pattern formed by irradiating the laser light; And
Filtering the acquired image to remove a background image excluding a plurality of optical pixels to obtain a pattern image; Object information estimation method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190093627A KR102211483B1 (en) | 2019-08-01 | 2019-08-01 | Information estimation apparatus and mothod of the object based on the laser pattern analysis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190093627A KR102211483B1 (en) | 2019-08-01 | 2019-08-01 | Information estimation apparatus and mothod of the object based on the laser pattern analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102211483B1 true KR102211483B1 (en) | 2021-02-02 |
Family
ID=74559506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190093627A KR102211483B1 (en) | 2019-08-01 | 2019-08-01 | Information estimation apparatus and mothod of the object based on the laser pattern analysis |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102211483B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001235313A (en) * | 2000-02-24 | 2001-08-31 | Japan Science & Technology Corp | Three-dimensional shape measuring apparatus |
KR20140011810A (en) * | 2012-07-20 | 2014-01-29 | 이선구 | Sensor system for detecting a object and drive method of the same |
KR101440085B1 (en) | 2013-02-14 | 2014-09-12 | 삼성탈레스 주식회사 | Apparatus for laser range finder and method for estimating laser range |
-
2019
- 2019-08-01 KR KR1020190093627A patent/KR102211483B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001235313A (en) * | 2000-02-24 | 2001-08-31 | Japan Science & Technology Corp | Three-dimensional shape measuring apparatus |
KR20140011810A (en) * | 2012-07-20 | 2014-01-29 | 이선구 | Sensor system for detecting a object and drive method of the same |
KR101440085B1 (en) | 2013-02-14 | 2014-09-12 | 삼성탈레스 주식회사 | Apparatus for laser range finder and method for estimating laser range |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7252285B2 (en) | Method and system for classifying objects within point cloud datasets | |
Zennaro et al. | Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications | |
US10234561B2 (en) | Specular reflection removal in time-of-flight camera apparatus | |
US10302424B2 (en) | Motion contrast depth scanning | |
KR101652393B1 (en) | Apparatus and Method for obtaining 3D image | |
KR101264955B1 (en) | Method and system for object reconstruction | |
US11536804B2 (en) | Glare mitigation in LIDAR applications | |
EP2375216B1 (en) | 3-D imaging system and method using partial-coherence speckle interference tomography | |
CN103900494B (en) | For the homologous points fast matching method of binocular vision 3 D measurement | |
US11393115B2 (en) | Filtering continuous-wave time-of-flight measurements, based on coded modulation images | |
CN111047650B (en) | Parameter calibration method for time-of-flight camera | |
Weinmann et al. | Preliminaries of 3D point cloud processing | |
US20210270969A1 (en) | Enhanced depth mapping using visual inertial odometry | |
KR101802894B1 (en) | 3D image obtaining system | |
KR101238748B1 (en) | System for measuring distance of target using step-staring infrared sensor unit | |
KR102211483B1 (en) | Information estimation apparatus and mothod of the object based on the laser pattern analysis | |
Neilsen | Signal processing on digitized LADAR waveforms for enhanced resolution on surface edges | |
US20190226834A1 (en) | Laser imaging | |
CN111445507A (en) | Data processing method for non-visual field imaging | |
KR20170127865A (en) | Range Image Sensor comprised of Combined Pixel | |
KR102389380B1 (en) | Apparatus and method of extracting depth information of the 3D image | |
KR102162019B1 (en) | Three dimensional image generating method and apparatus | |
KR101138222B1 (en) | Omni-directional distance measurement device and method based on structured light using difference image integral calculus algorithm | |
KR20180079111A (en) | Device and Method for Depth Information Compensation by Sphere Surface Modeling | |
Neilsen et al. | Enhanced resolution edge and surface estimation from ladar point clouds containing multiple return data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |