KR101980697B1 - Device and method for acquiring object information - Google Patents
Device and method for acquiring object information Download PDFInfo
- Publication number
- KR101980697B1 KR101980697B1 KR1020190017703A KR20190017703A KR101980697B1 KR 101980697 B1 KR101980697 B1 KR 101980697B1 KR 1020190017703 A KR1020190017703 A KR 1020190017703A KR 20190017703 A KR20190017703 A KR 20190017703A KR 101980697 B1 KR101980697 B1 KR 101980697B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- module
- distance
- laser beam
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims 2
- 239000000758 substrate Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 241001673526 Lydia Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002061 nanopillar Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 레이저 빔을 이용하여 객체의 거리 정보를 획득하는 객체 정보 획득 장치 및 방법에 관한 것이다. 보다 상세하게, 본 발명은 대상체로 조사된 레이저 빔이 카메라 모듈로 수신되는 위치에 기초하여 상기 대상체의 거리 정보를 획득하고, 상기 카메라 모듈이 촬상한 이미지의 픽셀값에 기초하여 상기 대상체의 종류 정보를 획득하는 객체 정보 획득 장치 및 방법에 관한 것이다. The present invention relates to an object information acquiring apparatus and method for acquiring distance information of an object using a laser beam. More specifically, the present invention relates to a method for acquiring distance information of a target object based on a position at which a laser beam irradiated to a target object is received by a camera module, To an object information acquiring apparatus and method.
근래에, 자율주행자동차 및 무인자동차에 대한 관심과 함께 라이다(LiDAR: Light Detection And Ranging)가 각광받고 있다. 라이다는 레이저를 이용하여 주변의 거리 정보를 획득하는 장치로서, 정밀도 및 해상도가 뛰어나며 사물을 입체로 파악할 수 있다는 장점 덕분에, 자동차뿐만 아니라 드론, 항공기 등 다양한 분야에 적용되고 있는 추세이다.Recently, LiDAR (Light Detection And Ranging) has attracted attention with interest in autonomous vehicles and unmanned vehicles. Lida is a device that acquires the distance information of the surroundings by using a laser, and it is being applied to various fields such as a car, a dron, and an aircraft due to the advantage that it is excellent in precision and resolution and can recognize objects in three dimensions.
한편, 최근에는 라이다 장치에 구비된 카메라를 이용하여 라이다 장치 주변 대상체의 거리 정보뿐만 아니라 종류 정보까지 획득하는 장치에 대한 개발이 활발히 진행되고 있는 실정이다.Recently, a device for acquiring not only distance information but also type information of a peripheral object of a lidar device using a camera provided in the lidar device has been actively developed.
일 실시예에 따른 해결하고자 하는 과제는 단일의 센서를 이용하여 대상체의 거리 정보 및 종류 정보를 획득하는 객체 정보 획득 장치를 제공하는 것이다.An object of the present invention is to provide an object information acquiring apparatus that acquires distance information and type information of a target object using a single sensor.
본 발명의 해결하고자 하는 과제는 상술한 과제들로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed and will become apparent to persons skilled in the art upon examination of the following or may be learned by practice of the invention will be.
일 실시예에 따르면, 객체에 관한 종류 정보 및 거리 정보를 포함하는 객체 정보를 획득하는 객체 정보 획득 장치로서, 주변을 촬상하는 카메라 모듈; 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈; 및 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 획득하고, 상기 획득된 이미지가 상기 제1 이미지인 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하고, 상기 획득된 이미지가 상기 제2 이미지인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 컨트롤러;를 포함하는 객체 정보 획득 장치가 제공될 수 있다.According to an embodiment, there is provided an object information acquisition apparatus for acquiring object information including category information and distance information about an object, the apparatus comprising: a camera module for picking up a periphery; A laser module arranged to be spaced from the camera module in the vertical axis direction and emitting a laser beam in the form of a line extending in the horizontal axis direction; And a controller for controlling the camera module to obtain a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module, and when the obtained image is the first image, Acquires distance information on an object included in the first image based on a position along the vertical axis direction received on the first image, and when the obtained image is the second image, And a controller for obtaining category information on the object included in the second image based on the pixel value.
다른 일 실시예에 따르면, 주변을 촬상하는 카메라 모듈 및 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈을 포함하는 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 방법으로서, 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계; 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계; 상기 획득된 거리 정보에 기초하여 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 미리 정해진 거리 이내인지 판단하는 단계; 및 상기 판단 결과 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 상기 미리 정해진 거리 이내인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided an object information acquiring apparatus including a camera module for capturing a periphery, and an object information acquiring device including a laser module arranged to be spaced apart from the camera module in the vertical axis direction and emitting a laser beam in a line shape extending in the horizontal axis direction A method of acquiring object information, the method comprising: acquiring a plurality of images, the camera module including a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module; Obtaining distance information about a target included in the first image based on a position of the laser beam along the vertical axis direction received on the first image; Determining whether a distance from the object information obtaining apparatus to the object is within a predetermined distance based on the obtained distance information; And acquiring category information on a target object included in the second image based on the pixel value of the second image when the distance from the object information obtaining device to the target object is within the predetermined distance as a result of the determination ; ≪ / RTI >
또 다른 일 실시예에 따르면, 주변을 촬상하는 카메라 모듈 및 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈을 포함하는 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 방법으로서, 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계; 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계; 상기 제2 이미지에 미리 정해진 분류값을 갖는 대상체가 포함되는지 판단하는 단계; 및 상기 제2 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided an object information acquiring apparatus including a camera module for capturing the surroundings and a laser module for emitting a laser beam in the form of a line extending in the vertical axis direction from the camera module in the vertical axis direction A method of acquiring object information, the method comprising: acquiring a plurality of images, the camera module including a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module; Obtaining category information on the object included in the second image based on the pixel value of the second image; Determining whether a target object having a predetermined classification value is included in the second image; And a controller for controlling the distance between the laser beam and the object included in the first image based on the position along the vertical axis direction received on the first image when the object having the predetermined classification value is included in the second image, And acquiring the object information.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that the solution of the problem of the present invention is not limited to the above-mentioned solutions, and the solutions which are not mentioned can be clearly understood by those skilled in the art to which the present invention belongs It will be possible.
일 실시예에 따르면, 단일의 센서를 이용하여 대상체의 거리 정보 및 종류 정보를 획득할 수 있다.According to an embodiment, distance information and category information of a target object can be obtained using a single sensor.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and the effects not mentioned can be clearly understood by those skilled in the art from the present specification and the accompanying drawings.
도 1은 일 실시예에 따른 객체 정보 획득 장치를 설명하기 위한 블락도이다.
도 2는 일 실시예에 따른 컨트롤러를 설명하기 위한 블락도이다.
도 3은 일 실시예에 따른 객체 정보 획득 장치의 거리 정보 획득 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 객체 정보 획득 장치가 도시된 입체도이다.
도 5는 일 실시예에 따른 객체 정보 획득 장치가 도시된 측면도이다.
도 6 내지 도 10은 여러 실시예에 따른 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 객체 정보가 표시된 디스플레이가 도시된 이미지이다.
도 12는 다른 일 실시예에 따른 객체 정보가 표시된 디스플레이가 도시된 이미지이다.
도 13은 레이저 모듈(100) 및 LED 모듈(200)의 출사 타이밍 제어를 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 센싱 유닛(310)이 도시된 도면이다.
도 15는 일 실시예에 따른 객체 정보 획득 방법을 나타내는 순서도이다.
도 16은 다른 일 실시예에 따른 객체 정보 획득 방법을 나타내는 순서도이다.1 is a block diagram for explaining an object information acquiring apparatus according to an embodiment.
2 is a block diagram for explaining a controller according to an embodiment.
3 is a diagram for explaining a distance information obtaining method of an object information obtaining apparatus according to an embodiment.
4 is a stereoscopic view illustrating an object information acquisition apparatus according to an embodiment.
5 is a side view of an apparatus for acquiring object information according to an embodiment of the present invention.
6 to 10 are views for explaining an object information acquisition operation performed by the object information acquisition apparatus according to various embodiments.
11 is an image showing a display in which object information is displayed according to an embodiment.
12 is an image showing a display in which object information is displayed according to another embodiment.
13 is a diagram for explaining the emission timing control of the
14 is a diagram illustrating a
15 is a flowchart illustrating an object information acquisition method according to an embodiment.
16 is a flowchart showing an object information acquiring method according to another embodiment.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. It is to be understood, however, that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thicknesses of the layers and regions are exaggerated for the sake of clarity, and it is to be understood that the elements or layers may be referred to as being "on" or "on" Quot; an embodiment " encompasses not only directly over another element or layer but also intervening layers or other elements in between. Like reference numerals designate like elements throughout the specification. The same reference numerals are used to designate the same components in the same reference numerals in the drawings of the embodiments.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.The detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffix " module " and " part " for constituent elements used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.
일 실시예에 따르면, 객체에 관한 종류 정보 및 거리 정보를 포함하는 객체 정보를 획득하는 객체 정보 획득 장치로서, 주변을 촬상하는 카메라 모듈; 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈; 및 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 획득하고, 상기 획득된 이미지가 상기 제1 이미지인 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하고, 상기 획득된 이미지가 상기 제2 이미지인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 컨트롤러;를 포함하는 객체 정보 획득 장치가 제공될 수 있다.According to an embodiment, there is provided an object information acquisition apparatus for acquiring object information including category information and distance information about an object, the apparatus comprising: a camera module for picking up a periphery; A laser module arranged to be spaced from the camera module in the vertical axis direction and emitting a laser beam in the form of a line extending in the horizontal axis direction; And a controller for controlling the camera module to obtain a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module, and when the obtained image is the first image, Acquires distance information on an object included in the first image based on a position along the vertical axis direction received on the first image, and when the obtained image is the second image, And a controller for obtaining category information on the object included in the second image based on the pixel value.
여기서, 상기 카메라 모듈은 상기 수직축 방향에 따른 어레이 형태로 배열되는 복수의 센서 소자를 포함하는 센싱 유닛을 포함할 수 있다.Here, the camera module may include a sensing unit including a plurality of sensor elements arranged in an array along the vertical axis direction.
여기서, 상기 센싱 유닛은 제1 영역 및 상기 제1 영역과 다른 제2 영역으로 분할되고, 상기 제1 영역에 구비되며 상기 레이저 빔 이미지를 획득하는 제1 센서 및 상기 제2 영역에 구비되며 영상 이미지를 획득하는 제2 센서를 포함할 수 있다.The sensing unit may include a first sensor that is divided into a first region and a second region different from the first region and is provided in the first region and acquires the laser beam image and a second sensor provided in the second region, And a second sensor for acquiring the second sensor.
여기서, 상기 컨트롤러는 상기 센싱 유닛의 문턱값을 증가시키고, 상기 레이저 모듈의 출사 타이밍에 상기 문턱값이 증가된 상기 센싱 유닛이 촬상한 제3 이미지를 획득하고, 상기 제3 이미지에 기초하여 상기 제3 이미지에 포함된 대상체에 관한 거리 정보를 획득할 수 있다.Here, the controller may increase the threshold value of the sensing unit, acquire a third image captured by the sensing unit whose threshold value has been increased at the emission timing of the laser module, 3 It is possible to obtain the distance information about the object included in the image.
여기서, 상기 컨트롤러는, 상기 제1 이미지 상에서 레이저 빔 이미지 - 이 때, 상기 레이저 빔 이미지는 상기 레이저 모듈로부터 출사된 후 상기 대상체에 반사된 후 상기 카메라 모듈로 수신된 레이저 빔을 지시함 - 의 픽셀의 위치에 기초하여 상기 거리 정보를 획득하는 거리 산출 유닛 및 상기 제2 이미지의 픽셀값에 기초하여 상기 종류 정보를 획득하는 대상체 인식 유닛을 포함할 수 있다.Wherein the controller is further configured to determine a laser beam image on the first image when the laser beam image is emitted from the laser module and then reflected on the object and then indicates the laser beam received by the camera module A distance calculation unit for obtaining the distance information based on the position of the first image, and an object recognition unit for obtaining the kind information based on the pixel value of the second image.
여기서, 상기 대상체 인식 유닛은 인공신경망을 포함할 수 있다.Here, the object recognizing unit may include an artificial neural network.
여기서, 상기 객체 정보 획득 장치는 상기 종류 정보의 정확도가 향상되도록 상기 레이저 모듈의 비출사 타이밍에 상기 대상체로 광을 출사하는 LED 모듈;을 더 포함할 수 있다.The object information acquisition apparatus may further include an LED module that emits light to the object at a non-emission timing of the laser module so that the accuracy of the type information is improved.
여기서, 상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 컨트롤러는 상기 객체 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성할 수 있다.Here, when the object information obtaining apparatus is installed in a moving object, the controller can generate a traveling control signal for the moving object based on the object information.
여기서, 상기 이동체는 무인 운반차, 이동 로봇, 자동차 및 무인 비행체 중 적어도 하나일 수 있다.Here, the moving body may be at least one of an unmanned vehicle, a mobile robot, an automobile, and an unmanned aerial vehicle.
다른 일 실시예에 따르면, 주변을 촬상하는 카메라 모듈 및 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈을 포함하는 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 방법으로서, 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계; 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계; 상기 획득된 거리 정보에 기초하여 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 미리 정해진 거리 이내인지 판단하는 단계; 및 상기 판단 결과 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 상기 미리 정해진 거리 이내인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided an object information acquiring apparatus including a camera module for capturing a periphery, and an object information acquiring device including a laser module arranged to be spaced apart from the camera module in the vertical axis direction and emitting a laser beam in a line shape extending in the horizontal axis direction A method of acquiring object information, the method comprising: acquiring a plurality of images, the camera module including a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module; Obtaining distance information about a target included in the first image based on a position of the laser beam along the vertical axis direction received on the first image; Determining whether a distance from the object information obtaining apparatus to the object is within a predetermined distance based on the obtained distance information; And acquiring category information on a target object included in the second image based on the pixel value of the second image when the distance from the object information obtaining device to the target object is within the predetermined distance as a result of the determination ; ≪ / RTI >
여기서, 상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 객체 정보 획득 방법은 상기 획득되는 거리 정보 및 종류 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성하는 단계;를 더 포함할 수 있다.If the object information obtaining apparatus is installed in a moving object, the object information obtaining method may further include generating a traveling control signal for the moving object based on the obtained distance information and type information.
또 다른 일 실시예에 따르면, 주변을 촬상하는 카메라 모듈 및 상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈을 포함하는 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 방법으로서, 상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계; 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계; 상기 제2 이미지에 미리 정해진 분류값을 갖는 대상체가 포함되는지 판단하는 단계; 및 상기 제2 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided an object information acquiring apparatus including a camera module for capturing the surroundings and a laser module for emitting a laser beam in the form of a line extending in the vertical axis direction from the camera module in the vertical axis direction A method of acquiring object information, the method comprising: acquiring a plurality of images, the camera module including a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module; Obtaining category information on the object included in the second image based on the pixel value of the second image; Determining whether a target object having a predetermined classification value is included in the second image; And a controller for controlling the distance between the laser beam and the object included in the first image based on the position along the vertical axis direction received on the first image when the object having the predetermined classification value is included in the second image, And acquiring the object information.
여기서, 상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 객체 정보 획득 방법은 상기 획득되는 거리 정보 및 종류 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성하는 단계;를 더 포함할 수 있다.If the object information obtaining apparatus is installed in a moving object, the object information obtaining method may further include generating a traveling control signal for the moving object based on the obtained distance information and type information.
상술한 어느 하나의 객체 정보 획득 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공될 수 있다.A recording medium on which a program for performing any one of the above-described object information acquiring methods is recorded can be provided.
도 1은 일 실시예에 따른 객체 정보 획득 장치를 설명하기 위한 블락도이다.1 is a block diagram for explaining an object information acquiring apparatus according to an embodiment.
도 1을 참조하면, 객체 정보 획득 장치(1000)는 레이저 모듈(100), LED 모듈(200), 카메라 모듈(300) 및 컨트롤러(400)를 포함할 수 있다. 1, an object
이하에서는 객체 정보 획득 장치(1000)의 각 구성에 대하여 상세히 설명한다.Hereinafter, each configuration of the object
레이저 모듈(100)은 대상체를 향해 레이저 빔을 출사할 수 있다.The
레이저 모듈(100)은 다양한 형상의 레이저 빔을 출사할 수 있다. 예를 들어, 레이저 모듈(100)은 일 축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사할 수 있다. 또는, 레이저 모듈(100)은 평면 형태의 레이저 빔을 출사할 수 있다.The
레이저 모듈(100)은 광원 유닛(110) 및 스캐닝 유닛(120)을 포함할 수 있다.The
광원 유닛(110)은 레이저 모듈(100)로부터 출사되는 레이저 빔을 생성할 수 있다. The light source unit 110 may generate a laser beam emitted from the
광원 유닛(110)은 다양한 종류의 광원으로 제공될 수 있다. 예를 들어, 광원 유닛(110)은 레이저 다이오드(Laser Diode) 및 빅셀(VCSEL: Vertical Cavity Surface Emitting Laser)로 제공될 수 있다.The light source unit 110 may be provided with various kinds of light sources. For example, the light source unit 110 may be provided with a laser diode and a vertical cavity surface emitting laser (VCSEL).
광원 유닛(110)은 다양한 형태로 제공될 수 있다. 예를 들어, 광원 유닛(110)은 어레이 형태로 배열되는 복수의 레이저 다이오드(Laser Diode)로 제공될 수 있다.The light source unit 110 may be provided in various forms. For example, the light source unit 110 may be provided as a plurality of laser diodes arranged in an array form.
광원 유닛(110)은 다양한 파장을 갖는 레이저 빔을 생성할 수 있다. 예를 들어, 광원 유닛(110)은 850nm, 905nm, 1550nm의 파장을 갖는 레이저 빔을 생성할 수 있다.The light source unit 110 may generate a laser beam having various wavelengths. For example, the light source unit 110 may generate a laser beam having a wavelength of 850 nm, 905 nm, and 1550 nm.
스캐닝 유닛(120)은 광원 유닛(110)으로부터 생성되는 레이저 빔으로부터 출사 빔을 형성할 수 있다. 예를 들어, 스캐닝 유닛(120)은 광원 유닛(110)으로부터 생성되는 포인트 형태의 레이저 빔으로부터 라인 형태의 레이저 빔을 형성할 수 있다.The scanning unit 120 may form an output beam from the laser beam generated from the light source unit 110. [ For example, the scanning unit 120 may form a laser beam in the form of a line from a point-shaped laser beam generated from the light source unit 110. [
스캐닝 유닛(120)은 다양한 광학 구성을 포함할 수 있다. 예를 들어, 스캐닝 유닛(120)은 평행광을 형성하는 콜리메이터(collimator)를 포함할 수 있다. 또는, 스캐닝 유닛(120)은 광원 유닛(110)으로부터 생성된 레이저 빔을 일축 또는 이축 방향으로 확산시키는 렌즈를 포함할 수 있다. 또한, 스캐닝 유닛(120)은 광원 유닛(110)으로부터 생성된 레이저 빔을 반사함으로써 상기 레이저 빔의 출사 방향을 형성하는 미러를 포함할 수 있다. 그 외에도, 스캐닝 유닛(120)은 나노 기둥을 포함하는 메타 표면(metasurface) 등 다양한 광한 구성을 포함할 수 있다.The scanning unit 120 may include various optical configurations. For example, the scanning unit 120 may include a collimator that forms parallel light. Alternatively, the scanning unit 120 may include a lens for diffusing the laser beam generated from the light source unit 110 in the uniaxial or biaxial direction. In addition, the scanning unit 120 may include a mirror which forms the direction of emission of the laser beam by reflecting the laser beam generated from the light source unit 110. [ In addition, the scanning unit 120 may include various optical configurations, such as a metasurface including nano pillars.
LED 모듈(200)은 대상체를 향해 광을 출사할 수 있다.The
LED 모듈(200)은 다양한 파장의 광을 출사할 수 있다. 예를 들어, LED 모듈(200)은 850nm, 905nm, 1550nm의 파장의 광을 출사할 수 있다.The
LED 모듈(200)은 다양한 형태로 제공될 수 있다. 예를 들어, LED 모듈(200)은 어레이 형태로 배열되는 복수의 LED 소자로 제공될 수 있다. 또는, LED 모듈(200)은 불규칙적인 형태로 배열되는 복수의 LED 소자로 제공될 수 있다.The
카메라 모듈(300)은 객체 정보 획득 장치(1000)의 주변을 촬상할 수 있다. 이에 따라, 카메라 모듈(300)은 객체 정보 획득 장치(1000)의 주변을 촬상한 이미지를 획득할 수 있다.The
카메라 모듈(300)은 광을 감지하는 센싱 유닛(310) 및 센싱 유닛(310)으로 광을 안내하는 수광 렌즈(320)를 포함할 수 있다. The
센싱 유닛(310)은 다양한 종류의 센서 소자를 포함할 수 있다. 예를 들어, 센싱 유닛(310)은 CCD(Charge Coupled Device) 및 CMOS(Complimentary Metal Oxide Semiconductor)를 포함할 수 있다. 또는, 센싱 유닛(310)은 SPAD(Single-Photon Avalanche Didoe) 및 포토다이오드(Photodiode)를 포함할 수 있다.The
센싱 유닛(310)은 다양한 물질로 구성될 수 있다. 예를 들어, 센싱 유닛(310)은 Silicon, Germanium, InGaAs로 구성될 수 있다. 이에 따라, 센싱 유닛(310)의 수광 감도가 최대가 되는 파장대역이 달라질 수 있다.The
센싱 유닛(310)은 광 신호로부터 전기 신호를 생성할 수 있다.The
센싱 유닛(310)은 레이저 모듈(100)로부터 출사된 후 대상체로부터 반사되는 레이저 빔을 수신할 수 있다. 이에 따라, 센싱 유닛(310)은 상기 수신되는 레이저 빔이 포함된 이미지를 획득할 수 있다.The
카메라 모듈(300)은 필터를 포함할 수 있다. 상기 필터는 다양한 종류로 제공될 수 있다. 예컨대, 카메라 모듈(300)은 적외선 필터 및 가시광 필터를 포함할 수 있다.The
카메라 모듈(300)은 광 개폐부를 포함하는 광학 셔터를 포함할 수 있다.The
컨트롤러(400)는 레이저 모듈(100), LED 모듈(200) 및 카메라 모듈(300)을 각각 제어할 수 있다.The
컨트롤러(400)는 레이저 모듈(100)로부터 출사되는 레이저 빔의 출사 타이밍, 세기, 출사 주기(pulse rate)를 제어할 수 있다.The
컨트롤러(400)는 LED 모듈(200)로부터 출사되는 광의 출사 타이밍, 세기, 출사 주기를 제어할 수 있다.The
컨트롤러(400)는 카메라 모듈(300)의 수광 감도를 제어할 수 있다. 예를 들어, 컨트롤러(400)는 센싱 유닛(310)의 이득값 또는 문턱값을 제어할 수 있다. The
컨트롤러(400)는 카메라 모듈(300)로부터 카메라 모듈(300)이 촬상한 이미지를 획득할 수 있다. The
컨트롤러(400)는 상기 획득된 이미지에 포함된 대상체의 종류 정보를 획득할 수 있다. 예를 들어, 컨트롤러(400)는 상기 획득된 이미지의 픽셀값에 기초하여 상기 대상체의 종류 정보를 획득할 수 있다. The
컨트롤러(400)는 다양한 방식으로 상기 대상체의 종류 정보를 획득할 수 있다. 예를 들어, 컨트롤러(400)는 룩업 테이블(Look-Up Table)에 기초하여 종류 정보를 획득할 수 있다. 여기서, 상기 룩업 테이블은 상기 획득된 이미지의 픽셀값 또는 인텐시티에 기초하여 구비될 수 있다.The
또는, 컨트롤러(400)는 이미지 인식 동작을 수행하도록 학습된 인공신경망(NN: Neural Network)을 이용하여 상기 대상체의 종류 정보를 획득할 수 있다.Alternatively, the
한편, 컨트롤러(400)는 상기 획득된 이미지에 대한 전처리 동작을 수행할 수 있다. 예를 들어, 상기 전처리 동작은, 엣지 검출(Edge detection), 블러링(Blurring), 샤프닝(Sharpening) 및 RGB 정규화(RGB normalization)를 포함할 수 있다.Meanwhile, the
컨트롤러(400)는 상기 전처리 동작을 통해 획득되는 이미지에 기초하여 상기 대상체의 종류 정보를 획득할 수 있다.The
한편, 도시되지 않았으나, 객체 정보 획득 장치(1000)는 통신 모듈을 포함할 수 있다. 컨트롤러(400)는 상기 통신 모듈을 통해 외부 서버로부터 상기 대상체의 종류 정보를 획득할 수 있다. 이 때, 상기 대상체의 종류 정보 획득하는 동작은 상기 서버에서 수행될 수 있다.Meanwhile, although not shown, the object
컨트롤러(400)는 레이저 모듈(100)로부터 출사되어 대상체로부터 반사된 후 카메라 모듈(300)에 의해 수신된 레이저 빔에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다. The
예를 들어, 컨트롤러(400)는 카메라 모듈(300)로부터 획득되는 이미지 상의 상기 수신된 레이저 빔의 위치에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다. 이 때, 컨트롤러(400)는 카메라 모듈(300)의 설치 위치, 자세 및 센싱 유닛(310)의 지면으로부터의 각도 등을 고려하여 상기 대상체의 거리 정보를 획득할 수 있다.For example, the
또는, 컨트롤러(400)는 상기 레이저 빔의 수신 시점에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다. 구체적으로, 컨트롤러(400)는 레이저 모듈(100)로부터 출사되는 출사 시점 및 카메라 모듈(300)로 수신되는 수신 시점의 차이에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다.Alternatively, the
또한, 컨트롤러(400)는 상기 레이저 빔의 위상 차이에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다. 구체적으로, 컨트롤러(400)는 레이저 모듈(100)로부터 출사되는 레이저 빔의 위상 및 카메라 모듈(300)로 수신되는 레이저 빔의 위상의 차이에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다.In addition, the
한편, 콘트롤러(400)는 MCU(Micro Controller Unit), CPU로 제공될 수 있다. 다만, 이에 한정되는 것은 아니며, 본 발명에서 수행되는 거리 정보 획득 동작을 수행하는 다양한 칩으로 제공될 수 있다.Meanwhile, the
도 2는 일 실시예에 따른 컨트롤러를 설명하기 위한 블락도이다.2 is a block diagram for explaining a controller according to an embodiment.
컨트롤러(400)는 거리 산출 유닛(410) 및 대상체 인식 유닛(420)을 포함할 수 있다.The
거리 산출 유닛(410)은 다양한 방식으로 대상체의 거리 정보를 산출할 수 있다. 예를 들어, 거리 산출 유닛(410)은 삼각측량법(Triangulation)에 기초하여 대상체의 거리 정보를 산출할 수 있다. 또는, 거리 산출 유닛(410)은 비행 시간 측정법(TOF: Time Of Flight), 위상 천이법(PS: Phase Shift) 및 주파수 변조 연속파법(FMCW: Frequency Modulated Continuous Wave)에 기초하여 대상체의 거리 정보를 산출할 수 있다.The
컨트롤러(400)는 카메라 모듈(300)이 촬상한 이미지를 획득할 수 있다. 예를 들어, 컨트롤러(400)는 카메라 모듈(300)이 레이저 모듈(100)의 출사 타이밍에 촬상한 제1 이미지(레이저 포함) 및 레이저 모듈(100)의 비출사 타이밍에 촬상한 제2 이미지(레이저 불포함)를 획득할 수 있다.The
거리 산출 유닛(410)은, 상기 획득된 이미지가 상기 제1 이미지인 경우, 레이저 모듈(100)로부터 출사된 레이저 빔이 상기 제1 이미지 상에서 수신된 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 산출할 수 있다. The
구체적으로, 거리 산출 유닛(410)은 상기 수신된 레이저 빔의 픽셀 위치를 검출하고, 상기 검출된 픽셀 위치에 기초하여 상기 대상체의 거리를 산출할 수 있다. 거리 산출 유닛(410)은 상기 제1 이미지의 픽셀값의 크기에 기초하여 상기 레이저 빔의 픽셀 위치를 검출할 수 있다. 또는, 거리 산출 유닛(410)은 상기 제1 이미지에서 특정 영역의 광량 세기가 다른 영역의 광량 세기보다 큰 경우, 해당 영역을 픽셀의 위치 정보를 검출할 수 있다.Specifically, the
한편, 상기 제1 이미지는 LED 모듈(200)의 비출사 타이밍에 촬상된 이미지일 수 있다. 이에 따라, 상기 거리 정보의 정확도가 향상될 수 있다. 이는, 상기 레이저 빔의 픽셀 위치를 검출함에 있어서, LED 모듈(200)로부터 출사되는 광은 노이즈가 될 수 있기 때문이다. 즉, 레이저 모듈(100)로부터 출사되는 레이저 빔을 제외한 광에 의한 Meanwhile, the first image may be an image captured at a non-emission timing of the
대상체 인식 유닛(420)은, 상기 획득된 이미지가 상기 제2 이미지인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득할 수 있다. 예를 들어, 대상체 인식 유닛(420)은 상기 제2 이미지의 인텐시티에 기초하여 상기 종류 정보를 획득할 수 있다. 또는, 대상체 인식 유닛(420)은 상기 제2 이미지의 RGB 값에 기초하여 상기 종류 정보를 획득할 수 있다.The
한편, 상기 제2 이미지는 LED 모듈(200)의 출사 타이밍에 촬상된 이미지일 수 있다. 이에 따라, 상기 종류 정보의 정확도가 향상될 수 있다. 이는, LED 모듈(200)에 의해 상기 제2 이미지의 픽셀값이 증가할 수 있기 때문이다.Meanwhile, the second image may be an image captured at the emission timing of the
예를 들어, 야간의 경우, 센싱 유닛(320)이 획득하는 광 신호의 크기 대상체를 인식하기에 충분치 못할 수 있다. 이 경우, 대상체 인식 유닛(420)의 대상체 인식률이 감소할 수 있다. 즉, 상기 대상체에 관한 종류 정보의 정확도가 감소할 수 있다. For example, at night, the
이 때, LED 모듈(200)이 상기 대상체를 향해 광을 출사함에 따라 상기 제2 이미지의 픽셀값이 증가할 수 있다. 이에 따라, 대상체 인식 유닛(420)의 대상체 인식률이 증가할 수 있다. 즉, 상기 대상체에 관한 종류 정보의 정확도가 증가할 수 있다.At this time, the pixel value of the second image may increase as the
한편, 대상체 인식 유닛(420)은 상기 제1 이미지에 기초하여 상기 제1 이미지에 포함된 대상체의 종류 정보를 획득할 수도 있다. 다만, 이 경우 상기 제2 이미지를 기초로 종류 정보를 획득하는 경우보다 상기 종류 정보의 정확도가 감소할 수 있다. 이는, 대상체를 인식함에 있어서, 레이저 모듈(100)로부터 출사되는 레이저 빔은 노이즈가 될 수 있기 때문이다.On the other hand, the
대상체 인식 유닛(420)은 다양한 방식으로 대상체에 관한 종류 정보를 획득할 수 있다. 예를 들어, 대상체 인식 유닛(420)은 학습된 인공신경망을 이용하여 상기 대상체를 인식할 수 있다. The
상기 인공신경망은 다양한 신경망을 포함할 수 있다. 예컨대, 인공신경망은 필터를 이용해 특징을 추출하는 합성곱신경망(CNN: Convolution Neural Network)을 포함할 수 있다. 또는, 인공신경망은 노드의 출력이 다시 입력으로 피드백되는 구조를 갖는 순환인공신경망(RNN: Recurrent Neural Network)을 포함할 수 있다. 그 외에도, 인공신경망은 제한된 볼츠만 머신(RBM: Restricted Boltzmann Machine), 심층신뢰신경망(DBN: Deep Belief Network), 생성대립신경망(GAN: Generative Adversarial Network), 관계형 네트워크(RN: Relation Networks) 등 다양한 종류의 신경망을 포함할 수 있다.The artificial neural network may include various neural networks. For example, an artificial neural network may include a Convolution Neural Network (CNN) that extracts features using a filter. Alternatively, the artificial neural network may include a Recurrent Neural Network (RNN) having a structure in which the output of the node is fed back to the input. In addition, artificial neural networks can be applied to various types of networks such as Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Generative Adversarial Network (GAN) and Relational Networks (RN) Of neural networks.
인공신경망은 다양한 방법으로 학습(learning)될 수 있다. 예를 들어, 인공신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning)을 포함할 수 있다. 그 외에도, 인공신경망은 다양한 종류의 학습 방법을 통해 학습될 수 있다.Artificial neural networks can be learned in various ways. For example, an artificial neural network may include supervised learning, unsupervised learning, reinforcement learning, and imitation learning. In addition, artificial neural networks can be learned through a variety of learning methods.
도 3은 일 실시예에 따른 객체 정보 획득 장치의 거리 정보 획득 방법을 설명하기 위한 도면이다. 3 is a diagram for explaining a distance information obtaining method of an object information obtaining apparatus according to an embodiment.
레이저 모듈(100)은 제1 대상체(Ob1) 및 제1 대상체(Ob1)보다 객체 정보 획득 장치(1000)로부터 멀리 떨어진 제2 대상체(Ob2)로 레이저 빔을 출사할 수 있다.The
카메라 모듈(300)은 레이저 모듈(100)로부터 출사된 후 제1 대상체(Ob1)로부터 반사되는 제1 레이저 빔 및 레이저 모듈(100)로부터 출사된 후 제2 대상체(Ob2)로부터 반사되는 제2 레이저 빔을 획득할 수 있다.The
상기 제1 레이저 빔 및 상기 제2 레이저 빔은 수광 렌즈(320)를 통과한 후 센싱 유닛(310)에 의해 수신될 수 있다.The first laser beam and the second laser beam may be received by the
컨트롤러(400)는 상기 제1 레이저 빔이 센싱 유닛(310)상에 수신되는 위치인 제1 지점(P1)의 좌표를 획득할 수 있다.The
컨트롤러(400)는 상기 제1 지점(P1)의 좌표에 기초하여 제1 대상체(Ob1)의 거리 정보를 획득할 수 있다. 예를 들어, 상기 거리 정보는 레이저 모듈(100)로부터 제1 대상체(Ob1)까지의 거리를 의미할 수 있다.The
이 때, 컨트롤러(400)는 레이저 모듈(100) 및 카메라 모듈(300)의 수직축 방향에 따른 간격, 상기 수직축으로부터 센싱 유닛(310)이 경사진 각도, 센싱 유닛(310)과 수광 렌즈(320) 사이의 거리 및 센싱 유닛(310)의 크기를 고려하여 제1 대상체(Ob1)의 거리 정보를 산출할 수 있다.At this time, the
제1 대상체(Ob2)와 마찬가지로, 컨트롤러(400)는 상기 제2 레이저 빔이 센싱 유닛(310)상에 수신되는 위치인 제2 지점(P2)의 좌표에 기초하여 제2 대상체(Ob2)의 거리 정보를 산출할 수 있다.The
도 3에 도시된 바와 같이, 제1 지점(P1)은 제2 지점(P2)보다 레이저 모듈(100)로부터 멀리 떨어져 있을 수 있다. 즉, 센싱 유닛(310)상에 수신되는 레이저 빔의 위치가 레이저 모듈(100)로부터 멀수록, 상기 레이저 빔을 반사한 대상체로부터 객체 정보 획득 장치까지의 거리는 가까울 수 있다.As shown in FIG. 3, the first point P1 may be further away from the
도 4는 일 실시예에 따른 객체 정보 획득 장치가 도시된 입체도이다.4 is a stereoscopic view illustrating an object information acquisition apparatus according to an embodiment.
도 4를 참조하면, 객체 정보 획득 장치(1000)는 레이저 모듈(100), LED 모듈(200) 및 카메라 모듈(300)을 포함할 수 있다.Referring to FIG. 4, the object
한편, 레이저 모듈(100), LED 모듈(200) 및 카메라 모듈(300)은 도 1 내지 도 3에서 설명한 구성과 동일하거나 대응될 수 있다. 따라서 이에 대한 상세한 설명은 생략하기로 한다.The
객체 정보 획득 장치(1000)는 평판 형태의 기판(500) 및 상기 기판(500)과 평행하게 배치되며 평판 형태로 제공되는 베이스(600)를 포함할 수 있다.The object
상기 기판(500)은 수직축(V)에 대응되는 세로축 방향의 길이가 수평축(H)에 대응되는 가로축 방향의 길이보다 크도록 형성될 수 있다.The
기판(500)은 베이스(600)와 평행하게 베이스(600)에 결착될 수 있다.The
베이스(600)는 적어도 하나 이상의 연결홈을 포함할 수 있다.The base 600 may include at least one connection groove.
객체 정보 획득 장치(1000)가 이동체에 설치되는 경우, 객체 정보 획득 장치(1000)는 상기 연결홈을 통해 상기 이동체에 설치될 수 있다.When the object
레이저 모듈(100)은 기판(500)에 설치될 수 있다. 예를 들어, 레이저 모듈(100)은 카메라 모듈(300)로부터 수직축(V)을 따라 이격 배치될 수 있다.The
레이저 모듈(100)은 다양한 형상의 레이저 빔을 출사할 수 있다. 예를 들어, 레이저 모듈(100)은 수평축(H) 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사할 수 있다.The
카메라 모듈(300)은 기판(500)에 설치될 수 있다. 예를 들어, 카메라 모듈(300)은 레이저 모듈(100)로부터 수직축(V)을 따라 이격 배치될 수 있다.The
LED 모듈(200)은 기판(500)에 설치될 수 있다. The
LED 모듈(200)은 다양한 위치에 배치될 수 있다. 예를 들어, LED 모듈(200)은 레이저 모듈(100)과 카메라 모듈(300) 사이에 배치될 수 있다. 이 때, 레이저 모듈(100), LED 모듈(200) 및 카메라 모듈(300)은 상기 수직축 방향에 따른 가상의 직선상에 위치하도록 배치될 수 있다.The
또는, LED 모듈(200)은 카메라 모듈(300)을 둘러 싸는 형태로 배치될 수 있다.Alternatively, the
한편, LED 모듈(200)은 레이저 모듈(100)보다 카메라 모듈(300)에 가까이 위치하도록 배치될 수 있다.Meanwhile, the
도 5는 일 실시예에 따른 객체 정보 획득 장치가 도시된 측면도이다.5 is a side view of an apparatus for acquiring object information according to an embodiment of the present invention.
도 5를 참조하면, 객체 정보 획득 장치(1000)는 레이저 모듈(100), LED 모듈(200), 카메라 모듈(300), 기판(500) 및 베이스(600)를 포함할 수 있다. 또한, 도시되지 않았으나, 객체 정보 획득 장치(1000)는 컨트롤러(400)를 포함할 수 있다.5, the object
한편, 상기 객체 정보 획득 장치(1000)의 각 구성들은 도 1 내지 도 4에서 설명한 구성과 동일하거나 대응될 수 있다. 따라서 이에 대한 상세한 설명은 생략하기로 한다.Each of the configurations of the object
레이저 모듈(100)은 기판(500)의 상단에 배치될 수 있다.The
레이저 모듈(100)은 라인 형태의 레이저 빔을 출사할 수 있다. 구체적으로, 레이저 모듈(100)은 상기 수직축(V) 및 상기 수평축(H)과 수직인 기준축을 따라 연장되는 라인 형태의 레이저 빔을 출사할 수 있다. The
따라서, 상기 수직축(V) 방향에서 바라 볼 때, 상기 출사되는 레이저 빔은 상기 수평축(H)과 수직인 라인 형태로 형성될 수 있다. 마찬가지로, 상기 수평축(H) 방향에서 바라 볼 때, 상기 출사되는 레이저 빔은 상기 수직축(V)과 수직인 라인 형태로 형성될 수 있다.Therefore, when viewed from the vertical axis (V), the emitted laser beam may be formed in a line shape perpendicular to the horizontal axis (H). Similarly, when viewed from the horizontal axis (H), the emitted laser beam may be formed in a line shape perpendicular to the vertical axis (V).
광원 유닛(110)은 기판(500)과 수직하게 설치될 수 있다. 이에 따라, 광원 유닛(110)은 기판(500)과 수직인 방향으로 레이저 빔을 출사할 수 있다. The light source unit 110 may be installed perpendicular to the
이 때, 광원 유닛(110)으로부터 출사되는 레이저 빔은 스캐닝 유닛(120)에 반사된 후 기판(500)과 수직인 방향으로 출사될 수 있다. 여기서, 스캐닝 유닛(120)은 미러로 제공될 수 있다. 또한, 광원 유닛(110)으로부터 출사되는 레이저 빔은 렌즈 또는 프리즘을 통과한 후 기판(500)과 수직인 방향으로 출사될 수 있다. At this time, the laser beam emitted from the light source unit 110 can be emitted in a direction perpendicular to the
한편, 광원 유닛(110)이 반드시 기판(500)과 수직인 방향으로 레이저 빔을 출사하는 것은 아니다. 예컨대, 광원 유닛(110)은 기판(500)과 수평인 방향으로 레이저 빔을 출사하고, 스캐닝 유닛(120)이 상기 수평인 방향으로 출사되는 레이저 빔을 기판(500)과 수직인 방향으로 굴절시킬 수 있다. 이에 따라, 레이저 모듈(100)로부터 출사된 레이저 빔은, 측면에서 볼 때, 기판(500)과 수직인 방향으로 출사될 수 있다.On the other hand, the light source unit 110 does not necessarily emit a laser beam in a direction perpendicular to the
카메라 모듈(300)은 기판(500)의 하단에 배치될 수 있다.The
카메라 모듈(300)은 상기 대상체로부터 반사되는 레이저 빔을 수신할 수 있다.The
카메라 모듈(300)은 수직축(V) 방향을 따라 어레이 형태로 배열되는 센싱 유닛(310)을 포함할 수 있다. 예를 들어, 센싱 유닛(310)은 APD(Avalanche Photo-Diode)로 제공될 수 있다.The
수광 렌즈(320)는 기판(500)과 평행하게 배치될 수 있다. 즉, 수광 렌즈(320)는 기판(500)의 중심축이 기판(500)과 수직하도록 배치될 수 있다.The
또는, 수광 렌즈(320)는, 측면에서 볼 때, 그 중심축이 수평축(H)으로부터 레이저 모듈(100) 측으로 경사지도록 배치될 수 있다.Alternatively, the
LED 모듈(200)은 레이저 모듈(100) 및 카메라 모듈(300) 사이에 배치될 수 있다.The
컨트롤러(400)는 레이저 모듈(100)로부터 출사된 후 대상체로부터 반사되는 레이저 빔이 센싱 유닛(310)상에 수신되는 위치에 기초하여 상기 대상체의 거리 정보를 획득할 수 있다. 구체적으로, 컨트롤러(400)는 수직축(V) 방향에 따른 상기 수신되는 레이저 빔의 수신 위치에 기초하여 상기 대상체의 거리 정보를 산출할 수 있다.The
한편, 도 5에서는 카메라 모듈(300)이 상기 대상체로부터 반사되는 레이저 빔을 곧바로 수신하는 것으로 도시되어있으나, 이에 한정되는 것은 아니다. 예를 들어, 카메라 모듈(300)은 레이저 모듈(100)로부터 출사된 후 상기 대상체로부터 반사된 후 객체 정보 획득 장치(1000)에 포함된 미러에 반사된 레이저 빔을 수신할수도 있다.5, the
도 6 내지 도 10은 여러 실시예에 따른 객체 정보 획득 장치에 의해 수행되는 객체 정보 획득 동작을 설명하기 위한 도면이다.6 to 10 are views for explaining an object information acquisition operation performed by the object information acquisition apparatus according to various embodiments.
구체적으로, 도 6은 레이저 모듈(100)의 출사 타이밍에 카메라 모듈(300)이 촬상한 제1 이미지이다. 상기 출상 타이밍이란, 레이저 모듈(100)로부터 레이저 빔이 출사되는 시점을 의미할 수 있다.6 is a first image captured by the
상기 제1 이미지는 레이저 모듈(100)로부터 출사되어 복수의 타겟(10, 20, 30)으로부터 반사된 후 카메라 모듈(300)로 수신된 레이저 빔에 대응되는 레이저 빔 이미지를 포함할 수 있다.The first image may include a laser beam image corresponding to a laser beam emitted from the
컨트롤러(400)는 상기 제1 이미지를 획득할 수 있다. The
거리 산출 유닛(410)은 상기 제1 이미지에 포함된 타겟들(10, 20, 30)에 관한 거리 정보를 획득할 수 있다. 거리 산출 유닛(410)은 상기 제1 이미지상의 수직축 방향에 따른 상기 레이저 빔 이미지의 위치에 기초하여 상기 거리 정보를 획득할 수 있다.The
예를 들어, 거리 산출 유닛(410)은 상기 레이저 빔 이미지의 픽셀의 위치를 검출할 수 있다. 거리 산출 유닛(410)은 상기 검출된 픽셀의 위치에 기초하여 상기 타겟(10, 20, 30)에 관한 거리 정보를 산출할 수 있다.For example, the
대상체 인식 유닛(420)은 상기 타겟(10, 20, 30)에 관한 종류 정보를 획득할 수 있다. 예를 들어, 대상체 인식 유닛(420)은 상기 제1 이미지의 픽셀값에 기초하여 상기 종류 정보를 획득할 수 있다. 한편, 대상체 인식 유닛(420)의 종류 정보 획득 방법에 관해서는, 도 1 내지 도 5에서 설명한 내용이 그대로 적용될 수 있으므로, 이에 대한 상세한 설명은 생략한다.The
컨트롤러(400)는 상기 획득된 종류 정보에 기초하여 상기 타겟(10, 20, 30)을 소정의 분류값으로 분류할 수 있다. 예를 들어, 사람인 제1 타겟(10) 및 의자인 제3 타겟(30)은 장애물에 대응되는 분류값으로 분류되고, 충전소인 제2 타겟(20)은 상기 분류값과 상이한 별도의 분류값으로 분류될 수 있다. 여기서, 상기 제2 타겟(20)은 객체 정보 획득 장치(1000)가 설치된 이동체의 충전을 위한 장치 또는 장소를 의미할 수 있다.The
상기 장애물에 대응되는 분류값은 그 특성에 따라 다시 재분류될 수 있다. 예를 들어, 상기 장애물에 대응되는 분류값은 위험도에 따라 여러 분류값으로 분류될 수 있다. 또는, 상기 장애물에 대응되는 분류값은 이동체인지 여부에 따라 분류될 수 있다. 예를 들어, 이동체인 제1 타겟(10)의 분류값은 고정물체인 제3 타겟(30)의 분류값과 상이할 수 있다.The classification value corresponding to the obstacle can be reclassified again according to the characteristic. For example, the classification value corresponding to the obstacle can be classified into various classification values according to the risk. Alternatively, the classification values corresponding to the obstacles may be classified according to whether they are moved or not. For example, the classification value of the
한편, 종래의 거리 측정 센서로는 대상체 인식이 불가능하여 상기 거리 측정 센서가 탑재된 이동체의 효율적인 주행이 불가능하다는 문제점이 있었다. 예를 들어, 상기 거리 측정 센서가 무인 운반차(AGV: Automated Guided Vehicle)나 로봇 청소기에 탑재되는 경우, 상기 제1 이미지의 제2 타겟(20)이 장애물로 검출되어, 상기 무인 운반차 또는 상기 로봇 청소기가 제2 타겟(20)을 일괄적으로 우회할 수 있다.On the other hand, the conventional distance measuring sensor has a problem in that the object can not be recognized and the moving object on which the distance measuring sensor is mounted can not be efficiently traveled. For example, when the distance measuring sensor is mounted on an AGV (Automatic Guided Vehicle) or a robot cleaner, the
또한, 종래의 이미지 센서로는 대상체에 관한 정확한 거리 측정이 불가능하다는 문제점이 있었다.In addition, the conventional image sensor has a problem that it is impossible to accurately measure the distance with respect to the object.
반면에, 객체 정보 획득 장치(1000)는 상기 타겟(10, 20, 30)에 관한 정확한 거리 정보뿐만 아니라 종류 정보를 함께 획득할 수 있다. 이에 따라, 객체 정보 획득 장치(1000)가 무인 운반차나 로봇 청소기에 설치되는 경우, 상기 무인 운반차 및 상기 로봇 청소기의 효율적인 주행이 가능해질 수 있다.On the other hand, the object
예를 들어, 객체 정보 획득 장치(1000)가 설치된 무인 운반차는 제2 타겟(20)을 장애물로 인식하여 일괄적으로 우회하는 것이 아니라, 획득된 제2 타겟(20)에 관한 종류 정보에 기초하여 제2 타겟(20)으로 진입할 수 있다. 이에 따라, 상기 무인 운반차는 제2 타겟(20)에서 재충전될 수 있다.For example, the automatic guided vehicle equipped with the object
컨트롤러(400)는 획득된 객체 정보에 기초하여, 객체 정보 획득 장치(1000)가 설치된 이동체의 주행을 제어하는 주행 제어 신호를 생성할 수 있다. 예를 들어, 컨트롤러(400)는, 상기 이동체 주변의 장애물이 검출된 경우, 상기 이동체가 상기 장애물을 우회하는 주행 신호를 생성할 수 있다.The
한편, 종래의 일차원 거리 측정 센서로는 효율적인 주행 신호 생성이 불가능할 수 있다. 예를 들어, 상기 거리 측정 센서가 제1 타겟(10)을 감지하는 경우, 상기 거리 측정 센서가 탑재된 이동체는 제1 타겟(10) 두 발 또는 다리를 별개의 장애물로 인식할 수 있다. 이에 따라, 상기 거리 측정 센서가 탑재된 이동체의 폭이 제1 타겟(10)의 두 발 사이의 간격보다 작은 경우, 상기 이동체가 제1 타겟(10)의 두 발 사이를 통과하는 주행 신호가 생성될 수 있다. 이는 제1 타겟(10)의 특성 내지 종류를 고려하지 않은 주행 신호로서, 제1 타겟(10)이 움직임에 따라 상기 이동체와 충돌이 발생할 수 있는 문제점이 있다.On the other hand, an efficient traveling signal generation may not be possible with the conventional one-dimensional distance measuring sensor. For example, when the distance measuring sensor senses the
반면에, 객체 정보 획득 장치(1000)는 제1 타겟(10)에 관한 종류 정보를 획득할 수 있으므로, 컨트롤러(400)는 상기 종류 정보에 기초하여 객체 정보 획득 장치(1000)가 설치된 이동체가 제1 타겟(10)의 두 발 사이를 통과하지 않고, 제1 타겟(10)을 우회하는 주행 신호를 생성할 수 있다.On the other hand, the object
또한, 객체 정보 획득 장치(1000)는 카메라 모듈(300)을 통해 획득되는 이미지에 포함되는 대상체의 높이, 폭 및 크기를 고려하여 상기 이동체의 주행 신호를 생성할 수 있다.The object
한편, 대상체 인식 유닛(420)이 상기 레이저 빔 이미지를 기초로 거리 정보를 산출하는 경우, 상기 제1 이미지 중 상기 레이저 빔 이미지를 제외한 나머지 이미지는 노이즈가될 수 있다. 상기 나머지 이미지는 영상 이미지를 의미할 수 있다.On the other hand, when the
따라서, 컨트롤러(400)는 상기 거리 정보의 정확도를 향상시키기 위해, 상기 제1 이미지로부터 상기 노이즈의 세기가 저감된 제2 이미지를 획득할 수 있다.Thus, the
도 7은 상기 제2 이미지가 도시된 도면이다.7 is a view showing the second image.
예를 들어, 컨트롤러(400)는 센싱 유닛(310)의 문턱값을 조절함으로써 상기 제1 이미지로부터 상기 제2 이미지를 생성할 수 있다.For example, the
또는, 컨트롤러(400)는 상기 제1 이미지에서 상기 나머지 이미지를 블러 (blur)처리함으로써 상기 제1 이미지로부터 상기 제2 이미지를 생성할 수 있다.Alternatively, the
거리 산출 유닛(410)은 도 6에서와 마찬가지로 상기 제2 이미지에 포함된 타겟(10, 20, 30)의 거리 정보를 획득할 수 있다.The
상기 제2 이미지로부터 획득되는 제2 거리 정보의 정확도는 상기 제1 이미지로부터 획득되는 제1 거리 정보의 정확도보다 클 수 있다.The accuracy of the second distance information obtained from the second image may be greater than the accuracy of the first distance information obtained from the first image.
한편, 컨트롤러(400)는 레이저 모듈(100)의 비출사 타이밍에 카메라 모듈(300)이 촬상한 제3 이미지를 획득할 수 있다. 상기 비출사 타이밍이란, 레이저 모듈(100)로부터 레이저 빔이 출사되지 않는 시점을 의미할 수 있다.On the other hand, the
도 8은 상기 제3 이미지가 도시된 도면이다. 8 is a view showing the third image.
도 8에 도시된 바와 같이, 상기 제3 이미지는 상기 레이저 빔 이미지를 포함하지 않을 수 있다.As shown in FIG. 8, the third image may not include the laser beam image.
컨트롤러(400)는 상기 제3 이미지를 획득할 수 있다. The
대상체 인식 유닛(420)은 상기 제3 이미지에 포함된 타겟들(10, 20, 30)에 관한 종류 정보를 획득할 수 있다. 예를 들어, 대상체 인식 유닛(420)은 상기 제3 이미지의 픽셀값에 기초하여 상기 종류 정보를 획득할 수 있다. 한편, 대상체 인식 유닛(420)의 종류 정보 획득 방법에 관해서는, 도 6 에서 설명한 내용이 그대로 적용될 수 있으므로, 이에 대한 상세한 설명은 생략한다.The
한편, 상기 제3 이미지에 기초하여 획득된 제3 거리 정보의 정확도는 상기 제1 이미지에 기초하여 산출된 제1 거리 정보의 정확도보다 클 수 있다. 이는, 상기 제3 이미지는 대상체 인식 유닛(420)이 타겟(10, 20, 30)에 관한 종류 정보를 획득함에 있어서 노이즈가 될 수 있는 상기 레이저 빔 이미지를 포함하지 않기 때문이다.On the other hand, the accuracy of the third distance information acquired based on the third image may be greater than the accuracy of the first distance information calculated based on the first image. This is because the third image does not include the laser beam image that can become noise in acquiring the type information about the
한편, 주변 환경(예를 들어, 기상 상황)등으로 인해 카메라 모듈(300)로부터 촬상되는 이미지의 픽셀값이 충분하지 못한 경우, 상기 종류 정보의 정확도가 감소할 수 있다.On the other hand, if the pixel value of the image captured from the
컨트롤러(400)는, 상기 종류 정보의 정확도를 향상시키기 위해, LED 모듈(200)을 동작시킬 수 있다.The
컨트롤러(400)는 레이저 모듈(100)의 비출사 타이밍이며, LED 모듈(200)의 출사 타이밍에 카메라 모듈(300)이 촬상한 제4 이미지를 획득할 수 있다. 상기 레이저 모듈(100)의 비출사 타이밍이란, 레이저 모듈(100)로부터 레이저 빔이 출사되지 않는 시점을 의미할 수 있다. 또한, LED 모듈(200)의 출사 타이밍이란, LED 모듈(200)로부터 광이 출사되는 시점을 의미할 수 있다.The
도 9는 상기 제4 이미지가 도시된 도면이다.9 is a view showing the fourth image.
상기 제4 이미지는 상기 제3 이미지에 비해 픽셀값이 클 수 있다.The fourth image may have a larger pixel value than the third image.
픽셀값이 증가된 이미지일 수 있다. 또는, 밝기가 증가된 이미지일 수 있다.The pixel value may be an increased image. Alternatively, the brightness may be increased.
대상체 인식 유닛(420)은 상기 제4 이미지에 기초하여 상기 제4 이미지에 포함된 타겟(10, 20, 30)에 관한 종류 정보를 획득할 수 있다.The
이에 따라, 상기 제4 이미지로부터 획득되는 제4 종류 정보의 정확도는 상기 제3 이미지로부터 획득되는 제3 종류 정보의 정확도보다 클 수 있다.Accordingly, the accuracy of the fourth type information obtained from the fourth image may be greater than the accuracy of the third type information obtained from the third image.
한편, 컨트롤러(400)는 상기 제3 이미지 또는 상기 제4 이미지로부터 타겟(10, 20, 30)의 엣지만 남은 제5 이미지를 획득할 수 있다.On the other hand, the
도 10은 상기 제5 이미지가 도시된 도면이다.10 is a view showing the fifth image.
컨트롤러(400)는 상기 제3 이미지의 픽셀값에 기초하여 상기 제3 이미지에 포함된 타겟의 엣지를 검출할 수 있다. 컨트롤러(400)는 상기 검출된 엣지에 기초하여 상기 제5 이미지를 획득할 수 있다.The
마찬가지로, 컨트롤러(400)는 상기 제4 이미지의 픽셀값에 기초하여 상기 제4 이미지에 포함된 타겟의 엣지를 검출할 수 있다. 컨트롤러(400)는 상기 검출된 엣지에 기초하여 상기 제5 이미지를 획득할 수 있다.Similarly, the
대상체 인식 유닛(420)은 상기 제5 이미지에 기초하여 타겟(10, 20, 30)에 관한 종류 정보를 획득할 수 있다.The
이에 따라, 대상체 인식 유닛(420)으로부터 획득되는 종류 정보의 정확도가 향상될 수 있다.Thus, the accuracy of the category information obtained from the
한편, 상기 도 6 내지 도 10에서, 센싱 유닛(310)의 수광 감도가 최대가 되는 파장 대역은 적외선 대역일 수 있다. 즉, 상기 제1 내지 상기 제5 이미지 각각 적외선 센서에 의해 획득된 이미지일 수 있다. 이 경우, 객체 정보 획득 장치(1000)는 레이저 모듈(100)로부터 출사되는 레이저 빔의 파장 대역에 해당하는 광만을 투과시키고 다른 파장 대역의 광을 차단하는 광학 필터를 포함할 수 있다.6 to 10, the wavelength band at which the light receiving sensitivity of the
또는, 센싱 유닛(310)의 수광 감도가 최대가 되는 파장 대역은 가시광 대역일 수 있다. 즉, 상기 제1 내지 상기 제5 이미지는 가시광 센서에 의해 획득된 이미지일 수 있다. 이 경우, 가시광 대역에 해당하는 광만을 투과시키고 다른 파장 대역의 광을 차단하는 광학 필터를 포함할 수 있다.Alternatively, the wavelength band at which the light receiving sensitivity of the
이상에서는 컨트롤러(400)에 의해 수행되는 객체 정보 획득 방법에 대하여 설명하였다. The object information acquisition method performed by the
상기 컨트롤러(400)에 의해 획득된 객체 정보는, 상기 객체 정보 획득 장치(1000)와 통신하는 외부 디스플레이 장치를 통해 다양한 방법으로 표시될 수 있다.The object information obtained by the
도 11은 일 실시예에 따른 객체 정보가 표시된 디스플레이가 도시된 이미지이다.11 is an image showing a display in which object information is displayed according to an embodiment.
상기 디스플레이 장치는 컨트롤러(400)에 의해 획득된 객체 정보가 포함된 이미지를 출력할 수 있다. 예를 들어, 상기 디스플레이 장치는 도 12과 같이 이동체(M)를 중심으로 한 어라운드뷰를 출력할 수 있다. 객체 정보 획득 장치(1000)는 이동체(M)에 설치될 수 있다. 상기 디스플레이 장치는 이동체(M)에 설치될 수 있다.The display device may output an image including object information obtained by the
상기 어라운드뷰 이미지는 이동체(M)로부터 거리에 따라 다르게 표현될 수 있다. 예를 들어, 객체의 거리는 소정의 범위를 갖는 근거리, 중거리 및 원거리로 분류될 수 있다. 상기 어라운드뷰 이미지는 상기 분류되는 거리에 따라 각각 다른 색상으로 표시되도록 디스플레이될 수 있다.The surround view image may be expressed differently depending on the distance from the moving object M. For example, the distance of an object can be classified into a short range, a medium distance, and a long distance having a predetermined range. The surround view images may be displayed in different colors according to the distances classified.
상기 디스플레이 장치는 상기 객체에 관한 거리 정보 및 종류 정보가 상기 어라운드뷰 이미지상에서 상기 객체의 위치에 표시되도록 디스플레이할 수 있다. 예를 들어, 상기 어라운드뷰 이미지상에서 상기 객체의 위치에 상기 거리 정보 및 종류 정보가 숫자 및 문자로 병기되어 표시될 수 있다.The display device may display the distance information and the category information on the object so that the information is displayed on the object image on the surround view image. For example, the distance information and the category information may be displayed in the form of numbers and letters at the position of the object on the surround view image.
상기 어라운드뷰 이미지는 컨트롤러(400)에 의해 생성될 수 있다. 또는, 상기 어라운드뷰 이미지는 객체 정보 획득 장치(1000)와 통신하는 다른 디바이스에 의해 생성될 수 있다.The surround view image may be generated by the
상기 디스플레이 장치를 통해 출력되는 이미지에는 이동체(M) 주변 객체의 종류 및 거리가 표시될 수 있다.The types and distances of the objects around the moving object M may be displayed on the image output through the display device.
다른 예로, 상기 디스플레이 장치는 카메라 모듈(300)이 획득한 이미지를 기초로 객체 정보를 출력할 수 있다.As another example, the display device may output object information based on the image acquired by the
도 12는 다른 일 실시예에 따른 객체 정보가 표시된 디스플레이가 도시된 이미지이다.12 is an image showing a display in which object information is displayed according to another embodiment.
상기 디스플레이 장치는 컨트롤러(400)에 의해 획득된 객체 정보가 포함된 이미지를 출력할 수 있다. 예를 들어, 상기 디스플레이 장치는 카메라 모듈(300)이 레이저 모듈(100)의 비출사 타이밍에 획득한 이미지에 기초하여 객체 정보를 출력할 수 있다.The display device may output an image including object information obtained by the
상기 디스플레이 장치는 상기 카메라 모듈(300)이 획득한 이미지 상에 객체 정보 획득 장치(1000) 주변 객체에 관한 거리 정보 및 종류 정보가 표시된 이미지를 출력할 수 있다.The display device may output an image on which distance information and type information regarding the object around the object
한편, 컨트롤러(400)는 레이저 모듈(100) 및 LED 모듈(200)의 출사 타이밍을 제어할 수 있다.On the other hand, the
도 13은 레이저 모듈(100) 및 LED 모듈(200)의 출사 타이밍 제어를 설명하기 위한 도면이다.13 is a diagram for explaining the emission timing control of the
컨트롤러(400)는 레이저 모듈(100)의 출사 타이밍을 제어할 수 있다. 예를 들어, 컨트롤러(400)는 LED 모듈(200)이 광을 출사하지 않을 때 레이저 모듈(100)이 레이저 빔을 출사하도록 제어할 수 있다. 즉, 컨트롤러(400)는 LED 모듈(200)이 광을 출사하는 동안은 레이저 모듈(100)이 레이저 빔을 출사하지 않도록 제어할 수 있다.The
이는, 거리 산출 유닛(410)이 레이저 모듈(100)로부터 출사된 레이저 빔에 기초하여 거리 정보를 산출할 때, LED 모듈(200)로부터 출사되는 광이 노이즈가 될 수 있기 때문이다.This is because, when the
컨트롤러(400)는 LED 모듈(200)의 출사 타이밍을 제어할 수 있다. 예를 들어, 컨트롤러(400)는 레이저 모듈(100)이 레이저 빔을 출사하지 않을 때, LED 모듈(200)이 광을 출사하도록 제어할 수 있다. 이는, 객체 인식 유닛(420)이 종류 정보 획득 동작을 수행함에 있어서, 레이저 모듈(100)로부터 출사되는 레이저 빔이 노이즈가 될 수 있기 때문이다.The
한편, 레이저 모듈(100)이 레이저 빔 출사를 지속하는 시간인 제1 시간(t1)과 LED 모듈(200)이 광 출사를 지속하는 시간인 제2 시간(t2)은 상이할 수 있다. 예를 들어, 제1 시간(t1)은 제2 시간(t2)보다 작을 수 있다. 이는, 레이저 모듈(100)의 레이저 빔 출사를 위한 전력 소모가 LED 모듈(200)의 광 출사를 위한 전력보다 클 수 있기 때문이다.The first time t1 that the
1프레임 동안의 레이저 모듈(100)의 레이저 빔 출사 횟수는 1프레임 동안 LED 모듈(200)의 광 출사 횟수와 상이할 수 있다. 예를 들어, 상기 레이저 빔 출사 횟수가 상기 광 출사 횟수보다 클 수 있다. 또는, 상기 광 출사 횟수가 상기 레이저 빔 출사 횟수보다 클 수 있다.The number of laser beam emission times of the
한편, 레이저 모듈(100)의 출사 타이밍과 LED 모듈(200)의 출사 타이밍은 중첩될 수 있다. 즉, 어느 한 동일 시점에, 레이저 모듈(100)로부터 레이저 빔이 출사되고, LED 모듈(200)로부터 광이 출사될 수 있다. 이 경우, 컨트롤러(400)는 카메라 모듈(300)이 상기 동일 시점에 촬상한 이미지에 기초하여, 상기 이미지에 포함된 객체의 거리 정보 및 종류 정보를 획득할 수 있다. 컨트롤러(400)는 주변광을 포함한 노이즈를 제거하기 위해 센싱 유닛(310)의 문턱값을 증가시킬 수 있다.On the other hand, the emission timing of the
한편, 도 14에 도시된 바와 같이, 센싱 유닛(310)은 제1 영역과 제2 영역으로 분할될 수 있다. 예를 들어, 상기 제1 영역에는 영상 이미지를 획득하는 제1 센서(311)가 구비되고, 상기 제2 영역에는 레이저 빔 이미지를 획득하는 제2 센서(312)가 구비될 수 있다.On the other hand, as shown in FIG. 14, the
상기 제1 센서의 파장에 따른 수광 감도는 상기 제2 센서의 파장에 따른 수광 감도와 상이할 수 있다. 예를 들어, 상기 제1 센서의 수광 감도는 가시광 대역에서 최대가 되고, 상기 제2 센서의 수광 감도는 적외선 대역에서 최대가 될 수 있다.The light receiving sensitivity according to the wavelength of the first sensor may be different from the light receiving sensitivity according to the wavelength of the second sensor. For example, the light receiving sensitivity of the first sensor may be maximized in the visible light band, and the light receiving sensitivity of the second sensor may be maximized in the infrared light band.
상기 제1 센서는 적외선 차단을 위한 IR 필터를 포함할 수 있다. 상기 제2 센서는 가시광 차단을 위한 필터를 포함할 수 있다.The first sensor may include an IR filter for blocking infrared rays. The second sensor may include a filter for blocking visible light.
컨트롤러(400)는 센싱 유닛(310)이 빛에 노출되는 시간을 제어할 수 있다. 예를 들어, 컨트롤러(400)는 레이저 모듈(100)의 레이저 빔 출사 타이밍에 센싱 유닛(310)이 노출되도록 카메라 모듈(300)의 셔터를 제어할 수 있다. The
컨트롤러(400)는 제1 센서(311) 및 제2 센서(312)의 각각의 노출 시간을 제어할 수 있다. 예를 들어, 컨트롤러(400)는 레이저 모듈(100)의 레이저 빔 출사 타이밍에 제2 센서(312)가 노출되도록 카메라 모듈(300)을 제어할 수 있다. 또는, 컨트롤러(400)는 LED 모듈(200)의 광 출사 타이밍에 제1 센서(311)가 노출되도록 카메라 모듈(300)을 제어할 수 있다.The
한편, 컨트롤러(400)는 객체의 거리 정보에 기초하여 종류 정보 획득 동작을 수행하거나, 객체의 종류 정보에 기초하여 거리 정보 획득 동작을 수행할 수 있다.Meanwhile, the
도 15는 일 실시예에 따른 객체 정보 획득 방법을 나타내는 순서도이다.15 is a flowchart illustrating an object information acquisition method according to an embodiment.
객체 정보 획득 방법은, 카메라 모듈이 촬상한 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계(S100), 상기 이미지에 미리 정해진 분류값을 갖는 대상체가 포함되는지 여부를 판단하는 단계(S200) 및 상기 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 레이저 모듈을 이용하여 상기 대상체의 거리 정보를 획득하는 단계(S300)를 포함할 수 있다.The object information acquiring method includes acquiring (S100) category information about an object included in an image captured by a camera module, determining whether an object having a predetermined classification value is included in the image (S200), and And acquiring the distance information of the object using the laser module when the object includes the object having the predetermined classification value.
먼저, 객체 인식 유닛(420)은 카메라 모듈(300)이 촬상한 이미지에 포함된 대상체에 관한 종류 정보를 획득할 수 있다(S100). 이는, 도 1 내지 도 14에서 설명한 종류 정보 획득 방법과 동일하게 수행될 수 있으므로, 이에 대한 상세한 설명은 생략한다.First, the
컨트롤러(400)는 상기 이미지에 미리 정해진 분류값을 갖는 대상체가 포함되는지 여부를 판단할 수 있다(S200). 예컨대, 상기 미리 정해진 분류값은, 장애물에 대응되는 분류값을 의미할 수 있다. 또는, 상기 미리 정해진 분류값은 충전소에 대응되는 분류값을 의미할 수 있다. 상기 미리 정해진 분류값은 사용자에 의해 설정될 수 있다.The
거리 산출 유닛(410)은, 상기 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 레이저 모듈(100)을 이용하여 상기 대상체의 거리 정보를 획득하는(S300). 구체적으로, 거리 산출 유닛(410)은 카메라 모듈(300)이 획득한 이미지로서, 레이저 모듈(100)로부터 출사되는 레이저 빔이 포함된 이미지에 기초하여 상기 거리 정보를 획득할 수 있다. 한편, 상기 거리 정보 획득 방법은 도 1 내지 도 14에서 설명한 거리 정보 획득 방법과 동일하게 수행될 수 있으므로, 이에 대한 상세한 설명은 생략한다.When the object having the predetermined classification value is included in the image, the
예를 들어, 컨트롤러(400)는, 상기 이미지에 장애물에 대응되는 대상체가 포함된 경우에만, 레이저 모듈(100)을 동작시킴으로써 상기 대상체에 관한 거리 정보를 산출할 수 있다. 이에 따라, 컨트롤러(400)는 장애물이 없는 환경에서의 불필요한 레이저 빔 출력을 위한 에너지 소모를 방지할 수 있다. 또한, 객체 정보 획득 장치(1000)의 객체 정보 획득을 위한 연산 시간이 감소할 수 있다.For example, the
도 16은 다른 일 실시예에 따른 객체 정보 획득 방법을 나타내는 순서도이다.16 is a flowchart showing an object information acquiring method according to another embodiment.
객체 정보 획득 방법은, 레이저 모듈을 이용하여 대상체의 거리 정보를 획득하는 단계(S110), 상기 거리 정보에 기초하여 라이다 장치로부터 상기 대상체까지의 거리가 미리 정해진 거리 이내인지 판단하는 단계(S210) 및 상기 판단 결과 상기 대상체까지의 거리가 미리 정해진 거리 이내인 경우, 상기 대상체의 종류 정보를 획득하는 단계(S310)를 포함할 수 있다.The object information acquiring method includes acquiring distance information of a target object using a laser module (S110), determining whether the distance from the radar device to the target object is within a predetermined distance based on the distance information (S210) And obtaining the type information of the target object when the distance to the target object is within a predetermined distance as a result of the determination (S310).
먼저, 컨트롤러(400)는 레이저 모듈(100)을 이용하여 대상체의 거리 정보를 획득할 수 있다(S110). 구체적으로, 거리 산출 유닛(420)은 레이저 모듈(100)의 출사 타이밍에 획득된 이미지에 기초하여 상기 이미지에 포함된 대상체의 거리 정보를 산출할 수 있다. 한편, 상기 거리 정보 획득 방법은 도 1 내지 도 14에서 설명한 거리 정보 획득 방법과 동일하게 수행될 수 있으므로, 이에 대한 상세한 설명은 생략한다.First, the
컨트롤러(400)는 상기 거리 정보에 기초하여 라이다 장치로부터 상기 대상체까지의 거리가 미리 정해진 거리 이내인지 판단할 수 있다(S210). 예를 들어, 상기 미리 정해진 거리는 사용자에 의해 정해질 수 있다. 또는, 상기 미리 정해진 거리는 객체 정보 획득 장치(1000)의 설치 환경에 따라 달라질 수 있다.The
객체 인식 유닛(420)은 상기 판단 결과 상기 대상체까지의 거리가 미리 정해진 거리 이내인 경우, 상기 대상체의 종류 정보를 획득할 수 있다(S310).If the distance to the target object is within a predetermined distance, the
예를 들어, 객체 인식 유닛(420)은 객체 정보 획득 장치(1000)로부터 근거리에 대상체가 위치하는 경우에만, 상기 대상체의 종류 정보를 획득할 수 있다. 이 때, 컨트롤러(400)는 LED 모듈(200)을 동작시킴으로써 상기 종류 정보의 정확도를 향상시킬 수 있다.For example, the
반대로, 객체 정보 획득 장치(1000)로부터 근거리에 대상체가 위치하지않는 경우에는, 컨트롤러(400)는 LED 모듈(200)을 비활성화시킬 수 있다. 또는, 객체 인식 유닛(420)이 종류 정보 획득 동작을 수행하지 않을 수 있다. On the other hand, when the object is not located at a short distance from the object
이에 따라, LED 모듈(200)의 동작으로 인한 전력 소모가 감소될 수 있다. Accordingly, power consumption due to the operation of the
거리 산출 유닛(410)은, 상기 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 레이저 모듈(100)을 이용하여 상기 대상체의 거리 정보를 획득하는(S300). 구체적으로, 거리 산출 유닛(410)은 카메라 모듈(300)이 획득한 이미지로서, 레이저 모듈(100)로부터 출사되는 레이저 빔이 포함된 이미지에 기초하여 상기 거리 정보를 획득할 수 있다. 한편, 상기 거리 정보 획득 방법은 도 1 내지 도 14에서 설명한 거리 정보 획득 방법과 동일하게 수행될 수 있으므로, 이에 대한 상세한 설명은 생략한다.When the object having the predetermined classification value is included in the image, the
예를 들어, 컨트롤러(400)는, 상기 이미지에 장애물에 대응되는 대상체가 포함된 경우에만, 레이저 모듈(100)을 동작시킴으로써 상기 대상체에 관한 거리 정보를 산출할 수 있다. 이에 따라, 컨트롤러(400)는 장애물이 없는 환경에서의 불필요한 레이저 빔 출력을 위한 에너지 소모를 방지할 수 있다.For example, the
상술한 객체 정보 획득 장치(1000)는 라이다(LiDAR: Light Detection And Ranging) 장치를 포함할 수 있다. 또는, 상술한 객체 정보 획득 장치(1000)는 라이다 장치로 제공될 수 있다.The object
한편, 이상에서는 객체 정보 획득 장치(1000)가 상기 이동체에 설치되는 경우를 중심으로 설명하였으나, 이에 한정되는 것은 아니며, 객체 정보 획득 장치(1000)는 임의의 지정된 장소에 설치될 수 있다.In the above description, the object
예컨대, 객체 정보 획득 장치(1000)는 출입문 주변의 소정의 장소에 설치되어, 상기 출입문 주변의 객체에 관한 객체 정보를 획득할 수 있다. 이 때, 객체 정보 획득 장치(1000)는 소정의 각도를 갖는 자세로 설치될 수 있다.For example, the object
객체 정보 획득 장치(1000)는 보안용으로 사용될 수 있다. 예를 들어, 객체 정보 획득 장치(1000)는 지정된 감시 영역 내의 객체에 관한 거리 정보 및 종류 정보를 획득할 수 있다.The object
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (14)
주변을 촬상하는 카메라 모듈;
상기 카메라 모듈로부터 수직축 방향으로 이격 배치되고, 수평축 방향을 따라 연장되는 라인 형태의 레이저 빔을 출사하는 레이저 모듈; 및
상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 획득하고, 상기 획득된 이미지가 상기 제1 이미지인 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하고, 상기 획득된 이미지가 상기 제2 이미지인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 컨트롤러;를 포함하는
객체 정보 획득 장치.
An object information acquiring apparatus for acquiring object information including category information and distance information about an object,
A camera module for picking up the surroundings;
A laser module arranged to be spaced from the camera module in the vertical axis direction and emitting a laser beam in the form of a line extending in the horizontal axis direction; And
Wherein the camera module acquires a first image captured at an emission timing of the laser module and a second image captured at a non-emission timing of the laser module, and when the obtained image is the first image, Acquiring distance information regarding an object included in the first image based on a position along the vertical axis direction received on the first image, and when the obtained image is the second image, And a controller for obtaining category information on the object included in the second image based on the value
Object information acquisition device.
상기 카메라 모듈은 상기 수직축 방향에 따른 어레이 형태로 배열되는 복수의 센서 소자를 포함하는 센싱 유닛을 포함하는
객체 정보 획득 장치.
The method according to claim 1,
Wherein the camera module includes a sensing unit including a plurality of sensor elements arrayed in an array along the vertical axis direction
Object information acquisition device.
상기 센싱 유닛은 제1 영역 및 상기 제1 영역과 다른 제2 영역으로 분할되고, 상기 제1 영역에 구비되며 레이저 빔 이미지를 획득하는 제1 센서 및 상기 제2 영역에 구비되며 영상 이미지를 획득하는 제2 센서를 포함하는
객체 정보 획득 장치.
3. The method of claim 2,
The sensing unit may include a first sensor that is divided into a first region and a second region different from the first region and is provided in the first region and acquires a laser beam image and a second sensor provided in the second region, The second sensor
Object information acquisition device.
상기 컨트롤러는 상기 센싱 유닛의 문턱값을 증가시키고, 상기 레이저 모듈의 출사 타이밍에 상기 문턱값이 증가된 상기 센싱 유닛이 촬상한 제3 이미지를 획득하고, 상기 제3 이미지에 기초하여 상기 제3 이미지에 포함된 대상체에 관한 거리 정보를 획득하는
객체 정보 획득 장치.
3. The method of claim 2,
Wherein the controller increases the threshold value of the sensing unit and acquires a third image captured by the sensing unit with the increased threshold at the emission timing of the laser module, Acquires distance information on the object included in the object
Object information acquisition device.
상기 컨트롤러는, 상기 제1 이미지 상에서 레이저 빔 이미지 - 이 때, 상기 레이저 빔 이미지는 상기 레이저 모듈로부터 출사된 후 상기 대상체에 반사된 후 상기 카메라 모듈로 수신된 레이저 빔을 지시함 - 의 픽셀의 위치에 기초하여 상기 거리 정보를 획득하는 거리 산출 유닛 및
상기 제2 이미지의 픽셀값에 기초하여 상기 종류 정보를 획득하는 대상체 인식 유닛을 포함하는
객체 정보 획득 장치.
The method according to claim 1,
Wherein the controller is further configured to determine a position of a pixel of the laser beam image on the first image-when the laser beam image is emitted from the laser module and then reflected on the object and then indicates the laser beam received by the camera module A distance calculation unit for obtaining the distance information based on the distance information,
And an object recognizing unit for acquiring the category information based on the pixel value of the second image
Object information acquisition device.
상기 대상체 인식 유닛은 인공신경망을 포함하는
객체 정보 획득 장치.
6. The method of claim 5,
Wherein the object recognition unit comprises an artificial neural network
Object information acquisition device.
상기 종류 정보의 정확도가 향상되도록 상기 레이저 모듈의 비출사 타이밍에 상기 대상체로 광을 출사하는 LED 모듈;을 더 포함하는
객체 정보 획득 장치.
The method according to claim 1,
And an LED module for emitting light to the object at a non-emission timing of the laser module so that the accuracy of the type information is improved
Object information acquisition device.
상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 컨트롤러는 상기 객체 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성하는
객체 정보 획득 장치.
The method according to claim 1,
When the object information obtaining apparatus is installed in the moving object, the controller generates the traveling control signal of the moving object based on the object information
Object information acquisition device.
상기 이동체는 무인 운반차, 이동 로봇, 자동차 및 무인 비행체 중 적어도 하나인 것을 특징으로 하는
객체 정보 획득 장치.
9. The method of claim 8,
Wherein the moving body is at least one of an unmanned vehicle, a mobile robot, an automobile, and an unmanned aerial vehicle
Object information acquisition device.
상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계;
상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계;
상기 획득된 거리 정보에 기초하여 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 미리 정해진 거리 이내인지 판단하는 단계; 및
상기 판단 결과 상기 객체 정보 획득 장치로부터 상기 대상체까지의 거리가 상기 미리 정해진 거리 이내인 경우, 상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계;를 포함하는
객체 정보 획득 방법.
There is provided an object information acquiring method performed by an object information acquiring device including a camera module for imaging a periphery and a laser module for emitting a laser beam in a line shape extending in the horizontal axis direction and spaced apart from the camera module in the vertical axis direction ,
Obtaining a plurality of images including the first image captured by the camera module at the emission timing of the laser module and the second image captured at the non-emission timing of the laser module;
Obtaining distance information about a target included in the first image based on a position of the laser beam along the vertical axis direction received on the first image;
Determining whether a distance from the object information obtaining apparatus to the object is within a predetermined distance based on the obtained distance information; And
Obtaining category information about a target object included in the second image based on the pixel value of the second image when the distance from the object information obtaining device to the target object is within the predetermined distance as a result of the determination; Containing
Object information acquisition method.
상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 획득되는 거리 정보 및 종류 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성하는 단계;를 더 포함하는
객체 정보 획득 방법.
11. The method of claim 10,
And generating a driving control signal for the moving object based on the obtained distance information and the type information when the object information obtaining apparatus is installed in the moving object
Object information acquisition method.
상기 카메라 모듈이 상기 레이저 모듈의 출사 타이밍에 촬상한 제1 이미지 및 상기 레이저 모듈의 비출사 타이밍에 촬상한 제2 이미지를 포함하는 복수의 이미지를 획득하는 단계;
상기 제2 이미지의 픽셀값에 기초하여 상기 제2 이미지에 포함된 대상체에 관한 종류 정보를 획득하는 단계;
상기 제2 이미지에 미리 정해진 분류값을 갖는 대상체가 포함되는지 판단하는 단계; 및
상기 제2 이미지에 상기 미리 정해진 분류값을 갖는 대상체가 포함된 경우, 상기 레이저 빔이 상기 제1 이미지 상에서 수신된 상기 수직축 방향에 따른 위치에 기초하여 상기 제1 이미지에 포함된 대상체에 관한 거리 정보를 획득하는 단계;를 포함하는
객체 정보 획득 방법.
There is provided an object information acquiring method performed by an object information acquiring device including a camera module for imaging a periphery and a laser module for emitting a laser beam in a line shape extending in the horizontal axis direction and spaced apart from the camera module in the vertical axis direction ,
Obtaining a plurality of images including the first image captured by the camera module at the emission timing of the laser module and the second image captured at the non-emission timing of the laser module;
Obtaining category information on the object included in the second image based on the pixel value of the second image;
Determining whether a target object having a predetermined classification value is included in the second image; And
The distance information on the object included in the first image based on the position along the vertical axis direction on which the laser beam is received on the first image when the object having the predetermined classification value is included in the second image, ≪ / RTI >
Object information acquisition method.
상기 객체 정보 획득 장치가 이동체에 설치되는 경우, 상기 획득되는 거리 정보 및 종류 정보에 기초하여 상기 이동체의 주행 제어 신호를 생성하는 단계;를 더 포함하는
객체 정보 획득 방법.
13. The method of claim 12,
And generating a driving control signal for the moving object based on the obtained distance information and the type information when the object information obtaining apparatus is installed in the moving object
Object information acquisition method.
A recording medium on which a program for performing the method according to any one of claims 10 to 13 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/440,082 US11579254B2 (en) | 2017-08-02 | 2019-06-13 | Multi-channel lidar sensor module |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862669119P | 2018-05-09 | 2018-05-09 | |
| US62/669,119 | 2018-05-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101980697B1 true KR101980697B1 (en) | 2019-05-22 |
Family
ID=66679914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190017703A KR101980697B1 (en) | 2017-08-02 | 2019-02-15 | Device and method for acquiring object information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101980697B1 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110320912A (en) * | 2019-07-10 | 2019-10-11 | 苏州欧博智慧机器人有限公司 | The AGV positioning navigation device and method that laser is merged with vision SLAM |
| KR20210050081A (en) * | 2019-10-28 | 2021-05-07 | 주식회사 에스오에스랩 | Object recognition method and object recognition device performing the same |
| WO2021112439A1 (en) * | 2019-12-04 | 2021-06-10 | 삼성전자주식회사 | Electronic device and control method for same |
| WO2022025658A1 (en) * | 2020-07-29 | 2022-02-03 | 주식회사 우아한형제들 | External light influence solution system for mobile robot and method therefor |
| KR20220014861A (en) * | 2020-07-29 | 2022-02-07 | 주식회사 우아한형제들 | System and meyhod for resolving the influence of mobile robots from outside light |
| KR20230017596A (en) * | 2021-07-28 | 2023-02-06 | (주)골든플래닛 | Method of preventing roadkill using bayesian algoritm in ai based image learning and elecronic apparatus performing the same |
| KR20230037414A (en) * | 2021-09-09 | 2023-03-16 | 신영세미콘(주) | Detecting sensor apparatus for screen door, setting method and computer readable stroage medium o f recording the method |
| US11609575B2 (en) | 2019-11-20 | 2023-03-21 | Samsung Electronics Co., Ltd. | Mobile robot device and method for controlling mobile robot device |
| KR20230119878A (en) * | 2022-02-08 | 2023-08-16 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using single-wavelength laser and wavelength filter |
| KR20230125973A (en) * | 2022-02-22 | 2023-08-29 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using tunable laser |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060091137A (en) * | 2005-02-14 | 2006-08-18 | 삼성전자주식회사 | Method and apparatus for processing line pattern using convolution kernel |
| KR20140006510A (en) * | 2012-07-06 | 2014-01-16 | 인하대학교 산학협력단 | Mercury ion selective, ratiometric fluorescent chemosensor derived from amino acid, preparation method thereof and detection method of mercury ion using the same |
| KR20150101749A (en) * | 2014-02-27 | 2015-09-04 | 엘지전자 주식회사 | Device for estimating three-dimensional shape of object and method thereof |
| KR20170088113A (en) * | 2016-01-22 | 2017-08-01 | (주) 정상라이다 | Method for real time measurement on meteorological and environmental parameters based on the convergence of TOF Lidar and camera, and measuring system |
-
2019
- 2019-02-15 KR KR1020190017703A patent/KR101980697B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060091137A (en) * | 2005-02-14 | 2006-08-18 | 삼성전자주식회사 | Method and apparatus for processing line pattern using convolution kernel |
| KR20140006510A (en) * | 2012-07-06 | 2014-01-16 | 인하대학교 산학협력단 | Mercury ion selective, ratiometric fluorescent chemosensor derived from amino acid, preparation method thereof and detection method of mercury ion using the same |
| KR20150101749A (en) * | 2014-02-27 | 2015-09-04 | 엘지전자 주식회사 | Device for estimating three-dimensional shape of object and method thereof |
| KR20170088113A (en) * | 2016-01-22 | 2017-08-01 | (주) 정상라이다 | Method for real time measurement on meteorological and environmental parameters based on the convergence of TOF Lidar and camera, and measuring system |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110320912A (en) * | 2019-07-10 | 2019-10-11 | 苏州欧博智慧机器人有限公司 | The AGV positioning navigation device and method that laser is merged with vision SLAM |
| KR20210050081A (en) * | 2019-10-28 | 2021-05-07 | 주식회사 에스오에스랩 | Object recognition method and object recognition device performing the same |
| KR102565778B1 (en) * | 2019-10-28 | 2023-08-11 | 주식회사 에스오에스랩 | Object recognition method and object recognition device performing the same |
| KR102374211B1 (en) * | 2019-10-28 | 2022-03-15 | 주식회사 에스오에스랩 | Object recognition method and object recognition device performing the same |
| KR20220035894A (en) * | 2019-10-28 | 2022-03-22 | 주식회사 에스오에스랩 | Object recognition method and object recognition device performing the same |
| US11568654B2 (en) | 2019-10-28 | 2023-01-31 | Sos Lab Co., Ltd. | Object recognition method and object recognition device performing the same |
| US11609575B2 (en) | 2019-11-20 | 2023-03-21 | Samsung Electronics Co., Ltd. | Mobile robot device and method for controlling mobile robot device |
| WO2021112439A1 (en) * | 2019-12-04 | 2021-06-10 | 삼성전자주식회사 | Electronic device and control method for same |
| KR20220014861A (en) * | 2020-07-29 | 2022-02-07 | 주식회사 우아한형제들 | System and meyhod for resolving the influence of mobile robots from outside light |
| KR102553557B1 (en) * | 2020-07-29 | 2023-07-11 | 주식회사 비로보틱스 | System and meyhod for resolving the influence of mobile robots from outside light |
| WO2022025658A1 (en) * | 2020-07-29 | 2022-02-03 | 주식회사 우아한형제들 | External light influence solution system for mobile robot and method therefor |
| KR20230017596A (en) * | 2021-07-28 | 2023-02-06 | (주)골든플래닛 | Method of preventing roadkill using bayesian algoritm in ai based image learning and elecronic apparatus performing the same |
| KR102595394B1 (en) * | 2021-07-28 | 2023-10-31 | (주)골든플래닛 | Method of preventing roadkill using bayesian algoritm in ai based image learning and elecronic apparatus performing the same |
| KR20230037414A (en) * | 2021-09-09 | 2023-03-16 | 신영세미콘(주) | Detecting sensor apparatus for screen door, setting method and computer readable stroage medium o f recording the method |
| KR102577523B1 (en) * | 2021-09-09 | 2023-09-12 | 신영세미콘(주) | Detecting sensor apparatus for screen door, setting method and computer readable stroage medium o f recording the method |
| KR20230119878A (en) * | 2022-02-08 | 2023-08-16 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using single-wavelength laser and wavelength filter |
| KR102656429B1 (en) * | 2022-02-08 | 2024-04-12 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using single-wavelength laser and wavelength filter |
| KR20230125973A (en) * | 2022-02-22 | 2023-08-29 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using tunable laser |
| KR102661867B1 (en) * | 2022-02-22 | 2024-04-29 | 한국자동차연구원 | System and method for simultaneous measurement of shape and spectral information using tunable laser |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101980697B1 (en) | Device and method for acquiring object information | |
| US20230146379A1 (en) | Multi-channel lidar sensor module | |
| Li et al. | Lidar for autonomous driving: The principles, challenges, and trends for automotive lidar and perception systems | |
| US20230243919A1 (en) | Lidar systems and methods for detection and classification of objects | |
| US11609329B2 (en) | Camera-gated lidar system | |
| US11360197B2 (en) | Calibration of sensor systems | |
| US10183541B2 (en) | Surround sensing system with telecentric optics | |
| US9823340B2 (en) | Method for time of flight modulation frequency detection and illumination modulation frequency adjustment | |
| US9551791B2 (en) | Surround sensing system | |
| US8879050B2 (en) | Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed | |
| EP3764124A1 (en) | Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object | |
| JP7255259B2 (en) | detector, rangefinder, time measurement method, program, moving object | |
| KR101868293B1 (en) | Apparatus for Providing Vehicle LIDAR | |
| Islam et al. | Autonomous Driving Vehicle System Using LiDAR Sensor | |
| US20220404499A1 (en) | Distance measurement apparatus | |
| EP4206738A1 (en) | Method and a server for updating a map representation | |
| US20230341558A1 (en) | Distance measurement system | |
| WO2023044688A1 (en) | Signal processing method and apparatus, and signal transmission method and apparatus | |
| WO2023152422A1 (en) | Light-emitting device | |
| CN116193238A (en) | Method and system for camera directional control | |
| CN113655499A (en) | Automatic driving method and system based on single photon image sensor | |
| Juberts et al. | ADVANCED LADAR FOR DRIVING UNMANNED GROUND VEHICLES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |