KR101644370B1 - 물체 검출 장치 및 그 동작 방법 - Google Patents

물체 검출 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101644370B1
KR101644370B1 KR1020140144321A KR20140144321A KR101644370B1 KR 101644370 B1 KR101644370 B1 KR 101644370B1 KR 1020140144321 A KR1020140144321 A KR 1020140144321A KR 20140144321 A KR20140144321 A KR 20140144321A KR 101644370 B1 KR101644370 B1 KR 101644370B1
Authority
KR
South Korea
Prior art keywords
information
data
object information
sensor
area
Prior art date
Application number
KR1020140144321A
Other languages
English (en)
Other versions
KR20160047863A (ko
Inventor
김영신
김원겸
류수용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140144321A priority Critical patent/KR101644370B1/ko
Priority to US14/697,097 priority patent/US9435887B2/en
Priority to CN201510696082.2A priority patent/CN105549023B/zh
Publication of KR20160047863A publication Critical patent/KR20160047863A/ko
Application granted granted Critical
Publication of KR101644370B1 publication Critical patent/KR101644370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 물체 검출 장치 및 그 동작 방법이 관한 것이다. 본 발명의 일 실시예에 따르면, 라이다 데이터를 수집하는 라이다 센서 및 이미지 데이터를 수집하는 카메라 센서를 포함하는 센서부; 라이다 센서와 카메라 센서의 공통 감지 영역을 복수개의 영역으로 구획하는 영역 구획부; 라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 데이터 분석부; 및 제1 물체 정보 또는 제2 물체 정보에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단하는 센서신호 융합부;를 포함하는, 물체 검출 장치가 제공된다.

Description

물체 검출 장치 및 그 동작 방법{OBJECT DETECTING APPARATUS, AND METHOD FOR OPERATING THE SAME}
본 발명은 물체 검출 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 복수의 센서에 의한 감지 영역을 세분화하여, 차량 주변에 존재하는 물체에 대한 검출 성능을 향상시키는 물체 검출 장치 및 그 동작 방법에 관한 것이다.
최근 자동차 시장에서는 첨단주행지원시스템(Advanced Driver Assistance System, ADAS) 관련 기술이 중요한 관심사로 대두되고 있으며, 시장 규모 역시 급성장 중이다.
첨단주행지원시스템(ADAS)이란 운전자와 보행자를 위한 다양한 안전 기능과 편의 기능을 구현하는 시스템으로서, 그 중 대표적으로 자율비상제동(Autonomous Emergency Braking, AEB) 시스템을 들 수 있다.
자율비상제동(AEB) 시스템은 라이다 센서 또는 카메라 센서 등과 같이 물체를 감지할 수 있는 센서를 이용하여, 차량의 전방으로부터 소정 거리 내에 존재하는 타 차량과 같은 물체가 속력을 줄이거나, 갑자기 나타나는 상황을 감지하여, 운전자가 브레이크를 조작하지 않아도 차량이 자동적으로 제동될 수 있도록 제어하는 시스템을 말한다. 이러한 자율비상제동(AEB) 시스템은 단순히 경고를 제공하여 운전자 스스로 조치를 취하게 하는 종래의 소극적인 방식에서 진일보한 것이다.
한편, 라이다 센서는 카메라 센서보다 물체 검출률 및 거리 정확성은 높지만, 검출에 대한 신뢰성은 낮다. 이에 비해, 카메라 센서는 라이다 센서보다 물체 검출 결과에 대한 신뢰성은 높으나, 물체까지의 거리에 대한 정확성 및 실제 존재하는 물체에 대한 검출률은 다소 떨어지는 특성을 갖는다. 따라서, 라이다 센서와 카메라 센서를 상호 보완적으로 이용하여 물체의 존재 여부를 감지하면, 자율비상제동(AEB) 시스템 등의 미동작 및 오동작 가능성을 보다 저감할 수 있다.
그러나, 특허문헌 1과 같은 종래기술에는 라이다 센서와 카메라 센서를 단순 병합하여 전방 차량을 인식하는 기술만이 개시되어 있을 뿐이고, 라이다 센서와 카메라 센서의 공통된 감지 영역을 세분화하고, 각 영역의 특성에 부합하는 데이터 처리를 통해 물체 검출률을 높이는 동시에 물체 검출 결과에 대한 신뢰성을 확보하기 위한 기술에 대해서는 언급되어 있지 않다.
대한민국공개특허공보 제10-2010-0111543호: 차량 인식 방법 및 장치(2010.10.15 공개)
본 발명은 전술한 종래기술의 문제점을 해결하기 위해서 안출된 것으로서, 본 발명의 실시예에 따르면 라이다 센서와 카메라 센서의 공통 감지 영역을 복수개의 하위 영역으로 구획함으로써, 물체 검출률을 높이는 동시에 물체 검출 결과에 대한 신뢰성을 향상시킬 수 있는 물체 검출 장치 및 그 동작 방법을 제공하고자 한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 라이다 데이터를 수집하는 라이다 센서 및 이미지 데이터를 수집하는 카메라 센서를 포함하는 센서부; 라이다 센서와 카메라 센서의 공통 감지 영역을 복수개의 영역으로 구획하는 영역 구획부; 라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 데이터 분석부; 및 제1 물체 정보 또는 제2 물체 정보에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단하는 센서신호 융합부;를 포함하는, 물체 검출 장치가 제공된다.
또한, 상기 센서신호 융합부는, 라이다 데이터 및 이미지 데이터를 동일한 좌표 평면에 관한 데이터로 변환하는 매핑 모듈; 및 상기 좌표 평면 상에서, 라이다 데이터에 포함된 제1 물체 정보를 이미지 데이터에 포함된 제2 물체 정보와 비교하는 물체 비교 모듈;를 포함하고, 제1 물체 정보와 제2 물체 정보의 비교결과에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단할 수 있다.
또한, 상기 센서신호 융합부는, 물체 비교 모듈에 의한 비교 결과, 제1 물체 정보와 제2 물체 정보가 기 설정된 임계치 미만의 차이를 가지면, 제1 물체와 제2 물체가 서로 동일한 물체인 것으로 판단할 수 있다.
또한, 제1 물체 정보는 상기 좌표 평면에 대한 제1 물체의 중심 좌표이고, 제2 물체 정보는 상기 좌표 평면에 대한 제2 물체의 중심 좌표일 수 있다.
또한, 상기 영역 구획부는, 상기 공통 감지 영역을 지면 미포함 영역과 지면 포함 영역으로 구획할 수 있다.
또한, 상기 센서신호 융합부는, 상기 데이터 분석부에 의해 지면 미포함 영역에 대한 라이다 데이터로부터 제1 물체 정보가 추출되면, 지면 미포함 영역에 위험물체가 존재하는 것으로 판단할 수 있다.
또한, 상기 센서부는, 기 정의된 감도 조절 조건에 근거하여, 카메라 센서의 물체 검출 문턱값을 조절할 수 있다.
또한, 차량의 속력 정보를 수집하는 차량정보 수집부;를 더 포함할 수 있다.
또한, 상기 데이터 분석부는, 차량 속력 정보에 근거하여, 차량에 대한 상대속력 정보를 제1 물체 정보 또는 제2 물체 정보에 포함시키고, 상기 센서신호 융합부는, 상기 상대속력 정보에 근거하여, 지면 포함 영역에 대한 제1 물체 정보가 정지된 물체에 대한 것인지 판단하고, 제1 물체 정보가 움직이는 물체에 대한 것으로 판단되면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리할 수 있다.
또한, 상기 데이터 분석부는, 이미지 데이터에 포함된 차선 정보를 추출하고, 상기 센서신호 융합부는, 지면 포함 영역에 대한 제1 물체 정보가 차선 밖에 존재하는 정지된 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리할 수 있다.
또한, 상기 센서신호 융합부에 의해 위험물체가 존재하는 것으로 처리되면, 차량의 자율비상제동 시스템을 동작시키는 구동부;를 더 포함할 수 있다.
또한, 라이다 센서로부터 전달되는 라이다 데이터와 카메라 센서로부터 전달되는 이미지 데이터를 시간에 대하여 동기화시키는 동기화부;를 더 포함하고, 상기 센서신호 융합부는, 동기화가 완료되면, 제1 물체 정보 또는 제2 물체 정보에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단할 수 있다.
본 발명의 다른 측면에 따르면, 라이다 센서를 이용하여 라이다 데이터를 생성하고, 카메라 센서를 이용하여 이미지 데이터를 생성하는 단계; 라이다 센서와 카메라 센서의 공통 감지 영역을 지면 미포함 영역과 지면 포함 영역으로 구획하는 단계; 라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 단계; 상기 분석의 결과에 근거하여, 지면 미포함 영역과 지면 포함 영역 각각에 대하여 위험물체의 존재 유무를 판단하는 단계; 및 위험물체가 존재하는 것으로 처리되면, 차량의 자율비상제동 시스템을 동작시키는 단계;를 포함하는, 물체 검출 장치의 동작 방법이 제공될 수 있다.
또한, 상기 판단하는 단계는, 지면 미포함 영역에 대한 라이다 데이터에 제1 물체 정보가 포함되면, 지면 미포함 영역에 위험물체가 존재하는 것으로 처리할 수 있다.
또한, 기 정의된 감도 조절 조건에 근거하여, 카메라 센서의 물체 검출 문턱값을 조절하는 단계;를 더 포함할 수 있다.
또한, 차량의 속력 정보를 수집하는 단계;를 더 포함하고, 상기 판단하는 단계는, 차량의 속력 정보에 근거하여, 지면 포함 영역에 대한 라이다 데이터에 포함된 제1 물체 정보가 정지된 물체에 대한 것인지 판단하여, 제1 물체 정보가 움직이는 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리할 수 있다.
또한, 상기 분석하는 단계는, 이미지 데이터에 포함된 차선 정보를 추출하는 단계;를 더 포함하고, 상기 판단하는 단계는, 지면 포함 영역에 대한 라이다 데이터에 포함된 제1 물체 정보가 차선 밖에 존재하는 정지된 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리할 수 있다.
본 발명의 실시예에 따르면 라이다 센서와 카메라 센서의 공통 감지 영역을 복수개의 하위 영역으로 구획하고, 각 하위 영역의 특성에 부합하는 데이터 처리 방식을 적용함으로써, 물체 검출률을 높이는 동시에 물체 검출 결과에 대한 신뢰성을 향상시킬 수 있는 물체 검출 장치 및 그 동작 방법을 제공할 수 있다.
또한, 미러 정의된 조건에 따라 카메라 센서의 물체 검출 문턱값을 조절함으로써, 물체 검출 결과의 신뢰성을 더욱 향상시킬 수 있다.
또한, 차량의 속력 정보에 근거하여 물체의 이동 또는 정지 여부를 판단함으로써, 표지병 등과 같이 정확한 물체 검출에 방해가 되는 요소가 자율비상제동(AEB) 시스템의 오동작을 야기할 가능성을 저감할 수 있다.
또한, 이미지 데이터로부터 차선 정보를 추출함으로써, 정지 물체와의 충돌 가능성에 대한 판단의 정확성을 높일 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 물체 검출 장치를 나타낸 블록도이다.
도 2는 라이다 센서와 카메라 센서의 감지 영역을 도시한 예시이다.
도 3은 본 발명의 일 실시예에 따른 물체 검출 장치가 라이다 데이터와 이미지 데이터를 처리하여 위험물체의 존재 여부를 판단하는 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 카메라 센서의 물체 검출 문턱값이 조절됨에 따라 물체 검출률이 변화하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 차량의 속력 정보에 근거하여, 물체의 정지 또는 이동 여부를 판단하는 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다.
도 7 내지 도 9는 본 발명의 다른 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
또한, 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로서, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 물체 검출 장치를 나타낸 블록도이고, 도 2는 라이다 센서(111)와 카메라 센서(112)의 감지 영역을 도시한 예시이다. 구체적으로, 도 2의 (a)는 라이다 센서(111)와 카메라 센서(112)의 감지 영역에 대한 탑 뷰(top view)의 일 예이고, 도 2의 (b)는 라이다 센서(111)와 카메라 센서(112)의 감지 영역에 대한 사이드 뷰(side view)의 일 예이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 물체 검출 장치는 센서부(110), 영역 구획부(130), 데이터 분석부(140) 및 센서신호 융합부(150)를 포함한다. 또한, 필요에 따라 차량정보 수집부(160), 구동부(170) 또는 동기화부(120) 중 적어도 어느 하나를 더 포함할 수 있다.
센서부(110)는 차량 주변에 존재하는 물체에 대한 정보를 포함하는 데이터를 생성한다. 구체적으로, 센서부(110)는 라이다(lidar) 센서 및 카메라 센서(112)를 포함한다. 라이다 센서(111)와 카메라 센서(112)는 각각 하나 이상일 수 있다. 라이다 센서(111)는 마이크로파에 비해 도플러 효과가 큰 레이저광을 이용하여 목표물의 속력 또는 목표물까지의 거리를 측정할 수 있다. 카메라 센서(112)는 물체 검출 장치가 구비되는 차량의 주변을 촬영하여 이미지 데이터를 생성할 수 있다.
또한, 라이다 센서(111)와 카메라 센서(112)는 차량의 일 측에 구비될 수 있다. 일 예로, 차량의 전방에 위치하는 물체를 검출하기 위해서, 라이다 센서(111)와 카메라 센서(112)는 차량의 앞 범퍼의 중앙에 구비될 수 있다. 또는, 차량의 후방으로 접근하는 물체를 검출하기 위해서, 라이다 센서(111)와 카메라 센서(112)는 차량의 리어 범퍼의 중앙에 구비될 수 있다. 또한, 라이다 센서(111)와 카메라 센서(112)는 차량의 동일한 지점에 장착되거나, 또는 소정 간격만큼 이격된 상태로 장착될 수도 있다.
라이다 센서(111)와 카메라 센서(112)는 각각 고유의 시계(Field Of View, FOV)를 가지는바, 라이다 센서(111)의 시계(FOV1)와 카메라 센서(112)의 시계(FOV2)는 서로 상이할 수 있다. 구체적으로, 도 2의 (a)에 도시된 바와 같이 라이다 센서(111)의 시계(FOV1)는 카메라 센서(112)의 시계(FOV2)에 포함될 수 있다. 반대로, 카메라 센서(112)의 시계(FOV2)가 라이다 센서(111)의 시계(FOV1)에 포함될 수도 있다. 또는, 라이다 센서(111)의 시계(FOV1)와 카메라 센서(112)의 시계(FOV2)가 서로 동일하거나, 라이다 센서(111)의 시계(FOV1)와 카메라 센서(112)의 시계(FOV2)가 서로 일부만 중첩될 수도 있는 것으로 이해되어야 한다. 이하에서는, 카메라 센서(112)의 시계(FOV2)에 라이다 센서(111)의 시계(FOV1)가 포함되는 것으로 가정하여 설명을 계속하기로 한다.
본 발명의 실시예에 따른 물체 검출 장치는 라이다 센서(111)와 카메라 센서(112)의 공통 감지 영역(AC)을 분석하여 위험물체의 존재 유무를 판단한다. 이때, 공통 감지 영역(AC)은 라이다 센서(111)의 시계(FOV1)와 카메라 센서(112)의 시계(FOV2)가 중첩되는 영역의 전부를 의미할 수 있으나, 카메라 센서(112)는 물체가 소정 거리 내에 근접하여 위치하는 경우에는 검출률이 떨어지므로, 차량으로부터 미리 정의된 거리까지의 영역인 근접 영역(A0)이 제외된 공통 감지 영역(AC)으로 설정될 수 있다. 이하에서는, 라이다 센서(111)의 시계(FOV1)와 카메라 센서(112)의 시계(FOV2)가 중첩되는 영역 중 근접 영역(A0)이 제외된 영역이 공통 감지 영역(AC)인 것으로 가정하여 설명을 계속하기 한다.
영역 구획부(130)는 라이다 센서(111)와 카메라 센서(112)의 공통 감지 영역(AC)을 복수개의 영역으로 구획한다. 영역 구획부(130)는 미리 정의된 조건에 따라 공통 감지 영역(AC)을 복수개의 영역으로 구획할 수 있다. 공통 감지 영역(AC)을 복수개의 영역으로 구획하기 위한 조건은 지면 포함 여부, 공통 감지 영역(AC)의 넓이, 공통 감지 영역(AC)의 감지각도, 시간, 날씨, 차량 속력, 도로 경사도, 고속력으로 여부 등 라이다 센서(111) 또는 카메라 센서(112)의 시계(FOV)에 직간접적으로 영향을 줄 수 있는 변수들 중 적어도 어느 하나를 이용하여 정의될 수 있다.
예를 들어, 공통 감지 영역(AC)의 넓이 또는 감지각도가 클수록 공통 감지 영역(AC)을 보다 세분화하여 구획할 수 있다. 다른 예를 들어, 주간보다 야간에 공통 감지 영역을 보다 세분화하여 구획할 수 있다. 또 다른 예를 들어, 차량의 속력이 작을수록 공통 감지 영역을 보다 세분화하여 구획할 수 있다.
또는, 영역 구획부(130)는 공통 감지 영역(AC) 중 지면이 포함된 영역과 지면이 포함되지 않은 영역으로 공통 감지 영역을 구획할 수도 있다. 본 발명의 일 실시예에 따를 때, 센서부(110)는 차량의 일측에 구비되어 지면과 소정 거리만큼 이격될 수 있다. 따라서, 도 2의 (b)에 도시된 바와 같이, 영역 구획부(130)는 공통 감지 영역(AC)을 지면이 포함되지 않는 지면 미포함 영역(A1)과 지면이 포함되는 지면 포함 영역(A2)으로 구획될 수 있다. 지면 포함 여부를 기준으로 공통 감지 영역(AC)이 복수개로 구획됨으로써, 물체 검출 시 표지병과 같이 지면에 위치하는 물체에 대한 데이터 처리를 독립적으로 수행할 수 있는 장점이 있는 바, 이하에서 별도로 후술하기로 한다. 한편, 영역 구획부(130)가 지면 미포함 영역(A1) 또는 지면 포함 영역(A2)을 하위 영역으로 다시 구획될 수도 있다는 것을 당업자라면 쉽게 이해할 수 있을 것이다.
데이터 분석부(140)는 라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출한다. 구체적으로, 데이터 분석부(140)는 라이다 센서(111)에 의해 생성된 라이다 데이터를 수신하고, 라이다 데이터에 제1 물체 정보가 포함되어 있으면, 제1 물체 정보를 추출할 수 있다. 제1 물체 정보는 공통 감지 영역(AC) 중 라이다 센서(111)에 의해 감지된 적어도 하나 이상의 물체에 대한 정보를 의미한다. 만약, 공통 감지 영역(AC)에 어떠한 물체도 존재하지 않으면, 라이다 데이터에는 제1 물체 정보가 포함되지 않는다.
또한, 데이터 분석부(140)는 카메라 센서(112)에 의해 생성된 이미지 데이터를 수신하고, 이미지 데이터에 제2 물체 정보가 포함되어 있으면, 제2 물체 정보를 추출할 수 있다. 제2 물체 정보는 공통 감지 영역(AC) 중 카메라 센서(112)에 의해 감지된 적어도 하나 이상의 물체에 대한 정보를 의미한다. 만약, 공통 감지 영역(AC)에 어떠한 물체도 존재하지 않으면, 카메라 데이터에는 제2 물체 정보가 포함되지 않는다. 이 경우, 제1 물체 정보와 제2 물체 정보는 공통 감지 영역(AC)에 위치하는 적어도 하나 이상의 물체의 위치, 크기 또는 속력 등에 대한 정보일 수 있다.
센서신호 융합부(150)는 제1 물체 정보 또는 제2 물체 정보에 근거하여, 공통 감지 영역(AC)이 구획된 영역별로 위험물체의 존재 유무를 판단한다. 즉, 지면 포함 영역(A2)과 지면 미포함 영역(A1) 각각에 위험물체가 존재하는지를 개별적으로 판단할 수 있다.
한편, 도 1에 도시된 물체 검출 장치의 각 구성 간의 연결선은 예시적인 것에 불과하다. 즉, 단방향 연결선은 양방향 연결선일 수 있고, 일부 연결선이 생략되거나, 더 많은 연결선이 추가될 수 있다는 것을 당업자라면 쉽게 이해할 수 있다.
<제1 실시예>
도 3은 본 발명의 일 실시예에 따른 물체 검출 장치가 라이다 데이터와 이미지 데이터를 처리하여 위험물체의 존재 여부를 판단하는 일 예를 설명하기 위한 도면이다. 센서신호 융합부(150)는 매핑 모듈(152) 및 물체 비교 모듈(154)을 포함할 수 있다. 매핑 모듈(152)은 제1 물체 정보와 제2 물체 정보의 물체에 대한 위치를 상호 비교 가능한 형태로 변환할 수 있다. 예컨대, 매핑 모듈(152)은 라이다 데이터 및 이미지 데이터를 미리 정의된 동일한 좌표 평면에 관한 데이터로 변환할 수 있다. 이 경우, 매핑 모듈(152)은 라이다 데이터를 이미지 데이터에 상응하는 이미지에 투영시킬 수 있는 형태로 변환할 수 있다.
물체 비교 모듈(154)은 제1 물체 정보(L)를 이미지 데이터에 포함된 제2 물체 정보(C)와 비교할 수 있다. 일 예로서 도 3을 참조하면, 물체 비교 모듈(154)은 미리 정의된 좌표 평면 상에서, 라이다 데이터에 포함된 제1 물체 정보(L)를 이미지 데이터에 포함된 제2 물체 정보(C)와 비교할 수 있다. 물체 비교 모듈(154)은 매핑 모듈(152)로부터 제1 물체 정보(L)에 관한 물체의 좌표값과 제2 물체 정보에 관한 물체의 좌표값을 전달받고, 두 좌표값에 대한 비교를 수행하여 좌표값 사이의 차이가 기 설정된 임계치 미만인지 판단할 수 있다. 이때, 좌표값은 제1 물체 정보(L)와 제2 물체 정보(C)와 관련된 물체 각각의 중심 좌표값(K1, K2)일 수 있다. 한편, 물체 비교 모듈(154)은 좌표값뿐만 아니라, 물체의 속력, 크기 등에 관한 정보와 같이, 라이다 데이터와 이미지 데이터에 포함된 물체 정보 간의 유사도를 산출할 수 있는 다양한 정보에 근거하여, 서로 동일한 물체인지 여부를 판단할 수 있다.
도 3을 참조하면, 센서신호 융합부(150)는 지면 포함 영역(A2)에 대하여, 좌측상단에 도시된 라이다 데이터의 제1 물체 정보(L)와 우측상단에 도시된 이미지 데이터의 제2 물체 정보(C)를 비교할 수 있다. 이에 따라, 센서신호 융합부(150)는 도 3의 하단에 도시된 것과 같이, 라이다 센서(111)와 카메라 센서(112)에 의해 감지된 물체들의 중심 좌표값이 서로 일치하는지 판단할 수 있다. 판단 결과, 중심 좌표값(K1, K2)이 기 설정된 임계값 미만의 차이를 갖는 경우, 서로 동일한 물체인 것으로 처리할 수 있다. 즉, 센서신호 융합부(150)는 지면 미포함 영역(A1)과 지면 포함 영역(A2) 각각에서 라이다 센서(111)와 카메라 센서(112)에 의해 동일한 물체가 감지되는 경우에 한하여, 위험물체가 존재하는 것으로 판단할 수 있다.
<제2 실시예>
전술한 제1 실시예와는 다르게, 센서신호 융합부(150)는 데이터 분석부(140)에 의해 지면 미포함 영역(A1)에 대한 라이다 데이터로부터 제1 물체 정보가 추출되면, 지면 미포함 영역(A1)에 위험물체가 존재하는 것으로 판단할 수 있다. 즉, 지면 미포함 영역(A1)에 대하여, 라이다 데이터에 제1 물체 정보가 포함되면, 이미지 데이터에 제2 물체 정보가 포함되지 않더라도, 지면 미포함 영역(A1)에 위험물체가 존재하는 것으로 판단할 수 있다.
구체적으로, 카메라 센서(112)는 라이다 센서(111)에 비하여 물체 검출율이 낮으며, 역광 또는 야간과 같은 환경에는 물체 검출율이 더욱 낮아지는 특성이 있다. 이에 반해, 라이다 센서(111)는 물체 검출율이 100%에 가까우며, 역광 또는 야간에도 일정 수준 이상의 물체 검출 성능을 유지할 수 있기 때문이다.
즉, 이미지 데이터에 제2 물체 정보가 포함되었는지와 무관하게, 라이다 데이터에 제1 물체 정보가 포함되면 지면 미포함 영역(A1)에 위험물체가 존재하는 것으로 판단함으로써, 카메라 센서(112)에 의해 감지되지 않아 위험물체로 판단되지 않았던 지면 미포함 영역(A1)의 일부 물체까지 위험물체로 판단할 수 있고, 최종적으로 차량과 물체의 충돌 가능성을 저감할 수 있다.
<제3 실시예>
센서부(110)는 카메라 센서(112)의 물체 검출 문턱값(T)을 조절할 수 있다. 구체적으로, 센서부(110)는 기 정의된 감도 조절 조건에 근거하여, 카메라 센서(112)의 물체 검출 문턱값(T)이 증가 또는 감소하도록 조절할 수 있다. 예컨대, 라이다 데이터에 제1 물체 정보가 포함되는 것을 감도 조절 조건으로 미리 정의한 경우, 데이터 분석부(140)에 의해 라이다 데이터로부터 제1 물체 정보가 추출되면, 센서부(110)는 카메라 센서(112)의 물체 검출 문턱값(T)을 낮출 수 있다.
도 4는 본 발명의 일 실시예에 따라 카메라 센서(112)의 물체 검출 문턱값(T)이 조절됨에 따라 물체 검출률이 변화하는 일 예를 설명하기 위한 도면이다.
카메라 센서(112)에는 시계(FOV) 내의 영역에서 물체를 감지하기 위한 물체 검출 문턱값(T)이 미리 설정될 수 있다. 예컨대, 카메라 센서(112)의 시계(FOV) 내에는 차량과 충돌 가능성이 존재하는 타 차량 등과 같은 물체가 존재할 수도 있으며, 차량과 충돌 가능성이 없거나 매우 미미한 가로수, 방음벽 등과 같은 물체가 존재할 수 있다. 만약, 충돌 가능성이 없거나 매우 미미한 물체까지 감지하여 제2 물체 정보를 생성하는 경우에 연산량이 과도하게 증가하고, 불필요한 정보로 인해 오인식률이 증가할 수 있기 때문에, 센서부(110)에는 카메라 센서(112)의 물체 검출 문턱값(T)이 미리 설정되어, 문턱값(T) 이하의 값을 갖는 물체를 제2 물체 정보의 생성 대상에서 제외시킬 수 있다. 물체 검출 문턱값(T)으로 미리 설정되는 값으로서는 물체의 크기, 모양, 선명도 등으로 다양할 수 있다.
도 4의 (a)를 참조하면, 물체 검출 문턱값(T)이 감지된 물체의 모양으로 설정되는 경우의 일 예를 확인할 수 있다. 좌측의 그림에는 문턱값(T)을 기준으로 상부에 사각형이 위치하고, 하부에는 원형과 삼각형이 위치하는 바, 사격형의 물체만이 제2 물체 정보의 생성 대상이 되고, 원형과 삼각형의 물체는 제2 물체 정보의 생성 대상에서 제외된다. 이에 비해, 우측의 그림에는 물체 검출 문턱값(T)이 감소함에 따라, 원형의 물체까지 제2 물체 정보의 생성 대상에 포함될 수 있다.
도 4의 (b)를 참조하면, 제1 내지 제4 후보 물체(O1-O4)를 확인할 수 있다. 여기서, 제1 내지 제3 후보 물체(O1-O3)는 타 차량이며, 제4 호부 물체(O4)는 방음벽인 것으로 가정한다. 센서부(110)가 카메라 센서(112)의 물체 검출 문턱값(T)을 조절하기 전에는 제1 및 제3 후보 물체(O1, O3)만이 제2 물체 정보의 생성 대상에 포함될 수 있다. 만약, 센서부(110)가 물체 검출 문턱값(T)을 낮추면, 제2 및 제4 후보 물체(O2, O4)까지 제2 물체 정보의 생성 대상에 포함될 수 있다.
이때, 제4 후보 물체(O4)는 차량과의 충돌 가능성이 없거나 매우 미미한 물체인 방음벽으로서, 제2 물체 정보에 포함되더라도 라이더 데이터는 제4 후보 물체(O4)를 감지하지 않으므로, 제1 물체 정보에는 제4 후보 물체(O4)에 관한 감지 정보가 포함되지 않는다. 따라서, 제1 물체 정보와 제2 물체 정보에 관한 물체가 서로 동일한 경우에만 위험물체로 판단하도록 설정된 상태라면, 센서신호 융합부(150)에 의해 제4 후보 물체(O4)는 위험물체로 판단되지 않으므로, 본 발명의 실시예에 따른 물체 검출 장치의 검출 신뢰성의 악화를 방지할 수 있다.
<제4 실시예>
차량정보 수집부(160)는 차량의 속력 정보를 수집할 수 있다. 데이터 분석부(140)는 차량 속력 정보에 근거하여, 차량에 대하여 공통 감지 영역(AC)의 물체가 갖는 상대속력 정보를 제1 물체 정보 또는 제2 물체 정보에 포함시킬 수 있다.
도 5는 본 발명의 일 실시예에 따라 차량의 속력 정보에 근거하여, 물체의 정지 또는 이동 여부를 판단하는 일 예를 설명하기 위한 도면이고, 센서신호 융합부(150)는 상대속력 정보에 근거하여, 지면 포함 영역(A2)에 대한 제1 물체 정보가 정지된 물체에 대한 것인지 판단할 수 있다. 예컨대, 센서신호 융합부(150)는 제1 물체 정보의 상대속력이 차량의 속력과 동일하면, 제1 물체 정보가 정지 물체에 대한 것으로 판단할 수 있다. 또한, 센서신호 융합부(150)는 지면 포함 영역(A2)에 대한 제1 물체 정보가 움직이는 물체에 대한 것으로 판단되면, 지면 포함 영역(A2)에 위험물체가 존재하는 것으로 처리할 수 있다. 일 예로 도 5를 참조하면, 표지병(M)은 도로에 고정되는 구조물이므로, 차량의 속력과 동일한 상대속력으로 차량을 향하여 다가오므로, 센서신호 융합부(150)는 표지병(M)에 대한 제1 물체 정보는 정지 물체에 대한 것으로 처리할 수 있다. 이에 반해, 제5 후보 물체(O5)는 주행 중인 타 차량으로서, 차량과 주행 경로가 동일한 바, 센서신호 융합부(150)는 제5 후보 물체(O5)에 대한 제1 물체 정보는 움직이는 물체에 대한 것으로 처리할 수 있다.
이때, 센서신호 융합부(150)는 지면 포함 영역(A2)에 대한 제1 물체 정보가 정지 물체에 대한 것으로 판단되면, 지면 포함 영역(A2)에 대한 제2 물체 정보를 기준으로, 지면 포함 영역(A2)의 위험물체 존부를 판단할 수 있다. 구체적으로, 센서신호 융합부(150)는 이미지 데이터에 정지 물체에 대한 제2 물체 정보가 포함되면, 위험물체가 존재하는 것으로 처리할 수 있다. 반면, 이미지 데이터에 정지 물체에 대한 제2 물체 정보가 포함되지 않으면, 지면 포함 영역(A2)에 위험물체가 존재하지 않는 것으로 처리할 수 있다.
<제5 실시예>
한편, 본 발명의 일 실시예에 따른 물체 검출 장치는 지면 포함 영역(A2)에 대한 제1 물체 정보가 정지 물체이고, 이미지 데이터에 해당 정지 물체에 대한 제2 물체 정보가 포함되지 않은 경우에도, 정지 물체가 위험물체인지 판단하는 추가적인 데이터 처리를 수행할 수 있다.
구체적으로, 데이터 분석부(140)는 이미지 데이터에 포함된 차선 정보를 추출할 수 있다. 차선 정보는 이미지 데이터에 대하여 에지 검출 기법 등과 같은 영상 처리를 수행하여 추출할 수 있는바, 공지된 기법이므로 상세한 설명은 생략한다. 센서신호 융합부(150)는 지면 포함 영역(A2)에 대한 제1 물체 정보가 정지 물체에 대한 것이면, 해당 정지 물체의 위치가 차선 밖인지 판단한다. 만약, 제1 물체 정보가 차선 밖에 존재하는 정지 물체에 대한 것이면, 센서신호 융합부(150)는 지면 포함 영역(A2)에 위험물체가 존재하는 것으로 처리한다. 차선 안에 존재하는 정지 물체는 표지병(M)일 가능성이 높아 위험물체로 처리할 필요가 적은 반면, 차선 밖에 존재하는 정지 물체는 차량의 주행 경로 상에 위치하여 위험물체로 처리할 필요가 크기 때문이다.
한편, 구동부(170)와 동기화부(120)는 전술한 제1 내지 제5 실시예에 모두 적용될 수 있는 구성이다.
구동부(170)는 센서신호 융합부(150)에 의해 위험물체가 존재하는 것으로 처리되면, 차량의 자율비상제동 시스템을 구동시킨다. 이때, 구동부(170)는 차량의 자율비상제동 시스템을 동작시켜 경고음이나 경고메시지 등만을 출력하거나, 또는 운전자가 브레이크를 조작하기 않아도 차량이 감속 또는 정지하도록 차량의 제동장치를 제어할 수 있다.
동기화부(120)는 라이다 센서(111)로부터 전달되는 라이다 데이터와 카메라 센서(112)로부터 전달되는 이미지 데이터를 시간에 대하여 동기화시킨다. 동일한 시점에 생성되는 라이다 데이터와 이미지 데이터가 순차적으로 데이터 분석부(140) 또는 센서신호 융합부(150)로 전달될 수 있다. 이에 따라, 센서신호 융합부(150)는 동기화가 완료된 라이다 데이터와 이미지 데이터로부터 추출된 제1 물체 정보 또는 제2 물체 정보에 근거하여, 구획된 영역별로 위험물체의 존재 유무를 판단함으로써, 물체 검출의 신뢰성이 보다 향상될 수 있다.
도 6은 본 발명의 일 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다. 도 6은 물체 검출 장치의 동작 방법으로, 전술한 제1 실시예 내지 제5 실시예에 모두 적용될 수 있는 일 예를 도시한 것이다.
도 6을 참조하면, 라이다 센서(111)를 이용하여 라이다 데이터를 생성하고, 카메라 센서(112)를 이용하여 이미지 데이터를 생성한다(S620).
이어, 영역 구획부(130)가 라이다 센서(111)와 카메라 센서(112)의 공통 감지 영역(AC)을 복수개의 하위 영역으로 구획한다. 복수개의 하위 영역으로 구획하는 기준은 다양할 수 있는바, 일 예로서, 지면이 포함되어 있는지를 기준으로 지면 미포함 영역(A1)과 지면 포함 영역(A2)으로 구획될 수 있다(S630).
다음으로, 데이터 분석부(140)가 지면 미포함 영역(A1)과 지면 포함 영역(A2) 각각에 대한 라이다 데이터 또는 이미지 데이터를 분석한다(S642, S644). 즉, 각 영역에 대한 라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출할 수 있다.
이어, 센서신호 융합부(150)가 데이터 분석부(140)에 의한 분석의 결과에 근거하여, 지면 미포함 영역(A1)과 지면 포함 영역(A2) 각각에 대하여 위험물체의 존재 유무를 판단한다(S652, S654). 지면 미포함 영역(A1) 또는 지면 포함 영역(A2)에 위험물체가 존재하는 것으로 처리되면, 구동부(170)가 차량의 자율비상제동 시스템을 동작시킨다(S670).
도 7은 본 발명의 다른 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다. 도 7은 전술한 제2 실시예와 유사하다. 도 6의 S652 단계와 비교할 때, 센서신호 융합부(150)가 지면 미포함 영역(A1)에 위험물체가 존재하는지 여부를 판단함에 있어서, 이미지 데이터에 제2 물체 정보가 포함되었는지 여부와 무관하게, 라이다 데이터에 제1 물체 정보가 포함되면 지면 미포함 영역(A1)에 위험물체가 존재하는 것으로 처리(S852)한다는 점에서 상이하다.
구체적으로, 라이다 센서(111)는 수평축에 대한 분해능을 갖지만, 수직축에 대한 분해능은 없을 수 있다. 즉, 라이다 센서(111)는 지면 미포함 영역(A1)과는 달리 지면 포함 영역(A2)에 존재하는 표지병(도 5의 M) 등과 같이 낮은 높이를 갖는 물체를 감지하지 못할 가능성이 크다. 따라서, 지면 미포함 영역(A1)에서는 라이다 데이터의 제1 물체 정보만을 이용하더라도 위험물체가 존재하는 것으로 처리할 수 있으나. 지면 포함 영역(A2)에서는 라이다 데이터의 제1 물체 정보 및 이미지 데이터의 제2 물체 정보를 이용하여 동일 물체로 판단된 경우에 한하여, 위험물체가 존재하는 것으로 처리할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다. 도 8은 전술한 제3 실시예와 유사하다. 도 6과 비교할 때, 센서부(110)가 카메라 센서(112)의 물체 검출 문턱값(T)을 조절하는 단계가 추가될 수 있다(S710). 이 경우, 물체 검출 문턱값(T)으로 미리 설정되는 값으로서는 감지된 물체의 크기, 모양, 선명도 등으로 다양할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 물체 검출 장치의 동작 방법을 나타낸 순서도이다. 도 9는 전술한 제4 실시예 또는 제5 실시예와 유사하다. 도 6과 비교하면, 지면 미포함 영역(A1)에 위험물체가 존재하는지 여부를 판단하여 자율비상제동 시스템을 동작시키는 과정은 동일한 것으로 가정한다.
도 9를 참조하여 지면 포함 영역(A2)에 대한 데이터 처리 과정을 보다 상세하게 설명하면, 차량정보 수집부(160)가 차량의 속력 정보를 수집하고(S922), 데이터 분석부(140)가 차량의 속력 정보에 근거하여, 지면 포함 영역(A2)에서 감지된 물체의 상대속력을 산출할 수 있다. 라이다 데이터에 제1 물체 정보가 포함되면, 센서신호 융합부(150)는 상대속력에 근거하여, 제1 물체 정보가 움직이는 물체인지 정지 물체인지 판단하고(S956), 움직이는 물체로 판단된 경우에 한하여 자율비상제동 시스템을 구동시킬 수 있다(S970).
다만, 제5 실시예에 따르면, 제1 물체 정보에 관한 물체가 정지 물체인 것으로 판단된 경우라도, 후술할 추가적인 데이터 처리를 통해 위험물체로 판단될 수 있다. 도 9를 참조하면, 데이터 분석부(140)는 이미지 데이터를 분석하여 차선 정보를 추출하고(S946), 센서신호 융합부(150)는 정지 물체로 판단된 제1 물체 정보에 대한 물체가 차선 밖에 존재하는 물체인지 판단할 수 있다(S958). 만약, 정지 물체로 판단된 제1 물체 정보에 대한 물체가 차선 밖에 존재하면 자율비상제동 시스템을 구동시킬 수 있다(S970).
전술한 바와 같이, 본 발명은 라이다 센서(111)와 카메라 센서(112)를 이용하여 차량 주변에 위치하는 위험물체를 검출함에 있어서, 라이다 센서(111)와 카메라 센서(112)의 시계(FOV) 중 중첩된 영역의 전부 또는 일부를 공통 감지 영역(AC)으로 설정하고, 공통 감지 영역(AC)을 지면 포함 여부 등의 다양한 기준에 따라 복수개의 하위 영역으로 구획하며, 구획된 하위 영역의 특성에 따라 독립적인 데이터 처리 방식을 적용함으로써, 물체 검출률과 검출 결과의 신뢰성을 향상시킬 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
또한, 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
110: 센서부 111: 라이다 센서
112: 카메라 센서 120: 동기화부
130: 영역 구획부 140: 데이터 분석부
150: 센서신호 융합부 152: 매핑 모듈
154: 물체 비교 모듈 160: 차량정보 수집부
170: 구동부
AC: 공통 감지 영역 A1: 지면 미포함 영역
A2: 지면 포함 영역 V: 차량
L: 제1 물체 정보 C: 제2 물체 정보
T: 물체 검출 문턱값 O1-O5: 제1 내지 5 후보 물체
M: 표지병

Claims (17)

  1. 라이다 데이터를 수집하는 라이다 센서 및 이미지 데이터를 수집하는 카메라 센서를 포함하는 센서부;
    라이다 센서와 카메라 센서의 공통 감지 영역을 복수개의 영역으로 구획하는 영역 구획부;
    라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 데이터 분석부; 및
    제1 물체 정보 또는 제2 물체 정보에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단하는 센서신호 융합부;
    를 포함하고,
    상기 센서신호 융합부는,
    상기 영역 구획부에 의해 상기 공통 감지 영역을 지면 미포함 영역과 지면 포함 영역으로 구획되면, 상기 데이터 분석부에 의해 지면 미포함 영역에서 상기 라이다 데이터로부터 제1 물체 정보가 추출되면, 지면 미포함 영역에 위험물체가 존재하는 것으로 처리하고,
    상기 데이터 분석부에 의해 지면 포함 영역에서 상기 라이다 데이터의 제1 물체 정보 및 이미지 데이터의 제2 물체 정보를 이용하여, 상기 제1 물체와 상기 제2 물체가 동일 물체로 판단되면, 위험물체가 존재하는 것으로 처리하는 물체 검출 장치.
  2. 제1항에 있어서,
    상기 센서신호 융합부는,
    라이다 데이터 및 이미지 데이터를 동일한 좌표 평면에 관한 데이터로 변환하는 매핑 모듈; 및
    상기 좌표 평면 상에서, 라이다 데이터에 포함된 제1 물체 정보를 이미지 데이터에 포함된 제2 물체 정보와 비교하는 물체 비교 모듈;
    를 포함하고, 제1 물체 정보와 제2 물체 정보의 비교결과에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단하는, 물체 검출 장치.
  3. 제2항에 있어서,
    상기 센서신호 융합부는,
    물체 비교 모듈에 의한 비교 결과, 제1 물체 정보와 제2 물체 정보가 기 설정된 임계치 미만의 차이를 가지면, 제1 물체와 제2 물체가 서로 동일한 물체인 것으로 판단하는, 물체 검출 장치.
  4. 제2항에 있어서,
    제1 물체 정보는 상기 좌표 평면에 대한 제1 물체의 중심 좌표이고,
    제2 물체 정보는 상기 좌표 평면에 대한 제2 물체의 중심 좌표인, 물체 검출 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 센서부는,
    기 정의된 감도 조절 조건에 근거하여, 카메라 센서의 물체 검출 문턱값을 조절하는, 물체 검출 장치.
  8. 제1항에 있어서,
    차량의 속력 정보를 수집하는 차량정보 수집부;
    를 더 포함하는, 물체 검출 장치.
  9. 제8항에 있어서,
    상기 데이터 분석부는,
    차량 속력 정보에 근거하여, 차량에 대한 상대속력 정보를 제1 물체 정보 또는 제2 물체 정보에 포함시키고,
    상기 센서신호 융합부는,
    상기 상대속력 정보에 근거하여, 지면 포함 영역에 대한 제1 물체 정보가 정지된 물체에 대한 것인지 판단하고, 제1 물체 정보가 움직이는 물체에 대한 것으로 판단되면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리하는, 물체 검출 장치.
  10. 제9항에 있어서,
    상기 데이터 분석부는,
    이미지 데이터에 포함된 차선 정보를 추출하고,
    상기 센서신호 융합부는,
    지면 포함 영역에 대한 제1 물체 정보가 차선 밖에 존재하는 정지된 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리하는, 물체 검출 장치.
  11. 제1항에 있어서,
    상기 센서신호 융합부에 의해 위험물체가 존재하는 것으로 처리되면, 차량의 자율비상제동 시스템을 동작시키는 구동부;
    를 더 포함하는, 물체 검출 장치.
  12. 제1항에 있어서,
    라이다 센서로부터 전달되는 라이다 데이터와 카메라 센서로부터 전달되는 이미지 데이터를 시간에 대하여 동기화시키는 동기화부;
    를 더 포함하고,
    상기 센서신호 융합부는,
    동기화가 완료되면, 제1 물체 정보 또는 제2 물체 정보에 근거하여, 상기 구획된 영역별로 위험물체의 존재 유무를 판단하는, 물체 검출 장치.
  13. 라이다 센서를 이용하여 라이다 데이터를 생성하고, 카메라 센서를 이용하여 이미지 데이터를 생성하는 단계;
    라이다 센서와 카메라 센서의 공통 감지 영역을 지면 미포함 영역과 지면 포함 영역으로 구획하는 단계;
    라이다 데이터를 분석하여 제1 물체 정보를 추출하거나, 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 단계;
    상기 분석의 결과에 근거하여, 지면 미포함 영역과 지면 포함 영역 각각에 대하여 위험물체의 존재 유무를 판단하는 단계; 및
    위험물체가 존재하는 것으로 처리되면, 차량의 자율비상제동 시스템을 동작시키는 단계;
    를 포함하고,
    상기 판단하는 단계는,
    지면 미포함 영역에 대한 라이다 데이터에 제1 물체 정보가 포함되면, 지면 미포함 영역에 위험물체가 존재하는 것으로 처리하고,
    지면 포함 영역에 대해 라이다 데이터에 제1 물체 정보와 및 이미지 데이터의 제2 물체 정보를 이용하여, 상기 제1 물체와 상기 제2 물체가 동일 물체로 판단되면, 위험물체가 존재하는 것으로 처리하는 물체 검출 장치의 동작 방법.
  14. 삭제
  15. 제13항에 있어서,
    기 정의된 감도 조절 조건에 근거하여, 카메라 센서의 물체 검출 문턱값을 하향 조절하는 단계;
    를 더 포함하는, 물체 검출 장치의 동작 방법.
  16. 제13항에 있어서,
    차량의 속력 정보를 수집하는 단계;
    를 더 포함하고,
    상기 판단하는 단계는,
    차량의 속력 정보에 근거하여, 지면 포함 영역에 대한 라이다 데이터에 포함된 제1 물체 정보가 정지된 물체에 대한 것인지 판단하여, 제1 물체 정보가 움직이는 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리하는, 물체 검출 장치의 동작 방법.
  17. 제16항에 있어서,
    상기 이미지 데이터를 분석하여 제2 물체 정보를 추출하는 단계는,
    이미지 데이터에 포함된 차선 정보를 추출하는 단계;
    를 더 포함하고,
    상기 판단하는 단계는,
    지면 포함 영역에 대한 라이다 데이터에 포함된 제1 물체 정보가 차선 밖에 존재하는 정지된 물체에 대한 것이면, 지면 포함 영역에 위험물체가 존재하는 것으로 처리하는, 물체 검출 장치의 동작 방법.
KR1020140144321A 2014-10-23 2014-10-23 물체 검출 장치 및 그 동작 방법 KR101644370B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140144321A KR101644370B1 (ko) 2014-10-23 2014-10-23 물체 검출 장치 및 그 동작 방법
US14/697,097 US9435887B2 (en) 2014-10-23 2015-04-27 Object detecting apparatus, and method of operating the same
CN201510696082.2A CN105549023B (zh) 2014-10-23 2015-10-23 物体检测装置及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140144321A KR101644370B1 (ko) 2014-10-23 2014-10-23 물체 검출 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20160047863A KR20160047863A (ko) 2016-05-03
KR101644370B1 true KR101644370B1 (ko) 2016-08-01

Family

ID=55791828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140144321A KR101644370B1 (ko) 2014-10-23 2014-10-23 물체 검출 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US9435887B2 (ko)
KR (1) KR101644370B1 (ko)
CN (1) CN105549023B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872990A (zh) * 2017-03-01 2017-06-20 大连动感智慧科技有限公司 一种三维空间目标精准定位和追踪方法
KR20190053612A (ko) 2017-11-10 2019-05-20 현대오트론 주식회사 차량 추적 장치 및 그것의 동작 방법
KR20190060336A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 장애물 판단을 위한 파라미터 보정 시스템 및 방법
KR102287823B1 (ko) * 2020-12-08 2021-08-09 전남대학교산학협력단 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 장치 및 이를 위한 방법
KR20210122155A (ko) * 2020-03-27 2021-10-08 우창정보기술(주) 통합 퓨전 센서 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3151216A1 (en) * 2015-10-01 2017-04-05 Volvo Car Corporation Method for providing an alert to a driver and an alert system
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
CN107640149B (zh) * 2016-07-22 2020-09-08 奥迪股份公司 车辆辅助驾驶方法及系统
US10073456B2 (en) * 2016-11-17 2018-09-11 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
WO2018103467A1 (en) 2016-12-05 2018-06-14 Shenzhen GOODIX Technology Co., Ltd. Sensing vehicle positions with optical sensors
CN106597472A (zh) * 2016-12-21 2017-04-26 深圳市镭神智能系统有限公司 基于激光雷达的智能车防撞系统及方法
US10579138B2 (en) 2016-12-22 2020-03-03 ReScan, Inc. Head-mounted sensor system
US10089784B2 (en) * 2016-12-22 2018-10-02 ReScan, Inc. Head-mounted mapping methods
KR102084302B1 (ko) * 2017-01-05 2020-03-03 (주)카네비컴 광각 라이더 장치 및 이의 동작 방법
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
US10838067B2 (en) * 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
CN107389084B (zh) * 2017-06-09 2020-06-05 深圳市速腾聚创科技有限公司 行车路径规划方法及存储介质
KR102399130B1 (ko) * 2017-06-28 2022-05-18 현대모비스 주식회사 차량의 주행 환경 인식 장치, 방법 및 시스템
US10401484B2 (en) * 2017-06-30 2019-09-03 Aptiv Technologies Limited LiDAR sensor alignment system
KR102050632B1 (ko) 2017-08-02 2019-12-03 주식회사 에스오에스랩 다채널 라이다 센서 모듈
KR102463175B1 (ko) 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
US10933798B2 (en) * 2017-09-22 2021-03-02 Magna Electronics Inc. Vehicle lighting control system with fog detection
US10771669B1 (en) * 2017-09-26 2020-09-08 Apple Inc. Time synchronization of sensor data
JP2019086406A (ja) * 2017-11-07 2019-06-06 株式会社Ｓｏｋｅｎ 物体検知装置
KR101921074B1 (ko) * 2017-11-23 2018-11-22 (주) 모토텍 차량의 aeb 구동을 위한 센서 퓨전 시스템
KR102059244B1 (ko) * 2017-12-20 2019-12-24 주식회사 에스오에스랩 라이다 장치
KR102394905B1 (ko) * 2017-12-27 2022-05-09 현대자동차주식회사 차량 및 그 제어 방법
KR102109941B1 (ko) * 2018-01-23 2020-05-12 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
CN209955917U (zh) * 2018-03-05 2020-01-17 株式会社小糸制作所 传感器系统
JP6932664B2 (ja) * 2018-03-08 2021-09-08 日立Astemo株式会社 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
CN108508872B (zh) * 2018-04-18 2020-05-05 鄂尔多斯市普渡科技有限公司 一种无人驾驶汽车信息采集系统的故障检测方法
US11210936B2 (en) * 2018-04-27 2021-12-28 Cubic Corporation Broadcasting details of objects at an intersection
DE102018004782A1 (de) 2018-06-15 2019-12-19 Daimler Ag Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102018211240A1 (de) * 2018-07-07 2020-01-09 Robert Bosch Gmbh Verfahren zum Klassifizieren einer Relevanz eines Objekts
KR102535590B1 (ko) * 2018-09-21 2023-05-23 한국전자통신연구원 센서 융합 기반 물체 검출장치 및 검출방법
US10531075B1 (en) 2018-09-27 2020-01-07 Honda Motor Co., Ltd. Synchronization controller unit for sensor node
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
KR102151815B1 (ko) * 2018-12-12 2020-09-03 충북대학교 산학협력단 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
KR102151814B1 (ko) * 2018-12-12 2020-09-03 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
CN109407115B (zh) * 2018-12-25 2022-12-27 中山大学 一种基于激光雷达的路面提取系统及其提取方法
CN109572693A (zh) * 2019-01-24 2019-04-05 湖北亿咖通科技有限公司 车辆避障辅助方法、系统及车辆
KR102224218B1 (ko) * 2019-04-30 2021-03-08 한양대학교 산학협력단 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치
CN110435642A (zh) * 2019-08-06 2019-11-12 吉利汽车研究院（宁波）有限公司 数据融合方法、装置及存储介质
RU2769921C2 (ru) * 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
US11281915B2 (en) * 2019-12-06 2022-03-22 Black Sesame Technologies Inc. Partial frame perception
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
CN113206913B (zh) * 2020-01-31 2022-05-10 华为技术有限公司 一种握持姿态检测方法及电子设备
KR20210120384A (ko) * 2020-03-26 2021-10-07 현대모비스 주식회사 충돌 거리 추정 장치 및 이를 이용한 주행 보조 시스템
CN111398989A (zh) * 2020-04-02 2020-07-10 昆易电子科技(上海)有限公司 驾驶辅助系统的性能分析方法和测试设备
US11693927B2 (en) * 2020-07-24 2023-07-04 Pony Ai Inc. Generating fused sensor data through metadata association
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
JP2023032736A (ja) * 2021-08-27 2023-03-09 株式会社デンソー 物体検知装置、物体検知方法
KR102656811B1 (ko) * 2021-12-14 2024-04-12 주식회사 유니트론텍 복수의 센서 데이터에 기반한 자율주행 제어 시스템 및 방법
KR102618924B1 (ko) * 2023-10-18 2023-12-28 한화시스템(주) Fmcw 레이다 기반의 객체 탐지 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
JP2012048643A (ja) 2010-08-30 2012-03-08 Denso Corp 物体検出装置
JP2012103197A (ja) * 2010-11-12 2012-05-31 Japan Radio Co Ltd 移動目標対応型スキャン相関方法
JP2014075026A (ja) 2012-10-04 2014-04-24 Mitsubishi Electric Corp 車両周辺監視装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498972B1 (en) * 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
US20100204964A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
KR101281260B1 (ko) 2009-04-07 2013-07-05 주식회사 만도 차량 인식 방법 및 장치
EP2302412B1 (en) * 2009-09-29 2012-08-15 Volvo Car Corporation System and method for evaluation of an automotive vehicle forward collision threat
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
CN101976460B (zh) * 2010-10-18 2012-02-22 无锡维森智能传感技术有限公司 车载多目摄像机环视系统的虚拟视点图像生成方法
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR101401399B1 (ko) * 2012-10-12 2014-05-30 현대모비스 주식회사 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
GB2511748B (en) * 2013-03-11 2015-08-12 Jaguar Land Rover Ltd Emergency braking system for a vehicle
CN104111653A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其工作区域判断方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
JP2012048643A (ja) 2010-08-30 2012-03-08 Denso Corp 物体検出装置
JP2012103197A (ja) * 2010-11-12 2012-05-31 Japan Radio Co Ltd 移動目標対応型スキャン相関方法
JP2014075026A (ja) 2012-10-04 2014-04-24 Mitsubishi Electric Corp 車両周辺監視装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872990A (zh) * 2017-03-01 2017-06-20 大连动感智慧科技有限公司 一种三维空间目标精准定位和追踪方法
KR20190053612A (ko) 2017-11-10 2019-05-20 현대오트론 주식회사 차량 추적 장치 및 그것의 동작 방법
KR20190060336A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 장애물 판단을 위한 파라미터 보정 시스템 및 방법
KR20210122155A (ko) * 2020-03-27 2021-10-08 우창정보기술(주) 통합 퓨전 센서 장치
KR102610855B1 (ko) * 2020-03-27 2023-12-08 우창정보기술 (주) 통합 퓨전 센서 장치
KR102287823B1 (ko) * 2020-12-08 2021-08-09 전남대학교산학협력단 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 장치 및 이를 위한 방법
WO2022124479A1 (ko) * 2020-12-08 2022-06-16 전남대학교 산학협력단 심층학습 모델을 이용한 상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
CN105549023A (zh) 2016-05-04
CN105549023B (zh) 2018-04-17
KR20160047863A (ko) 2016-05-03
US20160116593A1 (en) 2016-04-28
US9435887B2 (en) 2016-09-06

Similar Documents

Publication Publication Date Title
KR101644370B1 (ko) 물체 검출 장치 및 그 동작 방법
US11288524B2 (en) Estimating object properties using visual image data
KR102027771B1 (ko) 차량 속도 적응형 장애물 검출 장치 및 방법
US20120081542A1 (en) Obstacle detecting system and method
JP6353525B2 (ja) ホスト車両の速度を制御する方法、及び、ホスト車両の速度を制御するためのシステム
JP2004531424A (ja) 車用の感知装置
JP6354659B2 (ja) 走行支援装置
CN109017776B (zh) 安装在车辆中的驾驶辅助系统
JP6331811B2 (ja) 信号機検出装置及び信号機検出方法
CN112193246A (zh) 车辆及用于执行车辆间距离控制的方法
KR20190109622A (ko) Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
KR20180130185A (ko) 차량의 긴급 제동 준비 방법
EP2915715B1 (en) Vehicle speed control device and vehicle provided therewith
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
US10747230B2 (en) Vehicle control apparatus, vehicle control system, and image sensor
JP5974718B2 (ja) 車両走行支援装置及び車両走行支援方法
JP2010072947A (ja) 障害物検出装置
KR102529555B1 (ko) 자율 긴급 제동 시스템 및 이의 구동 방법
KR20150128314A (ko) 차량 aeb 제동 장치 및 그 방법
KR102079291B1 (ko) 전방 차량 충돌 경고 장치 및 방법
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
KR20190051464A (ko) 자동 긴급 제동장치 및 그 제어방법
WO2017169704A1 (ja) 環境認識装置
KR101628581B1 (ko) 도로의 과속방지턱 감지장치 및 방법
KR20220052427A (ko) 차량의 전방 감지 시스템 및 대응 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 4