KR20180076441A - Method and apparatus for detecting object using adaptive roi and classifier - Google Patents

Method and apparatus for detecting object using adaptive roi and classifier Download PDF

Info

Publication number
KR20180076441A
KR20180076441A KR1020160180586A KR20160180586A KR20180076441A KR 20180076441 A KR20180076441 A KR 20180076441A KR 1020160180586 A KR1020160180586 A KR 1020160180586A KR 20160180586 A KR20160180586 A KR 20160180586A KR 20180076441 A KR20180076441 A KR 20180076441A
Authority
KR
South Korea
Prior art keywords
coordinate system
camera
image
vehicle
adaptive
Prior art date
Application number
KR1020160180586A
Other languages
Korean (ko)
Other versions
KR101890612B1 (en
Inventor
강경수
김웅명
김태근
강근호
Original Assignee
(주)에이다스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이다스원 filed Critical (주)에이다스원
Priority to KR1020160180586A priority Critical patent/KR101890612B1/en
Priority to PCT/KR2016/015459 priority patent/WO2018124337A1/en
Publication of KR20180076441A publication Critical patent/KR20180076441A/en
Application granted granted Critical
Publication of KR101890612B1 publication Critical patent/KR101890612B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M1/00—Testing static or dynamic balance of machines or structures
    • G01M1/10—Determining the moment of inertia
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a method for detecting an object using an adaptive region of interest and a search window, and an apparatus for the same. According to an embodiment of the present invention, the apparatus for detecting an object using an adaptive region of interest and a search window comprises an image acquisition unit for acquiring an image from a camera in a vehicle; a region-of-interest setting unit for setting an adaptive region of interest based on the distance in the acquired image; an image pyramid generating unit for generating an image pyramid including a plurality of resized images by changing the size of the set adaptive region of interest in stages; a search window generating unit for generating a search window by distance in each of the resized images of the generated image pyramid; and an object detecting unit for detecting an object by moving the generated adaptive search window in each of the resized images.

Description

적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OBJECT USING ADAPTIVE ROI AND CLASSIFIER}Field of the Invention < RTI ID = 0.0 > [0001] < / RTI &

본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an object using an adaptive ROI and a search window, and more particularly, to a method and apparatus for detecting an object by applying an adaptive ROI and a search window for each distance according to distance in each pyramid image, A method and an apparatus for detecting an object using an adaptive ROI and a search window, which can efficiently perform parallel processing due to the same amount of work in the RAISE image and improve the speed due to removal of the image algorithm in generating the pyramid image will be.

도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.1 is a view showing an image pyramid and an object search window.

도 1에 도시된 바와 같이, 이미지를 여러 스케일에 걸쳐서 분석하는 일반적인 방법은 입력 이미지의 크기를 단계적으로 변화(예컨대, 축소, 증가 등)시켜 가면서 필요한 분석 작업을 하는 것이다. 이때, 생성된 피라미드 이미지(111)가 포함된 일련의 이미지 집합을 이미지 피라미드(110)라 부른다.As shown in FIG. 1, a general method for analyzing an image over various scales is to perform necessary analysis while changing the size of the input image stepwise (for example, reducing, increasing, etc.). At this time, a set of images including the generated pyramid image 111 is called an image pyramid 110.

종래 객체 검출(Object Detector) 기술 역시 일반적인 방법으로 이미지 피라미드(110)를 사용했다.Conventional object detection techniques also use the image pyramid 110 as a general method.

종래 객체 검출 알고리즘은 이미지 피라미드(110)에 대해서 고정된 크기의 탐색창(120)을 이동시켜 객체를 판별한다.The conventional object detection algorithm identifies an object by moving a search window 120 having a fixed size with respect to the image pyramid 110.

도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.FIG. 2 is a diagram illustrating a search window for searching globally in an image pyramid.

도 2에 도시된 바와 같이, 종래 객체 검출 기술은 이미지 피라미드(110)에서 전역적으로 탐색하는 탐색창(120)을 이용하여 객체를 검출하게 된다.As shown in FIG. 2, the conventional object detection technology detects an object using a search window 120 that searches globally in the image pyramid 110.

종래 객체 검출 기술은 각 피라미드 이미지(111)에 대해 전역적으로 불필요한 영역을 탐색하면서 객체(Object)를 찾는다. 이러한 객체 검출 기술은 불필요한 영역까지 탐색하게 되면서 비효율적인 부분이 발생한다.Conventionally, an object detection technique searches an object for each pyramid image 111 while searching for an area that is unnecessary globally. Such an object detection technique searches for an unnecessary area, resulting in an inefficient part.

피라미드 이미지의 사이즈가 달라 계산량이 모두 다르다. 따라서 종래 객체 검출 기술은 병렬 처리에 부적합하다.The size of the pyramid image is different. Conventional object detection techniques are therefore unsuitable for parallel processing.

종래 객체 검출 기술에서는 피라미드 이미지(111)를 만드는 횟수가 스케일에 따라 매우 많이 발생하게 된다.In the conventional object detection technology, the number of times the pyramid image 111 is generated is very large depending on the scale.

본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치를 제공하고자 한다.Embodiments of the present invention can efficiently perform parallel processing due to the same amount of work of the same size image by detecting an object by applying a search window for adaptive ROI and distance according to distance in each pyramid image, And a method and apparatus for detecting an object using an adaptive ROI and a search window, which can improve the speed due to removal of an image algorithm when an image is generated.

또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치를 제공하고자 한다.In addition, embodiments of the present invention may also be applied to adaptive attention, which can simultaneously extract an area of an object detected in an adaptive ROI transformed into a real world coordinate system and an actual distance, by converting an adaptive ROI into a real world coordinate system And an object detecting apparatus using the area and the search window.

본 발명의 제1 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성 단계; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법이 제공될 수 있다.According to a first aspect of the present invention, there is provided an image obtaining method comprising: an image obtaining step of obtaining an image from a camera in a vehicle; An interest region setting step of setting an adaptive ROI according to the distance in the obtained image; A pyramid image generation step of generating a pyramid image including a plurality of resized images by gradually changing an image size of the set adaptive ROI; A search window generating step of generating a search window for each distance in each resize image of the generated pyramid image; And an object detecting step of moving the generated adaptive search window in each resize image to detect an object. The method of detecting an object using an adaptive ROI and a search window may be provided.

상기 관심영역 설정 단계는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.The interest region setting step may reduce the error using the candidate ROI information for the previous time accumulated for the current ROI candidate region.

상기 방법은, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;를 더 포함할 수 있다.The method may further include a coordinate system transforming step of transforming the adaptive ROI according to the set distance into a real world coordinate system.

상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The coordinate system conversion step may convert the adaptive ROI into the real world coordinate system using the camera calibration information, the camera position information, the vehicle state information, and the inertia measurement information.

상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.In the coordinate system conversion step, at least one internal parameter among the focal length, principal point, asymmetry coefficient, and distortion parameter may be calculated through calibration of the camera to remove image distortion.

상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.The coordinate system conversion step may convert a specific point in the acquired image to a point on a straight line in the actual space based on the camera coordinates using the calibration information of the camera and the inertia measurement information of the vehicle.

상기 좌표계 변환 단계는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.The coordinate system conversion step may use the satellite navigation information and the inertia measurement information of the vehicle to convert the coordinate system into an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point.

상기 좌표계 변환 단계는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.The coordinate system conversion step may include estimating a three-dimensional position based on the same feature point from the current and previous images, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, , We can estimate the camera height in the vehicle by estimating the plane equations through the Random Sample Consensus (RANSAC) relation and calculating the distance between the estimated plane and the camera.

상기 좌표계 변환 단계는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.The coordinate system conversion step may be such that when the vehicle is in contact with the ground and the ground and the vehicle are horizontal and the camera orientation change amount and the camera rotation relationship in the vehicle are used, It can be estimated as height.

상기 좌표계 변환 단계는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.The coordinate system conversion step may convert the adaptive ROI according to distance in the obtained image into a real world coordinate system and derive an actual range and an area of the object detected in the adaptive ROI converted to the real world coordinate system.

한편, 본 발명의 제2 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성부; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치가 제공될 수 있다.According to a second aspect of the present invention, there is provided an image processing apparatus comprising: an image obtaining unit obtaining an image from a camera in a vehicle; An interest region setting unit for setting an adaptive ROI according to distance in the obtained image; A pyramid image generation unit for generating a pyramid image including a plurality of resized images by gradually changing an image size of the set adaptive ROI; A search window generating unit for generating a search window for each distance in each resize image of the generated pyramid image; And an object detection unit for detecting the object by moving the generated adaptive search window in each resize image. The apparatus for detecting an object using an adaptive ROI and a search window may be provided.

상기 관심영역 설정부는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.The ROI setting unit may reduce the error using the candidate ROI information for the previous time accumulated for the current ROI candidate area.

상기 장치는, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;를 더 포함할 수 있다.The apparatus may further include a coordinate system conversion unit for converting the adaptive ROI according to the set distance into a real world coordinate system.

상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The coordinate system conversion unit may convert the adaptive ROI according to the distance into the real world coordinate system using the calibration information of the camera, the position information of the camera, the state information of the vehicle, and the inertia measurement information.

상기 좌표계 변환부는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.The coordinate system conversion unit may remove at least one internal parameter among the focal length, principal point, asymmetry coefficient, and distortion parameters through calibration of the camera to remove image distortion.

상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.The coordinate system conversion unit may convert a specific point in the acquired image into a point on a straight line in the actual space based on camera coordinates using the calibration information of the camera and the inertia measurement information of the vehicle.

상기 좌표계 변환부는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.The coordinate system conversion unit may use the satellite navigation information and the inertia measurement information of the vehicle to convert it into an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point.

상기 좌표계 변환부는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.The coordinate system conversion unit estimates a three-dimensional position based on the same feature point from the current and previous images, changes the feature point into a vehicle coordinate system using the camera rotation relationship in the vehicle, , We can estimate the camera height in the vehicle by estimating the plane equations through the RANSAC relationship and calculating the distance between the estimated plane and the camera.

상기 좌표계 변환부는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.Wherein the coordinate system conversion unit converts the distance between the camera and the ground to the height of the camera in the vehicle when the vehicle is in contact with the ground and the ground and the vehicle are horizontal and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized, .

상기 좌표계 변환부는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.The coordinate system conversion unit may convert the adaptive ROI according to distance in the obtained image into a real world coordinate system and derive an actual distance and an area of the object detected in the adaptive ROI converted into the real world coordinate system.

본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있다.Embodiments of the present invention can efficiently perform parallel processing due to the same amount of work of the same size image by detecting an object by applying a search window for adaptive ROI and distance according to distance in each pyramid image, It is possible to improve the speed due to removal of image algorithms in image generation.

또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.In addition, embodiments of the present invention can simultaneously extract an area and an actual distance of an object detected in the adaptive ROI transformed into a real world coordinate system by converting an adaptive ROI into a real world coordinate system.

도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.1 is a view showing an image pyramid and an object search window.
FIG. 2 is a diagram illustrating a search window for searching globally in an image pyramid.
3 is a block diagram of an object detecting apparatus using an adaptive ROI and a search window according to an embodiment of the present invention.
4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.
5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.
6 is a view showing state information and inertia measurement information of an obtainable vehicle according to an embodiment of the present invention.
7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.
8 is a flowchart illustrating an object detection method using an adaptive ROI and a search window according to an embodiment of the present invention.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The present invention will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present invention. In describing the embodiments of the present invention, description of technical contents which are well known in the art to which the present invention belongs and which are not directly related to the present invention will be omitted. This is for the sake of clarity of the present invention without omitting the unnecessary explanation.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.In describing the constituent elements of the present invention, the same reference numerals may be given to constituent elements having the same name, and the same reference numerals may be given to different drawings. However, even in such a case, it does not mean that the corresponding component has different functions according to the embodiment, or does not mean that it has the same function in different embodiments, and the function of each component is different from that of the corresponding embodiment Based on the description of each component in FIG.

도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.3 is a block diagram of an object detecting apparatus using an adaptive ROI and a search window according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)는 이미지 획득부(210), 관심영역 설정부(220), 이미지 피라미드 생성부(230), 탐색창 생성부(240) 및 객체 검출부(250)를 포함한다. 여기서, 객체 검출 장치(200)는 좌표계 변환부(260)를 더 포함할 수 있다.3, an object detecting apparatus 200 using an adaptive ROI and a search window according to an embodiment of the present invention includes an image obtaining unit 210, a ROI setting unit 220, an image pyramid generating unit 220, A search window generating unit 240, and an object detecting unit 250. Here, the object detecting apparatus 200 may further include a coordinate system converting unit 260.

이하, 도 3의 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Hereinafter, the specific configuration and operation of each component of the object detection apparatus 200 using the adaptive ROI and search window according to the embodiment of the present invention will be described.

이미지 획득부(210)는 차량 내의 설치된 카메라로부터 이미지를 획득한다. The image acquiring unit 210 acquires an image from an installed camera in the vehicle.

관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(Adaptive ROI)을 설정한다. 여기서, 관심영역은 ROI(Region of Interest)로 지칭된다.The ROI setting unit 220 sets an adaptive ROI according to the distance in the image obtained by the image obtaining unit 210. [ Here, the region of interest is referred to as ROI (Region of Interest).

여기서, 관심영역 설정부(220)는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다. 관심영역 설정부(220)는 후보 관심영역(Candidate ROI)에 대해서 과거 시간 즉, 이전 시간에 대한 후보 관심영역에 대한 정보를 저장하고 있다. 그래서 관심영역 설정부(220)는 현재 후보 관심영역에 대해서 이전 시간에 대한 후보 관심영역 정보를 누적시켜 오류를 줄일 수 있다.Here, the region-of-interest setting unit 220 may reduce the error using the candidate region of interest information for the previous time accumulated for the current candidate region of interest. The region-of-interest setting unit 220 stores information on the candidate region of interest for the past time, i.e., the previous time, with respect to the candidate region of interest (Candidate ROI). Therefore, the region-of-interest setting unit 220 may reduce the error by accumulating the candidate region of interest information about the current time point of the current candidate region of interest.

이미지 생성부는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다.The image generating unit 230 generates an image pyramid generating unit 230 including a plurality of resize images by gradually changing the image size of the adaptive ROI set by the ROI setting unit 220.

탐색창 생성부(240)는 이미지 생성부에서 생성된 이미지 피라미드 생성부(230)의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다.The search window generating unit 240 generates a search window for each distance in each of the resize images of the image pyramid generating unit 230 generated by the image generating unit.

객체 검출부(250)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창(Adaptive Classifier)을 이동시켜 객체를 검출한다.The object detecting unit 250 detects an object by moving an adaptive search window generated by the search window generating unit 240 in each resize image.

도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(221)을 설정한다. 적응적 관심영역(221)은 거리에 따라 다르게 설정될 수 있다. 일례로, 적응적 관심영역(221)은 기설정된 거리 비율에 따라 설정된 영역만큼 설정될 수 있다. 적응적 관심영역(221)은 원거리일수록 작게 설정되고, 근거리일수록 크게 설정된다.As shown in FIG. 4, the ROI setting unit 220 sets an adaptive ROI 221 according to the distance in the image obtained by the image obtaining unit 210. FIG. The adaptive region of interest 221 may be set differently depending on the distance. For example, the adaptive ROI 221 may be set to a region set according to a predetermined distance ratio. The adaptive ROI 221 is set to be smaller as the distance increases, and is set larger as the distance increases.

관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역(221)은 동일한 리사이즈 이미지로 동일한 작업량을 가능하게 한다. 이로 인해, 객체 검출 장치(200)는 병렬 처리(Load Balancing)를 효율적으로 수행할 수 있다.The adaptive ROI 221 according to the distance set in the ROI 220 enables the same amount of work to be performed with the same resize image. Accordingly, the object detecting apparatus 200 can efficiently perform the parallel processing (load balancing).

도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 탐색창 생성부(240)는 이미지 피라미드 생성부(230)에서 생성된 이미지(231)의 각 리사이즈 이미지(232)에서 적응적 탐색창(233)을 각각 생성한다. 여기서, 적응적 탐색창(233)은 거리별로 다르게 생성된다. 여기서, 리사이즈 이미지(232)는 이미지 피라미드 생성부(230) 이미지로 지칭될 수 있다.5, the search window generating unit 240 generates an adaptive search window 233 from each of the resize images 232 of the image 231 generated by the image pyramid generating unit 230. Here, the adaptive search window 233 is generated differently for each distance. Here, the resize image 232 may be referred to as an image of the image pyramid generator 230.

객체 검출 장치(200)는 다양한 크기로 학습을 진행함으로써, 탐색창 생성부(240)에서 생성된 거리별 탐색창(233)을 각각 적용할 수 있다. 객체 검출 장치(200)는 이러한 거리별 탐색창(233)을 이용하여 객체가 존재하는 영역(234)을 검출할 수 있다.The object detecting apparatus 200 can apply the distance-based search windows 233 generated by the search window generating unit 240 by learning in various sizes. The object detecting apparatus 200 can detect the region 234 in which the object exists by using the search window 233 for each distance.

이미지 피라미드 생성부(230) 이미지 생성시 리사이즈 이미지 알고리즘 제거로 인해 속도 개선이 이루어질 수 있다.The image pyramid generator 230 may improve the speed due to the removal of the resize image algorithm upon image generation.

한편, 좌표계 변환부(260)는 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.On the other hand, the coordinate system conversion unit 260 converts the adaptive ROI according to the distance set in the ROI setting unit 220 into a real world coordinate system.

카메라의 캘리브레이션 정보에 대해서 살펴보기로 한다.The calibration information of the camera will be described below.

좌표계 변환부(260)는, 카메라의 캘리브레이션을 통해 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다. 캘리브레이션을 통해 얻을 수 있는 정보는 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 등이 있다.The coordinate system conversion unit 260 calculates at least one internal parameter among a focal length, a principal point, a skew coefficient, and a distortion parameter through the calibration of the camera, Distortion can be eliminated. The information obtained through calibration includes focal length, principal point, skew coefficient, and distortion parameter.

실세계 좌표계에서 관심영역을 구하기 위해서 카메라의 내부 파라미터의 영향이 제거된 정규 이미지 평면(Normalized Image Plane)에서 정의된다. 그러므로 좌표계 변환부(260)는 캘리브레이션을 통해 내부 파라미터를 구해서 영상의 왜곡을 제거한다.In order to obtain the region of interest in the real world coordinate system, the influence of the internal parameters of the camera is defined in the normalized image plane. Therefore, the coordinate system conversion unit 260 obtains internal parameters through calibration to remove distortion of the image.

사용자 단말(예컨대, 핸드폰)에서는 정해진 규격의 캘리브레이션 차트를 이용하여 카메라 내부 파라미터를 구할 수 있다.In a user terminal (for example, a cellular phone), a camera internal parameter can be obtained using a calibration chart of a predetermined standard.

도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.6 is a view showing state information and inertia measurement information of an obtainable vehicle according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 획득 가능한 차량의 상태 정보 및 관성 측정 정보에는 위도(latitude), 경도(longitude), 고도(altitude), 롤 각도(roll angle), 피치 각도(pitch angle), 요 각도(yaw angle), 북쪽의 속도(velocity towards north), 동쪽의 속도(velocity towards east), 지표면에 평행한 전방 속도(forward velocity), 지표면에 평행한 좌측 속도(leftward velocity), 지표면에 수직인 상향 속도(upward velocity), 차량 정면 방향의 가속도(acceleration in x, i.e. in direction of vehicle front), 차량 좌측의 가속도(acceleration in y, i.e. in direction of vehicle left), 차량 상향 가속도(acceleration in z, i.e. in direction of vehicle top), 정방향 가속도(forward acceleration), 좌측 가속도(leftward acceleration), 상향 가속도(upward acceleration), x 주위의 각속도(angular rate around x), y 주위의 각속도(angular rate around y), z 주위의 각속도(angular rate around z), 정방향 축 주위의 각속도(angular rate around forward axis), 좌측 축 주위의 각속도(angular rate around leftward axis), 상향 축 주위의 각속도(angular rate around upward axis), 위치 정확도(position accuracy), 속도 정확도(velocity accuracy), 내비게이션 상태(navigation status), 기본 GPS 수신기가 추적하는 위성 수(number of satellites tracked by primary GPS receiver), 기본 GPS 수신기의 위치 모드(position mode of primary GPS receiver), 기본 GPS 수신기의 속도 모드(velocity mode of primary GPS receiver), 기본 GPS 수신기의 방향 모드(orientation mode of primary GPS receiver) 등이 포함될 수 있다.As shown in FIG. 6, the obtainable vehicle state information and inertia measurement information include latitude, longitude, altitude, roll angle, pitch angle, yaw angle, velocity towards north, velocity towards east, forward velocity parallel to the surface, leftward velocity parallel to the surface, In other words, the acceleration of the vehicle, ie, the upward velocity, the acceleration in the direction of the vehicle (ie, the direction of the vehicle front), the acceleration of the vehicle (ie, the direction of the vehicle left) in direction of vehicle top, forward acceleration, leftward acceleration, upward acceleration, angular rate around x, angular rate around y, angular rate around z, The angular rate around the left axis, the angular rate around the right axis, the angular rate around the right axis, the angular rate around the right axis, the angular rate around the right axis, (GPS) receiver, a position mode of a primary GPS receiver, a speed mode of a basic GPS receiver, a navigation mode of the basic GPS receiver, a velocity mode of a primary GPS receiver, an orientation mode of a primary GPS receiver, and the like.

좌표계 변환부(260)는 차량 자체의 상태 정보와 카메라의 위치 정보를 기계적인 센서를 통해 획득하고 그 획득된 정보들을 이용할 수 있다. 좌표계 변환부(260)는 차량의 온-보드 진단기(On-Board Diagnostics, OBD)를 통해서 정보들을 획득할 수 있다. 온-보드 진단기(OBD)는 차량의 전기 또는 전자적인 작동 상태를 확인하고 제어하기 위한 진단 장치를 나타낸다. 온-보드 진단기(OBD)로부터 획득 가능한 차량의 상태 정보들에는 속도, 엔진 회전수, 수온 및 유온, 전압, 흡기량 및 연료 분출량, 액셀러레이터 개방 정도, 공연비 등이 포함될 수 있다. 또한, 이러한 차량의 상태 정보들에는 산소센서의 정보, 배기온 등 엔진과 관련한 여러 정보가 포함될 수 있다. 차량에 따라서는 트랜스미션의 단수 등 엔진 계통 이외의 정보도 상태 정보로 출력될 수 있다.The coordinate system conversion unit 260 can acquire the state information of the vehicle itself and the position information of the camera through a mechanical sensor and use the obtained information. The coordinate system conversion unit 260 can acquire the information through on-board diagnostics (OBD) of the vehicle. The on-board diagnostic device (OBD) represents a diagnostic device for identifying and controlling the electrical or electronic operating state of the vehicle. Vehicle state information obtainable from the on-board diagnostic device (OBD) may include speed, engine speed, water temperature and oil temperature, voltage, intake amount and fuel injection amount, accelerator opening degree, air-fuel ratio, and the like. In addition, the state information of the vehicle may include various information related to the engine such as information of the oxygen sensor and exhaust temperature. Depending on the vehicle, information other than the engine system, such as the number of stages of the transmission, may also be output as status information.

좌표계 변환부(260)는 관성 측정 장치(Inertial Measurement Unit, IMU)로부터 관성 측정 정보를 획득한다. 관성 측정 장치(IMU)는 요(Yaw), 피치(Pitch), 롤(Roll) 방향의 가속도나 각속도를 구하기 위한 센서를 나타낸다. 관성 측정 장치는 축당 가속도계나 각속도계가 있어 물리량을 측정할 수 있다.The coordinate system conversion unit 260 acquires the inertia measurement information from the inertial measurement unit (IMU). The inertial measurement unit (IMU) represents a sensor for obtaining acceleration or angular velocity in the yaw, pitch, and roll directions. The inertial measuring device has an accelerometer or an accelerometer for each axis to measure the physical quantity.

도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.

도 7을 참고하여, 카메라의 회전 및 이동 행렬(Rotation & Translation Matrix)에 대해서 살펴보기로 한다.Referring to FIG. 7, a rotation and translation matrix of the camera will be described.

좌표계 변환부(260)는 카메라의 캘리브레이션 정보 및 차량의 관성 측정 정보를 이용하여 이미지 획득부(210)에서 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 이와 같이, 카메라의 캘리브레이션 정보와 차량의 관성 측정 정보가 존재한다면, 이미지상에서의 특정 지점(u, v)은 실제 공간 상(World, Camera 좌표 기준)의 직선상의 지점으로 변환될 수 있다.The coordinate system conversion unit 260 converts a specific point in the image obtained by the image obtaining unit 210 to a point on a straight line in the actual space with reference to the camera coordinates using the calibration information of the camera and the inertia measurement information of the vehicle can do. Thus, if the calibration information of the camera and the inertia measurement information of the vehicle exist, the specific point (u, v) on the image can be converted to a point on a straight line in the actual space (on the basis of the World Camera coordinates).

좌표계 변환부(260)는, 카메라의 캘리브레이션(Calibration) 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계(Real World) 좌표계로 변환한다.The coordinate system conversion unit 260 converts the coordinate system of the camera into the coordinate system based on the calibration information of the camera, the position information of the camera, the state information of the vehicle and the inertia measurement information, Converts an area into a real world coordinate system.

좌표계 변환부(260)는, 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다. 예컨대, 좌표계 변환부(260)는, 위성 항법 정보(GPS), 관성 측정 정보(IMU)를 읽어서 시작점을 기준으로 시간마다 회전 행렬(R) 값 및 이동 행렬(T) 값을 가지는 자세 행렬(예컨대, 4×4 행렬)로 변환하여 이용할 수 있다. 이러한 회전 행렬은 하기의 [수학식 1]과 같이 나타낼 수 있다.The coordinate system conversion unit 260 may convert the position vector to an orientation matrix having a rotation matrix and a parallel movement value on a time-by-time basis using the navigation information and the inertia measurement information of the vehicle. For example, the coordinate system conversion unit 260 reads the satellite navigation information (GPS) and the inertia measurement information (IMU) and calculates an attitude matrix (for example, , 4 × 4 matrix). This rotation matrix can be expressed by the following equation (1).

Figure pat00001
Figure pat00001

여기서, R은 회전 행렬, ux, uy, vx, vy는 x축 및 y축에서의 특징 지점, θ는 회전 각도를 나타낸다.Where R is the rotation matrix, u x , u y , v x , and v y are feature points in the x and y axes, and θ is the rotation angle.

회전 행렬(R) 값 및 이동 행렬(T) 값을 이용한 3차원 변환을 위한 자세 행렬은 하기의 [수학식 2]와 같이 나타낼 수 있다.The posture matrix for the three-dimensional transformation using the rotation matrix (R) value and the movement matrix (T) value can be expressed as Equation (2) below.

Figure pat00002
Figure pat00002

여기서, R은 회전 행렬,

Figure pat00003
은 이동 행렬,
Figure pat00004
은 자세 행렬을 나타낸다.Where R is the rotation matrix,
Figure pat00003
A moving matrix,
Figure pat00004
Represents an attitude matrix.

한편, 카메라의 위치 정보(높이) 추정 과정에 대해서 살펴보기로 한다.Meanwhile, a process of estimating the position information (height) of the camera will be described.

우선, 카메라의 높이를 추정하기 위한 조건으로 차량과 지면은 맞닿아 있고, 지면과 차량은 수평이라고 가정하기로 한다. 따라서 카메라와 지면과의 거리가 차량 내에서의 카메라 높이로 추정될 수 있다. First, it is assumed that the vehicle and the ground are in contact with each other and the ground and the vehicle are in a horizontal plane as conditions for estimating the height of the camera. Therefore, the distance between the camera and the ground can be estimated as the height of the camera in the vehicle.

또한, 카메라의 자세 변화량과 차량 내에서의 카메라 회전(Rotation) 관계는 알고 있다고 가정하기로 한다.It is also assumed that the amount of change in the attitude of the camera and the rotation of the camera in the vehicle are known.

이러한 가정에 따라, 좌표계 변환부(260)는 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경한다.According to this assumption, the coordinate system conversion unit 260 estimates the three-dimensional position based on the same feature points from the current and previous images, and changes the feature points into the vehicle coordinate system using the camera rotation relationship in the vehicle.

그리고 좌표계 변환부(260)는 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정한다.Then, the coordinate system converter 260 estimates a plane equation through a random sample consensus (RANSAC) relation for the three-dimensional feature points that estimate the three-dimensional position.

이어서, 좌표계 변환부(260)는 그 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.Then, the coordinate system conversion unit 260 can estimate the camera height in the vehicle by calculating the estimated plane and the camera distance.

한편, 실세계 좌표계에서의 관심영역(Real World ROI)에 대해서 살펴보기로 한다.Let's look at real world ROI in the real world coordinate system.

실세계 좌표계로 변환하는 과정을 구체적으로 살펴보면, 2차원에서 3차원으로의 좌표계 맵핑은 안되므로 Z=1로 가정한다. 여기서, 정규 이미지 평면 (Normalized Image Plane)으로 투영된다.To concretely look into the process of transforming into the real world coordinate system, it is assumed that Z = 1 since the coordinate system mapping from 2D to 3D is not possible. Here, a normalized image plane is projected.

좌표계 변환부(260)는 카메라의 높이, 카메라 행렬(Camera Matrix)과 자세 행렬(Pose Matrix)이 적용된 하기의 [수학식 3]을 이용한다.The coordinate system conversion unit 260 uses the following formula (3) to which the camera height, the camera matrix and the posture matrix are applied.

Figure pat00005
Figure pat00005

여기서, X, Y, Z는 실세계 좌표계상의 3차원 지점의 좌표,

Figure pat00006
는 카메라 행렬,
Figure pat00007
은 자세 행렬을 나타낸다.Here, X, Y, and Z are coordinates of a three-dimensional point on the real world coordinate system,
Figure pat00006
A camera matrix,
Figure pat00007
Represents an attitude matrix.

좌표계 변환부(260)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.The coordinate system conversion unit 260 converts the adaptive ROI according to the distance on the image acquired by the image acquisition unit 210 into a real world coordinate system.

그리고 좌표계 변환부(260)는 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.The coordinate system conversion unit 260 can simultaneously extract an area and an actual distance of the object detected in the adaptive ROI converted to the real world coordinate system.

참고로, 본 발명의 실시예에 따른 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.3 may be implemented in hardware such as software or an FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit), and may perform predetermined roles can do.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, 'components' are not meant to be limited to software or hardware, and each component may be configured to reside on an addressable storage medium and configured to play one or more processors.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 메모리, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Thus, by way of example, an element may comprise components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, procedures, Routines, segments of program code, drivers, firmware, microcode, circuitry, data, memory, data structures, tables, arrays, and variables.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.The components and functions provided within those components may be combined into a smaller number of components or further separated into additional components.

도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.8 is a flowchart illustrating an object detection method using an adaptive ROI and a search window according to an embodiment of the present invention.

객체 검출 장치(200)는 차량 내의 설치된 카메라로부터 이미지를 획득한다(S101). The object detecting apparatus 200 acquires an image from a camera installed in the vehicle (S101).

객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정한다(S102).The object detecting apparatus 200 sets an adaptive ROI according to the distance in the image obtained by the image obtaining unit 210 (S102).

객체 검출 장치(200)는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다(S103). The object detecting apparatus 200 generates an image pyramid generating unit 230 including a plurality of resize images by gradually changing the image size of the adaptive ROI set in the ROI setting unit 220 at step S103.

객체 검출 장치(200)는 이미지 생성부에서 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다(S104). The object detecting apparatus 200 generates a search window for each distance in each resize image of the image pyramid generated by the image generating unit (S104).

객체 검출 장치(200)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창을 이동시켜 객체를 검출한다(S105). The object detecting apparatus 200 detects an object by moving the adaptive search window generated by the search window generating unit 240 in each resize image (S105).

객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다(S106). 여기서, 객체 검출 장치(200)는 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The object detecting apparatus 200 converts the adaptive ROI according to the distance on the image obtained by the image obtaining unit 210 into a real world coordinate system (S106). Here, the object detecting apparatus 200 may convert the adaptive ROI into a real world coordinate system using the calibration information of the camera, the position information of the camera, the state information of the vehicle, and the inertial measurement information.

이때, 객체 검출 장치(200)는 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.At this time, the object detecting apparatus 200 may calculate at least one internal parameter among the focal length, principal point, asymmetry coefficient, and distortion parameter through the calibration of the camera to remove the distortion of the image.

그리고 객체 검출 장치(200)는 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여, 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 또한, 객체 검출 장치(200)는 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환할 수 있다.Then, the object detecting apparatus 200 can convert a specific point in the image to a point on a straight line in the actual space based on the camera coordinates, using the calibration information of the camera and the inertia measurement information of the vehicle. In addition, the object detecting apparatus 200 can convert an attitude matrix having a rotation matrix and a parallel movement value every time based on a starting point using satellite navigation information and inertial measurement information of the vehicle.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a computer program stored on a medium executed by a computer or a recording medium including instructions executable by the computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the methods and systems of the present invention have been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.

이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

200: 객체 검출 장치
210: 이미지 획득부
220: 관심영역 설정부
230: 이미지 피라미드 생성부
240: 탐색창 생성부
250: 객체 검출부
260: 좌표계 변환부200: Object detection device
210: Image acquisition unit
220: region of interest setting section
230: image pyramid generating unit
240: Navigation window creation unit
250:
260: coordinate system conversion unit

Claims (20)

차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계;
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계;
상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및
각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;
를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.An image acquiring step of acquiring an image from a camera in a vehicle;
An interest region setting step of setting an adaptive ROI according to the distance in the obtained image;
An image pyramid generation step of generating an image pyramid including a plurality of resize images by gradually changing an image size of the set adaptive ROI;
A search window generating step of generating a search window for each distance in each of the resize images of the generated image pyramid; And
An object detection step of detecting an object by moving the generated adaptive search window in each resize image;
And an object detection method using an adaptive ROI and a search window. 제1항에 있어서,
상기 관심영역 설정 단계는,
현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method according to claim 1,
The method of claim 1,
A method for detecting an object using an adaptive region of interest and a search window that reduces errors using candidate region of interest information for the accumulated previous time for the current candidate region of interest. 제1항에 있어서,
상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;
를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method according to claim 1,
A coordinate system transforming step of transforming the adaptive ROI according to the set distance into a real world coordinate system;
And a method for detecting an object using an adaptive region of interest and a search window. 제3항에 있어서,
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI that converts the adaptive ROI according to the set distance into a real world coordinate system using the camera calibration information, camera position information, vehicle state information, and inertia measurement information, and an object detection method using a search window . 제3항에 있어서,
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
And calculating an internal parameter of at least one of a focal length, a principal point, an asymmetric coefficient, and a distortion parameter through calibration of the camera, thereby eliminating distortion of the image. 제3항에 있어서,
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI that converts a specific point in the acquired image to a point on a straight line in the real space based on camera coordinates using calibration information of the camera and inertial measurement information of the vehicle, Detection method. 제3항에 있어서,
상기 좌표계 변환 단계는,
상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
And an adaptive region of interest and a search window using the satellite navigation information and the inertial measurement information of the vehicle, and converting the position matrix into an attitude matrix having a rotation matrix and a parallel movement value based on a starting point as a reference. 제3항에 있어서,
상기 좌표계 변환 단계는,
현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
Estimating a three-dimensional position from the current and previous images based on the same feature point, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, and generating a random sample consensus Random sample consensus, RANSAC), and estimating the height of the camera in the vehicle by calculating the distance between the estimated plane and the camera. 제8항에 있어서,
상기 좌표계 변환 단계는,
상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.9. The method of claim 8,
Wherein, in the coordinate system conversion step,
The distance between the camera and the ground is estimated as the height of the camera in the vehicle when the vehicle is in contact with the ground, the ground and the vehicle are horizontal, and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized. An object detection method using a region of interest and a search window. 제3항에 있어서,
상기 좌표계 변환 단계는,
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI which transforms the adaptive ROI according to distance in the obtained image into a real world coordinate system and derives the real distance from the detected object region in the adaptive ROI converted to the real world coordinate system, Detection method. 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부;
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부;
상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및
각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;
를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.An image obtaining unit obtaining an image from a camera in the vehicle;
An interest region setting unit for setting an adaptive ROI according to distance in the obtained image;
An image pyramid generation unit for generating an image pyramid including a plurality of resize images by gradually changing an image size of the set adaptive ROI;
A search window generating unit for generating a search window for each distance in each of the resize images of the generated image pyramid; And
An object detection unit for detecting an object by moving the generated adaptive search window in each resize image;
And an object detection unit using the search window. 제11항에 있어서,
상기 관심영역 설정부는,
현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.12. The method of claim 11,
Wherein the ROI setting unit comprises:
An object detection apparatus using an adaptive ROI and a search window to reduce an error using candidate ROI information for a previous time accumulated for a current candidate ROI. 제11항에 있어서,
상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;
를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.12. The method of claim 11,
A coordinate system conversion unit for converting the adaptive ROI according to the set distance into a real world coordinate system;
And an adaptive region of interest and a search window. 제13항에 있어서,
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI that transforms the adaptive ROI according to the distance into a real world coordinate system using the calibration information of the camera, the camera position information, the vehicle status information, and the inertia measurement information, Object detection device. 제13항에 있어서,
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
And an adaptive region of interest and a search window for eliminating image distortion by calculating at least one internal parameter among a focal length, a principal point, an asymmetric coefficient, and a distortion parameter through the calibration of the camera. 제13항에 있어서,
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI that converts a specific point in the acquired image to a point on a straight line in the real space based on camera coordinates using calibration information of the camera and inertial measurement information of the vehicle, Detection device. 제13항에 있어서,
상기 좌표계 변환부는,
상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
And an adaptive region of interest and a search window, which are converted into an attitude matrix having a rotation matrix and a parallel motion value for each time point based on a starting point using satellite navigation information and inertial measurement information of the vehicle. 제13항에 있어서,
상기 좌표계 변환부는,
현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
Estimating a three-dimensional position from the current and previous images based on the same feature point, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, and generating a random sample consensus RANSAC), and estimating the height of the camera in the vehicle by calculating the distance between the estimated plane and the camera, and an object detecting apparatus using the search window. 제18항에 있어서,
상기 좌표계 변환부는,
상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.19. The method of claim 18,
Wherein the coordinate system conversion unit comprises:
The distance between the camera and the ground is estimated as the height of the camera in the vehicle when the vehicle is in contact with the ground, the ground and the vehicle are horizontal, and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized. An object detection apparatus using a region of interest and a search window. 제13항에 있어서,
상기 좌표계 변환부는,
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI which transforms the adaptive ROI according to distance in the obtained image into a real world coordinate system and derives the real distance from the detected object region in the adaptive ROI converted to the real world coordinate system, Detection device.
KR1020160180586A 2016-12-28 2016-12-28 Method and apparatus for detecting object using adaptive roi and classifier KR101890612B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160180586A KR101890612B1 (en) 2016-12-28 2016-12-28 Method and apparatus for detecting object using adaptive roi and classifier
PCT/KR2016/015459 WO2018124337A1 (en) 2016-12-28 2016-12-29 Object detection method and apparatus utilizing adaptive area of interest and discovery window

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180586A KR101890612B1 (en) 2016-12-28 2016-12-28 Method and apparatus for detecting object using adaptive roi and classifier

Publications (2)

Publication Number Publication Date
KR20180076441A true KR20180076441A (en) 2018-07-06
KR101890612B1 KR101890612B1 (en) 2018-08-23

Family

ID=62709828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180586A KR101890612B1 (en) 2016-12-28 2016-12-28 Method and apparatus for detecting object using adaptive roi and classifier

Country Status (2)

Country Link
KR (1) KR101890612B1 (en)
WO (1) WO2018124337A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072477A (en) * 2020-11-25 2022-06-02 주식회사 싸인텔레콤 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024862A (en) 2019-08-26 2021-03-08 삼성전자주식회사 Object detecting apparatus detecting object using hierarchical pyramid and object detecting method of the same
CN110728715B (en) * 2019-09-06 2023-04-25 南京工程学院 Intelligent inspection robot camera angle self-adaptive adjustment method
CN111553342B (en) * 2020-04-01 2023-08-08 深圳一清创新科技有限公司 Visual positioning method, visual positioning device, computer equipment and storage medium
KR20210130330A (en) 2020-04-21 2021-11-01 삼성전자주식회사 Electronic device for controlling driving vehicle and operation mtehod thereof
KR20230076048A (en) 2021-11-23 2023-05-31 주식회사 버넥트 Method and system for motion estimation of real-time image target between successive frames
CN115257739A (en) * 2022-09-30 2022-11-01 南通艾美瑞智能制造有限公司 Front vehicle following method capable of self-adaptively adjusting speed

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150136225A (en) * 2014-05-26 2015-12-07 에스케이텔레콤 주식회사 Method and Apparatus for Learning Region of Interest for Detecting Object of Interest

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302944B1 (en) * 2009-11-04 2013-09-06 주식회사 만도 Method and Apparatus for Recognizing Vehicle
KR101264282B1 (en) * 2010-12-13 2013-05-22 재단법인대구경북과학기술원 detection method vehicle in road using Region of Interest
KR20150002038A (en) * 2013-06-28 2015-01-07 (주) 세인 Method of Real-Time Vehicle Recognition and Tracking Using Kalman Filter and Clustering Algorithm Based on Haar-like Feature and Adaboost
KR101609303B1 (en) * 2014-03-28 2016-04-20 주식회사 하나비전테크 Method to calibrate camera and apparatus therefor
KR101665207B1 (en) * 2014-12-31 2016-10-14 (주)베라시스 Vehicle Detection Method in ROI through Plural Detection Windows

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150136225A (en) * 2014-05-26 2015-12-07 에스케이텔레콤 주식회사 Method and Apparatus for Learning Region of Interest for Detecting Object of Interest

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072477A (en) * 2020-11-25 2022-06-02 주식회사 싸인텔레콤 Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module

Also Published As

Publication number Publication date
KR101890612B1 (en) 2018-08-23
WO2018124337A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
KR101890612B1 (en) Method and apparatus for detecting object using adaptive roi and classifier
CN110927708B (en) Calibration method, device and equipment of intelligent road side unit
WO2018142900A1 (en) Information processing device, data management device, data management system, method, and program
JP6830140B2 (en) Motion vector field determination method, motion vector field determination device, equipment, computer readable storage medium and vehicle
AU2018286594A1 (en) Methods and systems for color point cloud generation
CN110570449B (en) Positioning and mapping method based on millimeter wave radar and visual SLAM
WO2020140431A1 (en) Camera pose determination method and apparatus, electronic device and storage medium
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
WO2021097983A1 (en) Positioning method, apparatus, and device, and storage medium
CN109596121B (en) Automatic target detection and space positioning method for mobile station
JP6877293B2 (en) Location information recording method and equipment
CN112050806B (en) Positioning method and device for moving vehicle
EP2175237A1 (en) System and methods for image-based navigation using line features matching
JP7173471B2 (en) 3D position estimation device and program
US20140286537A1 (en) Measurement device, measurement method, and computer program product
CN108613675B (en) Low-cost unmanned aerial vehicle movement measurement method and system
WO2024093635A1 (en) Camera pose estimation method and apparatus, and computer-readable storage medium
CN113240813B (en) Three-dimensional point cloud information determining method and device
CN113091756A (en) Position estimation device and position estimation method
US11481920B2 (en) Information processing apparatus, server, movable object device, and information processing method
CN116047481A (en) Method, device, equipment and storage medium for correcting point cloud data distortion
CN115560744A (en) Robot, multi-sensor-based three-dimensional mapping method and storage medium
JP5230354B2 (en) POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE
CN114429515A (en) Point cloud map construction method, device and equipment
CN112578363B (en) Laser radar motion track obtaining method and device and medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right