KR20230082777A - Method and apparatus for recommending driving scenario - Google Patents
Method and apparatus for recommending driving scenario Download PDFInfo
- Publication number
- KR20230082777A KR20230082777A KR1020210170561A KR20210170561A KR20230082777A KR 20230082777 A KR20230082777 A KR 20230082777A KR 1020210170561 A KR1020210170561 A KR 1020210170561A KR 20210170561 A KR20210170561 A KR 20210170561A KR 20230082777 A KR20230082777 A KR 20230082777A
- Authority
- KR
- South Korea
- Prior art keywords
- driving
- scenario
- section
- statistics
- vehicle
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0022—Gains, weighting coefficients or weighting functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 주행 시나리오 추천 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 전자 장치에서 수행되는 방법으로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.The present invention relates to a driving scenario recommendation method and apparatus. A method according to an embodiment of the present invention is a method performed by an electronic device to recommend a driving scenario of a vehicle, and includes the number of objects according to location, object movement trajectories, and driving events from a driving image including location information of a shooting. An analysis step of analyzing driving statistics to be performed; A first recommendation step of recommending a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics; and a second recommendation step of recommending a parameter suitable for the driving scenario for each recommended scenario section based on the driving statistics.
Description
본 발명은 주행 시나리오 추천 방법 및 장치에 관한 것으로서, 더욱 상세하게는 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for recommending driving scenarios, and more particularly, to a method for accumulating and analyzing events that occur during driving based on driving images, and recommending an appropriate driving scenario for a target road based on the analyzed information, and It's about the device.
사람이 운전하는 차량의 개발 또는 사람의 제어를 최소화하는 자율주행차량의 개발을 위해, 다양한 기능평가, 성능평가, 안전성 평가 등이 필요하다. 종래에는 이런 평가를 위해 차량의 주행에 대한 전체 시나리오를 미리 마련하고, 마련된 시나리오에 따라 각종 시험을 수행했다. 일례로 “끼어들기”, “차선감소”, “전방사고 차량 발견”, “도로 병합”, “보행자 등장” 등과 같은 부분적인 사건 시나리오를 조합하여 통합 시나리오를 만들고, 이를 실제 도로 환경이나 컴퓨터 시뮬레이터에 적용하여, 기존 차량 또는 개발 중인 차량이 적절히 반응하고 문제점은 없는지를 시험하고 평가했다.In order to develop a human-driven vehicle or an autonomous vehicle that minimizes human control, various functional evaluations, performance evaluations, and safety evaluations are required. Conventionally, for this evaluation, an overall scenario for vehicle driving is prepared in advance, and various tests are performed according to the prepared scenario. For example, an integrated scenario is created by combining partial event scenarios such as “cutting in”, “lane reduction”, “vehicle in front accident”, “merging roads”, “appearance of pedestrian”, etc. By applying, it was tested and evaluated whether the existing vehicle or the vehicle under development responds appropriately and has no problems.
이런 시나리오를 만들기 위해, 종래에는 “위에서 아래로의 접근법”이 적용되었다. 즉, 시나리오를 만드는 주체가 시험하려는 도로 구간에 대해서 임의의 발생 가능한 사건을 선택하고, 주행 차량수, 도로 혼잡도 등의 매개변수를 정하여 통합 시나리오를 구성한 후 시뮬레이션을 수행하는 것이 통상적이었다.To create this scenario, a “top-down approach” has traditionally been applied. In other words, it has been common for the subject who creates the scenario to select an arbitrary event for the road section to be tested, set parameters such as the number of vehicles driving and road congestion, configure the integrated scenario, and then perform the simulation.
즉, 종래에 주행 시나리오를 만들기 위한 과정을 요약하면 다음과 같다.That is, a conventional process for creating a driving scenario is summarized as follows.
(1) 시나리오를 만드는 주체는 시험이 필요한 임의의 도로 구간을 부분 시나리오를 적용할 부분 도로 구간으로 나눈다.(1) The subject who creates the scenario divides the random road section that needs testing into the partial road section to which the partial scenario is to be applied.
(2) 부분 도로 구간별로 적정한 사건 상황을 조합하는 시나리오를 구성한다.(2) Configure scenarios that combine appropriate incident situations for each section of the road.
(3) 부분 시나리오별로 주행 차량수나 도로 혼잡도 등의 매개변수를 정한다.(3) Parameters such as the number of vehicles driving or road congestion are determined for each sub-scenario.
(4) 최종 시뮬레이션이나 실제 도로 시험을 수행하는 단계에서는 구간별로 설정된 시나리오와 매개변수를 사용하여 컴퓨터 기반 시뮬레이션이나 실제 도로에서의 주행 시험을 실시한다.(4) In the final simulation or actual road test stage, a computer-based simulation or actual road test is conducted using scenarios and parameters set for each section.
이런 종래 방식의 경우, 다양한 가능성을 시험해 볼 수 있다는 측면에서 시험의 자유도(degree of freedom)가 높다. 하지만, 종래 방식을 적용할 경우, 너무 많은 경우의 수를 생성함에 따라 이를 시험하는데 많은 시간과 자원이 소요될 뿐 아니라, 현실과 동떨어진 시험 시나리오와 매개변수를 적용할 수 있는 문제점이 발생한다. 일례로, 특정 도로 위치에서는 거의 발생하지 않는 시나리오가 생성되어 시험에 적용될 수 있고, 과다한 주행 차량수를 설정하는 등의 문제가 발생할 수 있다. 물론, 극히 희소하고 예외적으로 발생하는 사건이 포함된 시나리오도 의미가 있을 수 있지만, 해당 시나리오가 얼마나 빈번하게 발생하는지를 알고 구성하게 되면 시행착오도 줄일 수 있고 현실 상황과 부합하는 시나리오 구성이 가능하다.In the case of this conventional method, the degree of freedom of testing is high in terms of being able to test various possibilities. However, when the conventional method is applied, it takes a lot of time and resources to test it as too many cases are generated, and there is a problem that test scenarios and parameters that are far from reality can be applied. For example, a scenario that rarely occurs at a specific road location may be generated and applied to the test, and problems such as setting an excessive number of vehicles may occur. Of course, scenarios that include extremely rare and exceptionally occurring events can also be meaningful, but if you know how often the scenarios occur and configure them, trial and error can be reduced and scenarios that match the real situation can be constructed.
또한, 도로에서 발생하는 통계정보를 취득함에 있어서, 종래에는 특정 사고의 발생 후에 취득할 수 있는 정보에 대한 수집 및 관리에 집중했다. 즉, 주행 중에 “끼어들기 발생 빈도”, “급정거 상황의 빈도”, “추월 빈도” 등과 같이, 실제 사고가 발생하지 않았더라도 특정 도로 구간에서 정체를 유발하거나 잠재적인 사고를 일으킬 수 있는 주행 사건에 대한 정보를 수집 관리하는 기술이 전무한 실정이다.In addition, in acquiring statistical information generated on the road, conventionally, the focus has been on collecting and managing information that can be acquired after a specific accident occurs. That is, while driving, such as “frequency of cut-in”, “frequency of sudden stop”, “overtaking frequency”, etc., even if there is no actual accident, driving events that may cause congestion or potential accidents in a certain road section There is no technology to collect and manage information about
즉, 주행 시나리오의 생성과 관련하여, 종래 기술의 주된 문제점 또는 한계를 요약하면 다음과 같다.That is, the main problems or limitations of the prior art in relation to generation of driving scenarios are summarized as follows.
(1) 주어진 도로 환경에서 주행 시나리오를 적용할 세부 구간을 결정하기 위한 객관적인 방법이 필요하다. 가령, 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계가 필요하다.(1) In a given road environment, an objective method is needed to determine the detailed section to which the driving scenario is applied. For example, statistics on driving events are needed to analyze potential accident risk factors and road congestion factors that occur in everyday driving situations.
(2) 주어진 도로 환경에서 어떤 시나리오를 적용할지에 관한 객관적 방안이 필요하다.(2) An objective plan is needed regarding which scenario to apply in a given road environment.
(3) 실제 도로 상황과 관련되는 시나리오의 설계가 필요하다.(3) It is necessary to design scenarios related to actual road conditions.
(4) 실제 도로 상황과 관련되는 시나리오에 대한 매개변수 설정이 필요하다.(4) It is necessary to set parameters for scenarios related to actual road conditions.
다만, 상술한 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 기 공개된 기술에 해당하는 것은 아니다.However, the above information merely provides background information on the present invention and does not correspond to previously disclosed technologies.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량에 기 탑재된 블랙박스와 같은 영상 정보 수집 기기를 통해 획득된 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천하는 방법 및 장치를 제공하는데 그 목적이 있다.In order to solve the problems of the prior art as described above, the present invention accumulates and analyzes events occurring during driving based on driving images obtained through a video information collection device such as a black box pre-mounted in a vehicle, and analyzed An object of the present invention is to provide a method and apparatus for recommending an appropriate driving scenario for a target road based on information.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 전자 장치에서 수행되는 방법으로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.A method according to an embodiment of the present invention for solving the above problems is a method performed in an electronic device to recommend a driving scenario of a vehicle. an analysis step of analyzing driving statistics including an object movement trajectory and driving events; A first recommendation step of recommending a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics; and a second recommendation step of recommending a parameter suitable for the driving scenario for each recommended scenario section based on the driving statistics.
상기 분석 단계는, 상기 주행 영상에서 객체를 검출하는 단계; 상기 검출된 객체 별로 이동 궤적을 추출하는 단계; 및 추출된 이동 궤적을 객체 별로 필터링 및 보정하여, 상기 주행 영상에 포함된 위치에 따라 상기 필터링 및 보정이 반영된 상기 주행 통계를 분석하는 단계;를 포함할 수 있다.The analyzing step may include detecting an object from the driving image; extracting a movement trajectory for each detected object; and filtering and correcting the extracted movement trajectory for each object, and analyzing the driving statistics reflecting the filtering and correction according to the location included in the driving image.
상기 분석 단계는 상기 주행 영상에서 비식별화 영역에 대해 비식별화 처리가 선택적으로 수행되며, 상기 비식별화 처리가 수행되는 경우에 상기 비식별화 처리된 수행된 주행 영상으로부터 상기 주행 통계가 분석될 수 있다.In the analyzing step, de-identification processing is selectively performed on a de-identification region in the driving image, and when the de-identification processing is performed, the driving statistics are analyzed from the de-identification-processed driving image. It can be.
상기 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역을 포함할 수 있다.The non-identification area may include a license plate area of a vehicle, a face area of a pedestrian, or a sign area of a street.
상기 이동 궤적을 추출하는 단계는 주행 영상 내의 객체 중에 움직임이 가능한 객체에 대해서만 이동 궤적을 추출할 수 있다.In the step of extracting the movement trajectory, movement trajectories may be extracted only for objects capable of movement among objects in the driving image.
상기 이동 궤적은 상기 주행 영상의 촬영 차량을 기준으로 하는 상기 움직임이 가능한 객체의 상대적인 이동 궤적일 수 있다.The movement trajectory may be a relative movement trajectory of the movable object based on the vehicle capturing the driving image.
상기 움직임이 가능한 객체는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드를 포함할 수 있다.The movable object may include a vehicle, a pedestrian, a bicycle, a motorcycle, or an electric kickboard.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 제1 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 정지할 수 있다.In the extracting of the moving trajectory, analysis of the moving trajectory for the corresponding section may be stopped when the vehicle captured in the driving image deviates from the lane or accelerates or decelerates by more than a first threshold.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 상기 제1 문턱 값보다 큰 제2 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 수행할 수 있다.In the step of extracting the movement trajectory, when the vehicle captured in the driving image deviates from the lane or accelerates or decelerates by more than a second threshold value greater than the first threshold value, the movement trajectory may be analyzed for the corresponding section. there is.
상기 분석하여 저장하는 단계는 상기 주행 통계에 포함된 주행 사건을 상기 촬영 차량에 의해 발생된 사건으로 저장할 수 있다.In the analyzing and storing, the driving event included in the driving statistics may be stored as an event generated by the photographing vehicle.
상기 주행 통계는 기상 상태 또는 노면 상태 또는 돌발 등장 객체의 항목을 포함할 수 있다.The driving statistics may include items of weather conditions, road conditions, or unexpectedly appearing objects.
상기 제1 추천 단계는, 상기 대상 도로의 위치를 파악하는 단계; 상기 주행 통계 중 상기 파악된 상기 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산하는 단계; 상기 계산된 발생 분포 간의 경계를 찾는 단계; 상기 찾아진 경계에 따라 상기 시나리오 구간을 나누고, 나눠진 시나리오 구간 별로 해당 구간에 포함된 주행 사건 종류 별 발생 분포를 이용하여 주행 시나리오를 추천하는 단계;를 포함할 수 있다.The first recommendation step may include determining the location of the target road; calculating an occurrence distribution for each type of driving event according to a plurality of locations within a location area corresponding to the identified location of the target road among the driving statistics; finding a boundary between the calculated occurrence distributions; Dividing the scenario section according to the found boundary and recommending a driving scenario by using an occurrence distribution for each driving event type included in the section for each divided scenario section.
상기 경계를 찾는 단계는 가장 높은 발생 분포를 가지는 주행 사건 종류들을 이용하여 상기 경계를 찾을 수 있다.In the step of finding the boundary, the boundary may be found using driving event types having the highest occurrence distribution.
상기 계산하는 단계는 위치 영역 내에서 상기 주행 사건들을 정규화(normalize)하여 상기 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)를 생성하며, 상기 찾는 단계는 상기 생성된 확률분포함수를 이용하여 상기 경계를 찾을 수 있다.The calculating step normalizes the driving events within the location area to generate a probability density function for the occurrence distribution for each driving event type, and the finding step generates the generated probability distribution function. can be used to find the boundary.
상기 찾는 단계는 상기 주행 사건 종류에 따라 가중치가 적용된 상기 발생 분포를 이용하여 상기 경계를 찾을 수 있다.In the finding step, the boundary may be found using the occurrence distribution to which a weight is applied according to the driving event type.
상기 제2 추천 단계는, 상기 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악하는 단계; 및 상기 파악된 객체 수를 포함하는 매개변수를 해당 구간의 주행 시나리오에 대한 매개변수로 추천하는 단계;를 포함할 수 있다.The second recommendation step may include determining an average number of objects in a corresponding section for each scenario section; and recommending a parameter including the number of identified objects as a parameter for a driving scenario of a corresponding section.
본 발명의 다른 일 실시예에 따른 방법은 차량의 주행 시나리오를 추천하기 위해 제1 및 제2 전자 장치에서 수행되는 방법으로서, 상기 제1 전자 장치에서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계; 상기 주행 통계가 상기 제1 전자 장치에서 상기 제2 전자 장치로 전달되는 단계; 상기 제2 전자 장치에서, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및 상기 제2 전자 장치에서, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;를 포함한다.A method according to another embodiment of the present invention is a method performed by first and second electronic devices to recommend a driving scenario of a vehicle, wherein the first electronic device determines a location from a driving image including photographed location information. an analysis step of analyzing driving statistics including the number of objects, object movement trajectories, and driving events according to; transmitting the driving statistics from the first electronic device to the second electronic device; a first recommendation step of recommending, in the second electronic device, a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics; and a second recommendation step of recommending, in the second electronic device, a parameter suitable for a driving scenario for each recommended scenario section based on the driving statistics.
본 발명의 일 실시예 또는 다른 일 실시예에 따른 방법은, 상기 제1 및 제2 추천 단계의 사이에, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하며, 상기 제2 추천하는 단계는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천할 수 있다.The method according to one embodiment or another embodiment of the present invention further includes inputting a user's selection or modification of the recommended scenario section and driving scenario between the first and second recommendation steps. In the second recommending step, a parameter suitable for the driving scenario for each scenario section may be recommended based on the driving statistics.
본 발명의 일 실시예 또는 다른 일 실시예에 따른 방법은, 상기 제2 추천하는 단계 이후에, 상기 추천된 매개변수에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함할 수 있다.The method according to one embodiment or another embodiment of the present invention may further include, after the second recommendation step, inputting a user's selection or correction of the recommended parameter.
본 발명의 일 실시예에 따른 장치는 차량의 주행 시나리오를 추천하는 장치로서, 촬영의 위치 정보가 포함된 주행 영상을 저장한 메모리; 및 상기 주행 영상을 이용하여 제어를 수행하는 제어부;를 포함한다.An apparatus according to an embodiment of the present invention is an apparatus for recommending driving scenarios of a vehicle, comprising: a memory storing a driving image including location information of a photographed location; and a control unit performing control using the driving image.
상기 제어부는, 상기 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하도록 제어하고, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.The control unit controls to analyze driving statistics including the number of objects according to locations, object movement trajectories, and driving events from the driving image, and driving scenarios applied for each scenario section and scenario section for a target road requiring scenario setting may be controlled to recommend each based on the driving statistics, and a parameter suitable for a driving scenario for each recommended scenario section may be controlled to be recommended based on the driving statistics.
본 발명의 다른 일 실시예에 따른 장치는 차량의 주행 시나리오를 추천하는 장치로서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 수신하는 통신부; 및 수신된 상기 주행 통계를 이용하여, 시나리오 설정이 필요한 대상 도로에 대해 주행 시나리오 및 매개변수를 추천하도록 제어하는 제어부;를 포함한다.An apparatus according to another embodiment of the present invention is a device for recommending vehicle driving scenarios, and receives driving statistics including the number of objects according to locations, object movement trajectories, and driving events from a driving image including location information of shooting. communication department; and a control unit configured to recommend driving scenarios and parameters for target roads requiring scenario setting using the received driving statistics.
상기 제어부는, 상기 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.The control unit controls to recommend a scenario section and a driving scenario applied to each scenario section for the target road based on the driving statistics, respectively, and sets a parameter suitable for the driving scenario for each recommended scenario section to the driving statistics. It can be controlled to recommend based on
본 발명의 일 실시예 또는 다른 일 실시예에 따른 장치는, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 입력부를 더 포함할 수 있다.The apparatus according to one embodiment or another embodiment of the present invention may further include an input unit through which a user's selection or modification of the recommended scenario section and driving scenario is input.
상기 제어부는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어할 수 있다.The control unit may control to recommend a parameter suitable for a driving scenario for each input scenario section based on the driving statistics.
상기와 같이 구성되는 본 발명은 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천할 수 있는 이점이 있다.The present invention configured as described above has an advantage of accumulating and analyzing events occurring during driving based on driving images, and recommending an appropriate driving scenario for a target road based on the analyzed information.
즉, 본 발명은 컴퓨터를 이용한 주행 시뮬레이션이나 실제 도로 주행 환경에서의 차량 시험 환경에서 적절한 주행 시나리오를 도출하는데 도움을 줄 수 있다.That is, the present invention can help derive an appropriate driving scenario in a driving simulation using a computer or a vehicle test environment in an actual road driving environment.
또한, 본 발명은 영상 정보나 각종 센서 정보를 활용한 자율주행차량의 개발 및 주행 테스트에 활용이 가능한 이점이 있다.In addition, the present invention has an advantage that it can be used for development and driving tests of autonomous vehicles using image information or various sensor information.
또한, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하면서, 종래 기술과는 다음과 같은 차이점을 갖는다.In addition, the present invention has the following differences from the prior art while solving the problems of the prior art as described above.
(1) 주어진 도로 환경 및 위치에 대한 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계를 제공할 수 있다. (1) Statistics on driving events can be provided to analyze potential accident risk factors and road congestion trigger factors that occur in daily driving situations for a given road environment and location.
(2) 주어진 도로 환경에 적합한 시나리오 설정을 위한 경계 구간들을 추천할 수 있으며, 실제 주행 도로 상황과 연관된 시나리오 설계를 위해 위치와 시간대 별로 적정한 시나리오를 추천할 수 있다.(2) It is possible to recommend boundary sections for setting scenarios suitable for a given road environment, and it is possible to recommend appropriate scenarios by location and time for scenario design related to actual road conditions.
(3) 실제 주행 도로 상황과 연관된 시나리오 매개변수를 도로 위치와 시간대에 따라 추천할 수 있다.(3) Scenario parameters related to actual road conditions may be recommended according to road locations and time zones.
특히, 본 발명은 종래 기술에 비해 실제 활용 측면에서 다음과 같은 이점을 가진다.In particular, the present invention has the following advantages in terms of practical use compared to the prior art.
(1) 데이터 확보를 위한 하드웨어 비용이 절감될 수 있다. (1) Hardware costs for securing data can be reduced.
즉, 본 발명에 의하면 시나리오 추천 및 주행자원 확보를 위해 라이다(LIDAR)나 레이더(LADAR)와 같은 값비싼 추가 하드웨어 장비를 차량에 탑재하지 않아도 된다. 대신, 본 발명은 많은 자동차가 이미 탑재하고 있는 차량 블랙박스와 같은 차량 영상수집장치에서 취득된 영상 데이터를 활용할 수 있다.That is, according to the present invention, it is not necessary to mount expensive additional hardware equipment such as LIDAR or LADAR in a vehicle in order to recommend scenarios and secure driving resources. Instead, the present invention may utilize image data obtained from a vehicle image collection device such as a vehicle black box, which is already installed in many vehicles.
(2) 관련 데이터 확보가 용이하다.(2) It is easy to secure related data.
즉, 본 발명은 종래에 보급된 영상수집장치를 그대로 사용할 수 있어서 데이터 확보가 상대적으로 용이하다. 또한, 본 발명은 영상수집장치가 차량 내에 특별한 위치에 설치될 것을 요구하지 않는다.In other words, the present invention can use a conventional image collection device as it is, so it is relatively easy to secure data. In addition, the present invention does not require the image collection device to be installed in a special location in the vehicle.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.
도 1은 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)의 블록 구성도를 나타낸다.
도 2는 본 발명과 관련하여 시나리오 설정이 필요한 도로 구간(대상 도로)에서의 주행 시나리오(driving scenario)를 설정하는 일 예를 나타낸다.
도 3 및 도 4는 주행 영상을 통해 추정 가능한 주행 사건의 다양한 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)에서 제어부(150)의 블록 구성도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 추천 방법의 순서도를 나타낸다.
도 7은 S110에 대한 보다 상세한 순서도를 나타낸다.
도 8은 주행 영상에서 객체 검출 및 이동 궤적 추출의 일 예를 나타낸다.
도 9는 주행 통계를 표로 나타낸 일 예이다.
도 10은 도 9의 주행 사건을 추출하는데 사용한 기초 정보를 표로 나타낸 일 예이다.
도 11은 S120 및 S130에 대한 보다 상세한 순서도를 나타낸다.
도 12는 주행 사건 종류 별 발생 분포 사이의 경계부를 설정하는 다양한 예를 나타낸다.
도 13는 대상 도로에 대한 일 예이다.
도 14는 도 13에 대해 본 발명의 제1 및 제2 추천 기능이 수행된 결과에 대한 일 예이다.1 shows a block configuration diagram of a driving
2 shows an example of setting a driving scenario in a road section (target road) requiring scenario setting in relation to the present invention.
3 and 4 show various examples of driving events that can be estimated through driving images.
5 shows a block diagram of the
6 shows a flow chart of a recommendation method according to an embodiment of the present invention.
7 shows a more detailed flow chart for S110.
8 illustrates an example of detecting an object and extracting a movement trajectory from a driving image.
9 is an example showing driving statistics as a table.
10 is an example showing basic information used to extract driving events of FIG. 9 as a table.
11 shows a more detailed flow chart for S120 and S130.
12 illustrates various examples of setting boundaries between occurrence distributions for each type of driving event.
13 is an example of a target road.
FIG. 14 is an example of a result of performing the first and second recommendation functions of the present invention with respect to FIG. 13 .
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The above objects and means of the present invention and the effects thereof will become clearer through the following detailed description in conjunction with the accompanying drawings, and accordingly, those skilled in the art to which the present invention belongs can easily understand the technical idea of the present invention. will be able to carry out. In addition, in describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms in some cases unless otherwise specified in the text. In this specification, terms such as "comprise", "have", "provide" or "have" do not exclude the presence or addition of one or more other elements other than the mentioned elements.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In this specification, terms such as “or” and “at least one” may represent one of the words listed together, or a combination of two or more. For example, "or B" and "at least one of B" may include only one of A or B, or may include both A and B.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.In this specification, descriptions following "for example" may not exactly match the information presented, such as cited characteristics, variables, or values, and tolerances, measurement errors, limits of measurement accuracy and other commonly known factors It should not be limited to the embodiments of the present invention according to various embodiments of the present invention with effects such as modifications including.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.In this specification, when a component is described as being 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but there may be other components in the middle. It should be understood that it may be On the other hand, when a component is referred to as 'directly connected' or 'directly connected' to another component, it should be understood that no other component exists in the middle.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '~사이에'와 '직접 ~사이에' 등도 마찬가지로 해석될 수 있다.In the present specification, when an element is described as being 'on' or 'in contact with' another element, it may be in direct contact with or connected to the other element, but another element may be present in the middle. It should be understood that On the other hand, if an element is described as being 'directly on' or 'directly in contact with' another element, it may be understood that another element in the middle does not exist. Other expressions describing the relationship between components, such as 'between' and 'directly between', can be interpreted similarly.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.In this specification, terms such as 'first' and 'second' may be used to describe various elements, but the elements should not be limited by the above terms. In addition, the above terms should not be interpreted as limiting the order of each component, and may be used for the purpose of distinguishing one component from another. For example, a 'first element' may be named a 'second element', and similarly, a 'second element' may also be named a 'first element'.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)의 블록 구성도를 나타낸다.1 shows a block configuration diagram of a driving
본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)는 주행 영상을 기반으로 주행 시나리오 및 매개변수를 추천하는 장치로서, 컴퓨팅(computing)이 가능한 전자 장치 또는 컴퓨팅 네트워크일 수 있다.The driving
예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), 스마트폰(smartphone), 스마트패드(smartpad) 또는 휴대폰(mobile phone) 등과 같은 범용 컴퓨팅 장치이거나, 전용의 임베디드 시스템 등일 수 있으나, 이에 한정되는 것은 아니다.For example, the electronic device includes a desktop personal computer, a laptop personal computer, a tablet personal computer, a netbook computer, a workstation, and a personal digital assistant (PDA). , a general-purpose computing device such as a smartphone, a smartpad, or a mobile phone, or a dedicated embedded system, but is not limited thereto.
이때, 주행 영상은 차량의 주행 중에 해당 차량에 설치된 블랙박스 등의 영상수집장치에서 촬영된 영상으로서, 주행 중인 차량의 위치 정보 및 시간 정보를 함께 포함하는 영상 정보인 것이 바람직할 수 있다. 이는 추후에 주행 영상을 이용하여 주행 통계의 분석, 주행 시나리오 추천 및 매개변수 추천 시에 위치 정보가 함께 이용될 수 있기 때문이다. 즉, 본 발명이 제공하는 기능을 최대로 활용하려면 주행 영상에는 위치 정보가 함께 포함되어 있는 것이 바람직하다. 최근의 차량 내 영상수집장치는 GPS(Global Positioning System) 수신기와 같은 위치정보 취득 장치와 연계하여 관련 정보를 취득하는 것이 매우 용이하고 보편화된 실정이다. 물론, 주행 영상은 하나의 차량에서 촬영되거나 다수의 차량에서 촬영될 수 있다.At this time, the driving image is an image captured by an image collecting device such as a black box installed in the vehicle while the vehicle is driving, and may preferably be image information including location information and time information of the vehicle in motion. This is because the location information can be used later when analyzing driving statistics, recommending driving scenarios, and recommending parameters using driving images. That is, in order to make the most of the functions provided by the present invention, it is preferable that the driving video includes location information. Recent in-vehicle image collection devices are very easy and common to acquire related information in conjunction with location information acquisition devices such as GPS (Global Positioning System) receivers. Of course, the driving image may be captured from one vehicle or from multiple vehicles.
도 2는 본 발명과 관련하여 시나리오 설정이 필요한 도로 구간(대상 도로)에서의 주행 시나리오(driving scenario)를 설정하는 일 예를 나타낸다. 또한, 도 3 및 도 4는 주행 영상을 통해 추정 가능한 주행 사건의 다양한 예를 나타낸다.2 shows an example of setting a driving scenario in a road section (target road) requiring scenario setting in relation to the present invention. 3 and 4 show various examples of driving events that can be estimated through driving images.
도 2는 직선과 곡선 구간이 결합된 전체 대상 도로(도로 구간)에 대해서 주행 시나리오를 구성하는 것을 보여준다. 이때, 전체 주행 구간을 A, B, C 및 D라는 4개의 부분 구간으로 나눈다고 가정하면, A, B, C 및 D에 대해서 각각의 부분 주행 시나리오(partial driving scenario)를 적용할 수 있다. 물론, 도 2의 도로 모양은 하나의 예시에 불과하며, 대상 도로는 도 2 외의 다양한 도로 형상을 가질 수 있다. 즉, 대상 도로는 부분 구간의 개수가 다양할 수 있으며, 부분 구간 별로 시나리오 적용 상황이 달라질 수 있다. 2 shows that a driving scenario is configured for all target roads (road sections) in which straight and curved sections are combined. In this case, assuming that the entire driving section is divided into four subsections A, B, C, and D, each partial driving scenario may be applied to A, B, C, and D. Of course, the road shape of FIG. 2 is only an example, and the target road may have various road shapes other than FIG. 2 . That is, the number of subsections of the target road may vary, and the scenario application situation may vary for each subsection.
여기서, 주행 시나리오는 주행 중에 발생할 수 있는 가능한 주행 사건(event)의 집합으로 정의할 수 있다. 일례로, “끼어들기”, “보행자 횡단”, “차선폭 감소” 등과 같은 개별적인 사건이 모여 주행 시나리오를 구성할 수 있다. 또한, 주행 시나리오들이 모여서 통합 주행 시나리오를 구성하는 것도 가능하다. 이러한 주행 시나리오는 ASAM(Association for Standardization of Automation and Measuring Systems)과 같은 기구에서 제정한 관련 표준을 준용하여 설정하는 것이 바람직할 수 있다. Here, a driving scenario may be defined as a set of possible driving events that may occur during driving. For example, individual events such as “cutting in”, “pedestrian crossing”, and “lane width reduction” may be aggregated to form a driving scenario. In addition, it is also possible to configure an integrated driving scenario by gathering driving scenarios. It may be desirable to establish such driving scenarios by applying relevant standards established by organizations such as ASAM (Association for Standardization of Automation and Measuring Systems).
일례로, A구간에서는 “차선 직선구간에서 1차선 차량이 2차선으로 끼어들기”, B구간은 “차선 곡선구간에서 2차선 주행 차량이 1차선으로 차선변경”, C구간에서는 “전방에 무단횡단 보행자 등장”, D구간에서는 “차선 고속도로에서 90km/h 직선구간 주행시 전방에 정차 중인 사고 차량이 나타남”과 같은 부분 주행 시나리오를 적용할 수 있다. For example, in section A, “a vehicle in one lane cuts into the second lane in a straight section of lane”, in section B, “a vehicle traveling in two lanes changes to a single lane in a curved section of lane”, in section C, “jaywalking in front Partial driving scenarios such as “appearance of a pedestrian” and “a stopped accident vehicle appears in front when driving on a straight section at 90 km/h on a lane highway” can be applied to section D.
본 발명에서의 주행 시나리오는 추상화와 구체화의 정도에 따라서 계층적으로 제공할 수 있다. 일례로, 최상위 수준에서는 “교통 정체 상황”이라고 기술하고, 그 다음 수준에서는 “출근길 폭우로 인한 교통 정체 상황”, 그 다음 수준에서는 “출근길 폭우로 인해 대중교통 이용자 감소 및 자가용 이용 증가로 인한 교통 정체 상황”, 그 다음 수준에서는 “출근길 폭우로 인해 대중교통 이용자 감소 및 자가용 이용 증가로 인한 고속도로 진입을 위한 병목구간에서의 끼어들기 차량의 급증으로 인한 교통 정체 상황”과 같은 식으로 추상화된 시나리오가 구체적인 시나리오로 확장될 수 있다. 이후, 본 명세서에서는 시나리오에 대한 실시예를 “교통 정체 상황”과 같이 추상적으로 표현한다. 다만, 이는 표현의 간결함을 고려한 것으로서, 이에 한정되는 것은 아니며, 다양한 레벨(level) 혹은 계층에 따라 구체적인 시나리오 제공이 가능하다.Driving scenarios in the present invention can be provided hierarchically according to the degree of abstraction and concreteness. For example, the highest level describes “traffic congestion”, the next level describes “traffic congestion due to heavy rain on the way to work”, and the next level describes “traffic congestion due to a decrease in public transport users and an increase in private car use due to heavy rain on the way to work”. Situation”, and at the next level, abstracted scenarios such as “traffic congestion due to a sharp increase in vehicles cutting in at the bottleneck section for entering the highway due to a decrease in public transportation users and an increase in the use of private cars due to heavy rain on the way to work” are concrete scenarios abstracted. scenarios can be extended. Hereafter, in this specification, embodiments of scenarios are abstractly expressed as “traffic congestion”. However, this is in consideration of brevity of expression, and is not limited thereto, and specific scenarios can be provided according to various levels or hierarchies.
한편, 주행 시나리오는 실제 도로에서 발생할 수 있는 주행 사건(event)들의 집합인 매우 넓은 개념이므로, 본 발명에서는 임의의 내 차량(Ego vehicle) 관점에서 수집할 수 있는 주행 사건(event)의 집합으로 한정한다. 이때, “Ego vehicle”은 영상수집장치가 설치되어 주행 영상을 촬영하는 차량을 지칭한다.On the other hand, since a driving scenario is a very broad concept that is a set of driving events that may occur on a real road, the present invention is limited to a set of driving events that can be collected from the viewpoint of an arbitrary ego vehicle. do. At this time, “Ego vehicle” refers to a vehicle in which an image collection device is installed to capture driving images.
즉, 본 발명에서는 전지적 관찰자 시점에서 도로 네트워크의 구조, 신호등의 위치, 횡단보도의 위치를 알고 있다고 가정하는 종래의 방식과는 다르게 오로지 Ego vehicle를 통해서 수집할 수 있는 영상 정보만을 이용하여 추정 가능한 주행 사건만을 고려대상으로 한다. 이런 제약에도 불구하고 본 발명에 의하면 각각의 주행 사건들에 대해서 주행 사건이 발생한 위치와 시간 정보를 동시에 기록하는 방식을 취하므로, 나중에 위치 별 교통사고 발생 통계나 정밀지도와 같은 정보와 연결하여 활용 범위를 넓힐 수 있음은 물론이다.That is, in the present invention, unlike the conventional method that assumes that the structure of the road network, the location of traffic lights, and the location of crosswalks are known from the point of view of an omniscient observer, driving that can be estimated using only image information that can be collected through the Ego vehicle Only incidents are considered. Despite these limitations, according to the present invention, since the location and time information of each driving event are simultaneously recorded, it is later utilized in connection with information such as traffic accident statistics by location or precision maps. Of course, the range can be widened.
도 3 및 도 4는 앞서 설명한 임의의 Ego vehicle 관점에서 수집할 수 있는 주행 사건(event)들의 몇 가지 예시를 보여준다. 즉, 차량에 탑승한 운전자나 차량에 장착된 카메라 관점에서는, “정차”, “전방 사고차량 등장”, “갓길 정차 및 사고차량 등장”, “역주행”, “차량 끼어들기”, “차선감소와 끼어들기”, “곡선구간 끼어들기”, “보행자 횡단”, “자전거 횡단”, “모터사이클 끼어들기”, “여러 보행자 횡단”, “도로병합 구간에서 끼어들기”, “도로분리 구간에서 나가기”, “추월”, “중앙선 침범 후 추월” 등과 같은 주행 사건들을 취득할 수 있다.3 and 4 show some examples of driving events that can be collected from any Ego vehicle perspective described above. That is, from the perspective of the driver in the vehicle or the camera installed in the vehicle, “stop”, “appearance of accident vehicle ahead”, “stopping on the shoulder and appearance of accident vehicle”, “reverse driving”, “vehicle cutting in”, “lane reduction and “Crossing In”, “Curve In”, “Pedestrian Crossing”, “Bicycle Crossing”, “Motorcycle Cut In”, “Crossing Multiple Pedestrians”, “Cutting In On Road Merging”, “Exiting Separation Of Roads” , “Overtaking”, “Overtaking after crossing the center line”, etc. can be acquired.
본 발명에서는 특정한 위치와 시간 구간에 대해서 어떤 주행 사건이 자주 발생하고 차량이나 보행자와 같은 객체의 분포가 위치나 시간에 따라서 어떤 통계적 특징을 갖는지를 지속적이고 점진적으로 알아낼 수 있으며, 이를 요청된 위치와 시간에 대해서 처리하여 제공할 수 있는 특징을 갖는다. 이를 위해, 위치와 시간 정보가 포함된 주행 영상 정보를 입력 받아 이용한다. 물론, 이러한 주행 영상 정보는 다양한 차량으로부터 수집될 수 있다.In the present invention, it is possible to continuously and gradually find out which driving events frequently occur for a specific location and time interval and what statistical characteristics the distribution of objects such as vehicles or pedestrians have according to location or time, It has a feature that can be processed and provided over time. To this end, driving image information including location and time information is received and used. Of course, such driving image information may be collected from various vehicles.
한편, 추천 장치(100)는 크게 3가지 기능을 제공할 수 있으며, 이러한 3가지 기능은 서로 독립적이거나 종속적으로 제공될 수 있다. Meanwhile, the
먼저, 추천 장치(100)는 촬영의 위치 및 시간 정보가 포함된 주행 영상으로부터 위치 및 시간에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 기능을 제공할 수 있다. 물론, 이러한 분석 기능은 추천 장치(100) 외의 별도의 전자 장치(이하, “분석 장치”라 지칭함)에서 제공할 수도 있으며, 이 경우에 해당 분석 장치에서 분석된 주행 통계가 추천 장치(100)로 전달될 수 있다. 가령, 분석 장치에서 분석된 주행 통계는 별도의 데이터베이스 시스템에 저장되고, 추천 장치(100)가 해당 데이터베이스 시스템에 접속하여 해당 주행 통계를 전달받을 수 있다. 또는, 분석 장치가 분석된 주행 통계를 저장하고, 분석 장치와 추천 장치(100) 간에 통신을 통해 해당 주행 통계가 추천 장치(100)로 전달될 수 있다. 다만, 이러한 분석 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.First, the
다음으로, 추천 장치(100)는 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 주행 통계를 기반으로 추천하는 기능(이하, “제1 추천 기능”이라 지칭함)을 제공할 수 있다. 다만, 이러한 제1 추천 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.Next, the
다음으로, 추천 장치(100)는 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 기능(이하, “제2 추천 기능”이라 지칭함)을 제공할 수 있다. 다만, 이러한 제2 추천 기능의 상세한 설명에 대해서는 본 발명의 추천 방법에서 후술하도록 한다.Next, the
가령, 추천 장치(100)는 주행 영상을 촬영한 영상수집장치가 설치된 차량이나 다른 차량에 설치된 엔드 디바이스(end-device)로 동작할 수 있으며, 그 외에 차량에 설치되지 않고 분석 기능, 제1 추천 기능 또는 제2 추천 기능을 제공하는 시스템으로 구현되어 해당 분석 또는 추천에 따른 결과를 차량의 단말 등에 전송하는 서버(sever)로 동작할 수도 있다.For example, the
구체적으로, 추천 장치(100)는, 도 1에 도시된 바와 같이, 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 및 제어부(150)를 포함할 수 있다. 물론, 추천 장치(100)는 주행 영상을 촬영하는 영상수집장치를 포함할 수도 있다.Specifically, as shown in FIG. 1 , the
입력부(110)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The
통신부(120)는 다른 장치와의 통신을 수행하는 구성이다. 예를 들어, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(Bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다. 가령, 통신부(120)는 주행 영상 또는 주행 통계 등을 타 장치로부터 수신할 수 있으며, 분석 결과 또는 추천 결과 등을 타 장치로 송신할 수 있다.The
디스플레이(130)는 다양한 영상 데이터를 화면으로 표시하는 구성이다. 가령, 디스플레이(130)는 비발광형 패널이나 발광형 패널로 구성될 수 있다. 예를 들어, 디스플레이(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가령, 디스플레이(130)는 주행 영상, 주행 통계, 분석 결과 또는 추천 결과 등을 화면에 표시할 수 있다. 또한, 디스플레이(130)는 입력부(110)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.The
메모리(140)는 추천 장치(100)의 동작에 필요한 각종 정보를 저장한다. 가령, 저장 정보로는 주행 영상, 주행 통계, 분석 결과, 추천 결과, 또는 후술할 추천 방법에 관련된 프로그램 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 메모리(140)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(Magnetic media type), CD-ROM(compact disc read only memory), 광기록 매체 타입(Optical Media type), 자기-광 매체 타입(Magneto-optical media type), 멀티미디어 카드 마이크로 타입(Multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(140)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.The
제어부(150)는 추천 장치(100)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(150)는 후술할 추천 방법의 수행을 제어할 수 있으며, 추천 장치(100)의 나머지 구성, 즉 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 하드웨어인 프로세서(processor) 또는 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The
도 5는 본 발명의 일 실시예에 따른 주행 시나리오 추천 장치(100)에서 제어부(150)의 블록 구성도를 나타낸다.5 shows a block diagram of the
제어부(150)는 본 발명의 일 실시예에 따른 추천 방법의 수행을 제어하며, 도 5에 도시된 바와 같이, 영상처리부(151) 및 시나리오 처리부(152)를 포함할 수 있다. 예를 들어, 영상처리부(151) 및 시나리오 처리부(152)는 제어부(150)의 하드웨어 구성이거나, 제어부(150)에서 수행되는 소프트웨어인 프로세스일 수 있으나, 이에 한정되는 것은 아니다.The
이하, 본 발명에 따른 추천 방법에 대해 보다 상세하게 설명하도록 한다. Hereinafter, the recommendation method according to the present invention will be described in more detail.
도 6은 본 발명의 일 실시예에 따른 추천 방법의 순서도를 나타내며, 도 7은 S110에 대한 보다 상세한 순서도를 나타낸다.6 shows a flow chart of a recommendation method according to an embodiment of the present invention, and FIG. 7 shows a more detailed flow chart for S110.
본 발명에 따른 추천 방법은 제어부(150)의 제어에 따라 수행될 수 있으며, 분석 기능, 제1 추천 기능 및 제2 추천 기능을 선택적으로 수행하는 방법이다. 즉, 본 발명의 일 실시예에 따른 추천 방법은, 도 6에 도시된 바와 같이, S110 내지 S130을 포함할 수 있다. The recommendation method according to the present invention may be performed under the control of the
S110은 제어부(150)의 영상처리부(151)의 제어 따라 분석 기능을 제공하는 단계이다. 즉, 영상처리부(151)는 영상수집장치에서 촬영된 위치 정보가 포함된 주행 영상으로부터 위치 및 시간에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계의 분석을 제어할 수 있다. 이러한 S110은, 도 4에 도시된 바와 같이, S111 내지 S116을 포함할 수 있다.S110 is a step of providing an analysis function according to the control of the
S111에서, 영상수집장치에서 촬영된 주행 영상이 영상처리부(151)로 입력(전달)된다. 이때, 주행 영상에는 촬영된 위치 정보가 함께 포함되어 있는 것이 바람직하다.In S111, the driving image captured by the image collecting device is input (delivered) to the
S112에서, 영상처리부(151)는 입력된 주행 영상에 대해 비식별화 처리를 선택적으로 수행한다. 이때, 비식별화 처리는 주행 영상의 특정 영역이 비식별화(즉, 개인정보와 관련된 정보를 제거)되도록 하는 영상 처리이며, 이러한 특정 영역을 비식별화 영역이라 지칭한다. In S112, the
이때, 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역 등을 포함할 수 있다. 즉, 영상처리부(151)는 주행 영상 내에서 차량의 번호판 영역을 검출하여 비식별화 처리를 하거나, 주행 영상 내에서 보행자의 얼굴 영역을 검출하여 비식별화 처리를 하거나, 거리의 간판 영역을 검출하여 비식별화 처리를 할 수 있다. 예를 들어, 비식별화 처리는 비식별화 영역에 대해, 모자이크 처리, 블러링(bluring) 처리, 단색 처리 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. In this case, the non-identification area may include a license plate area of a vehicle, a face area of a pedestrian, or a sign area of a street. That is, the
다만, S112는 선택적으로 수행될 수 있다. 즉, 본 발명은 S112에 따른 비식별화 처리가 수행되지 않더라도 개인정보를 저장하거나 출력하지 않는다. 그럼에도 불구하고, 데이터의 2차 가공 측면에서의 개인정보 처리와 관련된 이슈를 원천적으로 배제하기 위해, S112가 포함될 수 있다.However, S112 may be selectively performed. That is, the present invention does not store or output personal information even if de-identification processing according to S112 is not performed. Nevertheless, in order to fundamentally exclude issues related to personal information processing in terms of secondary processing of data, S112 may be included.
S113에서, 영상처리부(151)는 입력된 주행 영상에서 객체를 검출하고 인식한다. 이는 입력된 주행 영상에 도로 차선, 자동차, 보행자, 자전거, 신호등과 같이 주행 중 나타날 수 있는 각종 객체의 존재 여부 및 그 위치를 검출하는 과정이다. 이런 검출을 위해서, 종래의 다양한 객체 검출의 영상처리 기법이 사용될 수 있다. In S113, the
예를 들어, 차선 검출을 위해, 주행 영상에서 직선이나 곡선 성분을 추출하는 허프 변환(Hough transform)과 같은 영상처리 방법이 사용될 수 있다. 또한, 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드 등과 같은 움직임이 가능한 객체의 검출을 위해, 욜로(Yolo)와 같은 인공 신경망 기반의 객체 검출 기법이 사용될 수 있다. 다만, 본 발명에서는 상술한 차선 검출 방법이나 객체 검출 기법으로 제한되지 않고, 다양한 객체 검출 기법이 사용될 수 있다.For example, for lane detection, an image processing method such as Hough transform, which extracts a straight line or a curved component from a driving image, may be used. In addition, an artificial neural network-based object detection technique such as Yolo may be used to detect a movable object such as a vehicle, pedestrian, bicycle, motorcycle, or electric kickboard. However, in the present invention, it is not limited to the above-described lane detection method or object detection technique, and various object detection techniques may be used.
도 8은 주행 영상에서 객체 검출 및 이동 궤적 추출의 일 예를 나타낸다. 다만, 도 8에서, 주행 영상을 촬영하는 주체인 Ego Vehicle는 일반적으로 주행 영상에 나타나지 않지만, 개념의 이해를 위해 점선 테두리의 차량으로 표시했다. 반면, 도 8에서, 큰 사각형 내의 도로와 차량 모습은 취득된 주행 영상을 나타낸다.8 illustrates an example of detecting an object and extracting a movement trajectory from a driving image. However, in FIG. 8 , the Ego Vehicle, which is the subject of capturing the driving video, does not generally appear in the driving video, but is indicated as a vehicle framed by a dotted line for understanding the concept. On the other hand, in FIG. 8 , roads and vehicles in large rectangles represent acquired driving images.
S114에서, 영상처리부(151)는 검출된 객체 별로 이동 궤적(moving trajectory)을 추출한다. 이때, 이동 궤적은 Ego vehicle을 기준으로 하는 객체의 상대적인 이동 궤적, 즉 Ego vehicle 관점에서 바라본 객체의 상대적인 이동 궤적을 의미한다. In S114, the
가령, 도 8을 참조하면, 검은색으로 칠해진 “차량 F”만 제외하고 “Vehicle”을 포함한 나머지 모든 차량이 “0”라는 속도로 주행하고 있다. 이에 따라, “Ego Vehicle”과 같은 속도로 이동 중인 “차량 A”“차량 B”“차량 C”“차량 D” 및 “차량 E”의 상대속도는 0이다. 즉, “Vehicle”이 촬영한 주행 영상을 재생하면 상대 속도가 0인 차량들은 영상에서 위치 이동이 발생하지 않지만 “끼어들기”를 하려는 검은색 “차량 F”의 경우에는 임의의 이동 궤적이 발생한다. 물론 “차량 A”“차량 B”“차량 C”“차량 D” 및 “차량 E”의 “Vehicle”에 대한 상대속도는 통상적으로 0이 아니지만, 문턱 값(threshold value) 이상으로 이동하는 차량을 선택하는 식으로 이동 궤적이 특별한 차량 객체를 찾아낼 수 있다. 차선정보, 차량의 위치, 이동 궤적을 종합하면 도 8에 나타낸 “끼어들기” 또는 “추월” 등과 같은 주행 사건을 추정할 수 있다.For example, referring to FIG. 8 , except for “Vehicle F” painted in black, all vehicles including “Vehicle” are traveling at a speed of “ 0 ”. Accordingly, the relative speeds of “Vehicle A,” “Vehicle B,” “Vehicle C,” “Vehicle D” and “Vehicle E” moving at the same speed as “Ego Vehicle” are zero. In other words, when the driving video recorded by “Vehicle” is played back, vehicles with a relative speed of 0 do not move in the video, but in the case of the black “vehicle F” trying to “intervene”, a random movement trajectory occurs. . Of course, the relative speed of “Vehicle A”, “Vehicle B”, “Vehicle C”, “Vehicle D” and “Vehicle E” to the “Vehicle” is not usually zero, but the vehicle moving above the threshold value is selected. In this way, a vehicle object with a special moving trajectory can be found. A driving event such as “cutting in” or “overtaking” shown in FIG.
한편, S114에서는 여러 가지 예외적인 상황이 발생할 수 있는데, 일례로 통상적으로 지표면에 고정된 “신호등”과 같은 객체가 Ego Vehicle의 이동으로 인해 취득된 주행 영상에서는 상대적으로 빠르게 이동하는 것으로 나타날 수 있는 것이다. 이런 예외 상황을 제거하기 위해, S114에에서는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드 등과 같이 통상적으로 움직임이 가능하고 주행 시나리오 분석에서 중요한 객체들에 대해서만 선택적으로 이동 궤적을 추적(추출)할 수도 있다.On the other hand, in S114, various exceptional situations may occur. For example, an object such as a “traffic light” normally fixed on the ground may appear to move relatively quickly in the driving image acquired due to the movement of the Ego Vehicle. . In order to eliminate this exceptional situation, in S114, movement trajectories can be selectively tracked (extracted) only for objects that are normally movable and important in driving scenario analysis, such as vehicles, pedestrians, bicycles, motorcycles, or electric kickboards. .
S115에서, 영상처리부(151)는 추출된 이동 궤적(moving trajectory)에서 시나리오 분석에 용이하도록 객체 별로 이동 궤적을 필터링하고 보정하는 작업을 수행한다. 일례로, 도로가 아닌 영역(즉, 하늘이나 주변부 등)에서 검출된 객체의 이동 궤적은 제거하는 것이 바람직하다. 또한, 도 8에서, Ego vehicle 자신이 가속 혹은 감속, 차선 변경과 같은 변화를 일으킬 수 있는데, 이 경우에 Ego vehicle 이외의 모든 차량에서 이동 궤적의 변화가 전역적으로 발생할 수 있다. 이런 경우를 보정하여 객체 별 이동 궤적을 선별하는 것이 “객체 이동 궤적 보정”의 목적이다. 이런 상황에 대응하는 보정을 위해서는 다음과 같은 2가지 방법이 선택적으로 사용될 수 있다.In S115, the
(1) Ego vehicle이 소정의 제1 문턱 값(threshold value) 이상으로 차선을 이탈하거나 가속 및 감속한다면, 영상처리부(151)는 해당 구간에서는 객체 추출이나 이동 궤적 정보 분석을 멈춘다. 이는 연산처리 비용을 줄이고 Ego vehicle 이외의 효과만을 분석에 사용하기 위함이다. 물론, 차선 이탈에 적용되는 제1 문턱 값과, 가속 및 감속에 적용되는 제1 문턱 값은 다른 수치의 값일 수도 있다.(1) If the ego vehicle deviates from the lane or accelerates or decelerates by more than a first predetermined threshold value, the
이때, Ego vehicle의 차선 이탈 검출은 주행 영상 정보를 이용하여 검출 가능하며, Ego vehicle의 가속 및 감속 정보는 영상수집장치에 연계된 GPS 정보, 가속도 센서 정보 또는 자이로 센서 정보 등을 활용하여 파악할 수 있다. 만약, 이러한 비영상정보(non-image information)를 이용하지 못한다면, 취득된 주행 영상 정보를 이용하여 상대적인 가속 및 감속을 추정할 수도 있다. At this time, lane departure detection of the ego vehicle can be detected using driving image information, and acceleration and deceleration information of the ego vehicle can be identified using GPS information, acceleration sensor information, or gyro sensor information linked to the image collecting device. . If such non-image information is not available, relative acceleration and deceleration may be estimated using the acquired driving image information.
일례로, 도로 바닥과 같이 차량의 이동에 비례하여 일관성 있게 변화하는 객체를 참조 지점으로 정한다면, 해당 영역의 움직임 벡터(motion vector)를 시간에 따라 지속적으로 계산함으로써, Ego vehicle의 가속 및 감속을 계산할 수 있다.For example, if an object that consistently changes in proportion to the movement of a vehicle, such as the floor of a road, is set as a reference point, the acceleration and deceleration of the ego vehicle can be controlled by continuously calculating the motion vector of the corresponding area over time. can be calculated
(2) Ego vehicle이 제2 문턱 값(제1 문턱 값보다 큼) 이상으로 차선을 이탈하거나 가속 및 감속한다면, Ego vehicle에 의해 발생된 주행 사건으로 기록한다. 일례로, 주행 영상 분석을 통해 Ego vehicle이 “총 3차선 도로의 2차선에서 3차선으로 차선변경”과 같은 사건을 일으켰다면, 이를 기록하는 방식이다. 물론, 차선 이탈에 적용되는 제2 문턱 값과, 가속 및 감속에 적용되는 제2 문턱 값은 다른 수치의 값일 수도 있다.(2) If the ego vehicle deviates from the lane more than the second threshold value (greater than the first threshold value) or accelerates and decelerates, it is recorded as a driving event caused by the ego vehicle. For example, if an Ego vehicle causes an event such as “changing lanes from 2 lanes to 3 lanes on a total 3-lane road” through driving video analysis, this is a method of recording. Of course, the second threshold value applied to lane departure and the second threshold value applied to acceleration and deceleration may be different numerical values.
도 9는 주행 통계를 표로 나타낸 일 예이며, 도 10은 도 9의 주행 사건을 추출하는데 사용한 기초 정보를 표로 나타낸 일 예이다.FIG. 9 is an example showing driving statistics in a table, and FIG. 10 is an example showing basic information used to extract driving events of FIG. 9 in a table.
S116에서, 영상처리부(151)는 위치 및 시간에 따라 주행 통계를 분석하여 추출한다. 이때, 주행 통계는 본 발명에 입력으로 제공된 주행 영상에 포함된 위치와 시간에 맞춰 해당 시간대에서 검출된 객체의 수, 객체의 이동 궤적, 및 분석된 주행 사건을 포함하는 정보이다. 예컨대, 도 8에 따라 추출된 주행 통계는, “차선 도로”과 “총 6대의 차량”에 대한 객체 수와, 이들 객체에 대한 이동 궤적과, “끼어들기” 또는 “추월”로 분석된 주행 사건을 포함할 수 있다. 이와 같이 추출된 주행 통계는, 도 9 및 도 10에 도시된 바와 같이, 메모리(140)에 저장되어 관리될 수 있으며, 별도의 데이터베이스(database)나 파일시스템을 통해 지속적으로 저장하고 관리될 수 있다.In S116, the
또한, 이러한 주행 통계의 주행 사건을 추출하는데 사용한 기초 정보도, 도 10에 도시된 바와 같이, 저장 관리될 수 있다. 이와 같이 저장 관리된 정보는 디스플레이(130)를 통해 출력되거나, 통신부(120)를 통해 타 장치로 전송될 수 있다.In addition, basic information used to extract driving events of driving statistics may also be stored and managed, as shown in FIG. 10 . Information stored and managed in this way may be output through the
다만, 도 9에서, <차량 수>, <보행자 수>와 같은 객체의 개수만을 표시했으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 비나 눈이 오는 것과 같은 기상 상태, 도로의 파손 영역이나 빙판 영역과 같은 노면 상태, 자갈 등의 돌발적인 객체의 등장과 같이, 주행 영상을 통해 분석할 수 있는 정보가 주행 통계에 추가적으로 포함되어 저장 관리될 수 있음은 물론이다.However, in FIG. 9 , only the number of objects such as <number of vehicles> and <number of pedestrians> is displayed, but the present invention is not limited thereto. That is, information that can be analyzed through driving images is additionally included in driving statistics, such as weather conditions such as rain or snow, road surface conditions such as damaged areas or icy areas, and the sudden appearance of objects such as gravel. Of course, it can be stored and managed.
한편, S110은 다른 전자 장치의 제어부의 제어에 따라 수행될 수 있으며, 그 분석 결과인 주행 통계에 대한 정보가 통신부(120)를 통해 추적 장치(100)로 전송될 수도 있다.Meanwhile, S110 may be performed under the control of a control unit of another electronic device, and information on driving statistics, which is an analysis result, may be transmitted to the
도 11은 S120 및 S130에 대한 보다 상세한 순서도를 나타낸다.11 shows a more detailed flow chart for S120 and S130.
다음으로, S120은 제어부(150)의 시나리오 처리부(152)의 제어 따라 제1 추천 기능을 제공하는 단계로서, 도 11에 도시된 바와 같이, S121 내지 S125를 포함할 수 있다. 또한, S130은 제어부(150)의 시나리오 처리부(152)의 제어 따라 제2 추천 기능을 제공하는 단계로서, 도 11에 도시된 바와 같이, S120은 S121 내지 S125를 포함할 수 있으며, S130은 S131 내지 S134를 포함할 수 있다.Next, S120 is a step of providing a first recommendation function under the control of the
S121에서, 시나리오 처리부(152)는 시나리오 설정이 필요한 대상 도로에 대한 정보를 사용자로부터 입력 받는다. 이에 따라, 시나리오 처리부(152)는 대상 도로의 위치를 파악할 수 있다. 물론, 대상 도로에 대한 정보는 도로의 네트워크, 위치를 포함하도록 널리 사용되는 종래의 도로 정보 표시 포맷을 준용하여 사용되는 것이 바람직하다. 가령, 대상 도로에 대한 정보는 해당 대상 도로의 식별자 정보, 위치 정보 등을 포함할 수 있다.In S121, the
S122에서, 시나리오 처리부(152)는 S110을 통해 확보된 위치와 시간 별 주행 통계 정보를 기반으로, 대상 도로의 전체 구간을 분분 구간(즉, 시나리오 구간)을 나누고 시나리오 구간 별로 적용되는 주행 시나리오를 추천한다.In S122, the
S122에서 사용되는 구체적인 방법은 다음과 같다.The specific method used in S122 is as follows.
(1) 먼저, 시나리오 처리부(152)는 기 저장 관리되는 주행 통계에서 대상 도로의 위치 정보에 대응하는 위치 영역을 파악한다. 가령, 대상 도로의 위치 정보를 포함하는 질의어(query)를 이용하여 해당 위치 영역을 파악할 수 있다. 물론, 경우에 따라, 대상 도로의 위치 정보 외에 시나리오 적용을 위한 시간 정보를 함께 이용하여 검색할 수도 있다.(1) First, the
(2) 시나리오 처리부(152)는 주행 통계 중 파악된 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산한다. 즉, 주행 통계 중에서 대상 도로의 위치 영역에 포함되는 주행 사건들의 발생 분포(또는 빈도)를 위치에 따라 계산한다.(2) The
(3) 시나리오 처리부(152)는 계산된 주행 사건 종류 별의 발생 분포를 이용하여 발생 분포 간의 경계를 찾는다. 가령, 시나리오 처리부(152)는 높은 빈도를 보이는 주행 사건을 우선하여 추천하기 하도록 주행 사건 종류 별 발생 분포 사이의 경계부를 찾을 수 있다. 이러한 경계부를 찾는 방법은 다양할 수 있으나 본 발명에서는 아래와 같은 3가지 방식 중의 한 가지를 응용에 맞게 선택적으로 사용할 수 있다.(3) The
도 12는 주행 사건 종류 별 발생 분포 사이의 경계부를 설정하는 다양한 예를 나타낸다.12 illustrates various examples of setting boundaries between occurrence distributions for each type of driving event.
(3-1) 시나리오 처리부(152)는 대상 도로에 대해 계산된 주행 사건 종류 별의 발생 분포를 계산하고, 분포와 분포 사이의 경계부를 시나리오를 적용할 구간으로 결정한다. 도 12는 이에 대한 예시에 해당하며, 주어진 대상 도로에 대해 4개의 주행 사건의 발생 분포가 계산된 것으로 가정한다.(3-1) The
도 12(a)에서, “사건 1”의 경우, 대상 도로의 초반부에서 가장 높은 발생 분포를 보이고, “사건 2”는 대상 도로의 초반과 중반부 사이에서 가장 높은 발생 분포를 보인다. 이러한 발생 분포 정보를 이용하면, 주어진 대상 도로의 각각의 위치에서 가장 높은 발생 분포를 보이는 사건을 그룹화하여 추출하는 것이 가능하다. In FIG. 12(a), in the case of “
도 12(a)에서는 주행 구간 (P1, P2) 사이에는 “사건1”이, 주행구간 (P2, P3) 사이에는 “사건2”가, 주행구간 (P3, P4) 사이에는 “사건3”이, 주행구간 (P4, P5) 사이에는 “사건4”이 각각 가장 높은 발생 분포를 보이고 있다. 따라서, 시나리오 처리부(152)는 발생 분포 사이의 경계부를 {P1, P2, P3, P4, P5}와 같이 결정하고, 이들 사이를 각각 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다. In FIG. 12(a), “
(3-2) 상술한 (3-1)과 유사하지만, 시나리오 처리부(152)는 주행 사건 종류 별 발생 분포를 대상 도로에 대해서 정규화(normalize)하여, 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)로 만든 다음, 해당 확률분포함수에서 주행 사건 분포 사이의 경계부를 찾는다. 이는 도 12(b)에서 나타내고 있다. 이런 경우, {P1, P2, P3, P4, P5}의 주행 위치 정보는 도 12(a) 경우의 위치 정보와 다른 값을 가질 수 있다. 이에 따라, 시나리오 처리부(152)는 도 12(a) 경우와 다른 {P1, P2, P3, P4, P5}를 발생 분포 사이의 경계부로 결정하고, 이를 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다.(3-2) Similar to (3-1) described above, but the
(3-3) 상술한 (3-1)과 유사하지만, 시나리오 처리부(152)는 대상 도로에 대한 주행 사건 종류 별 발생 분포를 주행 사건 별로 가중치를 다르게 하여 발생 분포를 변형한 후 사건 분포 사이의 경계부를 찾는다. 이는 도 12(c)에서 나타내고 있다. 이런 경우, {P1, P2, P3, P4, P5}의 주행 위치 정보는 마찬가지로 도 12(a) 경우의 위치 정보와 다른 값을 가질 수 있다. 이에 따라, 시나리오 처리부(152)는 도 12(a) 경우와 다른 {P1, P2, P3, P4, P5}를 발생 분포 사이의 경계부로 결정하고, 이를 시나리오 구간으로 설정할 수 있으며, 이때 주행 통계에서 각 시나리오 구간에서 가장 발생 빈도(확률)이 높은 주행 사건에 관련된 시나리오를 해당 시나리오 구간에 대한 주행 시나리오로 결정할 수 있다.(3-3) Similar to (3-1) described above, but the
이러한 (3-3)의 방식을 사용할 때의 장점은 S110에 따라 수집된 주행 통계 정보 이외에 외부의 정보나 사용자가 생각하는 가중치를 적용할 수 있다는 것이다. 일례로, “사건 1”과 “사건 4”가 잠재적인 위험성이 더 크거나, 향후 더 많은 발생이 예상된다면 이런 주행 사건에 가중치를 더 크게 주어 그와 관련된 주행 시나리오를 추천받을 수 있게 유도할 수 있다. The advantage of using the method (3-3) is that, in addition to the driving statistical information collected according to S110, external information or a weight value thought by the user can be applied. For example, if “
이러한 가중치 부여 기능의 경우, 사건의 긴급성(Urgency), 사건의 위험성(Criticality), 사건의 시간 적절성(Time budget), 사건에 대한 운전자의 정신적 부담(Mental workload), 사건에 대한 운전자의 신체적 부담(Physical workload) 등과 같은 지표를 반영할 수도 있으므로, 매우 의미 있는 기능이라 할 수 있다.In the case of these weighting functions, the urgency of the event, the risk of the event (criticality), the time budget of the event, the driver's mental workload for the event, and the driver's physical burden for the event (Physical workload), etc. can be reflected, so it can be said to be a very meaningful function.
(3-4) 상술한 (3-1) 내지 (3-3)의 경우에서는 발생 분포를 보고 가장 높은 확률의 값을 해당 시나리오 구간에 대한 주행 시나리오로 결정하는 방식이다. 하지만, 발생 빈도가 낮더라도 의미 있는 주행 사건이 있을 수 있다. 따라서, 본 방식은 더 낮은 빈도의 발생 분포를 갖는 주행 사건들에 대해서도 요청 시 관련 정보를 제공받을 수 있게 하는 방식이다. 가령, 도 12(a)의 (P1, P2) 사이의 시나리오 구간에는 “사건1”가 가장 높은 발생 분포를 가지며 “사건2” 그 다음 높은 발생 분포를 가진다. 이 경우, (P1, P2) 사이의 시나리오 구간에 대해, “사건1” 외에 “사건2”에 대한 주행 통계 정보도 제공할 수 있다.(3-4) In the case of (3-1) to (3-3) described above, it is a method of determining the value with the highest probability as the driving scenario for the corresponding scenario section by looking at the occurrence distribution. However, even if the frequency of occurrence is low, there may be meaningful driving events. Therefore, this method is a method for providing related information upon request even for driving events having a lower frequency occurrence distribution. For example, in the scenario section between (P1 and P2) in FIG. 12(a), “
이후, 사용자는 추천된 부분을 그대로 사용하거나 수정하여 사용할 수 있다. 즉, S123에서, 추천된 시나리오 구간 별 주행 시나리오에 대한 선택 여부가 입력부(110)를 통해 입력된다. 해당 추천이 선택되는 경우, 추천된 시나리오 구간 별 주행 시나리오가 그대로 주행 시나리오로 결정된다(S125). 반면, 해당 추천이 선택되지 않는 경우, S124에서, 추천된 시나리오 구간 및 주행 시나리오에 대한 수정 정보가 입력부(110)를 통해 입력된다. 이 경우, 사용자에 의해 수정된 시나리오 구간 별 주행 시나리오가 주행 시나리오로 결정된다(S125).After that, the user may use the recommended part as it is or modify it. That is, in S123, whether to select a driving scenario for each recommended scenario section is input through the
S131에서, 시나리오 처리부(152)는 시나리오 구간 별 주행 시나리오가 결정되었으므로, 결정된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 주행 통계를 기반으로 추천한다. 일례로, 시나리오 구간 별로 차선 수, 주행 차량 수, 보행자 수 와 같은 구체적인 수치를 추천할 수 있다. In S131, since the driving scenario for each scenario section is determined, the
S131에서 사용되는 구체적인 방법은 다음과 같다.The specific method used in S131 is as follows.
(1) 먼저, S125에 따라 시나리오 구간 및 추천 시나리오가 결정되면, 시나리오 처리부(152)는 해당 시나리오 구간에 대해서 위치 정보를 질의어(query)로 하여 주행 통계의 도 9와 같은 기 저장된 정보로부터 객체들을 검색한다.(1) First, when a scenario section and a recommended scenario are determined according to S125, the
(2) 이후, 시나리오 처리부(152)는 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악한다. 즉, 시나리오 구간 별로 객체의 발생 분포(또는 빈도)를 계산할 수 있다.(2) After that, the
(3) 시나리오 처리부(152)는 파악된 객체 수를 포함하는 매개변수를 추천한다. 즉, 대상 도로의 시나리오 구간 별 객체 발생 분포에 따라 추천 시나리오에 맞는 매개변수를 추천할 수 있다. (3) The
일례로, 도 12(a)에서 (P1, P2) 사이의 시나리오 구간에는 “사건1”에 관련된 주행 시나리오가 추천될 수 있으므로, 해당 시나리오 구간에 대한 객체 수(가령, “차량 수”, “보행자 수” 등)을 위치 별로 검색을 통해 얻을 수 있다. 이를 해당 시나리오 구간 또는 대상 도로에 대해 평균을 취하면 평균 객체 수(가령, “평균 차량 수”, “평균 보행자 수” 등)를 포함하는 매개변수를 해당 시나리오 구간에 대한 매개변수로 제공할 수 있다.For example, since a driving scenario related to “
이후, 사용자는 추천된 매개변수를 그대로 사용하거나 수정하여 사용할 수 있다. 즉, S132에서, 추천된 시나리오 구간 별 매개변수에 대한 선택 여부가 입력부(110)를 통해 입력된다. 해당 추천이 선택되는 경우, 추천된 시나리오 구간 별 매개변수가 그대로 매개변수로 결정된다(S134). 반면, 해당 추천이 선택되지 않는 경우, S133에서, 추천된 시나리오 구간 별 매개변수에 대한 수정 정보가 입력부(110)를 통해 입력된다. 이 경우, 사용자에 의해 수정된 시나리오 구간 별 매개변수가 매개변수로 결정된다(S134).After that, the user can use the recommended parameters as they are or modify them. That is, in S132, whether to select parameters for each recommended scenario section is input through the
이러한 본 발명에 의한 추천 방법을 사용하면 컴퓨터 상의 가상 시뮬레이터나, 실제 자동차를 주행하고 시험할 수 있는 테스트베드 환경에서 시나리오 구성 시에 큰 도움을 받을 수 있다. If the recommendation method according to the present invention is used, great help can be provided when configuring a scenario in a virtual simulator on a computer or a test bed environment in which a real car can be driven and tested.
도 13는 대상 도로에 대한 일 예이며, 도 14는 도 13에 대해 본 발명의 제1 및 제2 추천 기능이 수행된 결과에 대한 일 예이다.13 is an example of a target road, and FIG. 14 is an example of a result of performing the first and second recommendation functions of the present invention with respect to FIG. 13 .
가령, 시나리오를 구성하려는 주체가 도 13과 같은 대상 도로에 대한 정보를 이 제공했다고 가정하자. 이 경우, 대상 도로에 대한 네트워크나 위치 정보만 제공된 상태이고, 어떤 주행 시나리오를 적용해야 할지는 모르는 상태이다. 특히, 어떤 시나리오 매개변수를 설정해야 할지에 관한 객관적 정보도 없다고 가정하자.For example, it is assumed that a subject who intends to construct a scenario provides information about a target road as shown in FIG. 13 . In this case, only network or location information on the target road is provided, and it is unknown which driving scenario to apply. In particular, let's assume that there is no objective information about which scenario parameters to set.
이때, “주행 시나리오”란 도로에서 발생할 수 있는 “차량 끼어들기”, “추월”, “보행자 등장” 등과 같은 각종 주행 사건(event)들의 조합이 될 수 있다고 앞서 정의했다. 또한, “매개변수”란 “차량 끼어들기” 등과 같은 주행 사건이 포함된 시나리오를 설정함에 있어서, “주변의 차량이 얼마나 많았는지”, “주변에 보행자는 있었는지”, “교통량이 많은 출퇴근 시간대인지”, “눈이 내리고 있는지”와 같은 세부적인 설정과 관련된 수치를 의미한다.In this case, it has been previously defined that the “driving scenario” may be a combination of various driving events such as “vehicle cutting in”, “overtaking”, and “pedestrian appearing” that may occur on the road. In addition, “parameter” means “how many vehicles around”, “whether there were pedestrians around”, “commuting time with heavy traffic” Awareness” and “whether it is snowing” are related to detailed settings.
본 발명에 의하면, 주행 시나리오 추천이 필요한 대상 도로와 관련된 위치에 대한 주행 영상을 사전에 분석해 두었다가 이용하거나, 해당하는 주행 영상이 없는 경우에는 직접 해당 주행 구간에 대해서 블랙박스와 같은 영상수집장치를 이용하여 촬영된 주행 영상을 이용할 수 있다. 이 경우, 같은 경로를 반복적으로 주행하여 데이터를 충분히 확보하는 것이 바람직하다. 본 발명은 수집된 위치 정보가 포함된 주행 영상 정보를 분석하여, 도로에 등장한 객체, 객체의 이동 궤적, 및 주행 중 발생한 주행 사건을 각각 추정하여 주행 통계로 저장 관리한다.According to the present invention, a driving image for a location related to a target road for which a driving scenario recommendation is required is analyzed in advance and then used, or when there is no corresponding driving image, an image collecting device such as a black box is directly used for the corresponding driving section. Thus, the captured driving video can be used. In this case, it is desirable to repeatedly drive the same route to sufficiently secure data. The present invention analyzes driving image information including collected location information, estimates objects appearing on the road, movement trajectories of objects, and driving events occurring during driving, and stores and manages them as driving statistics.
결과적으로, 본 발명은 대상 도로에 맞는 시나리오 구간 별 주행 시나리오와 시나리오 매개변수를 추천한다. 도 14는 이와 같이 추천된 정보에 대한 예로써, 먼저 시나리오 구간을 결정하는 위치정보 {P1, P2, P3, P4, P5}를 제공한다. 또한. 각각의 시나리오 구간에서 적정한 주행 사건을 추천한다. 주행 구간 A의 경우, (P1, P2)로 구간이 정해지고, 1순위로는 “끼어들기”, 2순위로는 “추월”이 추천되었고, 시나리오 매개변수로는 “평균 차량수”, “평균 보행자수”가 제공되었다. 이와 같은 추천 정보를 기초로 컴퓨터 시뮬레이션을 환경을 구성하거나, 실제 주행 시험을 진행할 수 있다.As a result, the present invention recommends driving scenarios and scenario parameters for each scenario section suitable for the target road. FIG. 14, as an example of the recommended information, first provides location information {P1, P2, P3, P4, P5} for determining a scenario section. also. In each scenario section, an appropriate driving event is recommended. In the case of driving section A, the section is determined by (P1, P2), “interrupting” as the first priority, “overtaking” as the second priority, and “average number of vehicles” and “average number of vehicles” as scenario parameters number of pedestrians” was provided. Based on such recommended information, a computer simulation environment may be configured or an actual driving test may be performed.
상술한 바와 같이 구성되는 본 발명은 주행 영상을 기반으로 주행 중 발생한 사건을 누적하여 분석하며, 분석된 정보를 기반으로 대상 도로에 대한 적절한 주행 시나리오를 추천할 수 있는 이점이 있다. 즉, 본 발명은 컴퓨터를 이용한 주행 시뮬레이션이나 실제 도로 주행 환경에서의 차량 시험 환경에서 적절한 주행 시나리오를 도출하는데 도움을 줄 수 있다.The present invention configured as described above has an advantage of accumulating and analyzing events occurring during driving based on driving images, and recommending an appropriate driving scenario for a target road based on the analyzed information. That is, the present invention can help derive an appropriate driving scenario in a driving simulation using a computer or a vehicle test environment in an actual road driving environment.
또한, 본 발명은 영상 정보나 각종 센서 정보를 활용한 자율주행차량의 개발 및 주행 테스트에 활용이 가능한 이점이 있다.In addition, the present invention has an advantage that it can be used for development and driving tests of autonomous vehicles using image information or various sensor information.
특히, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하면서, 종래 기술과는 다음과 같은 차이점을 갖는다.In particular, the present invention has the following differences from the prior art while solving the problems of the prior art as described above.
(1) 분석 기능을 기반으로, 주어진 도로 환경 및 위치에 대한 일상적인 주행상황에서 발생하는 잠재적인 사고 위협요인, 도로 정체 유발요인을 분석하기 위한 주행 사건(event)에 대한 통계를 제공할 수 있다.(1) Based on the analysis function, statistics on driving events can be provided to analyze potential accident risk factors and road congestion trigger factors that occur in daily driving situations for a given road environment and location. .
(2) 제1 추천 기능을 기반으로, 주어진 도로 환경에 적합한 시나리오 설정을 위한 경계 구간들을 추천할 수 있으며, 실제 주행 도로 상황과 연관된 시나리오 설계를 위해 위치와 시간대 별로 적정한 시나리오를 추천할 수 있다.(2) Based on the first recommendation function, it is possible to recommend boundary sections for setting scenarios suitable for a given road environment, and to design scenarios related to actual driving road conditions, appropriate scenarios by location and time can be recommended.
(3) 제2 추천 기능을 기반으로, 실제 주행 도로 상황과 연관된 시나리오 매개변수를 도로 위치와 시간대에 따라 추천할 수 있다.(3) Based on the second recommendation function, scenario parameters associated with actual road conditions may be recommended according to road locations and time zones.
특히, 본 발명은 종래 기술에 비해 실제 활용 측면에서 다음과 같은 이점을 가진다.In particular, the present invention has the following advantages in terms of practical use compared to the prior art.
(1) 데이터 확보를 위한 하드웨어 비용이 절감될 수 있다. (1) Hardware costs for securing data can be reduced.
즉, 본 발명에 의하면 시나리오 추천 및 주행 자원 확보를 위해 라이다(LIDAR)나 레이더(LADAR)와 같은 값비싼 추가 하드웨어 장비를 차량에 탑재하지 않아도 된다. 대신, 본 발명은 많은 자동차가 이미 탑재하고 있는 차량 블랙박스와 같은 차량 영상수집장치에서 취득된 영상 데이터를 활용할 수 있다.That is, according to the present invention, it is not necessary to mount expensive additional hardware equipment such as LIDAR or LADAR in a vehicle in order to recommend scenarios and secure driving resources. Instead, the present invention may utilize image data obtained from a vehicle image collection device such as a vehicle black box, which is already installed in many vehicles.
(2) 관련 데이터 확보가 용이하다.(2) It is easy to secure related data.
즉, 본 발명은 종래에 보급된 영상수집장치를 그대로 사용할 수 있어서 데이터 확보가 상대적으로 용이하다. 또한, 본 발명은 영상수집장치가 차량 내에 특별한 위치에 설치될 것을 요구하지 않는다.In other words, the present invention can use a conventional image collection device as it is, so it is relatively easy to secure data. In addition, the present invention does not require the image collection device to be installed in a special location in the vehicle.
일례로, 종래의 3차원 정밀지도 수집장치의 경우, 특수 제작된 영상수집장치를 소수의 전용 수집 차량에 탑재하여 이를 획득하였기 때문에 데이터 수집 비용과 데이터 확보를 위한 진입장벽이 존재했다. 반면, 본 발명을 사용하면 누구나 일반적인 차량에서 주행 영상을 촬영할 수 있다. 따라서, 직접 촬영 혹은 영상을 구매하는 방식으로 주행 영상정보를 취득하고, 이를 통해 주행 시나리오와 매개변수를 추천할 수 있다.For example, in the case of a conventional 3D precision map collection device, data collection costs and entry barriers for securing data existed because specially manufactured image collection devices were acquired by mounting them on a small number of dedicated collection vehicles. On the other hand, if the present invention is used, anyone can take a driving video in a general vehicle. Therefore, it is possible to obtain driving image information by directly shooting or purchasing an image, and through this, driving scenarios and parameters can be recommended.
참고로, 차량 블랙박스를 통한 영상 품질만 가지고도 본 발명에서의 주행 시나리오 분석에 큰 무리가 없는 이유로는, 본 발명에서 요구하는 시나리오 분석을 위해서는 차량 위치나 속도와 관련하여 정확하고 정밀한 값을 필요로 하지 않기 때문이다. 대신 차량과 차량 상호 간 상대적인 움직임이나 갑작스러운 변화와 같은 상황이 중요하게 쓰인다. 일례로, “앞차 또는 뒤차와의 거리가 상대적으로 어떻게 변화하는지”, “주행 중에 차량이 끼어드는지”, “차선의 개수”, “날씨 상태”, “차량이 얼마나 밀집되어 있는지”와 같은 정보를 주로 사용하게 된다.For reference, the reason why the driving scenario analysis in the present invention does not have much difficulty even with only the image quality through the vehicle black box is that accurate and precise values related to the vehicle position or speed are required for the scenario analysis required by the present invention. because it does not Instead, situations such as relative movement between vehicles or sudden changes are used as important. For example, information such as “how the distance to the car in front or behind changes relative”, “whether the vehicle cuts in while driving”, “number of lanes”, “weather conditions”, and “how dense the vehicles are” will be mainly used
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention is not limited to the described embodiments, and should be defined by the following claims and equivalents thereof.
100: 추천 장치
110: 입력부
120: 통신부
130: 디스플레이
140: 메모리
150: 제어부
151: 영상 처리부
152: 시나리오 처리부100: recommended device 110: input unit
120: communication unit 130: display
140: memory 150: control unit
151: image processing unit 152: scenario processing unit
Claims (21)
촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계;
시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및
상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;
를 포함하는 방법.
A method performed in an electronic device to recommend a driving scenario of a vehicle, comprising:
an analysis step of analyzing driving statistics including the number of objects according to locations, object movement trajectories, and driving events from the driving image including location information of the photographed location;
A first recommendation step of recommending a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics; and
a second recommendation step of recommending a parameter suitable for a driving scenario for each recommended scenario section based on the driving statistics;
How to include.
상기 분석 단계는,
상기 주행 영상에서 객체를 검출하는 단계;
상기 검출된 객체 별로 이동 궤적을 추출하는 단계; 및
추출된 이동 궤적을 객체 별로 필터링 및 보정하여, 상기 주행 영상에 포함된 위치에 따라 상기 필터링 및 보정이 반영된 상기 주행 통계를 분석하는 단계;
를 포함하는 방법.
According to claim 1,
The analysis step is
detecting an object in the driving image;
extracting a movement trajectory for each detected object; and
filtering and correcting the extracted movement trajectory for each object, and analyzing the driving statistics reflecting the filtering and correction according to a location included in the driving image;
How to include.
상기 분석 단계는 상기 주행 영상에서 비식별화 영역에 대해 비식별화 처리가 선택적으로 수행되며, 상기 비식별화 처리가 수행되는 경우에 상기 비식별화 처리된 수행된 주행 영상으로부터 상기 주행 통계가 분석되는 방법.
According to claim 2,
In the analyzing step, de-identification processing is selectively performed on a de-identification region in the driving image, and when the de-identification processing is performed, the driving statistics are analyzed from the de-identification-processed driving image. how to be
상기 비식별화 영역은 차량의 번호판 영역, 보행자의 얼굴 영역 또는 거리의 간판 영역을 포함하는 방법.
According to claim 3,
The non-identification area includes a license plate area of a vehicle, a face area of a pedestrian, or a sign area of a street.
상기 이동 궤적을 추출하는 단계는 주행 영상 내의 객체 중에 움직임이 가능한 객체에 대해서만 이동 궤적을 추출하는 방법.
According to claim 2,
The step of extracting the movement trajectory is a method of extracting a movement trajectory only for objects capable of movement among objects in the driving image.
상기 이동 궤적은 상기 주행 영상의 촬영 차량을 기준으로 하는 상기 움직임이 가능한 객체의 상대적인 이동 궤적인 방법.
According to claim 5,
The movement trajectory is a relative movement trajectory of the movable object based on the vehicle capturing the driving image.
상기 움직임이 가능한 객체는 차량, 보행자, 자전거, 오토바이 또는 전동 킥보드를 포함하는 방법.
According to claim 5,
The movable object includes a vehicle, a pedestrian, a bicycle, a motorcycle, or an electric kickboard.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 제1 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 정지하는 방법.
According to claim 2,
The extracting of the moving trajectory stops the analysis of the moving trajectory for the corresponding section when the vehicle captured in the driving image deviates from the lane or accelerates or decelerates by more than a first threshold value.
상기 이동 궤적을 추출하는 단계는 상기 주행 영상의 촬영 차량이 상기 제1 문턱 값보다 큰 제2 문턱 값 이상으로 차선을 이탈하거나 가속 또는 감속하는 경우에 해당 구간에 대해 이동 궤적의 분석을 수행하며,
상기 분석하여 저장하는 단계는 상기 주행 통계에 포함된 주행 사건을 상기 촬영 차량에 의해 발생된 사건으로 저장하는 방법.
According to claim 8,
The step of extracting the movement trajectory analyzes the movement trajectory for the corresponding section when the vehicle captured in the driving image departs from the lane or accelerates or decelerates by more than a second threshold value greater than the first threshold value,
In the analyzing and storing, a driving event included in the driving statistics is stored as an event generated by the photographing vehicle.
상기 주행 통계는 기상 상태 또는 노면 상태 또는 돌발 등장 객체의 항목을 포함하는 방법.
According to claim 1,
The driving statistics include a weather condition or a road surface condition or an item of an unexpectedly appearing object.
상기 제1 추천 단계는,
상기 대상 도로의 위치를 파악하는 단계;
상기 주행 통계 중 상기 파악된 상기 대상 도로의 위치에 대응하는 위치 영역 내에서 주행 사건 종류 별 발생 분포를 다수의 위치에 따라 계산하는 단계;
상기 계산된 발생 분포 간의 경계를 찾는 단계; 및
상기 찾아진 경계에 따라 상기 시나리오 구간을 나누고, 나눠진 시나리오 구간 별로 해당 구간에 포함된 주행 사건 종류 별 발생 분포를 이용하여 주행 시나리오를 추천하는 단계;
를 포함하는 방법.
According to claim 1,
In the first recommendation step,
locating the target road;
calculating an occurrence distribution for each type of driving event according to a plurality of locations within a location area corresponding to the identified location of the target road among the driving statistics;
finding a boundary between the calculated occurrence distributions; and
dividing the scenario section according to the found boundary and recommending a driving scenario by using an occurrence distribution for each driving event type included in the section for each divided scenario section;
How to include.
상기 경계를 찾는 단계는 가장 높은 발생 분포를 가지는 주행 사건 종류들을 이용하여 상기 경계를 찾는 방법.
According to claim 11,
The step of finding the boundary is a method of finding the boundary using driving event types having the highest occurrence distribution.
상기 계산하는 단계는 위치 영역 내에서 상기 주행 사건들을 정규화(normalize)하여 상기 주행 사건 종류 별 발생 분포에 대한 확률분포함수(probability density function)를 생성하며,
상기 찾는 단계는 상기 생성된 확률분포함수를 이용하여 상기 경계를 찾는 방법.
According to claim 11,
The calculating step normalizes the driving events within the location area to generate a probability density function for an occurrence distribution for each driving event type;
The finding step is a method of finding the boundary using the generated probability distribution function.
상기 찾는 단계는 상기 주행 사건 종류에 따라 가중치가 적용된 상기 발생 분포를 이용하여 상기 경계를 찾는 방법.
According to claim 11,
The finding step is a method of finding the boundary using the occurrence distribution to which a weight is applied according to the driving event type.
상기 제2 추천 단계는,
상기 시나리오 구간 별로 해당 구간에서의 평균 객체 수를 파악하는 단계; 및
상기 파악된 객체 수를 포함하는 매개변수를 해당 구간의 주행 시나리오에 대한 매개변수로 추천하는 단계;
를 포함하는 방법.
According to claim 1,
In the second recommendation step,
determining an average number of objects in a corresponding section for each scenario section; and
recommending a parameter including the number of identified objects as a parameter for a driving scenario of a corresponding section;
How to include.
상기 제1 전자 장치에서, 촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하는 분석 단계;
상기 주행 통계가 상기 제1 전자 장치에서 상기 제2 전자 장치로 전달되는 단계;
상기 제2 전자 장치에서, 시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하는 제1 추천 단계; 및
상기 제2 전자 장치에서, 상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 제2 추천 단계;
를 포함하는 방법.
A method performed in first and second electronic devices to recommend a driving scenario of a vehicle, comprising:
an analysis step of analyzing, by the first electronic device, driving statistics including the number of objects according to locations, object movement trajectories, and driving events from the driving image including location information of the photographed location;
transmitting the driving statistics from the first electronic device to the second electronic device;
a first recommendation step of recommending, in the second electronic device, a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics; and
a second recommendation step of recommending, by the second electronic device, a parameter suitable for a driving scenario for each recommended scenario section based on the driving statistics;
How to include.
상기 제1 및 제2 추천 단계의 사이에, 상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하며,
상기 제2 추천하는 단계는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하는 방법.
The method of claim 1 or 16,
Between the first and second recommendation steps, further comprising inputting a user's selection or modification of the recommended scenario section and driving scenario;
The second recommendation step is a method of recommending a parameter suitable for a driving scenario for each of the input scenario sections based on the driving statistics.
상기 제2 추천하는 단계 이후에, 상기 추천된 매개변수에 대한 사용자의 선택 또는 수정이 입력되는 단계를 더 포함하는 방법.
The method of claim 1 or 16,
After the second recommending step, the method further comprising the step of inputting a user's selection or correction of the recommended parameter.
촬영의 위치 정보가 포함된 주행 영상을 저장한 메모리; 및
상기 주행 영상을 이용하여 제어를 수행하는 제어부;를 포함하며,
상기 제어부는,
상기 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 분석하도록 제어하고,
시나리오 설정이 필요한 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며,
상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
A device for recommending a driving scenario of a vehicle,
a memory storing a driving image including location information of the shooting; and
Including; a control unit for performing control using the driving image,
The control unit,
Control to analyze driving statistics including the number of objects according to location, object movement trajectories, and driving events from the driving image;
Control to recommend a scenario section and a driving scenario applied to each scenario section for a target road requiring scenario setting based on the driving statistics,
An apparatus for controlling to recommend a parameter suitable for a driving scenario for each recommended scenario section based on the driving statistics.
촬영의 위치 정보가 포함된 주행 영상으로부터 위치에 따른 객체 수, 객체 이동 궤적 및 주행 사건을 포함하는 주행 통계를 수신하는 통신부; 및
수신된 상기 주행 통계를 이용하여, 시나리오 설정이 필요한 대상 도로에 대해 주행 시나리오 및 매개변수를 추천하도록 제어하는 제어부;를 포함하며,
상기 제어부는,
상기 대상 도로에 대해, 시나리오 구간과 시나리오 구간 별로 적용되는 주행 시나리오를 각각 상기 주행 통계를 기반으로 추천하도록 제어하며,
상기 추천된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
A device for recommending a driving scenario of a vehicle,
a communication unit configured to receive driving statistics including the number of objects according to location, object movement trajectories, and driving events from the driving image including the location information of the photographed location; and
A control unit configured to recommend driving scenarios and parameters for target roads requiring scenario setting using the received driving statistics;
The control unit,
For the target road, control to recommend scenario sections and driving scenarios applied to each scenario section based on the driving statistics, respectively;
An apparatus for controlling to recommend a parameter suitable for a driving scenario for each recommended scenario section based on the driving statistics.
상기 추천된 시나리오 구간 및 주행 시나리오에 대한 사용자의 선택 또는 수정이 입력되는 입력부를 더 포함하며,
상기 제어부는 상기 입력된 시나리오 구간 별 주행 시나리오에 적합한 매개변수를 상기 주행 통계를 기반으로 추천하도록 제어하는 장치.
The method of claim 19 or 20,
Further comprising an input unit for inputting a user's selection or modification of the recommended scenario section and driving scenario;
The control unit controls to recommend a parameter suitable for a driving scenario for each of the input scenario sections based on the driving statistics.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210170561A KR20230082777A (en) | 2021-12-02 | 2021-12-02 | Method and apparatus for recommending driving scenario |
PCT/KR2022/016468 WO2023101221A1 (en) | 2021-12-02 | 2022-10-26 | Driving scenario recommendation method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210170561A KR20230082777A (en) | 2021-12-02 | 2021-12-02 | Method and apparatus for recommending driving scenario |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230082777A true KR20230082777A (en) | 2023-06-09 |
Family
ID=86612642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210170561A KR20230082777A (en) | 2021-12-02 | 2021-12-02 | Method and apparatus for recommending driving scenario |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230082777A (en) |
WO (1) | WO2023101221A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210117125A (en) | 2020-03-18 | 2021-09-28 | 바이두 유에스에이 엘엘씨 | Scenario based control of autonomous driving vehicle |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6558282B2 (en) * | 2016-03-09 | 2019-08-14 | トヨタ自動車株式会社 | Automated driving system |
CN112868022A (en) * | 2018-10-16 | 2021-05-28 | 法弗人工智能有限公司 | Driving scenarios for autonomous vehicles |
US10780897B2 (en) * | 2019-01-31 | 2020-09-22 | StradVision, Inc. | Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application |
KR20210088914A (en) * | 2020-01-07 | 2021-07-15 | 엘지전자 주식회사 | Method for making space map and moving robot |
JP7388971B2 (en) * | 2020-04-06 | 2023-11-29 | トヨタ自動車株式会社 | Vehicle control device, vehicle control method, and vehicle control computer program |
-
2021
- 2021-12-02 KR KR1020210170561A patent/KR20230082777A/en unknown
-
2022
- 2022-10-26 WO PCT/KR2022/016468 patent/WO2023101221A1/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210117125A (en) | 2020-03-18 | 2021-09-28 | 바이두 유에스에이 엘엘씨 | Scenario based control of autonomous driving vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2023101221A1 (en) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230282103A1 (en) | Monitoring and reporting traffic information | |
US8712104B2 (en) | Traffic signal mapping and detection | |
US10042362B2 (en) | Dynamic routing for autonomous vehicles | |
KR102652023B1 (en) | Method and apparatus for real time traffic information provision | |
CN109637137B (en) | Traffic management system based on vehicle-road cooperation | |
US9335178B2 (en) | Method for using street level images to enhance automated driving mode for vehicle | |
US11195410B2 (en) | System and method for generating a traffic heat map | |
CN113196103A (en) | Object motion classification for autonomous vehicles | |
CN105761500A (en) | Traffic accident handling method and traffic accident handling device | |
US11867819B2 (en) | Automatic positioning of 2D image sign sightings in 3D space | |
US20190042857A1 (en) | Information processing system and information processing method | |
JP2019536184A (en) | Road detection using traffic sign information | |
WO2019198076A1 (en) | Real-time raw data- and sensor fusion | |
US20220327932A1 (en) | Dangerous driving vehicle alert system, dangerous driving vehicle alert device and dangerous driving vehicle alert program, and computer-readable storage medium or storage device storing the program | |
CN104875740B (en) | For managing the method for following space, main vehicle and following space management unit | |
US20220319336A1 (en) | Method and apparatus for estimating false positive reports of detectable road events | |
JP2014137682A (en) | Traffic information provision system using location information of mobile terminal | |
WO2023080111A1 (en) | Method and Systems for Detection Accuracy Ranking and Vehicle Instruction | |
KR20230082777A (en) | Method and apparatus for recommending driving scenario | |
CN114771576A (en) | Behavior data processing method, control method of automatic driving vehicle and automatic driving vehicle | |
US11288957B2 (en) | System and method for detecting one way driving using a heat map | |
KR102608126B1 (en) | Apparatus and method for detecting violation of traffic signal using sensor of autonomous vehicle and v2i communication | |
CN116958915B (en) | Target detection method, target detection device, electronic equipment and storage medium | |
KR102340902B1 (en) | Apparatus and method for monitoring school zone | |
US20220351553A1 (en) | Indexing sensor data about the physical world |