KR102050426B1 - Autonomous driving control apparatus and method based on driver model - Google Patents
Autonomous driving control apparatus and method based on driver model Download PDFInfo
- Publication number
- KR102050426B1 KR102050426B1 KR1020180173286A KR20180173286A KR102050426B1 KR 102050426 B1 KR102050426 B1 KR 102050426B1 KR 1020180173286 A KR1020180173286 A KR 1020180173286A KR 20180173286 A KR20180173286 A KR 20180173286A KR 102050426 B1 KR102050426 B1 KR 102050426B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- vehicle
- driving situation
- driving
- simulation model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000004088 simulation Methods 0.000 claims abstract description 88
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000010485 coping Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 239000005557 antagonist Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 235000021110 pickles Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/18—Propelling the vehicle
- B60Y2300/18008—Propelling the vehicle related to particular drive situations
- B60Y2300/18166—Overtaking, changing lanes
-
- G05D2201/0213—
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 운전자 모사 모델 기반의 자율주행 제어 기술에 관한 것으로, 보다 상세하게는 자율주행 차량의 차선변경 상황에서 실제 운전자 모델을 기반으로 주행을 제어할 수 있는 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법에 관한 것이다.The present invention relates to an autonomous driving control technology based on a driver simulation model, and more particularly, to an autonomous driving control device based on a driver simulation model capable of controlling driving based on a real driver model in a lane change situation of an autonomous vehicle. It is about a method.
현재 자율주행 기술에 대한 연구가 활발하게 진행되고 있다. 자율주행을 위한 플랫폼은 대부분 센서 위주로 구성되어 있다. 센서 위주의 기술 개발은 센서 장착으로 인한 비용 증가와 공차 중량의 증가로 인한 연비 감소라는 문제점을 가지고 있다. 따라서, 차량 고유 데이터를 사용하여 인공지능 기반 알고리즘을 통해 센서의 일정 부분을 대신할 수 있는 기술 개발이 필요하다.Currently, research on autonomous driving technology is being actively conducted. Most platforms for autonomous driving are sensor-oriented. The development of sensor-oriented technology has the problems of increased cost due to sensor installation and reduced fuel economy due to increased tolerance weight. Therefore, there is a need to develop a technology that can replace a part of a sensor through an AI-based algorithm using vehicle-specific data.
또한, 센서 위주의 기술만으로는 다양한 상황에서 발생할 수 있는 돌발 상황에 대한 대처 능력이 충분하지 않기 때문에 고도화된 자율주행차 개발에 있어서 위험 상황에 효과적으로 대처할 수 있는 기술이 필수적으로 요구되고 있다.In addition, since the sensor-oriented technology alone does not have sufficient ability to cope with unexpected situations that can occur in various situations, a technology that can effectively cope with a dangerous situation is required in the development of an advanced autonomous vehicle.
본 발명의 일 실시예는 자율주행 차량의 차선변경 상황에서 실제 운전자 모델을 기반으로 주행을 제어할 수 있는 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide an autonomous driving control apparatus and method based on a driver simulation model that can control the driving based on the actual driver model in the lane change situation of the autonomous vehicle.
본 발명의 일 실시예는 실제 다양한 운전자들의 주행을 학습하여 고도화된 인공지능 운전자 모사 모델을 자율주행에 활용함으로써 향상된 대처 능력을 제공할 수 있는 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법을 제공하고자 한다.One embodiment of the present invention is to provide a driver simulation model based autonomous driving control apparatus and method that can provide improved coping ability by utilizing the advanced artificial intelligence driver simulation model for autonomous driving by learning the driving of a variety of drivers in reality do.
본 발명의 일 실시예는 자동으로 감지된 차선변경 상황에서 운전자 모사 모델을 통해 제공되는 주변차량의 양보 유무에 따른 운전상황을 자율주행에 적용하여 차선변경에 유연하게 대처할 수 있는 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is based on the driver simulation model that can flexibly cope with the lane change by applying the driving situation according to the concession of the surrounding vehicle provided through the driver simulation model in autonomous driving in the lane change situation automatically detected. An autonomous driving control apparatus and method are provided.
실시예들 중에서, 운전자 모사 모델 기반의 자율주행 제어 장치는 차량의 주변상황을 수집하는 주변상황 수집부, 학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신하는 운전자 모사 모델 수신부, 상기 차량의 차선변경(Cut-in)에 대한 필요 여부를 결정하는 차량 차선변경 결정부 및 상기 차선변경이 필요한 것으로 결정되면 상기 차량의 주행상황을 상기 운전자 모사 모델에 제공하여 향후 운전상황을 생성하는 운전상황 생성부를 포함한다.Among the embodiments, the autonomous driving control apparatus based on the driver simulation model may include an environment collection unit for collecting the environment of the vehicle, a learning driving situation previously collected by the learning vehicle, and a learning driving situation previously performed by the learning driver. The driver simulation model receiver for receiving a productive hostile-trained driver simulation model based on a learning population including a vehicle lane change determination unit and a lane change determination unit configured to determine a need for cut-in of the vehicle; If it is determined that it is necessary to include a driving situation generation unit for providing a driving situation of the vehicle to the driver simulation model to generate a future driving situation.
상기 주변상황 수집부는 적어도 하나의 레이더(radar) 센서를 통해 상기 차량의 전방, 측방 및 후방에 관한 주행상황과 상기 차량의 조향, 감속 및 가속에 관한 운전상황을 상기 주변상황으로서 수집할 수 있다.The surrounding situation collecting unit may collect, as the surrounding situation, driving conditions related to front, side, and rear of the vehicle and driving conditions related to steering, deceleration, and acceleration of the vehicle through at least one radar sensor.
상기 운전자 모사 모델은 상기 학습용 모집단에 대해 상기 학습용 주행상황과 상기 학습용 운전상황에 대한 동기화 및 상기 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 상기 생산적 적대 학습을 수행하여 생성될 수 있다.The driver simulation model may be generated by applying the preprocessing process of performing synchronization with the learning driving situation and the learning driving condition and normalizing the learning driving condition with respect to the learning population, and then performing the productive hostile learning.
상기 운전자 모사 모델은 상기 생산적 적대 학습의 제1 학습과정으로서 상기 학습용 주행상황에 대한 후보 운전상황을 생성하고, 제2 학습과정으로서 상기 후보 운전상황에 대한 판별 확률을 생성할 수 있다.The driver simulation model may generate a candidate driving situation for the learning driving situation as a first learning process of the productive hostile learning, and generate a probability of discriminating the candidate driving situation as a second learning process.
상기 운전자 모사 모델은 상기 제2 학습과정을 통해 판별에 성공한 후보 운전상황을 상기 제1 학습과정에 반영하고, 판별에 실패한 후보 운전상황을 상기 제2 학습과정에 반영할 수 있다.The driver simulation model may reflect the candidate driving situation that has been successfully determined through the second learning process in the first learning process, and may reflect the candidate driving situation that has failed the discrimination in the second learning process.
상기 운전상황 생성부는 상기 운전자 모사 모델에 대해 상기 제2 학습과정에 의한 판별 성공율이 기준 임계값을 초과한 시점에서 상기 제1 학습과정의 가중치를 그대로 적용하여 상기 향후 운전상황을 생성할 수 있다.The driving situation generation unit may generate the future driving situation by applying the weight of the first learning process as it is when the determination success rate of the second learning process exceeds a reference threshold value with respect to the driver simulation model.
상기 운전상황 생성부는 상기 차선변경이 필요한 것으로 결정되면 상기 차선변경의 목표 차선에서 상기 차량에 근접하여 주행하는 주변차량의 양보 유무를 예측하고 상기 차량의 주행상황과 함께 상기 운전자 모사 모델에 제공할 수 있다.If it is determined that the lane change is necessary, the driving situation generation unit may predict whether or not concession of a neighboring vehicle traveling near the vehicle in the target lane of the lane change is provided to the driver simulation model together with the driving situation of the vehicle. have.
상기 자율주행 제어 장치는 상기 향후 운전상황을 기초로 상기 차량의 차선변경에 관한 자율주행을 제어하는 자율주행 제어부를 더 포함할 수 있다.The autonomous driving control device may further include an autonomous driving control unit that controls autonomous driving related to lane change of the vehicle based on the future driving situation.
상기 자율주행 제어부는 상기 향후 운전상황이 특정 시간 간격을 기준으로 연속하여 생성되고 복수의 향후 운전상황들 간의 중첩 구간이 발생하는 경우 상기 중첩 구간에 대해 복수의 향후 운전상황들 중 어느 하나를 선별하여 상기 자율주행에 적용할 수 있다.The autonomous driving controller selects any one of a plurality of future driving conditions for the overlapping section when the future driving situation is continuously generated based on a specific time interval and overlapping sections between a plurality of future driving situations occur. Applicable to the autonomous driving.
실시예들 중에서, 운전자 모사 모델 기반의 자율주행 제어 방법은 차량의 주변상황을 수집하는 단계, 학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신하는 단계, 상기 차량의 차선변경(Cut-in)에 대한 필요 여부를 결정하는 단계 및 상기 차선변경이 필요한 것으로 결정되면 상기 차량의 주행상황을 상기 운전자 모사 모델에 제공하여 향후 운전상황을 생성하는 단계를 포함한다.Among the embodiments, the autonomous driving control method based on the driver simulation model includes collecting the surrounding situation of the vehicle, the learning driving situation previously collected by the learning vehicle and the learning driving situation previously performed by the learning driver. Receiving a productive hostile-trained driver simulation model based on a training population, determining whether the vehicle needs a cut-in, and determining that the lane change is necessary, Providing the driver simulation model to generate a future driving situation.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique can have the following effects. However, since a specific embodiment does not mean to include all of the following effects or only the following effects, it should not be understood that the scope of the disclosed technology is limited by this.
본 발명의 일 실시예에 따른 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법은 실제 다양한 운전자들의 주행을 학습하여 고도화된 인공지능 운전자 모사 모델을 자율주행에 활용함으로써 향상된 대처 능력을 제공할 수 있다.The autonomous driving control apparatus and method based on the driver simulation model according to an embodiment of the present invention can provide improved coping ability by utilizing advanced AI driver simulation models for learning by actually driving various drivers.
본 발명의 일 실시예에 따른 운전자 모사 모델 기반의 자율주행 제어 장치 및 방법은 자동으로 감지된 차선변경 상황에서 운전자 모사 모델을 통해 제공되는 주변차량의 양보 유무에 따른 운전상황을 자율주행에 적용하여 차선변경에 유연하게 대처할 수 있다.Autonomous driving control apparatus and method based on the driver simulation model according to an embodiment of the present invention by applying the driving situation according to the concession of the surrounding vehicle provided through the driver simulation model in the detected lane change situation to autonomous driving Flexibility to deal with lane changes
도 1은 본 발명의 일 실시예에 따른 운전자 모사 모델 기반의 자율주행 제어 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 자율주행 제어 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 자율주행 제어 장치에서 수행되는 자율주행 제어 과정을 설명하는 순서도이다.
도 4 및 5는 운전자 모사 모델 생성을 위한 생산적 적대 학습의 과정을 설명하는 예시도이다.
도 6은 도 1에 있는 자율주행 제어 장치에서 운전자 모사 모델을 통해 자율주행 제어를 수행하는 과정을 설명하는 예시도이다.1 is a diagram illustrating an autonomous driving control system based on a driver simulation model according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a functional configuration of the autonomous driving control device in FIG. 1.
3 is a flowchart illustrating an autonomous driving control process performed by the autonomous driving control apparatus of FIG. 1.
4 and 5 are exemplary diagrams illustrating a process of productive hostile learning for generating a driver simulation model.
FIG. 6 is an exemplary view illustrating a process of performing autonomous driving control through a driver simulation model in the autonomous driving control apparatus of FIG. 1.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as limited by the embodiments described in the text. That is, since the embodiments may be variously modified and may have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, the objects or effects presented in the present invention does not mean that a specific embodiment should include all or only such effects, the scope of the present invention should not be understood as being limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, the first component may be named a second component, and similarly, the second component may also be named a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that there may be other components in between, although it may be directly connected to the other component. On the other hand, when a component is referred to as being "directly connected" to another component, it should be understood that there is no other component in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "comprise" or "have" refer to a feature, number, step, operation, component, part, or feature thereof. It is to be understood that the combination is intended to be present and does not exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
본 명세서에서 사용되는 바와 같이 "차량(vehicle)", "차량의(vehicular)" 또는 다른 유사한 용어는 자동차들, 일반적으로 스포츠 유틸리티 차량들(SUV)을 포함하는 자가용들(passenger automobiles), 버스들, 트럭들, 다양한 상업 차량들, 다양한 보트들 및 배들을 포함하는 선박, 비행기 등을 포함하고, 그리고 하이브리드 자동차, 전기 자동차, 하이브리드 전기 자동차, 수소 동력 차량들과 다른 대체 연료(예를 들어, 석유가 아닌 자원들로부터 유도된 연료들) 차량들을 포함하는 것으로 이해된다. 본 명세서에서 언급되는 바와 같이, 전기 자동차(EV)는 자신의 이동 능력들(locomotion capabilities)의 부분으로서, 충전 가능한 에너지 저장 장치(예를 들어, 하나 이상의 재충전 가능한 전기 화학적 셀 또는 다른 유형의 배터리)로부터 얻어지는 전기 동력을 포함하는 차량이다. EV는 자동차에 한정되는 것이 아니고 모터 사이클들, 카트들, 스쿠터들 등을 포함할 수 있다. 또한, 하이브리드 자동차는, 두 개 이상의 전력 소스, 일례로 가솔린 기반 동력 및 전기 기반 동력을 갖는 차량이다(예를 들어, 하이브리드 전기 자동차(HEV)).As used herein, "vehicle", "vehicular" or other similar terminology refers to automobiles, passenger automobiles, buses, generally including sport utility vehicles (SUVs). , Trucks, various commercial vehicles, ships including various boats and ships, airplanes, and the like, and hybrid vehicles, electric vehicles, hybrid electric vehicles, hydrogen powered vehicles and other alternative fuels (eg, petroleum). Fuels derived from non-resource resources). As mentioned herein, an electric vehicle (EV), as part of its locomotion capabilities, is a rechargeable energy storage device (eg, one or more rechargeable electrochemical cells or other types of batteries). It is a vehicle containing the electric power obtained from. EV is not limited to automobiles and may include motorcycles, carts, scooters, and the like. In addition, a hybrid vehicle is a vehicle having two or more power sources, for example gasoline based power and electric based power (eg, hybrid electric vehicle (HEV)).
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art unless otherwise defined. Generally, the terms defined in the dictionary used are to be interpreted to coincide with the meanings in the context of the related art, and should not be interpreted as having ideal or excessively formal meanings unless clearly defined in the present application.
도 1은 본 발명의 일 실시예에 따른 운전자 모사 모델 기반의 자율주행 제어 시스템을 설명하는 도면이다.1 is a diagram illustrating an autonomous driving control system based on a driver simulation model according to an embodiment of the present invention.
도 1을 참조하면, 운전자 모사 모델 기반의 자율주행 제어 시스템(100)은 자율주행차량(110), 자율주행 제어 장치(130) 및 데이터베이스(150)를 포함할 수 있다.Referring to FIG. 1, an autonomous
자율주행차량(110)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단으로서 자동차에 해당할 수 있다. 자율주행차량(110)은, 반드시 이에 한정되지 않고, 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함할 수 있다. 일 실시예에서, 자율주행차량(110)은 주행 중에 발생하는 다양한 상황을 모니터링하기 위하여 관련 데이터를 수집할 수 있는 복수의 센서들을 포함하여 구현될 수 있다. 예를 들어, 자율주행차량(110)은 해당 차량의 조향, 가속 및 감속 등의 주행 데이터를 획득하기 위한 센서들을 포함할 수 있고, 해당 차량의 주변 상황으로서 주변 차량의 위치, 상대 속도 등의 상황 데이터를 획득하기 위한 센서들을 포함할 수 있다.The
또한, 자율주행차량(110)은 외부 시스템과 통신할 수 있는 통신 장치를 포함하여 구현될 수 있고, 자율주행 제어 장치(130)와 네트워크를 통해 연결될 수 있으며, 복수의 자율주행차량(110)들은 자율주행 제어 장치(130)와 동시에 연결될 수 있다. In addition, the
자율주행 제어 장치(130)는 자율주행차량(110)의 자율주행 과정에서 발생하는 끼어들기(또는 차선변경) 상황에 효과적으로 대응하기 위하여 사전에 학습된 결과로서 생성된 운전자 모사 모델을 이용하여 자율주행차량(110)의 주행을 제어할 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 자율주행 제어 장치(130)는 자율주행차량(110) 과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 자율주행차량(110)과 통신을 수행할 수 있다. The autonomous
일 실시예에서, 자율주행 제어 장치(130)는 데이터베이스(150)와 연동하여 자율주행차량(110)의 주행 제어 과정에서 필요한 정보를 저장할 수 있다. 한편, 자율주행 제어 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 자율주행 제어 장치(130)는 물리적 구성요소로서 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있다. In an embodiment, the autonomous
데이터베이스(150)는 자율주행 제어 장치(130)가 운전자 모사 모델을 이용하여 자율주행차량(110)의 주행을 제어하는 과정에서 필요한 다양한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(150)는 자율주행차량(110)으로부터 주행 과정에서의 주변상황에 관한 정보를 저장할 수 있고, 사전에 학습된 결과로서 생성된 운전자 모사 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 운전자 모사 모델을 이용하여 자율주행차량(110)의 주행을 제어하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The
도 2는 도 1에 있는 자율주행 제어 장치의 기능적 구성을 설명하는 블록도이다.FIG. 2 is a block diagram illustrating a functional configuration of the autonomous driving control device in FIG. 1.
도 2를 참조하면, 자율주행 제어 장치(130)는 주변상황 수집부(210), 운전자 모사 모델 수신부(220), 차량 차선변경 결정부(230), 운전상황 생성부(240), 자율주행 제어부(250) 및 제어부(260)를 포함할 수 있다.Referring to FIG. 2, the autonomous
주변상황 수집부(210)는 차량의 주변상황을 수집할 수 있다. 주변상황 수집부(210)는 차량에 설치된 복수의 센서들로부터 주변상황에 관한 데이터들을 수집할 수 있고, 수집된 데이터들에 대한 전처리를 통해 차량의 자율주행에 필요한 형태로 가공할 수 있다. 주변상황 수집부(210)는 데이터베이스(150)와 연동하여 수집된 정보들을 저장할 수 있고, 필요에 따라 분류 또는 정렬을 수행할 수 있다.The surrounding
일 실시예에서, 주변상황 수집부(210)는 적어도 하나의 레이더(radar) 센서를 통해 측정되는 차량의 전방, 측방 및 후방에 관한 주행상황과 복수의 감지 센서들로부터 각각 측정되는 차량의 조향, 감속 및 가속에 관한 운전상황을 주변상황으로서 수집할 수 있다. 특히, 주변상황 수집부(210)는 차선변경(또는 끼어들기) 상황에서 발생하는 주행상황과 운전상황을 차량의 주변상황으로서 수집할 수 있다. 주행상황은 차량의 주행 중에 발생하는 상황 정보로서 차량에 설치된 레이더(radar) 센서를 통해 수집할 수 있으며, 차량에 부착된 위치 및 측정 지역에 따라 전방, 측방 및 후방으로 분류할 수 있다. 운전상황은 차량의 주행 과정에서 직접적으로 발생하는 조향각(steering wheel angle), 스로틀(throttle), 제동 압력(brake pressure) 등의 제어 데이터(control data)에 해당할 수 있고 차량에 설치된 복수의 감지 센서들을 통해 측정될 수 있다.In one embodiment, the
운전자 모사 모델 수신부(220)는 학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신할 수 있다. 여기에서, 생산적 적대 학습(Generative Adversarial Network, GAN)은 데이터를 생성해내는 생성자 모델과 생성된 데이터를 실제 데이터와 비교하여 판별해내는 판별자 모델이 상호작용하면서 데이터를 고도화하는 학습 방법에 해당할 수 있다. 판별자 모델은 생성자 모델이 출력한 데이터를 판별하기 위한 비교 대상으로서 학습용 주행상황과 학습용 운전상황으로 구성된 학습용 모집단을 사용할 수 있다. 생산적 적대 학습의 결과로서 생성자 모델과 판별자 모델이 각각 생성될 수 있으며, 운전자 모사 모델에는 생성자 모델의 가중치 정보가 적용될 수 있다.The driver simulation
일 실시예에서, 운전자 모사 모델은 학습용 모집단에 대해 학습용 주행상황과 학습용 운전상황에 대한 동기화 및 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 생산적 적대 학습을 수행하여 생성될 수 있다. 운전자 모사 모델은 실제 주행 상황에서 발생하는 주행상황과 운전상황을 학습한 결과로서 생성할 수 있는데, 학습을 위한 전단계로서 수집된 정보에 대한 전처리 과정이 적용될 수 있다. 전처리 과정은 크게 두가지 형태로 진행될 수 있고 주행상황과 운전상황의 싱크(sync)를 일치시키는 동기화 과정과 학습 알고리즘의 성능 향상을 위해 운전상황에 대한 정규화 과정이 수행될 수 있다. In one embodiment, the driver simulation model may be generated by applying a preprocessing process that performs synchronization with the learning driving situation and the learning driving condition and normalizes the learning driving condition to the learning population, and then performs productive hostile learning. The driver simulation model can be generated as a result of learning the driving situation and the driving situation occurring in the actual driving situation, and a preprocessing process for the collected information can be applied as a preliminary step for learning. The preprocessing process can be largely performed in two forms, and the synchronization process for synchronizing the sync of the driving situation and the driving situation and the normalization process for the driving situation can be performed to improve the performance of the learning algorithm.
보다 구체적으로, 주행상황과 운전상황에 대한 동기화 과정은 레이더 데이터에 해당하는 주행상황을 20 fps로 가공하여 저장하고 운전자 제어 데이터에 해당하는 운전상황을 20 fps(0.05초)의 시계열로 조향각, 스로틀 및 제동 압력으로 분류하여 저장한 후 주행상황과 운전상황의 싱크(sync)를 일치시켜 하나의 데이터 집합(예를 들어, 하나의 pickle 형식)으로 생성하는 동작에 해당할 수 있다. 운전상황에 대한 정규화 과정은 운전상황에 해당하는 각 센서 데이터의 범위를 일정 범위, 예를 들어, -1 ~ 1 사이의 값으로 변환하는 동작에 해당할 수 있다.More specifically, the synchronization process for driving and driving conditions is to process and store driving conditions corresponding to radar data at 20 fps, and to control the driving conditions corresponding to driver control data in a time series of 20 fps (0.05 seconds). And storing them by classifying the braking pressure and then synchronizing the sync of the driving and driving conditions to generate one data set (for example, one pickle type). The normalization process for the driving situation may correspond to an operation of converting the range of each sensor data corresponding to the driving situation into a predetermined range, for example, a value between -1 and 1.
일 실시예에서, 운전자 모사 모델은 생산적 적대 학습의 제1 학습과정으로서 학습용 주행상황에 대한 후보 운전상황을 생성하고, 제2 학습과정으로서 후보 운전상황에 대한 판별 확률을 생성할 수 있다. 생산적 적대 학습은 생성자 모델과 판별자 모델이 상호작용하는 과정을 통해 수행될 수 있고, 제1 학습과정은 생성자 모델 생성을 위한 학습과정에 해당하고 제2 학습과정은 판별자 모델 생성을 위한 학습과정에 해당할 수 있다. In one embodiment, the driver simulation model may generate a candidate driving situation for the learning driving situation as a first learning process of productive hostile learning, and generate a probability of discriminating the candidate driving situation as a second learning process. Productive antagonistic learning can be performed through the process of interaction between the generator model and the discriminator model, the first learning process corresponds to the learning process for generating the generator model, and the second learning process for learning the discriminator model. It may correspond to.
즉, 제1 학습과정은 학습용 모집단에 포함된 학습용 주행상황에 대한 후보 운전상황을 생성할 수 있다. 후보 운전상황은 생산적 적대 학습 과정에서 생성자 모델에 의해 생성되는 임시적인 운전상황에 해당할 수 있다. 또한, 제2 학습과정은 제1 학습과정에 의해 생성된 후보 운전상황을 학습용 주행상황에 대응되는 학습용 운전상황과 비교하여 판별 확률을 생성할 수 있다. 여기에서, 판별 확률은 생성자 모델에 의해 생성된 후보 운전상황이 실제 운전상황과 유사한 정도에 해당할 수 있고, 후보 운전상황이 실제 운전상황에 유사할수록 판별 확률은 높아질 수 있다.That is, the first learning process may generate a candidate driving situation for the learning driving situation included in the learning population. The candidate driving situation may correspond to a temporary driving situation generated by the generator model during the productive hostile learning process. In addition, the second learning process may generate a discrimination probability by comparing the candidate driving situation generated by the first learning process with the learning driving situation corresponding to the learning driving situation. Here, the discrimination probability may correspond to a degree in which the candidate driving situation generated by the generator model is similar to the actual driving situation, and the discrimination probability may be higher as the candidate driving situation is similar to the actual driving situation.
일 실시예에서, 운전자 모사 모델의 제1 학습과정은 t초 동안의 주행상황(예를 들어, 레이더 데이터)를 기초로 다음 t초 동안의 운전상황(예를 들어, 주행 제어 데이터)를 생성할 수 있다. 운전자 모사 모델의 제2 학습과정은 t초 동안의 운전상황을 동시간대 실제 운전상황과 비교하여 해당 운전상황에 대한 판별 확률을 생성할 수 있다. 운전자 모사 모델은 제2 학습과정의 결과로서 판별자 모델이 판별에 성공하는 확률이 특정 기준(예를 들어, 0.5)에 근사하면 학습을 종료하고 해당 시점의 생성자 모델에 대한 가중치를 기초로 생성될 수 있다.In one embodiment, the first learning process of the driver simulation model may generate the driving situation (eg, driving control data) for the next t seconds based on the driving situation (eg, radar data) for t seconds. Can be. The second learning process of the driver simulation model may generate a discrimination probability for the corresponding driving situation by comparing the driving situation for t seconds with the actual driving situation at the same time. As a result of the second learning process, the driver simulation model ends when the probability that the discriminator model succeeds in determining is close to a specific criterion (for example, 0.5) and ends the learning and is generated based on the weight of the generator model at that time. Can be.
일 실시예에서, 운전자 모사 모델은 제2 학습과정을 통해 판별에 성공한 후보 운전상황을 제1 학습과정에 반영하고, 판별에 실패한 후보 운전상황을 제2 학습과정에 반영할 수 있다. 제2 학습과정에 의한 판별 확률이 기준 확률보다 높은 경우 해당 판별은 성공한 것으로 결정할 수 있고, 예를 들어, 판별 확률이 0.5보다 높은 경우 해당 판별은 성공한 것으로 결정할 수 있다. 운전자 모사 모델은 제2 학습과정을 통해 판별에 성공한 후보 운전상황을 제1 학습과정에 반영하고, 판별에 실패한 후보 운전상황은 제2 학습과정에 반영하는 반복 학습 과정을 통해 피드백 손실(feed back loss)이 최소화되는 방향으로 갱신(update) 과정이 수행될 수 있다. 운전자 모사 모델은 피드백 손실 산출을 위한 손실 함수(loss function)를 사용할 수 있고, 손실 함수 값이 각각의 학습 과정에 전달되어 학습 과정에 적용되는 가중치를 갱신할 수 있다.In an embodiment, the driver simulation model may reflect the candidate driving situation that has been successfully determined through the second learning process in the first learning process, and may reflect the candidate driving situation that has failed the discrimination in the second learning process. If the determination probability according to the second learning process is higher than the reference probability, the determination may be determined to be successful. For example, if the determination probability is higher than 0.5, the determination may be determined to be successful. The driver simulation model reflects the candidate driving situation that has been successfully determined through the second learning process in the first learning process, and the feedback driving loss that has been missed through the iterative learning process is reflected in the second learning process. ) May be performed in a direction that minimizes. The driver simulation model may use a loss function for calculating a feedback loss, and a loss function value may be transmitted to each learning process to update a weight applied to the learning process.
차량 차선변경 결정부(230)는 차량의 차선변경에 대한 필요 여부를 결정할 수 있다. 차량 차선변경 결정부(230)는 주변상황 수집부(210)에 의해 수집된 차량의 주변상황 정보를 기초로 해당 차량의 차선변경에 대한 필요 여부를 결정할 수 있다. 예를 들어, 차량의 전방에 선행차량이 존재하고 주행차선의 좌측 또는 우측 차선을 통해 해당 선행차량을 추월할 수 있는 경우 차량 차선변경 결정부(230)는 차선변경이 필요한 것으로 결정할 수 있다. 차선변경의 필요 여부는 필요성 정도에 관한 수치화된 값으로 표현될 수 있고, 특정 기준 값과의 비교 결과를 기초로 필요 여부를 결정할 수 있다.The vehicle lane
운전상황 생성부(240)는 차선변경이 필요한 것으로 결정되면 차량의 주행상황을 운전자 모사 모델에 제공하여 향후 운전상황을 생성할 수 있다. 운전상황 생성부(240)는 현재 시점으로부터 과거 t초 동안의 주행상황을 운전자 모사 모델에 입력으로 제공할 수 있고, 운전자 모사 모델은 주행상황에 대응되는 현재 시점으로부터 다음 t초 동안의 운전상황을 향후 운전상황으로서 출력할 수 있다.If it is determined that the lane change is necessary, the driving
일 실시예에서, 운전상황 생성부(240)는 운전자 모사 모델에 대해 제2 학습과정에 의한 판별 성공율이 기준 임계값을 초과한 시점에서 제1 학습과정의 가중치를 그대로 적용하여 향후 운전상황을 생성할 수 있다. 생산적 적대 학습은 제2 학습과정에 의한 판별 성공율이 기준 임계값을 초과할 때까지 피드백 손실이 최소화되는 방향으로 반복적으로 수행될 수 있고, 제2 학습과정에 의한 판별 성공율이 기준 임계값을 초과한 시점에서 생산자 모델에 적용되는 가중치를 운전자 모사 모델에 그대로 적용할 수 있다. 운전상황 생성부(240)는 운전자 모사 모델을 통해 현재의 주행상황에 대응되는 향후 운전상황을 생성할 수 있다.In one embodiment, the driving
일 실시예에서, 운전상황 생성부(240)는 차선변경이 필요한 것으로 결정되면 차선변경의 목표 차선에서 차량에 근접하여 주행하는 주변차량의 양보 유무를 예측하고 차량의 주행상황과 함께 운전자 모사 모델에 제공할 수 있다. 운전자 모사 모델은 차량의 주행상황 뿐만 아니라 주변차량의 양보 유무를 반영하여 차량의 향후 운전상황을 결정할 수 있다. 운전상황 생성부(240)는 차선변경이 필요한 것으로 결정된 경우 차선변경의 방향을 1차적으로 결정할 수 있고, 결정된 차선변경의 방향에 따라 해당 차선에서 주행 중인 후행차량을 결정할 수 있으며, 후행차량과의 거리 및 후행차량의 상대속도를 기초로 후행차량의 양보 유무를 2차적으로 결정할 수 있다. 운전상황 생성부(240)는 후행차량의 양보 유무에 관한 정보를 차량의 주행상황과 함께 운전자 모사 모델에 제공할 수 있고, 운전자 모사 모델은 이를 기초로 향후 운전상황을 결정할 수 있다.In one embodiment, when it is determined that the lane change is necessary, the driving
일 실시예에서, 운전상황 생성부(240)는 차량의 주행상황을 기초로 차선변경의 방향을 결정하는 차선변경 방향 결정 모듈, 차선변경의 방향을 기초로 차선변경의 목표 차선을 결정하는 목표 차선 결정 모듈, 차선변경의 목표 차선에서 차량에 근접하여 주행하는 주변차량을 결정하는 주변차량 결정 모듈, 주변차량의 주행상황을 수집하는 주변차량 주행상황 수집 모듈 및 주변차량의 주행상황을 기초로 주변차량의 양보 유무를 예측하는 양보 유무 예측 모듈을 포함할 수 있다.In one embodiment, the driving
자율주행 제어부(250)는 향후 운전상황을 기초로 차량의 차선변경에 관한 자율주행을 제어할 수 있다. 자율주행 제어부(250)는 차량의 차선변경 상황에서 운전상황 생성부(240)에 의해 생성된 향후 운전상황을 기초로 차량의 자율주행을 제어할 수 있다. 즉, 자율주행 제어부(250)는 향후 운전상황에 포함된 차량의 조향각, 스로틀 및 제동 압력에 관한 정보를 이용하여 차량의 조향, 가속과 감속을 각각 제어함으로써 차량의 자율주행을 제어할 수 있다.The autonomous
일 실시예에서, 자율주행 제어부(250)는 향후 운전상황이 특정 시간 간격을 기준으로 연속하여 생성되고 복수의 향후 운전상황들 간의 중첩 구간이 발생하는 경우 중첩 구간에 대해 복수의 향후 운전상황들 중 어느 하나를 선별하여 자율주행에 적용할 수 있다. 운전상황 생성부(240)는 자율주행의 실시간성을 고려하여 일정 시간 간격으로 타임 윈도우 슬라이딩(time window sliding) 방식을 적용함으로써 생성되는 향후 운전상황의 부자연스러운 흐름을 해결할 수 있다.In an embodiment, the autonomous
예를 들어, 운전상황 생성부(240)는 향후 운전상황을 매 1초 간격으로 연속하여 생성할 수 있고, 생성되는 향후 운전상황은 현재 시점을 기준으로 3초 동안의 운전상황에 해당할 수 있다. 따라서, 운전상황 생성부(240)에 의해 생성된 복수의 향후 운전상황들은 현재 시점을 기준으로 1초 ~ 2초 사이, 2초 ~ 3초 사이, 3초 ~ 4초 사이의 구간에서 각각 2개, 3개, 2개의 향후 운전상황들이 서로 중첩될 수 있다. 자율주행 제어부(250)는 서로 중첩되는 구간들에 대해 복수의 향후 운전상황들 중 어느 하나를 선별하여 차량의 자율주행에 활용할 수 있다. For example, the driving
일 실시예에서, 자율주행 제어부(250)는 복수의 향후 운전상황들 간의 중첩 구간이 발생하는 경우 중첩 구간에 대해 복수의 향후 운전상황들의 평균을 산출하여 자율주행에 적용할 수 있다. 즉, 자율주행 제어부(250)는 2개 이상의 향후 운전상황들이 중첩되는 구간에 대해 해당 향후 운전상황들에 포함된 조향각, 스로틀, 제동 압력들 각각에 대한 평균을 산출할 수 있고, 평균 조향각, 평균 스로틀, 평균 제동 압력을 기초로 차량에 대한 자율주행 제어를 수행할 수 있다.In one embodiment, the autonomous
제어부(260)는 자율주행 제어 장치(130)의 전체적인 동작을 제어하고, 주변상황 수집부(210), 운전자 모사 모델 수신부(220), 차량 차선변경 결정부(230), 운전상황 생성부(240) 및 자율주행 제어부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 3은 도 1에 있는 자율주행 제어 장치에서 수행되는 자율주행 제어 과정을 설명하는 순서도이다.3 is a flowchart illustrating an autonomous driving control process performed by the autonomous driving control apparatus of FIG. 1.
도 3을 참조하면, 자율주행 제어 장치(130)는 주변상황 수집부(210)를 통해 차량의 주변상황을 수집할 수 있다(단계 S310). 자율주행 제어 장치(130)는 운전자 모사 모델 수신부(220)를 통해 학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신할 수 있다(단계 S330). 자율주행 제어 장치(130)는 차량 차선변경 결정부(230)를 통해 차량의 차선변경에 대한 필요 여부를 결정할 수 있다(단계 S350).Referring to FIG. 3, the autonomous
자율주행 제어 장치(130)는 운전상황 생성부(240)를 통해 차선변경이 필요한 것으로 결정되면 차량의 주행상황을 운전자 모사 모델에 제공하여 향후 운전상황을 생성할 수 있다(단계 S370). 자율주행 제어 장치(130)는 자율주행 제어부(250)를 통해 향후 운전상황을 기초로 차량의 차선변경에 관한 자율주행을 제어할 수 있다(단계 S390).When the autonomous
도 4 및 5는 운전자 모사 모델 생성을 위한 생산적 적대 학습의 과정을 설명하는 예시도이다.4 and 5 are exemplary diagrams illustrating a process of productive hostile learning for generating a driver simulation model.
도 4를 참조하면, 생산적 적대 학습은 생성자 모델(Generator)을 생성하는 제1 학습과정과 판별자 모델(Discriminator)을 생성하는 제2 학습과정을 통해 수행될 수 있다. 제1 학습과정은 차량의 주행상황에 관한 정보(센서 데이터)와 주변차량 양보 의도를 입력으로 하여 차량의 제어 데이터에 해당하는 후보 운행상황(제어 데이터)을 출력하는 과정으로 수행될 수 있다. 제2 학습과정은 제1 학습과정에서 생성된 후보 운행상황을 입력으로 하여 판별 확률(유효성)을 출력하는 과정으로 수행될 수 있다. 제2 학습과정에는 후보 운행상황과의 비교를 위하여 수집된 센서 데이터와 실제 운행상황(제어 데이터)이 사용될 수 있다. 생산적 적대 학습은 제1 학습과정과 제2 학습과정의 상호작용을 통해 반복적으로 수행될 수 있고, 피드백 손실이 최소가 되는 방향으로 각각의 학습과정에 적용되는 가중치를 갱신할 수 있다.Referring to FIG. 4, productive antagonistic learning may be performed through a first learning process for generating a generator model and a second learning process for generating a discriminator model. The first learning process may be performed as a process of outputting a candidate driving situation (control data) corresponding to the control data of the vehicle by inputting information on the driving situation of the vehicle (sensor data) and the intention to yield the surrounding vehicles. The second learning process may be performed as a process of outputting a discrimination probability (validity) by inputting a candidate driving situation generated in the first learning process. In the second learning process, the collected sensor data and the actual driving situation (control data) may be used for comparison with the candidate driving situation. Productive hostile learning may be repeatedly performed through the interaction between the first learning process and the second learning process, and the weight applied to each learning process may be updated in a direction in which the feedback loss is minimized.
도 5를 참조하면, 생산적 적대 학습을 위해 사용되는 학습용 모집단은 차량에 관한 주행상황과 운전상황으로 구성될 수 있다. 주행상황은 차량의 외부 상태에 관한 정보로서 레이더를 통해 측정되는 센서 데이터에 해당할 수 있고, 운전상황은 차량의 내부 상태에 관한 정보로서 실제 운전자가 운전한 주행을 통해 측정되는 제어 데이터에 해당할 수 있다. 일 실시예에서, 학습용 모집단은 전처리 과정이 적용될 수 있으며, 전처리 과정은 주행상황과 운전상황에 대한 동기화와 운전상황에 대한 정규화로 구분되어 처리될 수 있다. Referring to FIG. 5, the learning population used for the productive hostile learning may be composed of a driving situation and a driving situation regarding a vehicle. The driving situation may correspond to sensor data measured through the radar as information on the external condition of the vehicle, and the driving condition may correspond to control data measured through driving driven by the actual driver as information about the internal condition of the vehicle. Can be. In one embodiment, the pre-processing process may be applied to the learning population, and the pre-processing process may be processed by being divided into synchronization with the driving situation and the driving condition and normalization with respect to the driving condition.
생산적 적대 학습은 생성자 모델을 생성하는 제1 학습과정과 판별자 모델을 생성하는 제2 학습과정이 상호작용을 통해 반복적으로 수행될 수 있다. 특히, 생산적 적대 학습은 판별자 모델에 의한 판별 성공 확률이 특정 기준을 충족할 때까지 피드백 손실이 최소화되는 방향으로 반복 진행될 수 있다. 판별자 모델에 의한 판별 성공 확률이 특정 기준을 충족하여 학습이 완료된 경우 제1 학습과정의 결과로서 생성자 모델에 적용된 가중치가 생산적 적대 학습의 결과로서 저장될 수 있고, 운전자 모사 모델에 그대로 적용되어 차량의 자율주행 제어를 위해 활용될 수 있다.Productive hostile learning may be repeatedly performed through interaction between a first learning process for generating a generator model and a second learning process for generating a discriminator model. In particular, productive hostile learning may be repeated in a direction in which feedback loss is minimized until the probability of success of discrimination by the discriminator model satisfies a specific criterion. If the discriminant success probability by the discriminant model satisfies a certain criterion and the training is completed, the weight applied to the generator model as a result of the first learning process may be stored as a result of the productive hostile learning, and is applied to the driver simulation model as it is Can be used for autonomous driving control.
도 6은 도 1에 있는 자율주행 제어 장치에서 운전자 모사 모델을 통해 자율주행 제어를 수행하는 과정을 설명하는 예시도이다.FIG. 6 is an exemplary view illustrating a process of performing autonomous driving control through a driver simulation model in the autonomous driving control apparatus of FIG. 1.
도 6을 참조하면, 자율주행 제어 장치(130)는 주변상황 수집부(210)를 통해 차량의 주변상황을 수집할 수 있다. 주변상황은 차량의 주행상황을 포함할 수 있고, 주행상황은 레이더에 의해 측정되는 차량의 전방, 측방 및 후방 데이터를 포함할 수 있다. 자율주행 제어 장치(130)는 차량 차선변경 결정부(230)를 통해 차량의 차선변경에 대한 필요 여부가 결정된 경우 운전상황 생성부(240)를 통해 주변차량의 양보 유무를 예측할 수 있다. 운전상황 생성부(240)는 주변차량의 상대속도, 주변차량과의 거리를 기초로 양보 유무를 예측할 수 있다. 자율주행 제어 장치(130)는 차량의 주행상황과 주변차량의 양보 유무를 입력으로 하여 운전자 모사 모델을 통해 주변차량의 양보 유무 상황에 적합한 향후 운전상황을 생성할 수 있다. 자율주행 제어 장치(130)는 자율주행 제어부(250)를 통해 향후 운전상황을 기초로 차량의 차선변경에 관한 자율주행을 제어할 수 있다.Referring to FIG. 6, the autonomous
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art will be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.
100: 운전자 모사 모델 기반의 자율주행 제어 시스템
110: 자율주행차량 130: 자율주행 제어 장치
150: 데이터베이스
210: 주변상황 수집부 220: 운전자 모사 모델 수신부
230: 차량 차선변경 결정부 240: 운전상황 생성부
250: 자율주행 제어부 260: 제어부100: Autonomous driving control system based on driver simulation model
110: autonomous vehicle 130: autonomous driving control device
150: database
210: surrounding situation collecting unit 220: driver simulation model receiving unit
230: vehicle lane change determination unit 240: driving situation generation unit
250: autonomous driving control unit 260: control unit
Claims (10)
학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신하는 운전자 모사 모델 수신부;
상기 차량의 차선변경(Cut-in)에 대한 필요 여부를 결정하는 차량 차선변경 결정부; 및
상기 차선변경이 필요한 것으로 결정되면 상기 차량의 주행상황을 상기 운전자 모사 모델에 제공하여 향후 운전상황을 생성하는 운전상황 생성부를 포함하되,
상기 운전자 모사 모델은 상기 생산적 적대 학습의 제1 학습과정으로서 상기 학습용 주행상황에 대한 후보 운전상황을 생성하고 제2 학습과정으로서 상기 후보 운전상황에 대한 판별 확률을 생성하며,
상기 제2 학습과정을 통해 판별에 성공한 후보 운전상황을 상기 제1 학습과정에 반영하고 판별에 실패한 후보 운전상황을 상기 제2 학습과정에 반영하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
Surrounding situation collecting unit for collecting the surrounding situation of the vehicle;
A driver simulation model receiver for receiving a productive hostile-trained driver simulation model based on a learning population including a learning driving situation previously collected by the learning vehicle and a learning driving situation previously performed by the learning driver;
A vehicle lane change determination unit determining whether a lane change of the vehicle is necessary; And
If it is determined that the lane change is necessary to include a driving situation generation unit for providing a driving situation of the vehicle to the driver simulation model to generate a future driving situation,
The driver simulation model generates a candidate driving situation for the learning driving situation as a first learning process of the productive hostile learning, and generates a discrimination probability for the candidate driving situation as a second learning process,
An autonomous driving control apparatus based on a driver simulation model, characterized in that the candidate driving situation that has been discriminated through the second learning process is reflected in the first learning process and the candidate driving situation that has failed the determination is reflected in the second learning process. .
적어도 하나의 레이더(radar) 센서를 통해 상기 차량의 전방, 측방 및 후방에 관한 주행상황과 상기 차량의 조향, 감속 및 가속에 관한 운전상황을 상기 주변상황으로서 수집하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 1, wherein the ambient situation collecting unit
Based on at least one radar sensor, driving conditions related to the front, side, and rear of the vehicle and driving conditions related to steering, deceleration, and acceleration of the vehicle are collected as the surrounding situation. Autonomous driving control device.
상기 학습용 모집단에 대해 상기 학습용 주행상황과 상기 학습용 운전상황에 대한 동기화 및 상기 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 상기 생산적 적대 학습을 수행하여 생성되는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 1, wherein the driver simulation model
Based on the driver simulation model, the productive host learning is generated after applying the preprocessing process of performing synchronization for the learning driving situation, the learning driving situation, and normalization of the learning driving situation to the learning population. Autonomous driving control device.
상기 운전자 모사 모델에 대해 상기 제2 학습과정에 의한 판별 성공율이 기준 임계값을 초과한 시점에서 상기 제1 학습과정의 가중치를 그대로 적용하여 상기 향후 운전상황을 생성하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 1, wherein the driving situation generating unit
Based on the driver simulation model, the future driving situation is generated by applying the weight of the first learning process as it is when the determination success rate of the second learning process exceeds the reference threshold value. Autonomous driving control device.
상기 차선변경이 필요한 것으로 결정되면 상기 차선변경의 목표 차선에서 상기 차량에 근접하여 주행하는 주변차량의 양보 유무를 예측하고 상기 차량의 주행상황과 함께 상기 운전자 모사 모델에 제공하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 1, wherein the driving situation generating unit
If it is determined that the lane change is necessary, the driver's simulation of predicting the concession of the surrounding vehicle traveling near the vehicle in the target lane of the lane change and providing the driver simulation model together with the driving situation of the vehicle is performed. Model-based autonomous driving control device.
상기 향후 운전상황을 기초로 상기 차량의 차선변경에 관한 자율주행을 제어하는 자율주행 제어부를 더 포함하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 1,
An autonomous driving control apparatus based on a driver simulation model, further comprising an autonomous driving control unit for controlling autonomous driving related to the lane change of the vehicle based on the future driving situation.
상기 향후 운전상황이 특정 시간 간격을 기준으로 연속하여 생성되고 복수의 향후 운전상황들 간의 중첩 구간이 발생하는 경우 상기 중첩 구간에 대해 복수의 향후 운전상황들 중 어느 하나를 선별하여 상기 자율주행에 적용하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 장치.
The method of claim 8, wherein the autonomous driving control unit
When the future driving situation is continuously generated based on a specific time interval and an overlapping section between a plurality of future driving situations occurs, one of a plurality of future driving situations is selected for the overlapping section and applied to the autonomous driving. Autonomous driving control device based on the driver simulation model, characterized in that.
차량의 주변상황을 수집하는 단계;
학습용 차량에 의해 이전에 수집되었던 학습용 주행상황과 학습용 운전자에 의해 이전에 수행되었던 학습용 운전상황을 포함하는 학습용 모집단을 기초로 생산적 적대 학습된 운전자 모사 모델을 수신하는 단계;
상기 차량의 차선변경(Cut-in)에 대한 필요 여부를 결정하는 단계; 및
상기 차선변경이 필요한 것으로 결정되면 상기 차량의 주행상황을 상기 운전자 모사 모델에 제공하여 향후 운전상황을 생성하는 단계를 포함하되,
상기 운전자 모사 모델은 상기 생산적 적대 학습의 제1 학습과정으로서 상기 학습용 주행상황에 대한 후보 운전상황을 생성하고 제2 학습과정으로서 상기 후보 운전상황에 대한 판별 확률을 생성하며,
상기 제2 학습과정을 통해 판별에 성공한 후보 운전상황을 상기 제1 학습과정에 반영하고 판별에 실패한 후보 운전상황을 상기 제2 학습과정에 반영하는 것을 특징으로 하는 운전자 모사 모델 기반의 자율주행 제어 방법.
In the autonomous driving control method performed in the autonomous driving control device,
Collecting ambient conditions of the vehicle;
Receiving a productive hostile-learned driver simulation model based on a learning population comprising a learning driving situation previously collected by the learning vehicle and a learning driving situation previously performed by the learning driver;
Determining whether the vehicle needs to be cut-in; And
If it is determined that the lane change is necessary, providing a driving situation of the vehicle to the driver simulation model to generate a future driving situation,
The driver simulation model generates a candidate driving situation for the learning driving situation as a first learning process of the productive hostile learning, and generates a discrimination probability for the candidate driving situation as a second learning process,
Autonomous driving control method based on a driver simulation model, characterized in that the candidate driving situation that has been successfully determined through the second learning process is reflected in the first learning process and the candidate driving situation that has failed the determination is reflected in the second learning process. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180173286A KR102050426B1 (en) | 2018-12-31 | 2018-12-31 | Autonomous driving control apparatus and method based on driver model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180173286A KR102050426B1 (en) | 2018-12-31 | 2018-12-31 | Autonomous driving control apparatus and method based on driver model |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102050426B1 true KR102050426B1 (en) | 2019-12-02 |
Family
ID=68847658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180173286A KR102050426B1 (en) | 2018-12-31 | 2018-12-31 | Autonomous driving control apparatus and method based on driver model |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102050426B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220042699A (en) * | 2020-09-28 | 2022-04-05 | (주)에이아이엠컴 | Compensation system for concessinary driving to improving traffic congestion |
KR20220105464A (en) * | 2021-01-20 | 2022-07-27 | 한국과학기술원 | Computer system for identifying driver through driving data analysis and method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006185067A (en) * | 2004-12-27 | 2006-07-13 | Nissan Motor Co Ltd | Traveling support device |
KR100992761B1 (en) | 2004-07-20 | 2010-11-05 | 현대자동차주식회사 | A control method for horizontal direction self-control driving of vehicle using lane departure warning system |
JP2017138953A (en) * | 2015-04-21 | 2017-08-10 | パナソニックIpマネジメント株式会社 | Information processing system, information processing method, and program |
KR20180127245A (en) * | 2017-05-19 | 2018-11-28 | 한국과학기술원 | Method for Predicting Vehicle Collision Using Data Collected from Video Games |
-
2018
- 2018-12-31 KR KR1020180173286A patent/KR102050426B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100992761B1 (en) | 2004-07-20 | 2010-11-05 | 현대자동차주식회사 | A control method for horizontal direction self-control driving of vehicle using lane departure warning system |
JP2006185067A (en) * | 2004-12-27 | 2006-07-13 | Nissan Motor Co Ltd | Traveling support device |
JP2017138953A (en) * | 2015-04-21 | 2017-08-10 | パナソニックIpマネジメント株式会社 | Information processing system, information processing method, and program |
KR20180127245A (en) * | 2017-05-19 | 2018-11-28 | 한국과학기술원 | Method for Predicting Vehicle Collision Using Data Collected from Video Games |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220042699A (en) * | 2020-09-28 | 2022-04-05 | (주)에이아이엠컴 | Compensation system for concessinary driving to improving traffic congestion |
KR102426917B1 (en) | 2020-09-28 | 2022-07-29 | (주)에이아이엠컴 | Compensation system for concessinary driving to improving traffic congestion |
KR20220105464A (en) * | 2021-01-20 | 2022-07-27 | 한국과학기술원 | Computer system for identifying driver through driving data analysis and method thereof |
KR102483259B1 (en) * | 2021-01-20 | 2023-01-03 | 한국과학기술원 | Computer system for identifying driver through driving data analysis and method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755012B2 (en) | Alerting predicted accidents between driverless cars | |
US10395457B2 (en) | User recognition system and methods for autonomous vehicles | |
US10046757B2 (en) | System and method for driving mode conversion of hybrid vehicle | |
US10632985B2 (en) | Hybrid vehicle and method of predicting driving pattern in the same | |
US9598078B2 (en) | Alerting predicted accidents between driverless cars | |
US9352650B2 (en) | Rule-based cruise control system and method | |
US10726727B2 (en) | In-vehicle device, information processing system, and information processing method | |
US11167754B2 (en) | Systems and methods for trajectory based safekeeping of vehicles | |
US11619946B2 (en) | Method and apparatus for generating U-turn path in deep learning-based autonomous vehicle | |
Bolovinou et al. | Driving style recognition for co-operative driving: A survey | |
KR102050426B1 (en) | Autonomous driving control apparatus and method based on driver model | |
CN109584871B (en) | User identity recognition method and device of voice command in vehicle | |
US20210316722A1 (en) | Systems and methods for trajectory based safekeeping of vehicles | |
CN105035084B (en) | Rule-based cruise control system and method | |
CN113850391A (en) | Occupancy verification apparatus and method | |
US9415778B2 (en) | Apparatus and method for determining careless driving | |
CN116872921A (en) | Method and system for avoiding risks of vehicle, vehicle and storage medium | |
KR102107466B1 (en) | Driving control apparatus and method based on autonomous vehicle | |
CN111746530B (en) | Vehicle control device, vehicle control method, and storage medium | |
US20230085422A1 (en) | Task-informed behavior planning | |
CN111746529B (en) | Vehicle control device, vehicle control method, and storage medium | |
US11270525B2 (en) | Automated vehicle occupancy detection | |
Armand et al. | A Bayesian framework for preventive assistance at road intersections | |
EP4017772A1 (en) | Systems and methods for trajectory based safekeeping of vehicles | |
EP4181088A1 (en) | Clustering track pairs for multi-sensor track association |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |