KR102164635B1

KR102164635B1 - Device and Method for Self Driving of Vehicle

Info

Publication number: KR102164635B1
Application number: KR1020140179606A
Authority: KR
Inventors: 유병용
Original assignee: 현대자동차주식회사
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2020-10-12
Also published as: KR20160071875A

Abstract

본 발명은 전자 장치 및 방법에 관한 것으로, 자율 주행 모드를 수행하는 주행 모드 설정 모듈; 차량 주위의 적어도 하나 이상의 객체를 자동으로 인식하는 객체 인식 모듈; 객체를 선택하는 유저 입력을 수신하는 유저 입력 모듈; 상기 인식된 적어도 하나 이상의 객체 및 상기 유저 입력에 기초하여 선택된 객체를 조합하는 프로세서; 및 상기 조합 결과를 스크린에 표시하는 디스플레이 모듈;을 포함할 수 있고, 다른 실시 예로도 적용이 가능하다.The present invention relates to an electronic device and a method, comprising: a driving mode setting module for performing an autonomous driving mode; An object recognition module that automatically recognizes at least one object around the vehicle; A user input module for receiving a user input for selecting an object; A processor that combines the recognized at least one object and an object selected based on the user input; And a display module for displaying the result of the combination on a screen, and other embodiments may be applied.

Description

Electronic device and method for autonomous driving of vehicle {Device and Method for Self Driving of Vehicle}

본 발명의 다양한 실시 예는 차량의 자율 주행을 위한 전자 장치 및 방법에 관한 것으로, 보다 상세하게는 상기 차량 주위의 일부 다른 차량 또는 차선 등의 객체에 대해 자동으로 인식하지 못하는 경우, 전자 장치가 인식 못한 상기 객체를 인식할 수 있도록 하는 전자 장치 및 방법에 관한 것이다.Various embodiments of the present invention relate to an electronic device and a method for autonomous driving of a vehicle, and more particularly, when an object such as some other vehicle or lane around the vehicle is not automatically recognized, the electronic device recognizes it. The present invention relates to an electronic device and a method for recognizing the object that has been missed.

사회가 발전하고 도시화되면서, 생활 수준이 향상됨에 따라 차량 수가 매년 급속도로 증가하고 있음에 따라 대도시는 물론 중소지방도시까지 극심한 교통체증 현상이 발생하고 있는 추세이다. 교통이 혼잡한 도로에서, 교통 신호를 준수하며 앞차와의 충돌을 방지하기 위해 차간 거리를 조절하는 등, 잦은 속도 조절을 위한 브레이크 페달과 가속 페달의 반복적인 이용으로 운전자는 금방 피로감을 느끼게 된다. As society develops and becomes urban, as the standard of living improves, the number of vehicles increases rapidly every year, leading to extreme traffic congestion not only in large cities but also in small and medium-sized cities. On a road with congested traffic, the driver quickly feels fatigue due to repeated use of the brake pedal and accelerator pedal for frequent speed control, such as observing traffic signals and adjusting the distance between cars to prevent collisions with the vehicle ahead.

이러한 운전자의 편의를 위해 자율 주행 시스템이 도입되어 시험단계에 있으며, 향후 이용될 것을 예상해볼 수 있다. 상기 자율 주행 시스템은 도로 주행뿐만 아니라, 주차 등에도 다양하게 이용될 수 있다. For the convenience of such drivers, an autonomous driving system has been introduced and is in the test stage, and it is expected to be used in the future. The autonomous driving system may be variously used not only for road driving, but also for parking.

본 발명의 다양한 실시 예들은 차량의 자율 주행 시, 다른 차량, 차선 및 보행자 등의 객체를 인식하는 정확성을 높이기 위해, 운전자로부터 수신되는 유저 입력을 통해 객체의 인식을 보완하는 전자 장치 및 방법을 제공하는 것이다. Various embodiments of the present invention provide an electronic device and method that supplements the recognition of an object through a user input received from a driver in order to increase the accuracy of recognizing objects such as other vehicles, lanes, and pedestrians during autonomous driving of a vehicle. Is to do.

본 발명의 일 실시 예에 따른 전자 장치는 자율 주행 모드를 수행하는 주행 모드 설정 모듈; 차량 주위의 적어도 하나 이상의 객체를 자동으로 인식하는 객체 인식 모듈; 객체를 선택하는 유저 입력을 수신하는 유저 입력 모듈; 상기 인식된 적어도 하나 이상의 객체 및 상기 유저 입력에 기초하여 선택된 객체를 조합하는 프로세서; 및 상기 조합 결과를 스크린에 표시하는 디스플레이 모듈;을 포함할 수 있다.An electronic device according to an embodiment of the present invention includes a driving mode setting module that performs an autonomous driving mode; An object recognition module that automatically recognizes at least one object around the vehicle; A user input module for receiving a user input for selecting an object; A processor that combines the recognized at least one object and an object selected based on the user input; And a display module that displays the result of the combination on a screen.

또한, 상기 객체는 차량, 보행자, 차선, 주행 가능 영역, 및 주행 불가능 영역을 포함할 수 있다. In addition, the object may include a vehicle, a pedestrian, a lane, a drivable area, and an undriable area.

또한, 상기 디스플레이 모듈은, 상기 자동으로 인식된 객체에 대한 인디케이터를 상기 스크린에 표시하는 것일 수 있다.Also, the display module may be to display an indicator for the automatically recognized object on the screen.

또한, 상기 프로세서는, 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체에 대하여, 사용자에게 상기 유저 입력을 요청하는 것일 수 있다.In addition, the processor may request the user input from the user for an object whose recognition has failed among at least one or more objects around the vehicle.

또한, 상기 주행 모드 설정 모듈은, 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시키는 것일 수 있다.In addition, the driving mode setting module may be configured to convert the autonomous driving mode to a manual driving mode when a ratio of objects that have failed to be recognized among at least one or more objects around the vehicle is greater than or equal to a threshold.

또한, 상기 전자 장치는 사용자가 수동 주행이 가능한 상태인지 여부를 감지하는 사용자 감지 모듈;을 더 포함할 수 있고, 이 경우, 상기 주행 모드 설정 모듈은, 상기 감지 결과에 기초하여 상기 주행 모드의 전환 여부를 결정하는 것일 수 있다.In addition, the electronic device may further include a user detection module that detects whether a user is in a state in which manual driving is possible, and in this case, the driving mode setting module switches the driving mode based on the detection result. It may be to decide whether or not.

또한, 상기 유저 입력 모듈은, 상기 스크린에 대응하는 터치 스크린, AVN, 및 조그 셔플을 통해 상기 유저 입력을 수신하는 것일 수 있다.Further, the user input module may receive the user input through a touch screen corresponding to the screen, AVN, and jog shuffle.

아울러, 본 발명의 일 실시 예에 따른 자율 주행 방법은 자율 주행 모드를 수행하는 동작; 차량 주위의 적어도 하나 이상의 객체를 자동으로 인식하는 동작; 객체를 선택하는 유저 입력을 수신하는 동작; 상기 인식된 적어도 하나 이상의 객체 및 상기 유저 입력에 기초하여 선택된 객체를 조합하는 동작; 및 상기 조합 결과를 스크린에 표시하는 동작;을 포함할 수 있다. In addition, an autonomous driving method according to an embodiment of the present invention includes performing an autonomous driving mode; Automatically recognizing at least one or more objects around the vehicle; Receiving a user input for selecting an object; Combining the recognized at least one object and an object selected based on the user input; And displaying the result of the combination on a screen.

또한, 상기 자율 주행 방법은 상기 자동으로 인식된 객체에 대한 인디케이터를 상기 스크린에 표시하는 동작;을 더 포함할 수 있다.In addition, the autonomous driving method may further include displaying an indicator of the automatically recognized object on the screen.

또한, 상기 자율 주행 방법은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체에 대하여, 사용자에게 상기 유저 입력을 요청하는 동작;을 더 포함할 수 있다.In addition, the autonomous driving method may further include an operation of requesting the user input from a user for an object whose recognition has failed among at least one or more objects around the vehicle.

또한, 상기 자율 주행 방법은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시키는 동작;을 더 포함할 수 있다.In addition, the autonomous driving method may further include an operation of switching the autonomous driving mode to a manual driving mode when a ratio of objects that have failed to be recognized among at least one or more objects around the vehicle is greater than or equal to a threshold.

또한, 상기 자율 주행 방법은 사용자가 수동 주행이 가능한 상태인지 여부를 감지하는 동작;을 더 포함할 수 있고, 이 경우, 상기 주행 모드 전환 동작은, 상기 감지 결과에 기초하여 수행될 수 있다. In addition, the autonomous driving method may further include an operation of detecting whether the user is in a state in which manual driving is possible, and in this case, the driving mode switching operation may be performed based on the detection result.

상술한 바와 같이 본 발명은 차량의 자율 주행을 위한 전자 장치 및 방법에 관한 것으로, 다른 차량, 차선 및 보행자 등의 객체를 인식하는 정확성을 보완함으로써 운전자의 안전을 담보할 수 있고, 운전자가 수동 주행을 하지 않아도 되도록 사용자 편의에 이바지할 수 있다. As described above, the present invention relates to an electronic device and method for autonomous driving of a vehicle, and by supplementing the accuracy of recognizing objects such as other vehicles, lanes and pedestrians, the safety of the driver can be guaranteed, and the driver can drive manually. It can contribute to user convenience so that you do not have to do it.

도 1은 본 발명의 다양한 실시 예에 따른, 전자 장치의 블록도이다.
도 2는 본 발명의 다양한 실시 예에 따른, 미인식 객체를 유저 입력을 통해 인식하는 동작을 나타낸 도면이다.
도 3은 본 발명의 다양한 실시 예에 따른, 미인식 차량을 인식하는 동작을 나타낸 도면이다.
도 4는 본 발명의 다양한 실시 예에 따른, 미인식 차선 또는 도로 경계선을 인식하는 동작을 나타낸 도면이다.
도 5는 본 발명의 다양한 실시 예에 따른, 미인식 주행 불가능 영역을 인식하는 동작을 나타낸 도면이다.
도 6은 본 발명의 다양한 실시 예에 따른, 차량의 자율 주행에 있어서 객체 인식률을 보완하는 방법을 나타낸 순서도이다.1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
2 is a diagram illustrating an operation of recognizing an unrecognized object through a user input according to various embodiments of the present disclosure.
3 is a diagram illustrating an operation of recognizing an unrecognized vehicle according to various embodiments of the present disclosure.
4 is a diagram illustrating an operation of recognizing an unrecognized lane or road boundary according to various embodiments of the present disclosure.
5 is a diagram illustrating an operation of recognizing an unrecognized driving impossible area according to various embodiments of the present disclosure.
6 is a flowchart illustrating a method of supplementing an object recognition rate in autonomous driving of a vehicle according to various embodiments of the present disclosure.

이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
Hereinafter, various embodiments of the present invention will be described in connection with the accompanying drawings. Various embodiments of the present invention may be modified in various ways and may have various embodiments. Specific embodiments are illustrated in the drawings and detailed descriptions thereof are provided. However, this is not intended to limit the various embodiments of the present invention to specific embodiments, and it should be understood that all changes and/or equivalents or substitutes included in the spirit and scope of the various embodiments of the present invention are included. In connection with the description of the drawings, similar reference numerals have been used for similar elements.

도 1은 본 발명의 다양한 실시 예에 따른, 전자 장치 100의 블록도이다. 전자 장치 100은 차량의 적어도 일부에 장착되는 것일 수 있다. 도 1을 참조하면, 전자 장치 100은 주행 모드 설정 모듈 110, 객체 인식 모듈 120, 유저 입력 모듈 130, 프로세서 140, 디스플레이 모듈 150, 및 사용자 감지 모듈 160을 포함할 수 있다. 이하에서 언급되는 사용자, 또는 유저 등은 상기 차량의 운전자를 지칭하는 것일 수 있다.1 is a block diagram of an electronic device 100 according to various embodiments of the present disclosure. The electronic device 100 may be mounted on at least a part of the vehicle. Referring to FIG. 1, the electronic device 100 may include a driving mode setting module 110, an object recognition module 120, a user input module 130, a processor 140, a display module 150, and a user detection module 160. A user, or a user, etc. mentioned below may refer to a driver of the vehicle.

본 발명의 다양한 실시 예에 따르면, 주행 모드 설정 모듈 110은 차량이 상기 전자 장치 100을 통해 자율적으로 주행되는 자율 주행 모드 또는 사용자의 제어에 의해 주행되는 수동 주행 모드 중 어느 하나를 선택할 수 있다. 이하에서, 상기 차량은 자율 주행 모드 중임을 일 예로서 설명하겠다.According to various embodiments of the present disclosure, the driving mode setting module 110 may select one of an autonomous driving mode in which a vehicle is autonomously driven through the electronic device 100 or a manual driving mode driven by a user's control. Hereinafter, it will be described as an example that the vehicle is in an autonomous driving mode.

본 발명의 다양한 실시 예에 따르면, 객체 인식 모듈 120은 전자 장치 100이 장착된 차량 주위에 있는 적어도 하나 이상의 객체를 인식할 수 있다. 상기 객체는, 예를 들어, 차량, 보행자, 차선, 주행 가능 영역, 및 주행 불가능 영역 등을 포함할 수 있다. 객체 인식 모듈 120은, 예를 들어, 전자 장치 100 또는 상기 차량에 포함된 다양한 센서(미도시; 예를 들어, UV 센서, 근접 센서, 이미지 센서, 제스처 센서 등)를 이용하여 상기 객체들을 인식할 수 있다. 다만, 객체 인식 모듈 120은 차량 주위에 위치한 상기 객체들을 모두 인식하지 못할 수 있다. 이 경우, 본 발명의 다양한 실시 예에 따른 전자 장치 100은 유저 입력 모듈 130에서 수신된 유저 입력을 통해 상기 인식되지 못한 객체들에 대해 추가적으로 인식할 수 있다. 나아가, 본 발명의 다양한 실시 예에 따른 전자 장치 100은, 상기 인식된 객체들이라 하더라도, 상기 유저 입력을 통해 좀 더 정확한 인식 결과를 얻을 수 있다.According to various embodiments of the present disclosure, the object recognition module 120 may recognize at least one object around a vehicle in which the electronic device 100 is mounted. The object may include, for example, a vehicle, a pedestrian, a lane, a drivable area, and an undriable area. The object recognition module 120 may recognize the objects using, for example, the electronic device 100 or various sensors (not shown; for example, UV sensors, proximity sensors, image sensors, gesture sensors, etc.) included in the vehicle. I can. However, the object recognition module 120 may not recognize all the objects located around the vehicle. In this case, the electronic device 100 according to various embodiments of the present disclosure may additionally recognize the unrecognized objects through the user input received by the user input module 130. Furthermore, the electronic device 100 according to various embodiments of the present disclosure may obtain a more accurate recognition result through the user input, even if the objects are recognized.

본 발명의 다양한 실시 예에 따르면, 유저 입력 모듈 130은 객체를 선택하는 유저 입력을 수신할 수 있다. 예를 들어, 유저 입력 모듈 130은 터치 스크린, AVN(audio video navigation), 및 조그 셔플 등 사용자가 상기 차량 전방을 바라보며 조작 가능한 다양한 장치를 통해 상기 유저 입력을 수신할 수 있다. 이하에서 유저 입력 모듈 130은 상기 터치 스크린을 통해 상기 유저 입력을 수신하는 것을 일 예로서 설명하겠다. 이 때, 상기 터치 스크린은, 예를 들어, 상기 차량의 전방 유리 전체 또는 상기 전방 유리의 적어도 일부에 부착된 것으로, HUD(head up display)로 볼 수 있다. According to various embodiments of the present disclosure, the user input module 130 may receive a user input for selecting an object. For example, the user input module 130 may receive the user input through various devices such as a touch screen, audio video navigation (AVN), and a jog shuffle that the user can manipulate while looking at the front of the vehicle. Hereinafter, the user input module 130 will be described as an example of receiving the user input through the touch screen. In this case, the touch screen, for example, is attached to the entire front glass of the vehicle or at least a part of the front glass, and can be viewed as a head up display (HUD).

본 발명의 다양한 실시 예에 따르면, 프로세서 140은 디스플레이 모듈 150로 하여금 상기 터치 스크린 위에, 객체 인식 모듈 120에서 인식된 상기 차량 주위의 객체에 인디케이터를 표시시킬 수 있다. 상기 인디케이터는 상기 인디케이터가 표시된 객체는 인식된 것임을 나타내는 것으로, 예를 들어, 상기 객체의 테두리를 진하게 표시하거나, 상기 객체에 대응하는 영역에 마스크를 씌우는 식으로 표시될 수 있다. 상기 인디케이터는 사용자에게 어떤 객체들이 인식되었고, 어떤 객체들이 인식되지 않은 상태인지를 인지할 수 있도록 할 수 있다. 따라서, 사용자는 전방에 보이는 차량, 및 차선 등에 인디케이터가 없는 경우(미인식 객체의 경우), 유저 입력 모듈 130을 통해 상기 미인식 객체를 선택할 수 있다. 다만, 사용자가 선택하는 객체는 상기 미인식 객체뿐만 아니라, 인식된 객체에 대한 정확성을 보완하기위해 상기 인식된 객체를 선택할 수도 있다.According to various embodiments of the present disclosure, the processor 140 may cause the display module 150 to display an indicator on the touch screen on the object around the vehicle recognized by the object recognition module 120. The indicator indicates that the object on which the indicator is displayed is recognized, and may be displayed, for example, by displaying a border of the object in a dark color or by putting a mask on an area corresponding to the object. The indicator may allow a user to recognize which objects are recognized and which objects are not recognized. Accordingly, when there is no indicator (in the case of an unrecognized object) such as a vehicle and a lane in front, the user may select the unrecognized object through the user input module 130. However, as the object selected by the user, not only the unrecognized object, but also the recognized object may be selected to supplement the accuracy of the recognized object.

프로세서 140은 미인식 객체가 있는 경우, 상기 미인식 객체가 있음을 알리는 취지의 알림 신호를 생성할 수 있다. 상기 생성된 알림 신호는 메시지의 형태로 상기 터치 스크린에 표시될 수 있고, 음성 또는 경고음 등으로 스피커를 통해 외부로 출력될 수도 있다. 따라서, 사용자는 상기 알림 신호를 받아 유저 입력 모듈 130을 통해 상기 미인식 객체를 선택할 수 있다.When there is an unrecognized object, the processor 140 may generate a notification signal indicating the presence of the unrecognized object. The generated notification signal may be displayed on the touch screen in the form of a message, or may be output to the outside through a speaker as a voice or a warning sound. Accordingly, the user may receive the notification signal and select the unrecognized object through the user input module 130.

이상에서, 사용자는 미인식 객체를 발견한 경우, 또는 알림 신호를 받은 경우에 한하여 유저 입력 모듈 130을 통해 객체를 선택하는 것처럼 설명되고 있으나, 본 발명의 다양한 실시 예에 따른 사용자는 객체 인식 모듈 120의 인식 결과와 무관하게 자발적으로 객체를 선택할 수 있다.In the above, it is described as if the user selects an object through the user input module 130 only when discovering an unrecognized object or receiving a notification signal, but according to various embodiments of the present disclosure, the user may select an object recognition module 120 You can select objects voluntarily regardless of the recognition result of.

프로세서 140은 객체 인식 모듈 120에서 인식된 상기 차량 주위의 객체와 유저 입력 모듈 130에서 수신된 상기 유저 입력을 통해 선택된 객체를 조합할 수 있다. 상기 조합 결과는 디스플레이 모듈 150을 통해 상기 터치 스크린 위에 상기 인디케이터 등으로 표시될 수 있다.The processor 140 may combine the object around the vehicle recognized by the object recognition module 120 and the object selected through the user input received by the user input module 130. The combination result may be displayed as the indicator or the like on the touch screen through the display module 150.

본 발명의 다양한 실시 예에 따르면, 주행 모드 설정 모듈 110은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시킬 수 있다. 다만, 상기 비율이 문턱값 이상인 경우라도, 사용자가 수동 주행이 가능한 상태인 경우가 아니라면, 상기 모드 전환은 자칫 위험할 수 있다. 따라서, 주행 모드 설정 모듈 110은 사용자가 수동 주행이 가능한 상태인 경우에 상기 모드 전환을 수행할 수 있다. 사용자가 수동 주행이 가능한 상태인지 여부에 대한 판단은 사용자 감지 모듈 160에서 수행될 수 있다. 상기 사용자의 상태를 판단하는 동작은, 예를 들어, 차량 내부에 사용자를 향하는 방향으로 위치한 이미지 센서 등을 통해 수행될 수 있다. According to various embodiments of the present disclosure, the driving mode setting module 110 may convert the autonomous driving mode to a manual driving mode when the ratio of an object that has failed to be recognized among at least one object around the vehicle is greater than or equal to a threshold. have. However, even when the ratio is greater than or equal to the threshold value, the mode switching may be dangerous unless the user is in a state in which manual driving is possible. Accordingly, the driving mode setting module 110 may perform the mode change when the user is in a state in which manual driving is possible. A determination as to whether the user is in a state in which manual driving is possible may be performed by the user detection module 160. The operation of determining the user's state may be performed through, for example, an image sensor located in the vehicle in a direction toward the user.

전자 장치 100에 포함된 주행 모드 설정 모듈 110, 객체 인식 모듈 120, 유저 입력 모듈 130, 프로세서 140, 디스플레이 모듈 150, 및 사용자 감지 모듈 160 각각은 분리되어 구현되는 것으로 설명되었으나, 본 발명의 다양한 실시 예에 따르면 상기 구성들은 적어도 둘 이상이 통합되어 구현될 수도 있다.
It has been described that each of the driving mode setting module 110, the object recognition module 120, the user input module 130, the processor 140, the display module 150, and the user detection module 160 included in the electronic device 100 are implemented separately, but various embodiments of the present invention According to the above configurations, at least two or more may be integrated and implemented.

도 2는 본 발명의 다양한 실시 예에 따른, 미인식 객체를 유저 입력을 통해 인식하는 동작을 나타낸 도면이다. 2 is a diagram illustrating an operation of recognizing an unrecognized object through a user input according to various embodiments of the present disclosure.

동작 (a)는 차량의 전면 유리를 통해 볼 수 있는, 차량 또는 차선 등의 다양한 객체가 위치한 도로를 나타낸 것일 수 있다. 상기 차량의 전면 유리의 적어도 일부에는 터치 스크린 200이 부착되어 있을 수 있고, 터치 스크린 200은 사용자의 손가락 등으로부터 유저 입력을 수신할 수 있다. Operation (a) may represent a road on which various objects such as a vehicle or a lane are located, which can be viewed through the windshield of the vehicle. A touch screen 200 may be attached to at least a portion of the windshield of the vehicle, and the touch screen 200 may receive a user input from a user's finger or the like.

동작 (b)는 상기 도로에 위치한 객체들에 대한 객체 인식을 통해, 인식에 성공한 객체들에 대응하여 터치 스크린 200 위에 인디케이터를 표시한 상태를 나타낸 것일 수 있다. 예를 들어, 상기 도로에 위치한 객체들 중 인식에 성공한 차량 210 및 차선 220에는 마스크 형식의 인디케이터가 표시되어 있다. 반면에, 상기 도로에 위치한 객체들 중 인식에 실패한 차량 215 및 차선 225에는 아무런 인디케이터가 표시되어있지 않음을 알 수 있다.Operation (b) may represent a state in which an indicator is displayed on the touch screen 200 in response to objects that have been successfully recognized through object recognition of objects located on the road. For example, among objects located on the road, the vehicle 210 and the lane 220 that have successfully recognized are displayed indicators in the form of a mask. On the other hand, it can be seen that no indicator is displayed on the vehicle 215 and the lane 225 that failed to recognize among the objects located on the road.

동작 (c)는 사용자가 인식에 실패한 차량 215을 인식시키는 동작을 나타낸 것일 수 있다. 터치 스크린 200은 객체의 종류를 선택할 수 있는 선택 영역 230을 표시할 수 있다. 우선 사용자는 선택 영역 230에서 차량에 대응하는 아이콘을 클릭할 수 있다. 이후 사용자는 차량 215의 후면의 각진 4개의 꼭지점 중 상단에 위치한 꼭지점 하나와 하단에 위치한 꼭지점 하나를 각각 터치하거나 드래그함으로써, 차량 215를 인식시킬 수 있다.Operation (c) may represent an operation for the user to recognize the vehicle 215 for which the recognition has failed. The touch screen 200 may display a selection area 230 for selecting an object type. First, the user may click an icon corresponding to the vehicle in the selection area 230. Thereafter, the user may recognize the vehicle 215 by touching or dragging one of the four angular vertices at the rear of the vehicle 215, one at the top and one at the bottom, respectively.

동작 (d)는 사용자가 인식에 실패한 차선 225을 인식시키는 동작을 나타낸 것일 수 있다. 우선 사용자는 선택 영역 230에서 차선에 대응하는 아이콘을 클릭할 수 있다. 이후 사용자는 차선 225를 드래그함으로써, 차선 225를 인식시킬 수 있다.Operation (d) may represent an operation in which the user recognizes the lane 225 in which the recognition has failed. First, the user may click an icon corresponding to the lane in the selection area 230. Thereafter, the user can recognize the lane 225 by dragging the lane 225.

도 2에는 도시되지 않았지만, 동작 (c) 및 동작 (d)에서 인식된 차량 215 및 차선 225에는 인디케이터가 표시될 수 있다.Although not shown in FIG. 2, an indicator may be displayed on the vehicle 215 and the lane 225 recognized in operations (c) and (d).

본 발명의 다양한 실시 예에 따르면, 선택 영역 230은 별도로 표시되지 않을 수 있고, 이 경우, 전자 장치 100은 터치 다운과 터치 드래그를 구별하여 미인식 차량을 인식시키는 것인지, 또는 미인식 차선을 인식시키는 것인지 판단할 수 있다.
According to various embodiments of the present disclosure, the selection area 230 may not be separately displayed. In this case, the electronic device 100 recognizes an unrecognized vehicle by distinguishing between a touch down and a touch drag, or recognizes an unrecognized lane. You can determine whether it is.

도 3은 본 발명의 다양한 실시 예에 따른, 미인식 차량을 인식하는 동작을 나타낸 도면이다. 도 3의 동작 (a) 및 동작 (b)는 도 2의 동작 (c)와 적어도 일부 대응될 수 있다.3 is a diagram illustrating an operation of recognizing an unrecognized vehicle according to various embodiments of the present disclosure. Operations (a) and (b) of FIG. 3 may correspond at least in part to operation (c) of FIG. 2.

동작 (a)에서 사용자는 차량의 후면의 꼭지점 4개 중 하단에 있는 어느 하나의 꼭지점 310을 선택할 수 있다. 전자 장치 100은 꼭지점 310의 선택으로부터 상기 차량과의 거리 D를 계산할 수 있다.In operation (a), the user may select any one vertex 310 at the bottom of the four vertices at the rear of the vehicle. The electronic device 100 may calculate the distance D to the vehicle from the selection of the vertex 310.

동작 (b)에서 사용자는 차량의 후면의 꼭지점 4개 중 상단에 있는 어느 하나의 꼭지점 320을 선택할 수 있다. 전자 장치 100은 꼭지점 320의 선택으로부터 상기 차량의 높이 H를 계산할 수 있다.In operation (b), the user may select any one vertex 320 at the top of the four vertices at the rear of the vehicle. The electronic device 100 may calculate the height H of the vehicle from the selection of the vertex 320.

동작 (a) 및 동작 (b)를 통해, 전자 장치 100은 미인식 차량을 인식시킬 수 있다.
Through operations (a) and (b), the electronic device 100 may recognize an unrecognized vehicle.

도 4는 본 발명의 다양한 실시 예에 따른, 미인식 차선 또는 도로 경계선을 인식하는 동작을 나타낸 도면이다. 4 is a diagram illustrating an operation of recognizing an unrecognized lane or road boundary according to various embodiments of the present disclosure.

도면 (a)에서 사용자는 미인식 차선의 한쪽 끝 410에서 다른쪽 끝 420까지 드래그를 함으로써, 전자 장치 100에게 미인식 차선을 인식시킬 수 있다.In the drawing (a), the user may cause the electronic device 100 to recognize the unrecognized lane by dragging from one end 410 to the other end 420 of the unrecognized lane.

이와 유사하게, 도면 (b)에서 사용자는 도로와 도로가 아닌 영역 간의 미인식 도로 경계선의 한쪽 끝 430에서 다른쪽 끝 440까지 드래그를 함으로써, 전자 장치 100에게 미인식 도로 경계선을 인식시킬 수 있다.Similarly, in the drawing (b), the user may cause the electronic device 100 to recognize the unrecognized road boundary line by dragging from one end 430 to the other end 440 of the unrecognized road boundary line between the road and the non-road area.

도면 (a) 또는 도면 (b)를 통해, 전자 장치 100은 유저 입력이 직선인지 곡선인지 여부를 판단하여 상기 판단 결과를 반영할 수 있다.
Through the drawings (a) or (b), the electronic device 100 may determine whether the user input is a straight line or a curve, and reflect the determination result.

도 5는 본 발명의 다양한 실시 예에 따른, 미인식 주행 불가능 영역을 인식하는 동작을 나타낸 도면이다. 도 5의 동작은 도 4의 동작과 적어도 일부 대응할 수 있다.5 is a diagram illustrating an operation of recognizing an unrecognized driving impossible area according to various embodiments of the present disclosure. The operation of FIG. 5 may at least partially correspond to the operation of FIG. 4.

도면 (a) 또는 도면 (b)에서 공사중 등의 이유로 주행 불가능한 영역을 전자 장치 100에게 인식시키기 위해, 사용자는 진입 장애물 등과 도로와의 경계선을 드래그할 수 있다. 도면 (a)의 경우는 위치 510에서 위치 520으로, 도면 (b)의 경우는 위치 530에서 위치 540으로 드래그될 수 있다. 각각의 경우, 전자 장치 100은 위치 510 및 위치 530에 기초하여 주행 불가능한 영역을 인식할 수 있다.
In the drawings (a) or (b), in order to allow the electronic device 100 to recognize an area that cannot be driven for reasons such as under construction, the user may drag an entry obstacle or the like on a boundary line between the road. In the case of FIG. (a), it may be dragged from a position 510 to a position 520, and in the case of FIG. In each case, the electronic device 100 may recognize an undriable area based on the location 510 and the location 530.

도 6은 본 발명의 다양한 실시 예에 따른, 차량의 자율 주행에 있어서 객체 인식률을 보완하는 방법을 나타낸 순서도이다.6 is a flowchart illustrating a method of supplementing an object recognition rate in autonomous driving of a vehicle according to various embodiments of the present disclosure.

동작 610에서 전자 장치 100은 자율 주행 모드를 수행할 수 있다.In operation 610, the electronic device 100 may perform an autonomous driving mode.

동작 620에서 전자 장치 100은 차량 주변의 다른 차량 또는 차선 등의 객체를 인식할 수 있다. 상기 객체가 제대로 인식된 경우 동작 620은 동작 610으로 진행될 수 있다. 이와는 달리, 상기 객체가 제대로 인식되지 않은 경우 동작 620은 동작 630으로 진행될 수 있다.In operation 620, the electronic device 100 may recognize an object such as another vehicle or lane around the vehicle. When the object is properly recognized, operation 620 may proceed to operation 610. In contrast, when the object is not properly recognized, operation 620 may proceed to operation 630.

동작 630에서 전자 장치 100은 상기 객체가 부분적으로 인식되지 않은 것인 것 또는 전부 인식되지 않은 것인지 판단할 수 있다. 상기 객체가 전부 인식되지 않은 경우 동작 630은 동작 640으로 진행될 수 있다. 이와는 달리, 상기 객체가 부분적으로 인식되지 않은 경우 동작 630은 동작 650으로 진행될 수 있다.In operation 630, the electronic device 100 may determine whether the object has not been partially recognized or has not been fully recognized. If all of the objects are not recognized, operation 630 may proceed to operation 640. In contrast, when the object is not partially recognized, operation 630 may proceed to operation 650.

동작 640에서 전자 장치 100은 자율 주행 모드를 종료하고 수동 주행 모드로 전환할 수 있다. In operation 640, the electronic device 100 may terminate the autonomous driving mode and switch to the manual driving mode.

동작 650에서 전자 장치 100은 사용자에게 유저 입력을 요청할 수 있다. 예를 들어, 전자 장치 100는 미인식 객체가 있음을 알리는 알림 신호를 메시지 형태로 터치 스크린에 디스플레이하거나, 경고음 또는 안내 음성 등으로 출력할 수 있다.In operation 650, the electronic device 100 may request a user input from the user. For example, the electronic device 100 may display a notification signal indicating that there is an unrecognized object on the touch screen in the form of a message, or may output a warning sound or a guide voice.

동작 660에서 전자 장치 100은 동작 650에 기초하여 유저 입력이 있는지 판단할 수 있다. 만일, 유저 입력이 일정 시간 동안 없는 경우, 동작 660은 동작 640으로 진행되어 자율 주행 모드가 종료될 수 있다. 이와는 달리, 유저 입력이 있는 경우, 동작 660은 동작 680으로 진행될 수 있다.In operation 660, the electronic device 100 may determine whether there is a user input based on operation 650. If there is no user input for a predetermined period of time, operation 660 proceeds to operation 640 and the autonomous driving mode may be terminated. In contrast, when there is a user input, operation 660 may proceed to operation 680.

동작 670에서 전자 장치 100은 동작 620에서 인식된 객체와 동작 660에서 유저 입력을 통해 인식된 객체를 조합할 수 있다. 상기 조합 결과는 터치 스크린을 통해 표시될 수 있다.In operation 670, the electronic device 100 may combine the object recognized in operation 620 with the object recognized through a user input in operation 660. The combination result may be displayed through a touch screen.

동작 620에서 전자 장치 100이 자동적으로 차량 주변 객체를 인식하는 동작과는 별개로 동작 680에서 전자 장치 100은 객체를 선택하는 유저 입력을 수신할 수 있다. 상기 유저 입력이 있는 경우 동작 680은 동작 670으로 진행하여, 전자 장치 100은 동작 620에서 인식된 객체와 동작 680에서 유저 입력을 통해 인식된 객체를 조합할 수 있다.
In operation 680, apart from an operation in which the electronic device 100 automatically recognizes an object around the vehicle in operation 620, the electronic device 100 may receive a user input for selecting an object. When there is the user input, operation 680 proceeds to operation 670, and the electronic device 100 may combine the object recognized in operation 620 and the object recognized through user input in operation 680.

그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.In addition, the embodiments of the present invention in the present specification and drawings are provided only to provide specific examples to easily explain the technical content of the present invention and to aid in understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments of the present invention to be included in the scope of the present invention.

100: 전자 장치 110: 주행 모드 설정 모듈
120: 객체 인식 모듈 130: 유저 입력 모듈
140: 프로세서 150: 디스플레이 모듈
160: 사용자 감지 모듈 170: 메모리100: electronic device 110: driving mode setting module
120: object recognition module 130: user input module
140: processor 150: display module
160: user detection module 170: memory

Claims

A driving mode setting module performing an autonomous driving mode;
An object recognition module that automatically recognizes at least one object around the vehicle;
A user input module for receiving a user input for selecting an object;
A processor that combines the recognized at least one object and an object selected based on the user input; And
Includes; a display module for displaying the combination result on the screen,
The object includes at least one of a vehicle, a pedestrian, a lane, a drivable area, and an undriable area,
When the vehicle is unrecognized, among the vertices of the rear of the unrecognized vehicle, a vertex at the top and a vertex at the bottom are selected by the user, respectively, and the distance to the unrecognized vehicle and the unrecognized Electronic device, characterized in that to recognize the height of the vehicle.

delete

The method according to claim 1,
The display module,
Displaying an indicator for the automatically recognized object on the screen.

The method of claim 3,
The processor,
The electronic device comprising requesting the user input from a user for an object whose recognition has failed among at least one or more objects around the vehicle.

The method according to claim 1,
The driving mode setting module,
The electronic device of claim 1, wherein when the ratio of objects that have failed to be recognized among at least one or more objects around the vehicle is greater than or equal to a threshold, the autonomous driving mode is switched to a manual driving mode.

The method of claim 5,
A user detection module that detects whether the user is in a state in which manual driving is possible; further comprising,
The driving mode setting module,
And determining whether to switch the driving mode based on the detection result.

The method according to claim 1,
The user input module,
The electronic device, wherein the user input is received through a touch screen corresponding to the screen, an audio video navigation (AVN) device, and a jog shuttle.

Performing an autonomous driving mode;
Automatically recognizing at least one or more objects around the vehicle;
Receiving a user input for selecting an object;
Combining the recognized at least one object and an object selected based on the user input; And
Including; displaying the result of the combination on a screen
The object includes at least one of a vehicle, a pedestrian, a lane, a drivable area, and an undriable area,
The operation of combining the selected objects,
When the vehicle is unrecognized, among the vertices of the rear of the unrecognized vehicle, a vertex at the top and a vertex at the bottom are selected by the user, respectively, and the distance to the unrecognized vehicle and the unrecognized Autonomous driving method, characterized in that recognizing the height of the vehicle.

The method of claim 8,
The method further comprising: displaying an indicator for the automatically recognized object on the screen.

The method of claim 9,
The method further comprising: requesting the user input from a user with respect to an object whose recognition has failed among at least one object around the vehicle.

The method of claim 8,
The method further comprising: switching the autonomous driving mode to a manual driving mode when the ratio of the objects that have failed to be recognized among at least one or more objects around the vehicle is greater than or equal to a threshold.

The method of claim 11,
The operation of detecting whether the user is in a state in which manual driving is possible; further comprising,
The driving mode switching operation,
It is performed on the basis of the detection result, the method.