KR20160071875A

KR20160071875A - Device and Method for Self Driving of Vehicle

Info

Publication number: KR20160071875A
Application number: KR1020140179606A
Authority: KR
Inventors: 유병용
Original assignee: 현대자동차주식회사
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2016-06-22
Also published as: KR102164635B1

Abstract

The present invention relates to an electronic device and a method. According to the present invention, an electronic device may comprise: a driving mode setting module performing a self-driving mode; an object recognition module automatically recognizing at least one object around a vehicle; a user input module receiving a user input to select an object; a processor combining the selected object based on at least one object which is recognized and the user input; and a display module displaying the combination result on a screen. Moreover, another embodiment can be applied.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an electronic device and a method for autonomous driving of a vehicle,

본 발명의 다양한 실시 예는 차량의 자율 주행을 위한 전자 장치 및 방법에 관한 것으로, 보다 상세하게는 상기 차량 주위의 일부 다른 차량 또는 차선 등의 객체에 대해 자동으로 인식하지 못하는 경우, 전자 장치가 인식 못한 상기 객체를 인식할 수 있도록 하는 전자 장치 및 방법에 관한 것이다.Various embodiments of the present invention relate to an electronic device and method for autonomous driving of a vehicle and more particularly to a method and apparatus for automatically recognizing an electronic device, And more particularly, to an electronic apparatus and method capable of recognizing an object that can not be recognized.

사회가 발전하고 도시화되면서, 생활 수준이 향상됨에 따라 차량 수가 매년 급속도로 증가하고 있음에 따라 대도시는 물론 중소지방도시까지 극심한 교통체증 현상이 발생하고 있는 추세이다. 교통이 혼잡한 도로에서, 교통 신호를 준수하며 앞차와의 충돌을 방지하기 위해 차간 거리를 조절하는 등, 잦은 속도 조절을 위한 브레이크 페달과 가속 페달의 반복적인 이용으로 운전자는 금방 피로감을 느끼게 된다. As society develops and becomes urbanized, the number of vehicles increases rapidly as the level of living improves. Therefore, there is a tendency for severe traffic congestion not only in big cities but also in small and medium sized cities. Repeated use of the brake pedal and accelerator pedal for frequent speed control, such as adjusting the inter-vehicle distance in order to observe traffic signals on roads with heavy traffic and prevent collision with the front cars, will cause the driver to feel fatigue immediately.

이러한 운전자의 편의를 위해 자율 주행 시스템이 도입되어 시험단계에 있으며, 향후 이용될 것을 예상해볼 수 있다. 상기 자율 주행 시스템은 도로 주행뿐만 아니라, 주차 등에도 다양하게 이용될 수 있다. For the convenience of the driver, an autonomous drive system has been introduced and is in the test phase and can be expected to be used in the future. The autonomous travel system can be used not only for driving on the road but also for parking.

본 발명의 다양한 실시 예들은 차량의 자율 주행 시, 다른 차량, 차선 및 보행자 등의 객체를 인식하는 정확성을 높이기 위해, 운전자로부터 수신되는 유저 입력을 통해 객체의 인식을 보완하는 전자 장치 및 방법을 제공하는 것이다. Various embodiments of the present invention provide an electronic device and method for supplementing the recognition of an object through a user input received from a driver in order to increase the accuracy of recognizing objects such as other vehicles, lanes, and pedestrians during autonomous driving of the vehicle .

본 발명의 일 실시 예에 따른 전자 장치는 자율 주행 모드를 수행하는 주행 모드 설정 모듈; 차량 주위의 적어도 하나 이상의 객체를 자동으로 인식하는 객체 인식 모듈; 객체를 선택하는 유저 입력을 수신하는 유저 입력 모듈; 상기 인식된 적어도 하나 이상의 객체 및 상기 유저 입력에 기초하여 선택된 객체를 조합하는 프로세서; 및 상기 조합 결과를 스크린에 표시하는 디스플레이 모듈;을 포함할 수 있다.An electronic device according to an embodiment of the present invention includes a running mode setting module for performing an autonomous running mode; An object recognition module for automatically recognizing at least one object around the vehicle; A user input module for receiving a user input for selecting an object; A processor for combining the recognized at least one object and an object selected based on the user input; And a display module for displaying the combination result on a screen.

또한, 상기 객체는 차량, 보행자, 차선, 주행 가능 영역, 및 주행 불가능 영역을 포함할 수 있다. In addition, the object may include a vehicle, a pedestrian, a lane, a travelable area, and a non-travelable area.

또한, 상기 디스플레이 모듈은, 상기 자동으로 인식된 객체에 대한 인디케이터를 상기 스크린에 표시하는 것일 수 있다.In addition, the display module may display an indicator for the automatically recognized object on the screen.

또한, 상기 프로세서는, 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체에 대하여, 사용자에게 상기 유저 입력을 요청하는 것일 수 있다.In addition, the processor may be to request the user for the user input for at least one object among the at least one object around the vehicle that has failed to be recognized.

또한, 상기 주행 모드 설정 모듈은, 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시키는 것일 수 있다.The traveling mode setting module may be configured to switch the autonomous traveling mode to the manual traveling mode when the ratio of the objects that failed recognition among at least one object around the vehicle is equal to or greater than a threshold value.

또한, 상기 전자 장치는 사용자가 수동 주행이 가능한 상태인지 여부를 감지하는 사용자 감지 모듈;을 더 포함할 수 있고, 이 경우, 상기 주행 모드 설정 모듈은, 상기 감지 결과에 기초하여 상기 주행 모드의 전환 여부를 결정하는 것일 수 있다.The electronic device may further include a user detection module for detecting whether the user is in a state in which the vehicle can be manually driven. In this case, the traveling mode setting module may switch the traveling mode Or not.

또한, 상기 유저 입력 모듈은, 상기 스크린에 대응하는 터치 스크린, AVN, 및 조그 셔플을 통해 상기 유저 입력을 수신하는 것일 수 있다.The user input module may also be receiving the user input via a touch screen, AVN, and jog shuffle corresponding to the screen.

아울러, 본 발명의 일 실시 예에 따른 자율 주행 방법은 자율 주행 모드를 수행하는 동작; 차량 주위의 적어도 하나 이상의 객체를 자동으로 인식하는 동작; 객체를 선택하는 유저 입력을 수신하는 동작; 상기 인식된 적어도 하나 이상의 객체 및 상기 유저 입력에 기초하여 선택된 객체를 조합하는 동작; 및 상기 조합 결과를 스크린에 표시하는 동작;을 포함할 수 있다. According to another aspect of the present invention, there is provided an autonomous moving method comprising: performing an autonomous mode; Automatically recognizing at least one object around the vehicle; Receiving a user input for selecting an object; Combining the recognized at least one object and an object selected based on the user input; And displaying the combination result on a screen.

또한, 상기 자율 주행 방법은 상기 자동으로 인식된 객체에 대한 인디케이터를 상기 스크린에 표시하는 동작;을 더 포함할 수 있다.The autonomous driving method may further include displaying an indicator for the automatically recognized object on the screen.

또한, 상기 자율 주행 방법은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체에 대하여, 사용자에게 상기 유저 입력을 요청하는 동작;을 더 포함할 수 있다.The autonomous driving method may further include: requesting the user for the user input for at least one object among the at least one object around the vehicle that has failed to be recognized.

또한, 상기 자율 주행 방법은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시키는 동작;을 더 포함할 수 있다.The autonomous driving method may further include switching the autonomous driving mode to a passive driving mode when the ratio of the at least one object among the at least one object around the vehicle is not less than a threshold value.

또한, 상기 자율 주행 방법은 사용자가 수동 주행이 가능한 상태인지 여부를 감지하는 동작;을 더 포함할 수 있고, 이 경우, 상기 주행 모드 전환 동작은, 상기 감지 결과에 기초하여 수행될 수 있다. The autonomous driving method may further include detecting whether the user is in a state in which the vehicle can be manually driven. In this case, the traveling mode switching operation may be performed based on the sensing result.

상술한 바와 같이 본 발명은 차량의 자율 주행을 위한 전자 장치 및 방법에 관한 것으로, 다른 차량, 차선 및 보행자 등의 객체를 인식하는 정확성을 보완함으로써 운전자의 안전을 담보할 수 있고, 운전자가 수동 주행을 하지 않아도 되도록 사용자 편의에 이바지할 수 있다. As described above, the present invention relates to an electronic device and a method for autonomous driving of a vehicle, which can guarantee the safety of a driver by supplementing accuracy of recognizing objects such as other vehicles, lanes and pedestrians, So that it is possible to contribute to the user's convenience.

도 1은 본 발명의 다양한 실시 예에 따른, 전자 장치의 블록도이다.
도 2는 본 발명의 다양한 실시 예에 따른, 미인식 객체를 유저 입력을 통해 인식하는 동작을 나타낸 도면이다.
도 3은 본 발명의 다양한 실시 예에 따른, 미인식 차량을 인식하는 동작을 나타낸 도면이다.
도 4는 본 발명의 다양한 실시 예에 따른, 미인식 차선 또는 도로 경계선을 인식하는 동작을 나타낸 도면이다.
도 5는 본 발명의 다양한 실시 예에 따른, 미인식 주행 불가능 영역을 인식하는 동작을 나타낸 도면이다.
도 6은 본 발명의 다양한 실시 예에 따른, 차량의 자율 주행에 있어서 객체 인식률을 보완하는 방법을 나타낸 순서도이다.1 is a block diagram of an electronic device, in accordance with various embodiments of the present invention.
2 is a diagram illustrating an operation for recognizing an unrecognized object through a user input, according to various embodiments of the present invention.
3 is a diagram illustrating an operation for recognizing an unrecognized vehicle according to various embodiments of the present invention.
4 is a diagram illustrating an operation for recognizing unrecognized lanes or road boundaries according to various embodiments of the present invention.
5 is a diagram illustrating an operation for recognizing an unrecognizable non-travelable area according to various embodiments of the present invention.
6 is a flowchart illustrating a method of supplementing an object recognition rate in an autonomous vehicle running according to various embodiments of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
Best Mode for Carrying Out the Invention Various embodiments of the present invention will be described below with reference to the accompanying drawings. The various embodiments of the present invention are capable of various changes and may have various embodiments, and specific embodiments are illustrated in the drawings and the detailed description is described with reference to the drawings. It should be understood, however, that it is not intended to limit the various embodiments of the invention to the specific embodiments, but includes all changes and / or equivalents and alternatives falling within the spirit and scope of the various embodiments of the invention. In connection with the description of the drawings, like reference numerals have been used for like elements.

도 1은 본 발명의 다양한 실시 예에 따른, 전자 장치 100의 블록도이다. 전자 장치 100은 차량의 적어도 일부에 장착되는 것일 수 있다. 도 1을 참조하면, 전자 장치 100은 주행 모드 설정 모듈 110, 객체 인식 모듈 120, 유저 입력 모듈 130, 프로세서 140, 디스플레이 모듈 150, 및 사용자 감지 모듈 160을 포함할 수 있다. 이하에서 언급되는 사용자, 또는 유저 등은 상기 차량의 운전자를 지칭하는 것일 수 있다.1 is a block diagram of an electronic device 100, in accordance with various embodiments of the present invention. The electronic device 100 may be mounted to at least a portion of the vehicle. Referring to FIG. 1, the electronic device 100 may include a driving mode setting module 110, an object recognition module 120, a user input module 130, a processor 140, a display module 150, and a user sensing module 160. The user, or the user, etc. mentioned below may refer to the driver of the vehicle.

본 발명의 다양한 실시 예에 따르면, 주행 모드 설정 모듈 110은 차량이 상기 전자 장치 100을 통해 자율적으로 주행되는 자율 주행 모드 또는 사용자의 제어에 의해 주행되는 수동 주행 모드 중 어느 하나를 선택할 수 있다. 이하에서, 상기 차량은 자율 주행 모드 중임을 일 예로서 설명하겠다.According to various embodiments of the present invention, the driving mode setting module 110 can select either the autonomous driving mode in which the vehicle is autonomously driven via the electronic device 100 or the manual driving mode in which the vehicle is driven under the control of the user. Hereinafter, it will be described that the vehicle is in the autonomous mode.

본 발명의 다양한 실시 예에 따르면, 객체 인식 모듈 120은 전자 장치 100이 장착된 차량 주위에 있는 적어도 하나 이상의 객체를 인식할 수 있다. 상기 객체는, 예를 들어, 차량, 보행자, 차선, 주행 가능 영역, 및 주행 불가능 영역 등을 포함할 수 있다. 객체 인식 모듈 120은, 예를 들어, 전자 장치 100 또는 상기 차량에 포함된 다양한 센서(미도시; 예를 들어, UV 센서, 근접 센서, 이미지 센서, 제스처 센서 등)를 이용하여 상기 객체들을 인식할 수 있다. 다만, 객체 인식 모듈 120은 차량 주위에 위치한 상기 객체들을 모두 인식하지 못할 수 있다. 이 경우, 본 발명의 다양한 실시 예에 따른 전자 장치 100은 유저 입력 모듈 130에서 수신된 유저 입력을 통해 상기 인식되지 못한 객체들에 대해 추가적으로 인식할 수 있다. 나아가, 본 발명의 다양한 실시 예에 따른 전자 장치 100은, 상기 인식된 객체들이라 하더라도, 상기 유저 입력을 통해 좀 더 정확한 인식 결과를 얻을 수 있다.According to various embodiments of the present invention, the object recognition module 120 may recognize at least one object around the vehicle on which the electronic device 100 is mounted. The object may include, for example, a vehicle, a pedestrian, a lane, a travelable area, and a non-travelable area. The object recognition module 120 recognizes the objects using, for example, the electronic device 100 or various sensors (not shown) such as a UV sensor, a proximity sensor, an image sensor, a gesture sensor, etc. included in the vehicle . However, the object recognition module 120 may not recognize all the objects located around the vehicle. In this case, the electronic device 100 according to various embodiments of the present invention may additionally recognize the unrecognized objects through the user input received at the user input module 130. [ Furthermore, the electronic device 100 according to various embodiments of the present invention can obtain a more accurate recognition result through the user input even though the recognized objects are the objects.

본 발명의 다양한 실시 예에 따르면, 유저 입력 모듈 130은 객체를 선택하는 유저 입력을 수신할 수 있다. 예를 들어, 유저 입력 모듈 130은 터치 스크린, AVN(audio video navigation), 및 조그 셔플 등 사용자가 상기 차량 전방을 바라보며 조작 가능한 다양한 장치를 통해 상기 유저 입력을 수신할 수 있다. 이하에서 유저 입력 모듈 130은 상기 터치 스크린을 통해 상기 유저 입력을 수신하는 것을 일 예로서 설명하겠다. 이 때, 상기 터치 스크린은, 예를 들어, 상기 차량의 전방 유리 전체 또는 상기 전방 유리의 적어도 일부에 부착된 것으로, HUD(head up display)로 볼 수 있다. According to various embodiments of the present invention, the user input module 130 may receive a user input for selecting an object. For example, the user input module 130 may receive the user input through a variety of devices, such as a touch screen, audio video navigation (AVN), and jog shuffle, which the user can manipulate in front of the vehicle. Hereinafter, the user input module 130 receives the user input through the touch screen as an example. At this time, the touch screen is attached to at least a part of the front glass of the vehicle or the front glass, for example, and can be regarded as a head up display (HUD).

본 발명의 다양한 실시 예에 따르면, 프로세서 140은 디스플레이 모듈 150로 하여금 상기 터치 스크린 위에, 객체 인식 모듈 120에서 인식된 상기 차량 주위의 객체에 인디케이터를 표시시킬 수 있다. 상기 인디케이터는 상기 인디케이터가 표시된 객체는 인식된 것임을 나타내는 것으로, 예를 들어, 상기 객체의 테두리를 진하게 표시하거나, 상기 객체에 대응하는 영역에 마스크를 씌우는 식으로 표시될 수 있다. 상기 인디케이터는 사용자에게 어떤 객체들이 인식되었고, 어떤 객체들이 인식되지 않은 상태인지를 인지할 수 있도록 할 수 있다. 따라서, 사용자는 전방에 보이는 차량, 및 차선 등에 인디케이터가 없는 경우(미인식 객체의 경우), 유저 입력 모듈 130을 통해 상기 미인식 객체를 선택할 수 있다. 다만, 사용자가 선택하는 객체는 상기 미인식 객체뿐만 아니라, 인식된 객체에 대한 정확성을 보완하기위해 상기 인식된 객체를 선택할 수도 있다.According to various embodiments of the present invention, the processor 140 may cause the display module 150 to display an indicator on an object around the vehicle recognized on the object recognition module 120, on the touch screen. The indicator indicates that the object displayed with the indicator is recognized. For example, the indicator may be displayed in a dark manner or may be displayed by masking an area corresponding to the object. The indicator may allow the user to recognize which objects are recognized and which objects are unrecognized. Accordingly, the user can select the unrecognized object through the user input module 130 when there is no indicator on the vehicle, lane or the like visible in front (in the case of an unrecognized object). However, the object selected by the user may select not only the unrecognized object but also the recognized object to supplement the accuracy of the recognized object.

프로세서 140은 미인식 객체가 있는 경우, 상기 미인식 객체가 있음을 알리는 취지의 알림 신호를 생성할 수 있다. 상기 생성된 알림 신호는 메시지의 형태로 상기 터치 스크린에 표시될 수 있고, 음성 또는 경고음 등으로 스피커를 통해 외부로 출력될 수도 있다. 따라서, 사용자는 상기 알림 신호를 받아 유저 입력 모듈 130을 통해 상기 미인식 객체를 선택할 수 있다.The processor 140 may generate a notification signal indicating that the unrecognized object exists if the unrecognized object exists. The generated notification signal may be displayed on the touch screen in the form of a message, or may be output to the outside through a speaker using a sound, a warning sound, or the like. Accordingly, the user can receive the notification signal and select the unrecognized object through the user input module 130.

이상에서, 사용자는 미인식 객체를 발견한 경우, 또는 알림 신호를 받은 경우에 한하여 유저 입력 모듈 130을 통해 객체를 선택하는 것처럼 설명되고 있으나, 본 발명의 다양한 실시 예에 따른 사용자는 객체 인식 모듈 120의 인식 결과와 무관하게 자발적으로 객체를 선택할 수 있다.In the above description, the user selects the object through the user input module 130 only when it detects the unrecognized object or when the notification signal is received. However, the user according to various embodiments of the present invention may recognize the object recognition module 120 The object can be selected voluntarily regardless of the recognition result of the object.

프로세서 140은 객체 인식 모듈 120에서 인식된 상기 차량 주위의 객체와 유저 입력 모듈 130에서 수신된 상기 유저 입력을 통해 선택된 객체를 조합할 수 있다. 상기 조합 결과는 디스플레이 모듈 150을 통해 상기 터치 스크린 위에 상기 인디케이터 등으로 표시될 수 있다.The processor 140 may combine the object around the vehicle recognized by the object recognition module 120 with the object selected through the user input received from the user input module 130. The result of the combination may be displayed on the touch screen by the indicator or the like through the display module 150.

본 발명의 다양한 실시 예에 따르면, 주행 모드 설정 모듈 110은 상기 차량 주위의 적어도 하나 이상의 객체 중 인식 실패한 객체의 비율이 문턱값(threshold) 이상인 경우, 상기 자율 주행 모드를 수동 주행 모드로 전환시킬 수 있다. 다만, 상기 비율이 문턱값 이상인 경우라도, 사용자가 수동 주행이 가능한 상태인 경우가 아니라면, 상기 모드 전환은 자칫 위험할 수 있다. 따라서, 주행 모드 설정 모듈 110은 사용자가 수동 주행이 가능한 상태인 경우에 상기 모드 전환을 수행할 수 있다. 사용자가 수동 주행이 가능한 상태인지 여부에 대한 판단은 사용자 감지 모듈 160에서 수행될 수 있다. 상기 사용자의 상태를 판단하는 동작은, 예를 들어, 차량 내부에 사용자를 향하는 방향으로 위치한 이미지 센서 등을 통해 수행될 수 있다. According to various embodiments of the present invention, the driving mode setting module 110 may switch the autonomous driving mode to the manual driving mode when the ratio of the objects failing recognition among the at least one object around the vehicle is equal to or greater than a threshold value have. However, even if the ratio is equal to or greater than the threshold value, the mode switching may be dangerous unless the user is in a state in which the vehicle can be manually driven. Therefore, the traveling mode setting module 110 can perform the mode switching when the user is in a state in which manual traveling is possible. The determination as to whether or not the user is in a state in which manual driving is possible may be performed in the user detection module 160. [ The operation of determining the state of the user may be performed through an image sensor or the like positioned in a direction toward the user inside the vehicle, for example.

전자 장치 100에 포함된 주행 모드 설정 모듈 110, 객체 인식 모듈 120, 유저 입력 모듈 130, 프로세서 140, 디스플레이 모듈 150, 및 사용자 감지 모듈 160 각각은 분리되어 구현되는 것으로 설명되었으나, 본 발명의 다양한 실시 예에 따르면 상기 구성들은 적어도 둘 이상이 통합되어 구현될 수도 있다.
Although the driving mode setting module 110, the object recognition module 120, the user input module 130, the processor 140, the display module 150, and the user sensing module 160 included in the electronic device 100 are described as being separately implemented, At least two of the configurations may be integrated.

도 2는 본 발명의 다양한 실시 예에 따른, 미인식 객체를 유저 입력을 통해 인식하는 동작을 나타낸 도면이다. 2 is a diagram illustrating an operation for recognizing an unrecognized object through a user input, according to various embodiments of the present invention.

동작 (a)는 차량의 전면 유리를 통해 볼 수 있는, 차량 또는 차선 등의 다양한 객체가 위치한 도로를 나타낸 것일 수 있다. 상기 차량의 전면 유리의 적어도 일부에는 터치 스크린 200이 부착되어 있을 수 있고, 터치 스크린 200은 사용자의 손가락 등으로부터 유저 입력을 수신할 수 있다. The action (a) may be a view of a road on which various objects such as a vehicle or a lane, etc., are viewed through the windshield of the vehicle. A touch screen 200 may be attached to at least a part of the windshield of the vehicle, and the touch screen 200 may receive a user input from a user's finger or the like.

동작 (b)는 상기 도로에 위치한 객체들에 대한 객체 인식을 통해, 인식에 성공한 객체들에 대응하여 터치 스크린 200 위에 인디케이터를 표시한 상태를 나타낸 것일 수 있다. 예를 들어, 상기 도로에 위치한 객체들 중 인식에 성공한 차량 210 및 차선 220에는 마스크 형식의 인디케이터가 표시되어 있다. 반면에, 상기 도로에 위치한 객체들 중 인식에 실패한 차량 215 및 차선 225에는 아무런 인디케이터가 표시되어있지 않음을 알 수 있다.The operation (b) may be a state in which the indicator is displayed on the touch screen 200 in correspondence with the recognized objects through object recognition of the objects located on the road. For example, in the vehicle 210 and the lane 220 that are successfully recognized among the objects located on the road, an indicator in the form of a mask is displayed. On the other hand, it can be seen that no indicator is displayed in the vehicle 215 and the lane 225 which fail to recognize among the objects located on the road.

동작 (c)는 사용자가 인식에 실패한 차량 215을 인식시키는 동작을 나타낸 것일 수 있다. 터치 스크린 200은 객체의 종류를 선택할 수 있는 선택 영역 230을 표시할 수 있다. 우선 사용자는 선택 영역 230에서 차량에 대응하는 아이콘을 클릭할 수 있다. 이후 사용자는 차량 215의 후면의 각진 4개의 꼭지점 중 상단에 위치한 꼭지점 하나와 하단에 위치한 꼭지점 하나를 각각 터치하거나 드래그함으로써, 차량 215를 인식시킬 수 있다.The action (c) may be an action of recognizing the vehicle 215 that the user failed to recognize. The touch screen 200 can display a selection area 230 in which the type of object can be selected. First, the user can click on the icon corresponding to the vehicle in the selection area 230. Thereafter, the user can recognize the vehicle 215 by touching or dragging one vertex positioned at the upper one of the four angular vertices of the rear surface of the vehicle 215 and one vertex positioned at the bottom.

동작 (d)는 사용자가 인식에 실패한 차선 225을 인식시키는 동작을 나타낸 것일 수 있다. 우선 사용자는 선택 영역 230에서 차선에 대응하는 아이콘을 클릭할 수 있다. 이후 사용자는 차선 225를 드래그함으로써, 차선 225를 인식시킬 수 있다.The operation (d) may be an operation for recognizing the lane 225 in which the user has failed to recognize. First, the user can click on the icon corresponding to the lane in the selection area 230. Thereafter, the user can recognize the lane 225 by dragging the lane 225.

도 2에는 도시되지 않았지만, 동작 (c) 및 동작 (d)에서 인식된 차량 215 및 차선 225에는 인디케이터가 표시될 수 있다.Although not shown in Fig. 2, an indicator may be displayed in the vehicle 215 and the lane 225 recognized in the operation (c) and the operation (d).

본 발명의 다양한 실시 예에 따르면, 선택 영역 230은 별도로 표시되지 않을 수 있고, 이 경우, 전자 장치 100은 터치 다운과 터치 드래그를 구별하여 미인식 차량을 인식시키는 것인지, 또는 미인식 차선을 인식시키는 것인지 판단할 수 있다.
According to various embodiments of the present invention, the selection area 230 may not be displayed separately, in which case the electronic device 100 distinguishes between touchdown and touch dragging to recognize an unrecognized vehicle, or to recognize an unrecognized lane .

도 3은 본 발명의 다양한 실시 예에 따른, 미인식 차량을 인식하는 동작을 나타낸 도면이다. 도 3의 동작 (a) 및 동작 (b)는 도 2의 동작 (c)와 적어도 일부 대응될 수 있다.3 is a diagram illustrating an operation for recognizing an unrecognized vehicle according to various embodiments of the present invention. Operation (a) and operation (b) of FIG. 3 may at least partially correspond to operation (c) of FIG.

동작 (a)에서 사용자는 차량의 후면의 꼭지점 4개 중 하단에 있는 어느 하나의 꼭지점 310을 선택할 수 있다. 전자 장치 100은 꼭지점 310의 선택으로부터 상기 차량과의 거리 D를 계산할 수 있다.In operation (a), the user can select any one vertex 310 at the lower one of the four vertexes of the rear surface of the vehicle. The electronic device 100 can calculate the distance D from the selection of the vertices 310 to the vehicle.

동작 (b)에서 사용자는 차량의 후면의 꼭지점 4개 중 상단에 있는 어느 하나의 꼭지점 320을 선택할 수 있다. 전자 장치 100은 꼭지점 320의 선택으로부터 상기 차량의 높이 H를 계산할 수 있다.In operation (b), the user can select any vertex 320 at the top of the four vertices of the rear surface of the vehicle. The electronic device 100 may calculate the height H of the vehicle from the selection of the vertices 320. [

동작 (a) 및 동작 (b)를 통해, 전자 장치 100은 미인식 차량을 인식시킬 수 있다.
Through operations (a) and (b), the electronic device 100 can recognize an unrecognized vehicle.

도 4는 본 발명의 다양한 실시 예에 따른, 미인식 차선 또는 도로 경계선을 인식하는 동작을 나타낸 도면이다. 4 is a diagram illustrating an operation for recognizing unrecognized lanes or road boundaries according to various embodiments of the present invention.

도면 (a)에서 사용자는 미인식 차선의 한쪽 끝 410에서 다른쪽 끝 420까지 드래그를 함으로써, 전자 장치 100에게 미인식 차선을 인식시킬 수 있다.In FIG. 5A, the user can recognize the unrecognized lane by dragging from one end 410 to the other end 420 of the unrecognized lane.

이와 유사하게, 도면 (b)에서 사용자는 도로와 도로가 아닌 영역 간의 미인식 도로 경계선의 한쪽 끝 430에서 다른쪽 끝 440까지 드래그를 함으로써, 전자 장치 100에게 미인식 도로 경계선을 인식시킬 수 있다.Similarly, in Figure (b), the user can recognize the unrecognized road boundary by dragging from one end 430 to the other end 440 of the unrecognized road boundary between the road and the non-road area.

도면 (a) 또는 도면 (b)를 통해, 전자 장치 100은 유저 입력이 직선인지 곡선인지 여부를 판단하여 상기 판단 결과를 반영할 수 있다.
Through the drawing (a) or the drawing (b), the electronic device 100 can determine whether the user input is a straight line or a curve and reflect the determination result.

도 5는 본 발명의 다양한 실시 예에 따른, 미인식 주행 불가능 영역을 인식하는 동작을 나타낸 도면이다. 도 5의 동작은 도 4의 동작과 적어도 일부 대응할 수 있다.5 is a diagram illustrating an operation for recognizing an unrecognizable non-travelable area according to various embodiments of the present invention. The operation of FIG. 5 may at least partially correspond to the operation of FIG.

도면 (a) 또는 도면 (b)에서 공사중 등의 이유로 주행 불가능한 영역을 전자 장치 100에게 인식시키기 위해, 사용자는 진입 장애물 등과 도로와의 경계선을 드래그할 수 있다. 도면 (a)의 경우는 위치 510에서 위치 520으로, 도면 (b)의 경우는 위치 530에서 위치 540으로 드래그될 수 있다. 각각의 경우, 전자 장치 100은 위치 510 및 위치 530에 기초하여 주행 불가능한 영역을 인식할 수 있다.
In the drawing (a) or (b), the user can drag the boundary line between the entry obstacle and the road so as to allow the electronic device 100 to recognize an area that can not be traveled for reasons such as under construction. In the case of the drawing (a), it is possible to drag from the position 510 to the position 520, and in the case of the drawing (b), from the position 530 to the position 540. In each case, the electronic device 100 is able to recognize a non-travelable area based on the location 510 and the location 530.

도 6은 본 발명의 다양한 실시 예에 따른, 차량의 자율 주행에 있어서 객체 인식률을 보완하는 방법을 나타낸 순서도이다.6 is a flowchart illustrating a method of supplementing an object recognition rate in an autonomous vehicle running according to various embodiments of the present invention.

동작 610에서 전자 장치 100은 자율 주행 모드를 수행할 수 있다.At operation 610, the electronic device 100 may perform an autonomous mode of travel.

동작 620에서 전자 장치 100은 차량 주변의 다른 차량 또는 차선 등의 객체를 인식할 수 있다. 상기 객체가 제대로 인식된 경우 동작 620은 동작 610으로 진행될 수 있다. 이와는 달리, 상기 객체가 제대로 인식되지 않은 경우 동작 620은 동작 630으로 진행될 수 있다.In operation 620, the electronic device 100 can recognize objects such as other vehicles or lanes around the vehicle. If the object is properly recognized, operation 620 may proceed to operation 610. Otherwise, operation 620 may proceed to operation 630 if the object is not properly recognized.

동작 630에서 전자 장치 100은 상기 객체가 부분적으로 인식되지 않은 것인 것 또는 전부 인식되지 않은 것인지 판단할 수 있다. 상기 객체가 전부 인식되지 않은 경우 동작 630은 동작 640으로 진행될 수 있다. 이와는 달리, 상기 객체가 부분적으로 인식되지 않은 경우 동작 630은 동작 650으로 진행될 수 있다.At operation 630, the electronic device 100 may determine whether the object is partially unrecognized or not. If all of the objects are not recognized, operation 630 may proceed to operation 640. Otherwise, operation 630 may proceed to operation 650 if the object is not partially recognized.

동작 640에서 전자 장치 100은 자율 주행 모드를 종료하고 수동 주행 모드로 전환할 수 있다. At operation 640, the electronic device 100 may exit the autonomous mode and switch to the manual mode.

동작 650에서 전자 장치 100은 사용자에게 유저 입력을 요청할 수 있다. 예를 들어, 전자 장치 100는 미인식 객체가 있음을 알리는 알림 신호를 메시지 형태로 터치 스크린에 디스플레이하거나, 경고음 또는 안내 음성 등으로 출력할 수 있다.At act 650, the electronic device 100 may request a user input to the user. For example, the electronic device 100 may display a notification signal indicating that there is an unrecognized object on a touch screen in the form of a message, or output it as a warning sound or a guidance sound.

동작 660에서 전자 장치 100은 동작 650에 기초하여 유저 입력이 있는지 판단할 수 있다. 만일, 유저 입력이 일정 시간 동안 없는 경우, 동작 660은 동작 640으로 진행되어 자율 주행 모드가 종료될 수 있다. 이와는 달리, 유저 입력이 있는 경우, 동작 660은 동작 680으로 진행될 수 있다.At operation 660, the electronic device 100 may determine whether there is a user input based on operation 650. If the user input is not there for a period of time, the operation 660 may proceed to operation 640 to terminate the autonomous mode. Alternatively, if there is a user input, operation 660 may proceed to operation 680.

동작 670에서 전자 장치 100은 동작 620에서 인식된 객체와 동작 660에서 유저 입력을 통해 인식된 객체를 조합할 수 있다. 상기 조합 결과는 터치 스크린을 통해 표시될 수 있다.At operation 670, the electronic device 100 may combine the recognized object with the object recognized at operation 620 and the object recognized through the user input at operation 660. [ The combination result may be displayed through a touch screen.

동작 620에서 전자 장치 100이 자동적으로 차량 주변 객체를 인식하는 동작과는 별개로 동작 680에서 전자 장치 100은 객체를 선택하는 유저 입력을 수신할 수 있다. 상기 유저 입력이 있는 경우 동작 680은 동작 670으로 진행하여, 전자 장치 100은 동작 620에서 인식된 객체와 동작 680에서 유저 입력을 통해 인식된 객체를 조합할 수 있다.
In operation 680, the electronic device 100 may receive a user input that selects an object, independent of the operation of the electronic device 100 automatically recognizing objects near the vehicle in operation 620. If there is such a user input, operation 680 proceeds to operation 670 where electronic device 100 may combine the object recognized in operation 620 with the recognized object in operation 680 through a user input.

그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. Therefore, the scope of the present invention should be construed as being included in the scope of the present invention without departing from the scope of the present invention.

100: 전자 장치 110: 주행 모드 설정 모듈
120: 객체 인식 모듈 130: 유저 입력 모듈
140: 프로세서 150: 디스플레이 모듈
160: 사용자 감지 모듈 170: 메모리100: Electronic device 110: Travel mode setting module
120: object recognition module 130: user input module
140: Processor 150: Display Module
160: user detection module 170: memory

Claims

A traveling mode setting module for performing an autonomous traveling mode;
An object recognition module for automatically recognizing at least one object around the vehicle;
A user input module for receiving a user input for selecting an object;
A processor for combining the recognized at least one object and an object selected based on the user input; And
And a display module for displaying the combination result on a screen.

The method according to claim 1,
Wherein the object includes a vehicle, a pedestrian, a lane, a travelable area, and a non-travelable area.

The method according to claim 1,
The display module includes:
And displays an indicator for the automatically recognized object on the screen.

The method of claim 3,
The processor comprising:
And request the user for the user input for an object that failed recognition of at least one object around the vehicle.

The method according to claim 1,
The traveling mode setting module includes:
And switches the autonomous mode to the passive mode if the ratio of the at least one object around the vehicle to the failed recognition object is greater than or equal to a threshold value.

The method of claim 5,
And a user detection module for detecting whether or not the user is in a state in which the vehicle can be manually driven,
The traveling mode setting module includes:
And determines whether to switch the traveling mode based on the detection result.

The method according to claim 1,
Wherein the user input module comprises:
And receives the user input via a touch screen, an audio video navigation (AVN) device corresponding to the screen, and jog shuffle.

Performing an autonomous running mode;
Automatically recognizing at least one object around the vehicle;
Receiving a user input for selecting an object;
Combining the recognized at least one object and an object selected based on the user input; And
And displaying the combination result on a screen.

The method of claim 8,
And displaying an indicator for the automatically recognized object on the screen.

The method of claim 9,
Further comprising: requesting the user for the user input for at least one object among the at least one object around the vehicle that has failed to be recognized.

The method of claim 8,
And switching the autonomous mode to a passive mode if the ratio of objects that failed recognition of at least one object around the vehicle is greater than or equal to a threshold value.

The method of claim 11,
Further comprising: detecting whether the user is in a state in which the vehicle is in a passive driving state;
The traveling mode switching operation may include:
Is performed based on the detection result.