KR102317237B1 - Apparatus for driving impairment handling - Google Patents

Apparatus for driving impairment handling Download PDF

Info

Publication number
KR102317237B1
KR102317237B1 KR1020140151388A KR20140151388A KR102317237B1 KR 102317237 B1 KR102317237 B1 KR 102317237B1 KR 1020140151388 A KR1020140151388 A KR 1020140151388A KR 20140151388 A KR20140151388 A KR 20140151388A KR 102317237 B1 KR102317237 B1 KR 102317237B1
Authority
KR
South Korea
Prior art keywords
mark
event
driver
recognition
image
Prior art date
Application number
KR1020140151388A
Other languages
Korean (ko)
Other versions
KR20160051421A (en
Inventor
김영욱
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140151388A priority Critical patent/KR102317237B1/en
Publication of KR20160051421A publication Critical patent/KR20160051421A/en
Application granted granted Critical
Publication of KR102317237B1 publication Critical patent/KR102317237B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

본 발명은 차량에 구비되어 광원을 반사하여 빛을 발하는 특정 모양의 유광 표식, 상기 차량을 운전하는 운전자의 눈동자를 촬영하여 인식영상을 출력하는 카메라, 상기 인식영상에서 상기 운전자의 눈동자에서 상기 유광 표식을 인식하고, 명암이 급격하게 변하는지 여부를 인식하여 이벤트 신호를 출력하는 인식부, 상기 유광 표식이 인식되는지 여부 및 상기 인식영상의 급격한 명암 변화가 유효한지 여부를 판단하여 상기 이벤트 신호가 유효한지 여부를 판단하여 최종 이벤트 신호를 출력하는 이벤트분석부 및 상기 최종 이벤트 신호를 수신하여 상기 운전자에게 경고함과 동시에 상기 차량의 주변 상황을 보여주는 이벤트처리부를 포함하는 운전 장애 처리 장치에 관한 것이다.The present invention relates to a specific-shaped glazed mark provided in a vehicle that reflects a light source and emits light, a camera that outputs a recognition image by photographing the pupil of a driver driving the vehicle, and the glazed mark in the driver's pupil in the recognition image A recognition unit that recognizes and outputs an event signal by recognizing whether the contrast is abruptly changed, whether the glazed mark is recognized, and whether the abrupt change in contrast of the recognized image is effective, to determine whether the event signal is valid It relates to a driving disorder processing apparatus comprising an event analysis unit that determines whether or not to output a final event signal, and an event processing unit that receives the final event signal to warn the driver and display surrounding conditions of the vehicle.

Description

운전 장애 처리 장치{Apparatus for driving impairment handling}Apparatus for driving impairment handling

본 발명은 운전 장애 처리 장치에 관한 것으로, 보다 상세하게는 차량에 유광 표식을 구비되고, 운전자의 눈동자를 촬영한 인식영상에서 유광 표식이 인식되는지 여부를 판단하며, 인식영상의 명암을 판단하여 이벤트 신호를 출력한다. 또한 이벤트 신호의 유효성을 판단하여 최종 이벤트 신호를 이벤트처리부에 출력하여 운전자에게 차량 주변 상황을 알려주는 운전 장애 처리 장치에 관한 것이다.The present invention relates to a driving disorder processing device, and more particularly, to a vehicle equipped with a glossy mark, determining whether a glossy mark is recognized in a recognition image photographed by the driver's pupil, and determining the contrast of the recognition image to determine the event output a signal. In addition, it relates to a driving disorder processing device that determines the validity of the event signal and outputs the final event signal to the event processing unit to inform the driver of the surrounding situation of the vehicle.

운전자가 차량 운전 시 주의력을 유지하는 것은 매우 힘든 일이다. 운전자가 졸음 운전을 하거나, 전방으로 시선을 고정 시키지 못하면 큰 사고로 이어질 수 있다. 이에 운전자가 졸음 운전을 하는 경우 이를 감지하여 경고를 하는 기술이 많은 차량에 적용되고 있다It is very difficult for a driver to maintain his or her attention while driving a vehicle. If the driver drives drowsy or fails to fix his gaze forward, it may lead to a serious accident. Therefore, when the driver is drowsy driving, a technology that detects and warns is being applied to many vehicles.

그런데 운전 중에 잠시라도 졸거나, 전방 주시를 태만히 하였다가 다시 전방을 주시하는 경우에 단순히 경고를 하는 것뿐 아니라, 그 사이에 일어난 상황에 대해 운전자에게 인식시켜주는 것이 중요하다. 또한 운전자가 운전에 만전을 기하지 못하고 있는 사이에 전방의 돌발 상황이 일어나는 경우에 이를 빠르게 알려주는 것도 필요하다. 이에 최근에는 운전자가 잠시 운전에 주의를 하지 못한 경우에 운전자에게 주행 차량 주변의 다양한 정보를 제공하는 기술이 연구 중에 있다.However, it is important not only to warn the driver when he or she falls asleep even for a moment while driving, or neglects to look forward and then looks forward again, but also to make the driver aware of the situation in between. In addition, it is also necessary to notify the driver quickly in the event of an unexpected situation in the front while the driver is not fully committed to driving. Accordingly, recently, research is being conducted on a technology for providing various information about the driving vehicle to the driver when the driver has not paid attention to driving for a while.

본 발명이 해결하고자 하는 과제는 차량에 유광 표식을 구비하고, 운전자의 눈동자를 촬영한 인식영상에서 유광 표식이 인식되는지 여부를 판단하며, 인식영상의 명암을 판단하여 이벤트 신호를 출력한다. 또한 이벤트 신호의 유효성을 판단하여 최종 이벤트 신호를 이벤트처리부에 출력하여 운전자에게 차량 주변 상황을 알려주는 운전 장애 처리 장치를 제공함에 있다.The problem to be solved by the present invention is to provide a glossy mark on a vehicle, determine whether a glossy mark is recognized in a recognition image captured by the driver's pupil, and output an event signal by determining the contrast of the recognition image. Another object of the present invention is to provide a driving disorder processing device that determines the validity of the event signal and outputs the final event signal to the event processing unit to inform the driver of the surrounding situation of the vehicle.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 운전 장애 처리 장치는, 차량에 구비되어 광원을 반사하여 빛을 발하는 특정 모양의 유광 표식, 상기 차량을 운전하는 운전자의 눈동자를 촬영하여 인식영상을 출력하는 카메라, 상기 인식영상에서 상기 운전자의 눈동자에서 상기 유광 표식을 인식하고, 명암이 급격하게 변하는지 여부를 인식하여 이벤트 신호를 출력하는 인식부, 상기 유광 표식이 인식되는지 여부 및 상기 인식영상의 급격한 명암 변화가 유효한지 여부를 판단하여 상기 이벤트 신호가 유효한지 여부를 판단하여 최종 이벤트 신호를 출력하는 이벤트분석부 및 상기 최종 이벤트 신호를 수신하여 상기 운전자에게 경고함과 동시에 상기 차량의 주변 상황을 보여주는 이벤트처리부를 포함한다.In order to achieve the above object, a driving disorder processing apparatus according to an embodiment of the present invention is provided in a vehicle and reflects a light source and emits light by a specific shape of a glossy mark, a recognition image by photographing the pupil of a driver driving the vehicle A camera for outputting a, a recognition unit for recognizing the glazed mark in the driver's pupil in the recognition image, recognizing whether the contrast is abruptly changed and outputting an event signal, whether the glazed mark is recognized, and the recognition image An event analyzer that determines whether the sudden change in light and dark is effective, determines whether the event signal is valid, and outputs a final event signal, and receives the final event signal to warn the driver and simultaneously the surrounding situation of the vehicle It includes an event processing unit that shows

상기 유광 표식은 상기 인식부가 상기 운전자의 눈동자에서 상기 유광 표식을 인식하지 않으면 상기 유광 표식 자체가 발광한다.In the glazed mark, when the recognition unit does not recognize the glazed mark from the driver's pupil, the glazed mark itself emits light.

상기 유광 표식이 발광하는 빛의 색은 상기 운전자의 눈동자 색에 의해 달라진다.The color of the light emitted by the glazed marker varies according to the color of the driver's pupil.

상기 이벤트분석부는 상기 인식영상에서 상기 유광 표식이 설정된 프레임 이상 인식되지 않으면 상기 이벤트 신호를 출력한다.The event analyzer outputs the event signal when the frame in which the glossy mark is set or more is not recognized in the recognition image.

상기 인식부가 상기 운전자의 눈을 인식하지 않으면 설정된 시간이 경과한 후에 상기 인식부가 상기 유광 표식의 인식을 중단한다.If the recognition unit does not recognize the driver's eyes, the recognition unit stops recognizing the glossy mark after a set time has elapsed.

상기 이벤트분석부는 지리 정보 및 시간 정보에 의하여 상기 이벤트 신호가유효한지 여부를 판단한다.The event analysis unit determines whether the event signal is valid based on geographic information and time information.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명의 운전 장애 처리 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the driving disorder processing apparatus of the present invention, there are one or more of the following effects.

첫째, 유광 표식은 자체 발광함으로써 주변이 어두운 경우에도 인식이 되는장점이 있다.First, the glossy mark has the advantage of being recognized even when the surroundings are dark by emitting light.

둘째,　유광 표식은 운전자의 눈동자 색에 의해 달라짐으로써 유광 표식 인식에 운전자의 눈동자 색에 구애받지 않는 장점도 있다.Second, 　The gloss mark is different depending on the driver's eye color, so there is an advantage that the gloss mark recognition does not depend on the driver's eye color.

셋째,　지리 정보를 이용하여 운전 장애 처리 장치의 오류를 방지하는 장점도 있다.Third, there is also the advantage of preventing errors in the driving disorder handling device using geographic information.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1는 일 실시례에 따라 유광 표식, 카메라 및 이벤트처리부가 위치한 차량 내부의 모습을 도시한 것이다.
도 2은 본 발명의 일실시례에 따른 운전 장애 처리 장치의 구성을 도시한 것이다.
도 3은 일실시례에 따라 유광 표식이 운전자의 눈동자에 비치는 모습을 카메라가 촬영하는 모습을 도식화하여 도시한 것이다.
도 4는 인식부가 인식영상에서 명암을 판단하는 것을 보여주기 위해 일실시례에 따라 밝은 인식영상과 어두운 인식영상을 도시한 것이다.1 is a view illustrating the interior of a vehicle in which a glossy mark, a camera, and an event processing unit are located, according to an exemplary embodiment.
2 is a diagram illustrating a configuration of an apparatus for handling driving disorders according to an embodiment of the present invention.
3 is a diagram illustrating a state in which a camera captures a state in which a glossy mark is reflected in a driver's pupil according to an embodiment.
4 illustrates a bright recognition image and a dark recognition image according to an embodiment in order to show that the recognition unit determines the contrast in the recognition image.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 운전 장애 처리 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining the driving disorder processing apparatus according to embodiments of the present invention.

도 1는 일 실시례에 따라 유광 표식(100), 카메라(200) 및 이벤트처리부(800)가 위치한 차량(V) 내부의 모습을 도시한 것이다. 유광 표식(100)은 차량에 구비되어 광원을 반사하여 빛을 발한다. 유광 표식(100)은 인식부(500)가 운전자의 눈동자에서 유광 표식(100)을 인식하지 않으면 유광 표식(100) 자체가 발광한다. 유광 표식(100)이 발광하는 빛의 색은 운전자의 눈동자 색에 의해 달라진다.1 is a view showing the inside of the vehicle (V) in which the glossy mark 100, the camera 200, and the event processing unit 800 are located according to an embodiment. The glossy mark 100 is provided in the vehicle to reflect the light source to emit light. As for the glazed mark 100 , when the recognition unit 500 does not recognize the glazed mark 100 from the driver's pupil, the glazed mark 100 itself emits light. The color of the light emitted by the glazed mark 100 varies depending on the driver's eye color.

유광 표식(100)은 일실시례에 따라 차량(V)의 후드 상단에 설치된다. 유광 표식(100)은 운전자의 눈에 잘 보이는 위치에 설치된다. 유광 표식(100)의 모양은 특정 모양에 한정되지 않으며 인식하기 용이하도록 특징이 있는 모양이다. 유광 표식(100)은 차량 후드가 없는 차량이면, 운전자를 기준으로 윈드쉴드 바깥쪽에 부착된다. 유광 표식(100)은 윈드쉴드 바깥쪽에 지지대가 설치되어 지지대에 부착된다.The glossy mark 100 is installed on the top of the hood of the vehicle V according to an embodiment. The glossy mark 100 is installed in a position that is easily visible to the driver's eyes. The shape of the glossy mark 100 is not limited to a specific shape and has a characteristic shape for easy recognition. The glossy mark 100 is attached to the outside of the windshield with respect to the driver if the vehicle does not have a vehicle hood. The glossy mark 100 is attached to the support provided on the outside of the windshield support.

카메라(200)는 차량(V) 내부에 운전자의 눈동자를 촬영할 수 있는 위치에 설치될 수 있다. 카메라(200)는 차량(V)에 설치되어 유광 표식(100)이 비춰지는 운전자의 눈동자를 촬영하여 인식영상을 출력할 수 있다. 카메라(200)는 일 실시례에 따라 운전자의 눈을 촬영하는데 방해물이 없는 위치에 설치된다. 카메라(200)는 차량(V)의 시동이 걸리면 작동한다.The camera 200 may be installed inside the vehicle V at a position capable of photographing the driver's pupils. The camera 200 may be installed in the vehicle V and output a recognition image by photographing the driver's pupils on which the glossy mark 100 is reflected. The camera 200 is installed at a position where there is no obstacle to photographing the driver's eyes according to an embodiment. The camera 200 operates when the vehicle V is started.

카메라(200)는 적어도 초당 30 프레임의 영상을 출력한다. 즉 카메라(200)는 적어도 30fps의 영상을 출력한다. 카메라(200)는 촬영된 영상의 이미지를 초당 30프레임씩 버퍼 메모리에 저장한다. 카메라(200)는 버퍼 메모리에 저장된 이미지를 인식부(500)에 출력한다.The camera 200 outputs an image of at least 30 frames per second. That is, the camera 200 outputs an image of at least 30 fps. The camera 200 stores the image of the captured image in the buffer memory at 30 frames per second. The camera 200 outputs the image stored in the buffer memory to the recognition unit 500 .

카메라(200)는 유광 표식(100)을 반사하는 별도의 반사체를 촬영할 수도 있다. 카메라(200)는 서보모터(servo motor)에 장착되어 설정된 범위에서 회전한다. 카메라(200)는 인식부(500)에서 출력한 카메라 회전 신호를 수신한다.The camera 200 may photograph a separate reflector that reflects the glossy mark 100 . The camera 200 is mounted on a servo motor and rotates within a set range. The camera 200 receives the camera rotation signal output from the recognition unit 500 .

이벤트처리부(700)는 이벤트분석부(600)가 출력한 이벤트 신호를 수신하면 차량(V)에 대한 정보를 차량(V) 내부에 설치된 화면에 보여준다. 이벤트처리부(700)의 화면은 일실시례에 따라 HUD(Head-Up Display)이며, 차량(V) 전면 유리에 차량(V)의 주행 상황이나 속도 등 차량 정보를 표시한다. 이벤트처리부(700)의 화면은 네비게이션(400)의 화면일 수도 있다. 이벤트처리부(700)는 AVM(Around-View Monitoring) 시스템일 수 있다. 이벤트처리부(700)는 이벤트분석부(600)가 출력한 이벤트 신호를 수신하면 AVM시스템의 화면에 외부 카메라의 영상이나 차량(V) 진행 방향을 보여준다.When the event processing unit 700 receives the event signal output by the event analysis unit 600 , information about the vehicle V is displayed on a screen installed inside the vehicle V. The screen of the event processing unit 700 is a Head-Up Display (HUD) according to an embodiment, and vehicle information such as the driving condition or speed of the vehicle V is displayed on the windshield of the vehicle V. The screen of the event processing unit 700 may be a screen of the navigation 400 . The event processing unit 700 may be an Around-View Monitoring (AVM) system. When the event processing unit 700 receives the event signal output by the event analysis unit 600 , it shows an image of an external camera or a direction of the vehicle V on the screen of the AVM system.

이벤트처리부(700)는 운행 기록 장치일 수 있다. 이벤트처리부(700)는 이벤트분석부(600)가 출력한 이벤트 신호를 수신하면 운행 기록 장치에 차량(V) 전방 영상, 음성 및 로그기록을 저장한다.The event processing unit 700 may be a driving recording device. When the event processing unit 700 receives the event signal output by the event analysis unit 600, the vehicle (V) front image, voice and log record are stored in the driving recorder.

도 2는 도 1은 본 발명의 일실시례에 따른 운전 장애 처리 장치의 구성을 도시한 것이다. 일실시례에 따른 운전 장애 처리 장치는 일 실시례에 따른 유광 표식(100), 카메라(200), 지피에스(300), 네비게이션(400), 인식부(500), 이벤트분석부(600) 및 이벤트처리부(700)를 포함한다.FIG. 2 is a diagram illustrating a configuration of a driving disorder processing apparatus according to an exemplary embodiment of the present invention. A driving disorder processing device according to an embodiment includes a glossy mark 100 , a camera 200 , a GPS 300 , a navigation 400 , a recognition unit 500 , an event analysis unit 600 and an event according to an embodiment. and a processing unit 700 .

유광 표식(100)은 일실시례에 따라 차량(V)의 후드 상단에 설치된다. 유광 표식(100)은 운전자를 기준으로 윈드쉴드 바깥쪽에 부착될 수 있다. 유광 표식(100)은 윈드쉴드 바깥쪽에 지지대가 설치되어 지지대에 부착될 수도 있다. 유광 표식(100)은 차량(V)의 크기와 모양에 따라 부착되는 위치가 변경된다. 유광 표식(100)은 카메라(100)가 좌석에 앉은 운전자의 눈동자에서 유광 표식(100)을 구분할 수 있는 위치에 설치된다. 유광 표식(100)의 모양은 설정에 의해 달라진다.The glossy mark 100 is installed on the top of the hood of the vehicle V according to an embodiment. The glossy mark 100 may be attached to the outside of the windshield with respect to the driver. The glossy mark 100 may be attached to the support provided on the outside of the windshield. The position where the glossy mark 100 is attached depends on the size and shape of the vehicle V is changed. The glossy mark 100 is installed at a position where the camera 100 can distinguish the glossy mark 100 from the pupils of the driver sitting in the seat. The shape of the glossy mark 100 varies depending on the setting.

유광 표식(100)은 광원을 반사할 수 있는 반사체이다. 유광 표식(100)은 유광 표식(100) 자체가 발광할 수 있다. 유광 표식(100)은 인식부(500)가 출력하는 발광하도록 하는 신호를 수신한다. 유광 표시(100)가 발광하는 빛의 색은 바뀔 수 있다. 유광 표식(100)은 인식부(500)에서 유광 표식(100)의 색을 바꾸는 신호를 수신한다.The glossy mark 100 is a reflector capable of reflecting a light source. The glossy mark 100 may emit light by itself. The glossy mark 100 receives a signal to emit light output by the recognition unit 500 . The color of the light emitted by the glossy display 100 may be changed. The glossy mark 100 receives a signal for changing the color of the glossy mark 100 from the recognition unit 500 .

유광 표식(100)은 LED(light emitting diode)나 전구이다. 유광 표식(100)은 설치된 위치와 운전자 사이의 거리에 따라 빛의 밝기가 결정된다. 유광 표식(100)이 설치된 위치 및 운전자 사이의 거리는 차량(V)에 따라 다르게 설정된다.The glossy marker 100 is a light emitting diode (LED) or a light bulb. The brightness of the light is determined according to the distance between the installed position and the driver of the glossy mark 100 . The distance between the location where the glossy mark 100 is installed and the driver is set differently depending on the vehicle V.

카메라(200)는 차량(V) 내부에 운전자의 눈동자를 촬영할 수 있는 위치에 설치된다. 카메라(200)는 차량(V)에 설치되어 유광 표식(100)이 비춰지는 운전자의 눈동자를 촬영하여 인식영상을 출력한다. 카메라(200)는 차량(V)의 시동이 걸리면 작동된다.The camera 200 is installed inside the vehicle V at a position capable of photographing the driver's pupils. The camera 200 is installed in the vehicle V and outputs a recognition image by photographing the driver's pupils on which the glossy mark 100 is reflected. The camera 200 is operated when the vehicle V is started.

카메라(200)는 적어도 초당 30 프레임인 영상을 촬영하여 출력한다. 즉 카메라(200)는 적어도 30fps의 영상을 촬영하여 출력한다. 카메라(200)는 촬영된 영상의 이미지를 초당 30프레임씩 버퍼 메모리에 저장한다. 카메라(200)는 버퍼 메모리에 저장된 이미지를 인식부(500)에 출력한다.The camera 200 captures and outputs an image that is at least 30 frames per second. That is, the camera 200 captures and outputs an image of at least 30 fps. The camera 200 stores the image of the captured image in the buffer memory at 30 frames per second. The camera 200 outputs the image stored in the buffer memory to the recognition unit 500 .

카메라(200)는 유광 표식(100)을 반사하는 별도의 반사체를 촬영할 수도 있다. 카메라(200)는 서보모터(servo motor)에 장착되어 설정된 범위에서 회전한다. 카메라(200)는 인식부(500)에서 출력한 카메라 회전 신호를 수신한다.The camera 200 may photograph a separate reflector that reflects the glossy mark 100 . The camera 200 is mounted on a servo motor and rotates within a set range. The camera 200 receives the camera rotation signal output from the recognition unit 500 .

지피에스(300)는 차량(V)의 위치를 측정하여 이벤트분석부(700)에 출력한다. 지피에스(300)는 차량(V)이 터널이나 고가 도로 아래를 지나가는지에 대한 정보를 이벤트분석부(700)에 출력한다.The GPS 300 measures the position of the vehicle V and outputs it to the event analysis unit 700 . The GPS 300 outputs information about whether the vehicle V passes under a tunnel or an overpass to the event analysis unit 700 .

네비게이션(400)은 지리 정보를 포함한 지도에 차량(V)이 현재 있는 위치를 표시한다. 네비게이션(400)은 차량(V)이 현재 있는 위치를 이벤트분석부(700)에 출력한다.The navigation 400 displays the current location of the vehicle V on a map including geographic information. The navigation 400 outputs the current location of the vehicle V to the event analysis unit 700 .

인식부(500)는 인식영상에서 유광 표식(100)을 인식한다. 인식부(500)는 인식(500)는 지피에스(300)가 출력한 차량(V)이 있는 현재 위치를 수신한다. 인식부(500)는 네비게이션(400)이 출력한 차량(V)이 있는 현재 위치를 수신한다. 인식부(500)는 카메라(200)에서 출력한 인식영상을 분석하여 운전자의 눈동자에서 유광 표식(100)을 인식한다. 인식부(500)는 인식영상에서 영상의 전체 또는 부분에서 명암이 급격하게 변하는지 여부를 인식한다. 인식부(500)는 인식영상에서 유광 표식(100)을 인식하면 이벤트 신호를 이벤트분석부(600)에 출력한다. 인식부(500)는 인식영상에서 명암이 급격하게 변하는지 여부를 인식하면 이벤트 신호를 이벤트분석부(600)에 출력한다.The recognition unit 500 recognizes the glossy mark 100 in the recognition image. The recognition unit 500 receives the current location where the vehicle V output from the GPS 300 is recognized. The recognition unit 500 receives the current location of the vehicle V output by the navigation device 400 . The recognition unit 500 analyzes the recognition image output from the camera 200 to recognize the glossy mark 100 in the driver's pupil. The recognition unit 500 recognizes whether the contrast in the whole or part of the image in the recognition image is changed abruptly. The recognition unit 500 outputs an event signal to the event analysis unit 600 when recognizing the glossy mark 100 in the recognition image. The recognition unit 500 outputs an event signal to the event analysis unit 600 when recognizing whether the contrast is abruptly changed in the recognition image.

인식부(500)는 운전자가 운전석에 착석하고 차량(V)의 시동을 걸면 작동한다. 인식부(500)는 운전자의 눈동자가 정상 인식되면, 운전자의 눈동자가 정상 인식 되었다는 것을 확인하는 인식체크루틴에 TRUE 신호를 출력한다. 인식부(500)는 작동 시에 눈동자에서 유광 표식(100)을 인식하지 않으면 유광 표식(100)에 발광하는 신호를 출력한다. 인식부(500)는 유광 표식(100)을 인식하지 않으면 운전자에게 음향이나 화면으로 이를 알려준다.The recognition unit 500 operates when the driver sits in the driver's seat and starts the vehicle V. When the driver's pupil is normally recognized, the recognition unit 500 outputs a TRUE signal to the recognition check routine for confirming that the driver's pupil is normally recognized. When the recognition unit 500 does not recognize the glazed mark 100 in the pupil during operation, it outputs a signal emitting light to the glazed mark 100 . If the recognition unit 500 does not recognize the glossy mark 100 , it notifies the driver with sound or a screen.

인식부(500)는 인식한 눈동자의 색에 따라 유광 표식(100)의 색을 바꾸는 신호를 유광 표식(100)에 출력한다. 인식부(500)는 눈동자의 색과 보색에 해당하는 색이 유광 표식(100)의 색이 되도록 바꾸는 신호를 출력한다. 인식부(500)는 보색 관계를 나타낸 보색 테이블을 포함한다. 일실시례에 따라 인식부(500)는 눈동자의 색이 검정색이면 유광 표식(100)의 색을 노랑색으로 바꾸는 신호를 출력한다. 인식부(500)는 눈동자의 색이 푸른색이면 유광 표식(100)의 색을 주황색으로 바꾸는 신호를 출력할 수도 있다.The recognition unit 500 outputs a signal for changing the color of the glossy mark 100 to the glossy mark 100 according to the recognized eye color. The recognition unit 500 outputs a signal for changing the color of the pupil and the color corresponding to the complementary color to become the color of the glossy mark 100 . The recognition unit 500 includes a complementary color table indicating a complementary color relationship. According to an embodiment, the recognition unit 500 outputs a signal for changing the color of the luster mark 100 to yellow when the color of the pupil is black. If the color of the pupil is blue, the recognition unit 500 may output a signal for changing the color of the glazed mark 100 to orange.

인식부(500)는 인식영상에서 유광 표식(100)을 정상 인식한 경우에 인식부(500)를 작동시키고, 유광 표식(100)을 정상 인식하지 않으면 음향이나 화면으로 운전자에게 알려준다. 인식부(500)는 운전자의 눈이 인식되지 않으면 설정된 시간이 경과한 후 인식부(500)가 유광 표식(500)을 인식하는 것을 중단한다.The recognition unit 500 operates the recognition unit 500 when the glossy mark 100 is normally recognized in the recognition image, and notifies the driver with sound or a screen when the glossy mark 100 is not normally recognized. When the driver's eyes are not recognized, the recognition unit 500 stops the recognition unit 500 from recognizing the glossy mark 500 after a set time has elapsed.

인식부(500)는 카메라(200)에 카메라 회전 신호를 출력한다. 인식부(500)는 인식영상에서 눈동자를 인식하면 눈동자를 인식영상의 중앙에 두도록 카메라 회전 신호를 출력한다.The recognition unit 500 outputs a camera rotation signal to the camera 200 . The recognition unit 500 outputs a camera rotation signal to place the pupil in the center of the recognition image when the pupil is recognized in the recognition image.

인식부(500)는 인식영상을 프레임 단위로 이미지를 분석한다. 인식부(500)는 인식영상에 있는 운전자의 눈동자에서 유광 표식(100)을 인식한다. 인식부(500)는 인식된 눈동자에서 채도를 체크하여 유광 표식(100)을 인식한다. 인식부(500)는 눈동자에 유광 표식(100)이 비춰지지 않으면 이벤트 신호를 이벤트분석부(100)에 출력한다. 인식부(500)가 유광 표식(100)을 인식하는 과정은 도 3에서 설명하기로 한다.The recognition unit 500 analyzes the recognition image in units of frames. The recognition unit 500 recognizes the glossy mark 100 in the driver's pupils in the recognition image. The recognition unit 500 recognizes the glossy mark 100 by checking the saturation in the recognized pupil. The recognition unit 500 outputs an event signal to the event analysis unit 100 when the glossy mark 100 is not reflected on the pupil. A process in which the recognition unit 500 recognizes the glossy mark 100 will be described with reference to FIG. 3 .

인식부(500)는 인식영상에서 각 이미지 프레임의 명암을 계산하여 설정된 시간 이내에 급격한 명암변화가 발생하면 이벤트 신호를 이벤트분석부(600)에 출력한다. 인식부(500)는 인식영상에서 각 이미지 프레임의 YUV성분을 추출한다. 인식부(500)에 수신된 인식영상이 RGB 방식의 영상이면 RGB방식의 영상을 YUV 방식으로 바꾼다. 인식부(500)는 인식영상의 각 이미지 프레임에서 YUV성분 중에서 Y(휘도, Luminance)가 변화하면 이벤트분석부(600)에 이벤트신호를 출력한다. 인식부(500)는 카메라(100)가 출력한 이미지를 수신하여 각 이미지의 명암을 계산한다. 인식부(500)는 수신한 각 이미지의 YUV 성분 중에서 Y를 계산한다. The recognition unit 500 calculates the brightness of each image frame in the recognition image and outputs an event signal to the event analysis unit 600 when a sudden change in brightness occurs within a set time. The recognition unit 500 extracts the YUV component of each image frame from the recognition image. If the recognition image received by the recognition unit 500 is an RGB image, the RGB image is changed to a YUV image. The recognition unit 500 outputs an event signal to the event analysis unit 600 when Y (luminance, Luminance) among YUV components in each image frame of the recognition image changes. The recognition unit 500 receives the image output by the camera 100 and calculates the contrast of each image. The recognition unit 500 calculates Y among YUV components of each received image.

인식부(500)는 이벤트분석부(600)에 인식영상을 출력한다. The recognition unit 500 outputs a recognition image to the event analysis unit 600 .

인식부(500)는 설정된 시간 동안 눈동자를 인식하지 않으면 카메라(200)에 카메라(200)가 반사체를 촬영하게 하는 신호를 출력한다.The recognition unit 500 outputs a signal for causing the camera 200 to photograph the reflector to the camera 200 if the pupil is not recognized for a set period of time.

이벤트분석부(600)는 인식부(500)에서 출력한 이벤트 신호를 수신한다. 이벤트분석부(600)는 인식부(500)에서 출력한 수신한 이벤트 신호가 유효한 이벤트 신호인지 판단한다. 이벤트분석부(600)는 지피에스(300)가 출력한 차량(V)의 현재 위치를 수신한다. 이벤트분석부(600)는 네비게이션(400)이 출력한 차량(V)의 현재 위치를 수신한다.The event analysis unit 600 receives the event signal output from the recognition unit 500 . The event analysis unit 600 determines whether the received event signal output from the recognition unit 500 is a valid event signal. The event analysis unit 600 receives the current location of the vehicle V output by the GPS 300 . The event analysis unit 600 receives the current position of the vehicle V output by the navigation 400 .

이벤트분석부(600)는 인식부(500)가 출력한 이벤트 신호가 유효한 것인지 판단하며, 이는 이벤트 신호에 대해 예외처리를 하는 것이다. 이벤트분석부(600)는 차량(V)의 현재 위치를 이용하여 이벤트 신호가 유효한 것인지 판단한다.The event analysis unit 600 determines whether the event signal output by the recognition unit 500 is valid, and this is to perform an exception processing on the event signal. The event analysis unit 600 determines whether the event signal is valid using the current location of the vehicle V.

이벤트분석부(600)는 운전자가 눈을 깜박이는 경우에 대해 예외처리를 한다. 이벤트분석부(600)는 정상 상태에서 운전자의 눈의 깜박임은 1초당 이미지의 30개의 프레임 중에서 10 프레임 이하인 것으로 설정한다. 이벤트분석부(600)는 인식영상에서 초당 표식이 사라지는 횟수가 1초당 이미지의 30개의 프레임 중에서 10 프레임 이상 지속되는 경우에만 최종 이벤트를 출력한다. 이벤트분석부(600)는 상기 인식영상에서 상기 유광 표식이 설정된 프레임 이상 인식되지 않으면 상기 이벤트 신호를 출력한다. 일실시례에 따라 이벤트분석부(600)는 눈동자에서 표식을 발견하지 못하면 최종 이벤트 신호를 출력한다.The event analysis unit 600 performs an exception processing for a case in which the driver blinks his/her eyes. The event analysis unit 600 sets the blinking of the driver's eyes to be less than or equal to 10 frames out of 30 frames per second in the normal state. The event analysis unit 600 outputs the final event only when the number of times the mark disappears per second in the recognition image continues for more than 10 frames among 30 frames of the image per second. The event analysis unit 600 outputs the event signal when the frame in which the glossy mark is set or more is not recognized in the recognition image. According to an embodiment, the event analysis unit 600 outputs a final event signal when the mark is not found in the pupil.

이벤트분석부(600)는 운전자가 고개를 돌리거나 숙이는 경우에 대해 예외처리를 한다. 이벤트분석부(600)는 운전자가 고개를 돌리거나 숙이는 경우 인식부(500)가 눈동자를 인식하지 못하면 최종 이벤트 신호를 이벤트처리부(700)에 출력한다. 이벤트분석부(600)는 인식영상에서 눈동자를 인식한 상태에서 운전자가 고개를 돌리거나 숙이는 경우에도 설정된 시간 내에 설정된 프레임 수의 유광 표식(100)을 다시 인식하는 경우에는 최종 이벤트 신호를 이벤트처리부(700)에 출력하지 않는다.The event analysis unit 600 performs an exception processing for a case in which the driver turns or bows his/her head. The event analysis unit 600 outputs a final event signal to the event processing unit 700 when the recognition unit 500 does not recognize the pupil when the driver turns or bows his/her head. The event analysis unit 600 returns the final event signal to the event processing unit ( 700) is not output.

이벤트분석부(600)는 운전자가 선글라스를 착용하고 있으면 선글라스에 반사되는 유광 표식(100)을 인식한다. 이벤트분석부(600)는 운전자가 착용한 선글라스가 유광 표식(100)을 반사하지 않으면 카메라(200)가 별도의 반사체를 비추도록 하여 유광 표식(100)을 인식한다.The event analysis unit 600 recognizes the glossy mark 100 reflected by the sunglasses when the driver is wearing sunglasses. The event analysis unit 600 recognizes the glossy mark 100 by allowing the camera 200 to illuminate a separate reflector when the sunglasses worn by the driver do not reflect the glossy mark 100 .

이벤트분석부(600)는 지리 정보에 의하여 상기 이벤트 신호가 유효한지 여부를 판단한다. 이벤트분석부(600)는 차량(V)이 터널이나 고가 도로 아래를 통과함에 따라 명암이 급격하게 바뀜에 따라 인식부(500)가 이벤트 신호를 출력한 경우, 지피에스(300) 및 네비게이션(400)에서 지리 정보를 수신하여 최종 이벤트 신호가 출력되지 않게 한다.The event analysis unit 600 determines whether the event signal is valid based on geographic information. The event analysis unit 600 is the GPS 300 and the navigation 400 when the recognition unit 500 outputs an event signal as the contrast is rapidly changed as the vehicle V passes under the tunnel or overpass. Receive geographic information from , so that the final event signal is not output.

이벤트분석부(600)는 차량(V)의 정면에서 오는 반대편 차선의 다른 차량의 불빛으로 인해 명암이 급격하게 바뀌면 HBA(high beam assistance) 알고리즘을 이용하여 반대편 차선의 다른 차량 불빛인지 여부를 판단한다.The event analysis unit 600 determines whether the light is from another vehicle in the opposite lane by using a high beam assistance (HBA) algorithm when the contrast is abruptly changed due to the light of another vehicle in the opposite lane coming from the front of the vehicle V. .

이벤트처리부(700)는 이벤트분석부(600)가 출력한 최종 이벤트 신호를 수신한다.The event processing unit 700 receives the final event signal output by the event analysis unit 600 .

처리부(700)는 HUD(Head-Up Display)이다. 이벤트처리부(700)는 차량(V) 운행시 전방의 도로 상태를 저장하고, 이벤트분석부(600)가 출력한 최종 이벤트 신호를 수신하면 차량 전면 유리에 도로 상태를 표시한다. The processing unit 700 is a head-up display (HUD). The event processing unit 700 stores the road condition in front of the vehicle V while driving, and displays the road condition on the vehicle windshield when receiving the final event signal output by the event analysis unit 600 .

이벤트처리부(700)는 AVM(Around-View Monitoring) 시스템일 수도 있다. 이벤트처리부(700)는 이벤트분석부(600)가 출력한 이벤트 신호를 수신하면 AVM시스템의 화면에 외부 카메라의 영상이나 차량(V) 진행 방향을 보여준다.The event processing unit 700 may be an Around-View Monitoring (AVM) system. When the event processing unit 700 receives the event signal output by the event analysis unit 600 , it displays the image of the external camera or the direction of the vehicle V on the screen of the AVM system.

이벤트처리부(700)는 운행 기록 장치일 수 있다. 이벤트처리부(700)는 이벤트분석부(600)가 출력한 이벤트 신호를 수신하면 운행 기록 장치에 차량(V) 전방 영상, 음성 및 로그기록을 저장한다.The event processing unit 700 may be a driving recording device. When the event processing unit 700 receives the event signal output by the event analysis unit 600, the vehicle (V) front image, voice and log record are stored in the driving recorder.

일실시례에 따른 도면을 참고하여 인식부(500)가 이벤트 신호를 출력하는 과정을 설명한다. 도 3은 일실시례에 따라 유광 표식(100)이 운전자의 눈동자에 비치는 모습을 카메라가 촬영하는 모습을 도식화하여 도시한 것이다A process in which the recognition unit 500 outputs an event signal will be described with reference to the drawings according to an embodiment. 3 is a diagram illustrating a state in which a camera captures a state in which the glossy mark 100 is reflected in the driver's pupil according to an embodiment.

일실시례에 따른 도 3(a)에 도시된 바에 따라 유광 표식(100)은 운전자가 쉽게 볼 수 있는 곳에 설치된다. 유광 표식(100)은 차량(V)의 후드 상단에 설치된다. 유광 표식(100)은 자연광을 반사시킨다. 카메라(200)는 운전자의 눈동자를 촬영한다. 카메라(200)가 촬영한 인식영상을 인식부(500)에 출력한다. 인식부(500)는 인식영상의 눈동자에서 유광 표식(100)을 인식한다. 카메라(200)는 적어도 초당 30 프레임의 영상을 출력한다. 즉 카메라(200)는 적어도 30fps의 영상을 출력한다. 카메라(200)는 촬영된 영상의 이미지를 초당 30프레임씩 버퍼 메모리에 저장한다. 카메라(200)는 버퍼 메모리에 저장된 이미지를 인식부(500)에 출력한다. 인식부(500)는 인식된 눈동자에서 채도를 체크하여 유광 표식(100)을 인식한다. As shown in Fig. 3 (a) according to an embodiment, the glossy mark 100 is installed where the driver can easily see it. The glossy mark 100 is installed on the top of the hood of the vehicle (V). The glossy marker 100 reflects natural light. The camera 200 captures the driver's pupils. The recognition image captured by the camera 200 is output to the recognition unit 500 . The recognition unit 500 recognizes the glossy mark 100 in the pupil of the recognition image. The camera 200 outputs an image of at least 30 frames per second. That is, the camera 200 outputs an image of at least 30 fps. The camera 200 stores the image of the captured image in the buffer memory at 30 frames per second. The camera 200 outputs the image stored in the buffer memory to the recognition unit 500 . The recognition unit 500 recognizes the glossy mark 100 by checking the saturation in the recognized pupil.

인식부(500)는 인식한 눈동자의 색에 따라 유광 표식(100)의 색을 바꾸는 신호를 유광 표식(100)에 출력한다. 인식부(500)는 눈동자의 색과 보색에 해당하는 색이 유광 표식(100)의 색이 되도록 바꾸는 신호를 출력한다. 일실시례에 따라 인식부(500)는 눈동자의 색이 검정색이면 유광 표식(100)의 색을 노랑색으로 바꾸는 신호를 출력한다. 인식부(500)는 눈동자의 색이 푸른색이면 유광 표식(100)의 색을 주황색으로 바꾸는 신호를 출력할 수도 있다.The recognition unit 500 outputs a signal for changing the color of the glossy mark 100 to the glossy mark 100 according to the recognized eye color. The recognition unit 500 outputs a signal for changing the color of the pupil and the color corresponding to the complementary color to become the color of the glossy mark 100 . According to an embodiment, the recognition unit 500 outputs a signal for changing the color of the luster mark 100 to yellow when the color of the pupil is black. If the color of the pupil is blue, the recognition unit 500 may output a signal for changing the color of the glazed mark 100 to orange.

인식부(500)는 설정된 유광 표식(100)의 모양을 저장한다. 인식부(500)는 설정된 모양과 인식영상의 유광 표식(100)의 모양을 비교하여 유광 표식을 인식한다.The recognition unit 500 stores the set shape of the glossy mark 100 . The recognition unit 500 recognizes the glossy mark by comparing the set shape with the shape of the glossy mark 100 of the recognition image.

일실시례에 따른 도 3(b)에서 보는 바와 같이 인식부(500)는 눈동자에서 유광 표식(100)을 인식하지 않으면 차량(V)에 돌발 상황이 있는 것으로 판단하여 이벤트 신호를 이벤트분석부(600)에 출력한다.As shown in Fig. 3 (b) according to an embodiment, the recognition unit 500 determines that there is an abrupt situation in the vehicle V if the pupil does not recognize the glossy mark 100 and converts the event signal to the event analysis unit ( 600) is printed.

도 4는 인식부(500)가 인식영상에서 명암을 판단하는 것을 보여주기 위해 일실시례에 따라 밝은 인식영상과 어두운 인식영상을 도시한 것이다. 이벤트분석부(600)는 인식영상의 명암을 판단하여 이벤트 신호를 출력한다. 인식부(500)는 인식영상에서 각 이미지 프레임의 YUV성분을 추출한다. 인식부(500)에 수신된 인식영상이 RGB 방식의 영상이면 RGB방식의 영상을 YUV 방식으로 바꾼다. 인식부(500)는 인식영상의 각 이미지 프레임에서 YUV성분 중에서 Y(휘도, Luminance)가 변화하면 이벤트분석부(600)에 이벤트신호를 출력한다. 인식부(500)는 수신한 각 이미지의 YUV 성분 중에서 Y를 계산한다. 인식부(500)는 카메라(100)가 출력한 이미지를 수신하여 수신한 이미지의 명암을 계산한다. 4 illustrates a bright recognition image and a dark recognition image according to an embodiment to show that the recognition unit 500 determines the contrast in the recognition image. The event analysis unit 600 outputs an event signal by determining the contrast of the recognition image. The recognition unit 500 extracts the YUV component of each image frame from the recognition image. If the recognition image received by the recognition unit 500 is an RGB image, the RGB image is changed to a YUV image. The recognition unit 500 outputs an event signal to the event analysis unit 600 when Y (luminance, Luminance) among YUV components in each image frame of the recognition image changes. The recognition unit 500 calculates Y among YUV components of each received image. The recognition unit 500 receives the image output by the camera 100 and calculates the contrast of the received image.

인식부(500)는 이벤트 신호를 출력하는 명암 범위를 설정하여 저장한다. 도 4(b)에서 도시한 것과 같이 인식부(500)는 이미지의 명암이 설정된 범위를 벗어나 어두워지면 이벤트 신호를 이벤트분석부(600)에 출력한다.The recognition unit 500 sets and stores a contrast range for outputting an event signal. As shown in FIG. 4(b) , the recognition unit 500 outputs an event signal to the event analysis unit 600 when the image is dark outside the set range.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been shown and described, but the present invention is not limited to the specific embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100 : 유광 표식
200 : 카메라
300 : 지피에스
400 : 네비게이션
500 : 인식부
600 : 이벤트분석부
700 : 이벤트처리부100 : glossy mark
200 : camera
300: GPS
400: navigation
500: recognition unit
600: event analysis unit
700: event processing unit

Claims (6)

차량에 구비되어 광원을 반사하여 빛을 발하는 특정 모양의 유광 표식;
상기 차량을 운전하는 운전자의 눈동자를 촬영하여 인식영상을 출력하는 카메라;
상기 인식영상에서 상기 유광 표식을 인식하고, 상기 인식영상에서 명암이 급격하게 변하는지 여부를 인식하면 이벤트 신호를 출력하는 인식부;
상기 유광 표식이 인식되는지 여부 및 상기 인식영상의 급격한 명암 변화가 유효한지 여부를 판단하여 상기 이벤트 신호가 유효한지 여부를 판단하여 상기 이벤트 신호에 대해 예외처리를 수행하고, 최종 이벤트 신호를 출력하는 이벤트분석부; 및
상기 최종 이벤트 신호를 수신하여 상기 운전자에게 경고함과 동시에 상기 차량의 주변 상황을 보여주는 이벤트처리부; 를 포함하는 운전 장애 처리 장치.A glossy mark of a specific shape that is provided in a vehicle and emits light by reflecting a light source;
a camera for outputting a recognition image by photographing the pupils of a driver driving the vehicle;
a recognition unit for recognizing the glazed mark in the recognition image and outputting an event signal when recognizing whether the contrast is abruptly changed in the recognition image;
Event of determining whether the glazed mark is recognized and whether a sudden change in brightness of the recognized image is effective, determining whether the event signal is valid, performing an exception processing on the event signal, and outputting a final event signal analysis department; and
an event processing unit that receives the final event signal to warn the driver and displays the surrounding conditions of the vehicle; A driving disorder handling device comprising a. 제 1 항에 있어서
상기 유광 표식은 상기 인식부가 상기 운전자의 눈동자에서 상기 유광 표식을 인식하지 않으면 상기 유광 표식 자체가 발광하는 운전 장애 처리 장치.2. The method of claim 1
In the case of the glazed mark, when the recognition unit does not recognize the glazed mark from the driver's pupil, the glazed mark itself emits light. 제 2 항에 있어서
상기 유광 표식이 발광하는 빛의 색이 상기 운전자의 상기 눈동자 색에 의해 달라지는 운전 장애 처리 장치.3. The method of claim 2
A driving disorder processing apparatus in which a color of the light emitted by the glazed indicator is changed according to the color of the pupil of the driver. 제 1 항에 있어서
상기 인식부가 상기 운전자의 눈을 인식하지 않으면 설정된 시간이 경과한 후 상기 인식부가 상기 유광 표식의 인식을 중단하는 운전 장애 처리 장치.2. The method of claim 1
If the recognition unit does not recognize the driver's eyes, the recognition unit stops recognizing the glossy mark after a set time elapses. 제 1 항에 있어서
상기 이벤트분석부는 상기 인식영상에서 상기 유광 표식이 설정된 프레임 이상 인식되지 않으면 상기 이벤트 신호를 출력하는 운전 장애 처리 장치.2. The method of claim 1
The event analysis unit is a driving disorder processing device for outputting the event signal when the frame in which the glossy mark is set or more is not recognized in the recognition image. 제 1 항에 있어서
상기 이벤트분석부는 지리 정보에 의하여 상기 이벤트 신호가 유효한지 여부를 판단하는 운전 장애 처리 장치.2. The method of claim 1
The event analysis unit is a driving disorder processing device for determining whether the event signal is valid based on geographic information.
KR1020140151388A 2014-11-03 2014-11-03 Apparatus for driving impairment handling KR102317237B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140151388A KR102317237B1 (en) 2014-11-03 2014-11-03 Apparatus for driving impairment handling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151388A KR102317237B1 (en) 2014-11-03 2014-11-03 Apparatus for driving impairment handling

Publications (2)

Publication Number Publication Date
KR20160051421A KR20160051421A (en) 2016-05-11
KR102317237B1 true KR102317237B1 (en) 2021-10-26

Family

ID=56026169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151388A KR102317237B1 (en) 2014-11-03 2014-11-03 Apparatus for driving impairment handling

Country Status (1)

Country Link
KR (1) KR102317237B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005212709A (en) * 2004-02-02 2005-08-11 Yoichi Takebayashi Vehicle driving supporting system
JP2011248746A (en) 2010-05-28 2011-12-08 Hino Motors Ltd Vigilance level reduction alarm device, vigilance level reduction alarm method, and program
JP2013528406A (en) * 2010-03-22 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for tracking observer's line of sight
KR101298197B1 (en) 2013-02-18 2013-08-20 주식회사 자이언트스타 Vsdt rearview mirror for sleepiness prevention

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100766592B1 (en) * 2005-06-03 2007-10-11 (주)엠투비 drowsiness detection using reflected image on eye iris

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005212709A (en) * 2004-02-02 2005-08-11 Yoichi Takebayashi Vehicle driving supporting system
JP2013528406A (en) * 2010-03-22 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ System and method for tracking observer's line of sight
JP2011248746A (en) 2010-05-28 2011-12-08 Hino Motors Ltd Vigilance level reduction alarm device, vigilance level reduction alarm method, and program
KR101298197B1 (en) 2013-02-18 2013-08-20 주식회사 자이언트스타 Vsdt rearview mirror for sleepiness prevention

Also Published As

Publication number Publication date
KR20160051421A (en) 2016-05-11

Similar Documents

Publication Publication Date Title
US10578865B2 (en) Head-up display apparatus, controlling method therer, and vehicle
JP6454368B2 (en) Vehicle display system and method for controlling vehicle display system
US10908417B2 (en) Vehicle vision system with virtual retinal display
JP5171629B2 (en) Driving information providing device
US7370970B2 (en) Eyeglass detection method
JP3855439B2 (en) Night driving visibility support device
CN100413324C (en) On-vehicle night vision camera system, display device and display method
IL292427A (en) Imaging modification, display and visualization using augmented and virtual reality eyewear
JP6445607B2 (en) Vehicle display system and method for controlling vehicle display system
US10227002B2 (en) Vehicle display system and method of controlling vehicle display system
JP2016103249A (en) Driving support device and driving support method
US20150124097A1 (en) Optical reproduction and detection system in a vehicle
KR20160050852A (en) Control device for concentrating front view in hud system
TWI522257B (en) Vehicle safety system and operating method thereof
KR20180022374A (en) Lane markings hud for driver and assistant and same method thereof
JP2017081456A (en) Display device and display method
JP7018634B2 (en) Eye movement measuring device and eye movement analysis system
JP6567842B2 (en) Liquor detection device and room mirror device
US10170073B2 (en) Vehicle driving assistance apparatus
JP2000351339A (en) Controller for driving device
US20220319200A1 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
KR102317237B1 (en) Apparatus for driving impairment handling
CN109791294A (en) Method and apparatus for running the display system with data glasses
JP2010149580A (en) Information display device in vehicle
US20160117802A1 (en) Display control device, display control method, non-transitory recording medium, and projection device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant