JP2013052784A - Driving support apparatus - Google Patents

Driving support apparatus Download PDF

Info

Publication number
JP2013052784A
JP2013052784A JP2011192923A JP2011192923A JP2013052784A JP 2013052784 A JP2013052784 A JP 2013052784A JP 2011192923 A JP2011192923 A JP 2011192923A JP 2011192923 A JP2011192923 A JP 2011192923A JP 2013052784 A JP2013052784 A JP 2013052784A
Authority
JP
Japan
Prior art keywords
driver
sneezing
detection means
assistance device
driving assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011192923A
Other languages
Japanese (ja)
Inventor
Takuya Tatsumi
卓矢 辰己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011192923A priority Critical patent/JP2013052784A/en
Priority to KR1020120097534A priority patent/KR101326954B1/en
Publication of JP2013052784A publication Critical patent/JP2013052784A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

PROBLEM TO BE SOLVED: To provide a driving support apparatus which can reliably suppress sneezes of a driver while suppressing consumption of electric power.SOLUTION: The driving support apparatus discriminates a facial pitch angle of the driver (the angle of the downward facial orientation of the driver relative to the horizontal direction) and the condition of the driver's eyes (S115) from a facial image of the driver imaged with a camera. When the driver's pitch angle increases by 20 degrees or more (the driver faces downward) within three seconds after he or she closes his or her eyes, the apparatus determines that the driver sneezes and counts the number of sneezes (S135), and when the number of sneezes reaches 5 times (S145: Yes), the apparatus executes a sneezing responsive process to suppress the sneezes of the driver (S150).

Description

本発明は、ドライバのくしゃみの発生を抑制する運転支援装置に関する。   The present invention relates to a driving support device that suppresses the occurrence of a driver's sneeze.

近年、花粉症やハウスダスト等による鼻炎を患う者が多く存在しているが、花粉症等を患ったドライバが運転中に症状が悪化してくしゃみを多発してしまうと、円滑な運転が妨げられてしまうおそれがある。ここで、花粉症等への対策として、例えば、車両のエアコンに花粉やハウスダスト等を除去するフィルタを設けることや、空気中の花粉等を取り除く空気清浄機を設置することが考えられる。   In recent years, there are many people who suffer from rhinitis due to hay fever and house dust, etc., but if the driver who suffered from hay fever develops symptoms and frequently sneezes, smooth driving is hindered. There is a risk that it will be. Here, as countermeasures against hay fever and the like, for example, it is conceivable to provide a filter for removing pollen or house dust in an air conditioner of a vehicle, or to install an air cleaner for removing pollen in the air.

しかしながら、花粉症等の症状は、ドライバの体調や、空気中に浮遊する花粉の量等に応じて変化するため、上記エアコンや空気清浄機を常時稼動させるとなると、くしゃみがほとんど発生しない時にまで上記エアコン等を稼動させてしまい、必要以上に電力を消費してしまうおそれがある。   However, since symptoms such as hay fever change according to the physical condition of the driver and the amount of pollen floating in the air, when the air conditioner and the air purifier are always operated, until sneezing hardly occurs. If the air conditioner or the like is operated, there is a risk of consuming more power than necessary.

ここで、特許文献１には、音によりドライバのくしゃみを検出し、くしゃみ検出時に、車内に正イオン，負イオンを放出して空気中の花粉や埃を除去する空気調和器について記載されている。   Here, Patent Document 1 describes an air conditioner that detects a driver's sneeze by sound and releases pollen and dust in the air by releasing positive ions and negative ions into the vehicle when sneezing is detected. .

特開２００５−３５１５０９号公報JP 2005-351509 A

特許文献１に記載の空気調和器によれば、ドライバがくしゃみをした場合のみ花粉や埃の除去が行われるため、必要以上に装置が稼動せず、無駄な電力の消費を抑えることができる。しかしながら、音声によりくしゃみを検出するため、車内で音楽やラジオ放送が流れている場合や騒音が激しい場合には、くしゃみが誤って検出されるおそれや、くしゃみの検出に失敗するおそれがある。   According to the air conditioner described in Patent Document 1, pollen and dust are removed only when the driver sneezes, so that the apparatus does not operate more than necessary, and wasteful power consumption can be suppressed. However, since sneezing is detected by voice, when music or radio broadcasting is flowing in the vehicle or when noise is intense, there is a possibility that sneezing may be detected erroneously or detection of sneezing may fail.

本願発明は上記課題に鑑みてなされたものであり、電力の消費を抑えつつ、ドライバのくしゃみを確実に抑制することができる運転支援装置を提供することを目的とする。   This invention is made | formed in view of the said subject, and it aims at providing the driving assistance device which can suppress the sneezing of a driver reliably, suppressing consumption of electric power.

上記課題に鑑みてなされた請求項１に記載の運転支援装置は、ドライバの顔を撮影する撮影手段と、撮影手段により撮影されたドライバの顔を示す顔画像データに基づき、ドライバが下を向いたことを検出する顔向き検出手段と、顔画像データに基づき、ドライバが目を閉じたことを検出する目状態検出手段と、を備える。また、予め定められた検出時間内に、顔向き検出手段によりドライバが下を向いたことが検出されると共に、目状態検出手段によりドライバが目を閉じたことが検出されると、ドライバがくしゃみをしたことを検出するくしゃみ検出手段と、くしゃみ検出手段によりドライバがくしゃみをしたことが検出されると、ドライバのくしゃみを抑制するための抑制処理を実行する処理実行手段と、を備える。   The driving support device according to claim 1, which has been made in view of the above problem, is based on an image capturing unit that captures the face of the driver and face image data that indicates the face of the driver captured by the image capturing unit. And a face direction detecting means for detecting that the driver has closed, and an eye state detecting means for detecting that the driver has closed his eyes based on the face image data. In addition, when the face direction detecting means detects that the driver has turned downward and the eye state detecting means detects that the driver has closed his eyes within a predetermined detection time, the driver sneezes. Sneezing detection means for detecting that the driver sneezes, and processing execution means for executing suppression processing for suppressing sneezing of the driver when the sneezing detection means detects that the driver sneezes.

人がくしゃみをする際には、目を閉じるという行為と、顔を下に向けるという行為が同時期に行われると考えられる。そこで、請求項１に記載の運転支援装置は、ドライバの顔画像からこれらの行為が行われたことを検出するよう構成されており、同時期に（検出時間内に）これらの行為が行われた場合には、ドライバのくしゃみが検出される。このため、車内に音楽等が流れている場合や、自車両周辺の騒音が激しい場合であっても、精度良くドライバのくしゃみを検出することができる。   When a person sneezes, the act of closing his eyes and the act of turning his face down are considered to occur at the same time. Therefore, the driving support device according to claim 1 is configured to detect that these actions are performed from the driver's face image, and these actions are performed at the same time (within the detection time). If this happens, a driver sneeze is detected. For this reason, it is possible to accurately detect a driver's sneeze even when music or the like is flowing in the vehicle or when the noise around the host vehicle is intense.

そして、この運転支援装置によれば、ドライバのくしゃみの検出に起因してくしゃみの抑制処理が実行されるため、花粉症等を患っていない者がドライバである場合や、ドライバの花粉症等の症状が和らいでいる場合には抑制処理が実行されず、必要以上に抑制処理が実行されることは無い。   And according to this driving support device, since the suppression process of sneezing caused by the detection of the driver's sneezing is executed, when the person who does not suffer from hay fever is a driver, When the symptom is relieved, the suppression process is not executed, and the suppression process is not executed more than necessary.

したがって、請求項１に記載の運転支援装置によれば、電力の消費を抑えつつ、ドライバのくしゃみを確実に抑制することができる。
また、人がくしゃみをする際には、一般的に、目を閉じた後に顔を下に向けるという場合が多いと考えられる。 Therefore, according to the driving support device of the first aspect, it is possible to reliably suppress the sneezing of the driver while suppressing the power consumption.
Further, when a person sneezes, it is generally considered that the face is often turned down after closing eyes.

そこで、請求項２に記載の運転支援装置では、くしゃみ検出手段は、目状態検出手段によりドライバが目を閉じたことが検出された後、検出時間が経過するまでに、顔向き検出手段によりドライバが下を向いたことが検出されると、ドライバがくしゃみをしたことを検出する。   Therefore, in the driving support device according to claim 2, the sneezing detecting means detects the driver's face orientation detecting means until the detection time elapses after the eye state detecting means detects that the driver has closed his eyes. When it is detected that is facing down, it is detected that the driver has sneezed.

こうすることにより、ドライバのくしゃみをより精度良く検出することができる。
また、ドライバが散発的にくしゃみをしているような場合には、運転が妨げられる可能性は低く、このような場合にまで抑制処理を実行する必要性は低いと考えられる。一方、花粉症等の症状が悪化してくしゃみを連発している場合には、ドライバは円滑な運転が困難となり、抑制処理を実行する必要性が高いと考えられる。 By doing so, it is possible to detect the sneezing of the driver with higher accuracy.
Further, when the driver is sneezing sporadically, the possibility that the driving is hindered is low, and it is considered that the necessity of executing the suppression process up to such a case is low. On the other hand, when symptoms such as hay fever worsen and sneeze continues, smooth driving is difficult, and it is considered highly necessary to perform suppression processing.

そこで、請求項３に記載の運転支援装置では、処理実行手段は、くしゃみ検出手段により、予め定められた長さの判定時間内に、予め定められた２以上の回数にわたりドライバのくしゃみが検出されると、抑制処理を実行する。   Therefore, in the driving support device according to the third aspect, the processing execution means detects the sneezing of the driver over a predetermined number of times within a predetermined length of determination time by the sneezing detecting means. Then, the suppression process is executed.

このような構成によれば、くしゃみが連続的に検出されなければ抑制処理が実行されない。このため、必要以上に抑制処理が実行されることを防ぐことができると共に、ドライバがくしゃみを連発している場合には、確実に抑制処理が実行して花粉症等の症状を和らげることができ、ドライバは円滑な運転を行うことが可能となる。   According to such a configuration, the suppression process is not executed unless sneezing is continuously detected. For this reason, it is possible to prevent the suppression process from being performed more than necessary, and when the driver is repeatedly sneezing, the suppression process can be reliably performed to relieve symptoms such as hay fever. The driver can perform smooth driving.

また、くしゃみをしない場合であっても、偶発的に目を閉じるという行為と下を向くという行為を同時期に行ってしまう場合があり、このような場合には、運転支援装置によりくしゃみが誤検出されてしまう。しかしながら、請求項３に記載の運転支援装置によれば、偶発的なくしゃみの誤検出により抑制処理が実行されることは無く、必要以上に抑制処理が実行されることを防ぐことができる。   Even if you do not sneeze, you may accidentally close your eyes and act downwards at the same time. It will be detected. However, according to the driving support apparatus of the third aspect, the suppression process is not executed due to accidental false detection of sneezing, and it is possible to prevent the suppression process from being executed more than necessary.

また、運転支援装置は、ドライバのくしゃみを抑制するための抑制処理として、次のような処理を行っても良い。
すなわち、請求項４に記載されているように、処理実行手段は、抑制処理として、自車両の車内の空気を浄化するための処理を実行しても良い。 In addition, the driving support device may perform the following process as a suppression process for suppressing the driver's sneezing.
That is, as described in claim 4, the process execution means may execute a process for purifying the air in the vehicle of the host vehicle as the suppression process.

また、請求項５に記載されているように、処理実行手段は、抑制処理として、自車両の車内の湿度を高めるための処理を実行しても良い。
こうすることにより、ドライバのくしゃみを確実に抑制することができる。 Further, as described in claim 5, the process execution means may execute a process for increasing the humidity inside the host vehicle as the suppression process.
By doing so, it is possible to reliably suppress the sneezing of the driver.

また、抑制処理を行ってもドライバのくしゃみが治まらない場合には、次のような処理を行っても良い。
すなわち、請求項６に記載されているように、処理実行手段は、予め定められた回数にわたり抑制処理を実行した場合には、検出手段によりドライバがくしゃみをしたことが検出されると、抑制処理に替えて、ドライバに対しくしゃみが多発していることを警告する警告処理を実行しても良い。 Further, if the driver's sneezing does not heal even after performing the suppression process, the following process may be performed.
That is, as described in claim 6, when the processing execution unit executes the suppression process for a predetermined number of times, when the detection unit detects that the driver sneezes, the suppression processing Instead of this, a warning process for warning the driver that frequent sneezing may be executed.

こうすることにより、ドライバに対し、休息や花粉症等の症状を和らげる薬の服用等を促すことができ、くしゃみにより円滑な運転が妨げられてしまうことを防ぐことができる。   By doing so, the driver can be encouraged to take medicines that relieve symptoms such as rest and hay fever, and smooth driving can be prevented from being hindered by sneezing.

運転支援装置を含む車載システムのブロック図と、運転支援装置の構成を示すブロック図である。FIG. 2 is a block diagram of an in-vehicle system including a driving support device and a block diagram showing a configuration of the driving support device. くしゃみ検出処理のフローチャートである。It is a flowchart of a sneezing detection process. くしゃみ対応処理のフローチャートである。It is a flowchart of a sneezing handling process.

以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment of the present invention is not limited to the following embodiment, and can take various forms as long as they belong to the technical scope of the present invention.

［構成の説明］
本実施形態の運転支援装置は、ドライバの顔の画像からドライバのくしゃみを検出すると共に、くしゃみを検出した際には、くしゃみを抑制するための各種処理を行うよう構成されている。図１に記載されているように、この運転支援装置１０は、ドライバの顔を撮影するカメラ１１を有すると共に、ＣＡＮ等の車内ＬＡＮ４０に接続されている。また、この車内ＬＡＮ４０には、フィルタ等を用いて空気中の花粉や埃を除去する空気清浄機能と加湿機能を有するエアコン２０や、車両のドア等に設けられた窓の開閉を行うパワーウインドウ制御装置３０が接続されている。 [Description of configuration]
The driving support device according to the present embodiment is configured to detect a driver's sneezing from the driver's face image and to perform various processes for suppressing the sneezing when detecting the sneezing. As illustrated in FIG. 1, the driving support apparatus 10 includes a camera 11 that captures a driver's face and is connected to an in-vehicle LAN 40 such as a CAN. The in-vehicle LAN 40 includes a power window control that opens and closes a window provided on an air conditioner 20 that has an air cleaning function and a humidifying function to remove pollen and dust in the air using a filter or the like, and a vehicle door. A device 30 is connected.

次に、運転支援装置１０の構成について説明する。運転支援装置１０は、運転席に座ったドライバの顔に光を照射すると共に、該ドライバの顔を撮影するカメラ１１と、ＬＣＤ等から構成され、各種情報を表示する表示部１２と、フラッシュメモリ等の不揮発性メモリ等から構成された記憶部１３を備える。また、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらを接続するバスライン等からなる周知のマイクロコンピュータを中心に構成され、ＲＯＭに記憶されたプログラム等に従い動作する制御部１４と、ボタン等から構成され、各種操作を受け付ける操作部１５と、車内ＬＡＮ４０を介して他の装置と通信を行う車内ＬＡＮ通信部１６を備える。   Next, the configuration of the driving support device 10 will be described. The driving support device 10 irradiates light on the face of the driver sitting in the driver's seat, and includes a camera 11 that captures the face of the driver, an LCD, and the like, a display unit 12 that displays various information, and a flash memory. The memory | storage part 13 comprised from non-volatile memories etc. are provided. Also, it is composed mainly of a well-known microcomputer comprising a CPU, ROM, RAM, I / O and a bus line connecting them, and comprises a control unit 14 that operates according to a program stored in the ROM, buttons, and the like. And an operation unit 15 that receives various operations and an in-vehicle LAN communication unit 16 that communicates with other devices via the in-vehicle LAN 40.

［動作の説明］
次に、本実施形態の運転支援装置１０の動作について説明する。
（１）くしゃみ検出処理について
まず、カメラ１１により撮影されたドライバの顔画像に基づき、ドライバによるくしゃみを検出するくしゃみ検出処理について、図２に記載のフローチャートを用いて説明する。一般的に、人がくしゃみをする際には、目を閉じた後に顔を下に向けると考えられ、本処理は、ドライバの顔の画像に基づきこのような行為が行われたことを検出し、該行為が検出された際にドライバがくしゃみをしたとみなすよう構成されている。なお、本処理は、自車両の運転の開始と共に開始される。 [Description of operation]
Next, operation | movement of the driving assistance apparatus 10 of this embodiment is demonstrated.
(1) About the sneeze detection process First, the sneeze detection process which detects the sneeze by a driver based on the driver's face image image | photographed with the camera 11 is demonstrated using the flowchart shown in FIG. In general, when a person sneezes, it is considered that his face is turned down after closing his eyes, and this process detects that such an action has been performed based on the driver's face image. The driver is considered to sneeze when the action is detected. This process is started together with the start of driving of the host vehicle.

Ｓ１０５では、運転支援装置１０の制御部１４は、くしゃみを検出した回数であるくしゃみ回数を０回に設定し、Ｓ１１０に処理を移行する。
Ｓ１１０では、制御部１４は、カメラ１１により撮影されたドライバの顔画像を示す顔画像データを解析し、ドライバの顔のピッチ角（水平方向に対する下方向へのドライバの顔の向きの角度）と目の開閉状態を判別し、Ｓ１１５に処理を移行する。 In S105, the control unit 14 of the driving support apparatus 10 sets the number of sneezing, which is the number of times sneezing is detected, to 0, and the process proceeds to S110.
In S110, the control unit 14 analyzes the face image data indicating the driver's face image captured by the camera 11, and determines the driver's face pitch angle (the angle of the driver's face in the downward direction relative to the horizontal direction) and The eye open / closed state is determined, and the process proceeds to S115.

具体的には、例えば、周知の方法により、顔画像データが示す顔画像から顔の特徴点を特定すると共に、特徴点に基づき顔の向きを測定し、これに基づきピッチ角を測定しても良い。   Specifically, for example, by using a well-known method, a facial feature point is identified from a facial image indicated by facial image data, the face orientation is measured based on the feature point, and the pitch angle is measured based on this. good.

また、例えば、顔画像データが示す顔画像において、目の形状モデルとのパターンマッチングによりドライバの目の領域を特定し、該領域の輝度に基づき顔画像中の瞳の有無を判別するといった周知の方法により、ドライバの目の開閉状態を判別しても良い。   Further, for example, in the face image indicated by the face image data, a driver's eye area is specified by pattern matching with an eye shape model, and the presence or absence of a pupil in the face image is determined based on the luminance of the area. Depending on the method, the open / closed state of the driver's eyes may be determined.

Ｓ１１５では、制御部１４は、ドライバの目の開閉状態の判別結果に基づき、ドライバが目を閉じたか否かを判定する。そして、肯定判定が得られた場合には（Ｓ１１５：Ｙｅｓ）、Ｓ１２０に処理を移行し、否定判定が得られた場合には（Ｓ１１５：Ｎｏ）、Ｓ１１０に処理を移行する。   In S115, the control unit 14 determines whether the driver has closed his eyes based on the determination result of the open / closed state of the driver's eyes. If an affirmative determination is obtained (S115: Yes), the process proceeds to S120, and if a negative determination is obtained (S115: No), the process proceeds to S110.

Ｓ１２０では、制御部１４は、ドライバが目を閉じた後に撮影されたドライバの顔画像を示す顔画像データに基づき、ドライバが目を閉じた後、予め定められた検出時間（一例として３秒）が経過するまでにおけるドライバの顔のピッチ角を測定し、Ｓ１２５に処理を移行する。   In S120, the control unit 14 determines a predetermined detection time (3 seconds as an example) after the driver closes his eyes based on face image data indicating the driver's face image taken after the driver closes his eyes. The pitch angle of the driver's face is measured until the time elapses, and the process proceeds to S125.

なお、検出時間とは、人がくしゃみをする様子を観察した結果に基づき定められる時間であり、例えば、多数の人について、くしゃみをする際の目を閉じた後から下を向くまでの時間を計測し、計測した時間の平均値に基づき検出時間を設定しても良い。   The detection time is a time determined based on the result of observing how a person sneezes.For example, for a number of people, the time from closing the eyes when sneezing until turning downward You may measure and set detection time based on the average value of the measured time.

Ｓ１２５では、制御部１４は、上記期間におけるピッチ角の最大値と最小値の差分を算出し、Ｓ１３０に処理を移行する。
Ｓ１３０では、制御部１４は、上記差分が予め定められた閾値（一例として２０度）以上か否かを判定し、肯定判定が得られた場合には（Ｓ１３０：Ｙｅｓ）、ドライバが下を向いたものとみなしてＳ１３５に処理を移行し、否定判定が得られた場合には（Ｓ１３０：Ｎｏ）、Ｓ１１０に処理を移行する。 In S125, the control unit 14 calculates the difference between the maximum value and the minimum value of the pitch angle in the period, and the process proceeds to S130.
In S130, the control unit 14 determines whether or not the difference is equal to or greater than a predetermined threshold (20 degrees as an example). If an affirmative determination is obtained (S130: Yes), the driver moves downward. If the determination is negative (S130: No), the process proceeds to S110.

なお、ピッチ角についての閾値は、人がくしゃみをする様子を観察した結果に基づき定められる角度であり、例えば、多数の人について、くしゃみをする際にピッチ角が何度変化するか計測し、計測した角度の平均値に基づき閾値を設定しても良い。   The threshold value for the pitch angle is an angle determined based on the result of observing how a person sneezes. For example, for a large number of people, the number of times the pitch angle changes when sneezing is measured. A threshold value may be set based on the average value of the measured angles.

Ｓ１３５では、制御部１４は、ドライバがくしゃみをしたものとみなしてくしゃみ回数をインクリメントし、Ｓ１４０に処理を移行する。
Ｓ１４０では、制御部１４は、くしゃみ回数が５回となったか否かを判定し、肯定判定が得られた場合には（Ｓ１４０：Ｙｅｓ）、Ｓ１４５に処理を移行し、否定判定が得られた場合には（Ｓ１４０：Ｎｏ）、Ｓ１１０に処理を移行する。 In S135, the control unit 14 regards that the driver has sneezed, increments the number of sneezes, and proceeds to S140.
In S140, the control unit 14 determines whether or not the number of sneezes has reached 5, and if an affirmative determination is obtained (S140: Yes), the process proceeds to S145 and a negative determination is obtained. In the case (S140: No), the process proceeds to S110.

Ｓ１４５では、制御部１４は、くしゃみ回数としてカウントされたくしゃみのうち、１回目のくしゃみの発生時期と、５回目のくしゃみの発生時期との間の時間間隔が、予め定められた判定時間（一例として１０分）以下であるか否かを判定する。そして、肯定判定が得られた場合には（Ｓ１４５：Ｙｅｓ）、Ｓ１５０に処理を移行し、否定判定が得られた場合には（Ｓ１４５：Ｎｏ）、Ｓ１１０に処理を移行する。   In S145, the control unit 14 determines that a time interval between the occurrence time of the first sneeze and the occurrence time of the fifth sneeze among the sneezes counted as the number of sneezes is a predetermined determination time (an example) 10 minutes) or less. If an affirmative determination is obtained (S145: Yes), the process proceeds to S150, and if a negative determination is obtained (S145: No), the process proceeds to S110.

Ｓ１５０では、制御部１４は、ドライバのくしゃみの抑制等を目的とした処理を実行するサブルーチンであるくしゃみ対応処理を実行し、Ｓ１５５に処理を移行する。なお、くしゃみ対応処理の内容については、後述する。   In S150, the control unit 14 executes a sneezing handling process that is a subroutine for executing a process for the purpose of suppressing the sneezing of the driver, and shifts the process to S155. The contents of the sneezing handling process will be described later.

Ｓ１５５では、制御部１４は、くしゃみ回数を０回に設定し、Ｓ１１０に処理を移行する。
なお、図２に記載のくしゃみ検出処理のフローチャートは、Ｓ１１５，Ｓ１３０等の分岐やＳ１５５のステップから再びＳ１１０に移行することを示しており、Ｓ１１０からＳ１１５にかけてのステップが、連続的に繰り返し実行されるように記載されている。しかしながら、Ｓ１１０に再度移行した後、一定期間が経過した後に該ステップを実行しても良く、一定の時間間隔を空けて、Ｓ１１０からＳ１１５にかけてのステップを繰り返し実行しても良い。 In S155, the control unit 14 sets the number of sneezes to 0, and proceeds to S110.
Note that the sneezing detection flowchart shown in FIG. 2 shows that the process proceeds from S115, S130, etc. or from S155 to S110 again, and the steps from S110 to S115 are repeatedly executed repeatedly. It is described as follows. However, after shifting to S110 again, the step may be executed after a certain period of time has elapsed, or the steps from S110 to S115 may be repeatedly executed with a fixed time interval.

（２）くしゃみ対応処理について
次に、ドライバのくしゃみの抑制や、くしゃみが多発していることについての警告を行うくしゃみ対応処理について、図３に記載のフローチャートを用いて説明する。なお、本処理は、くしゃみ検出処理にてサブルーチンとして実行される。 (2) Sneezing handling process Next, a sneezing handling process for suppressing a driver's sneezing and giving a warning about frequent sneezing will be described with reference to the flowchart shown in FIG. This process is executed as a subroutine in the sneeze detection process.

Ｓ２０５では、制御部１４は、くしゃみ対応処理の実行回数を判定する。そして、くしゃみ対応処理の実行回数が１回である場合にはＳ２１０に、２回である場合にはＳ２１５に、３回である場合にはＳ２２０に、４回である場合にはＳ２２５に処理を移行する。   In S205, the control unit 14 determines the number of executions of the sneezing handling process. If the number of executions of the sneeze handling process is 1, the process is performed in S210. If it is 2, the process is performed in S215. If it is 3, the process is performed in S220. Transition.

Ｓ２１０では、制御部１４は、車内ＬＡＮ４０を介して、パワーウインドウ制御装置３０に対し全ての窓を閉めるよう指示すると共に、エアコン２０に対し５分間にわたる空気清浄を指示し、本処理を終了する。   In S210, the control unit 14 instructs the power window control device 30 to close all windows via the in-vehicle LAN 40, and also instructs the air conditioner 20 to clean the air for 5 minutes, and ends this process.

Ｓ２１５では、制御部１４は、車内ＬＡＮ４０を介して、エアコン２０に対し５分間にわたる加湿を指示し、本処理を終了する。
Ｓ２２０では、制御部１４は、車内ＬＡＮ４０を介して、エアコン２０に対し空気清浄と加湿とを常時行うよう指示し、本処理を終了する。 In S215, the control unit 14 instructs the air conditioner 20 to humidify for 5 minutes via the in-vehicle LAN 40, and ends this process.
In S220, the control unit 14 instructs the air conditioner 20 to always perform air cleaning and humidification via the in-vehicle LAN 40, and ends this process.

Ｓ２３５では、制御部１４は、図示しないスピーカから警告音を出力することで、ドライバに対しくしゃみが多発していることを警告し、本処理を終了する。
［効果］
本実施形態の運転支援装置１０によれば、ドライバの顔画像から、ドライバが目を閉じた後、予め定められた検出時間内に顔を下に向けたことが検出されると、ドライバがくしゃみをしたものとみなされる。このため、車内に音楽等が流れている場合や、自車両周辺の騒音が激しい場合であっても、精度良くドライバのくしゃみを検出することができる。 In S235, the control unit 14 outputs a warning sound from a speaker (not shown) to warn the driver that frequent sneezing occurs, and ends this process.
[effect]
According to the driving support device 10 of the present embodiment, when it is detected from the driver's face image that the driver turns his face down within a predetermined detection time after closing the eyes, the driver sneezes. It is regarded as having done. For this reason, it is possible to accurately detect a driver's sneeze even when music or the like is flowing in the vehicle or when the noise around the host vehicle is intense.

そして、この運転支援装置１０によれば、１０分以内に５回のくしゃみが検出された場合にくしゃみの抑制処理が実行されるため、ドライバの花粉症等の症状が悪化している場合に抑制処理が実行され、必要以上に抑制処理が実行されることは無い。   And according to this driving assistance device 10, since sneezing suppression processing is executed when sneezing is detected five times within 10 minutes, it is suppressed when symptoms such as hay fever of the driver are worsening. The process is executed, and the suppression process is not executed more than necessary.

したがって、この運転支援装置１０によれば、電力の消費を抑えつつ、ドライバのくしゃみを抑制することができる。
［他の実施形態］
（１）本実施形態におけるくしゃみ対応処理では、自車両に搭載されたエアコン２０により、車内の空気中の花粉等の除去や加湿を行っている。しかしながら、これに限定されることは無く、例えば、空気清浄機や加湿器を自車両に搭載し、これらを用いて花粉等の除去や加湿を行っても良く、このような場合であっても、同様の効果を得ることができる。 Therefore, according to the driving support device 10, it is possible to suppress sneezing of the driver while suppressing power consumption.
[Other Embodiments]
(1) In the sneezing handling process in the present embodiment, the air conditioner 20 mounted on the host vehicle removes pollutants and the like from the air in the vehicle and humidifies them. However, the present invention is not limited to this. For example, an air cleaner or a humidifier may be mounted on the vehicle, and pollen or the like may be removed or humidified using these. The same effect can be obtained.

（２）また、本実施形態のくしゃみ検出処理では、ドライバが目を閉じたことが検出された後、検出時間が経過するまでにドライバが下を向いたことが検出されると、ドライバがくしゃみしたとみなされるが、くしゃみの検出方法はこれに限定されることは無い。   (2) Also, in the sneezing detection process of this embodiment, if it is detected that the driver has turned down before the detection time elapses after it is detected that the driver has closed his eyes, the driver sneezes. However, the method for detecting sneezing is not limited to this.

すなわち、同時期に（例えば、検出時間内に）、ドライバが目を閉じたことと下を向いたことが検出された場合には、ドライバがくしゃみをしたとみなしても良く、例えば、ドライバが下を向いたことが検出された後、検出時間が経過するまでにドライバが目を閉じたことが検出された場合に、ドライバがくしゃみしたとみなしても良い。このような場合であっても、同様の効果を得ることができる。   That is, if it is detected at the same time (eg, within the detection time) that the driver has closed his eyes and turned down, it may be considered that the driver has sneezed. If it is detected that the driver has closed his eyes before the detection time has elapsed after detecting that he has turned downward, the driver may be regarded as sneezing. Even in such a case, the same effect can be obtained.

［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。 [Correspondence with Claims]
The correspondence between the terms used in the description of the above embodiment and the terms used in the description of the claims is shown.

本実施形態におけるカメラ１１が撮影手段に相当する。
また、くしゃみ検出処理におけるＳ１１５が目状態検出手段に、Ｓ１３０が顔向き検出手段に、Ｓ１３５がくしゃみ検出手段に、Ｓ１５０が処理実行手段に相当する。 The camera 11 in this embodiment corresponds to a photographing unit.
In the sneeze detection process, S115 corresponds to the eye state detection means, S130 corresponds to the face direction detection means, S135 corresponds to the sneeze detection means, and S150 corresponds to the process execution means.

また、くしゃみ対応処理におけるＳ２１０〜Ｓ２２０が抑制処理に、Ｓ２２５が警告処理に相当する。   Further, S210 to S220 in the sneezing handling process corresponds to the suppression process, and S225 corresponds to the warning process.

１０…運転支援装置、１１…カメラ、１２…表示部、１３…記憶部、１４…制御部、１５…操作部、１６…車内ＬＡＮ通信部、２０…エアコン、３０…パワーウインドウ制御装置、４０…車内ＬＡＮ。   DESCRIPTION OF SYMBOLS 10 ... Driving assistance apparatus, 11 ... Camera, 12 ... Display part, 13 ... Memory | storage part, 14 ... Control part, 15 ... Operation part, 16 ... In-vehicle LAN communication part, 20 ... Air conditioner, 30 ... Power window control apparatus, 40 ... In-car LAN.

Claims (6)

ドライバの顔を撮影する撮影手段と、
前記撮影手段により撮影された前記ドライバの顔を示す顔画像データに基づき、前記ドライバが下を向いたことを検出する顔向き検出手段と、
前記顔画像データに基づき、前記ドライバが目を閉じたことを検出する目状態検出手段と、
予め定められた検出時間内に、前記顔向き検出手段により前記ドライバが下を向いたことが検出されると共に、前記目状態検出手段により前記ドライバが目を閉じたことが検出されると、前記ドライバがくしゃみをしたことを検出するくしゃみ検出手段と、
前記くしゃみ検出手段により前記ドライバがくしゃみをしたことが検出されると、前記ドライバのくしゃみを抑制するための抑制処理を実行する処理実行手段と、
を備えることを特徴とする運転支援装置。 Photographing means for photographing the face of the driver;
Face orientation detection means for detecting that the driver is directed downward based on face image data indicating the face of the driver photographed by the photographing means;
Eye state detection means for detecting that the driver has closed eyes based on the face image data;
When it is detected by the face direction detection means that the driver has turned down within a predetermined detection time, and the eye state detection means detects that the driver has closed eyes, Sneezing detection means for detecting that the driver sneezed,
When it is detected by the sneezing detection means that the driver sneezes, processing execution means for executing suppression processing for suppressing sneezing of the driver;
A driving support apparatus comprising: 請求項１に記載の運転支援装置において、
前記くしゃみ検出手段は、前記目状態検出手段により前記ドライバが目を閉じたことが検出された後、前記検出時間が経過するまでに、前記顔向き検出手段により前記ドライバが下を向いたことが検出されると、前記ドライバがくしゃみをしたことを検出すること、
を特徴とする運転支援装置。 The driving support device according to claim 1,
The sneezing detection means is configured such that the face direction detection means turns the driver downward until the detection time elapses after the eye state detection means detects that the driver has closed eyes. If detected, detecting that the driver has sneezed;
A driving assistance device characterized by the above. 請求項１または請求項２に記載の運転支援装置において、
前記処理実行手段は、前記くしゃみ検出手段により、予め定められた長さの判定時間内に、予め定められた２以上の回数にわたり前記ドライバのくしゃみが検出されると、前記抑制処理を実行すること、
を特徴とする運転支援装置。 In the driving assistance device according to claim 1 or 2,
The process execution means executes the suppression process when the sneeze detection means detects the driver's sneeze over a predetermined number of times within a predetermined length of determination time. ,
A driving assistance device characterized by the above. 請求項１から請求項３のうちのいずれか１項に記載の運転支援装置において、
前記処理実行手段は、前記抑制処理として、自車両の車内の空気を浄化するための処理を実行すること、
を特徴とする運転支援装置。 In the driving assistance device according to any one of claims 1 to 3,
The process execution means executes a process for purifying air in the host vehicle as the suppression process,
A driving assistance device characterized by the above. 請求項１から請求項４のうちのいずれか１項に記載の運転支援装置において、
前記処理実行手段は、前記抑制処理として、自車両の車内の湿度を高めるための処理を実行すること、
を特徴とする運転支援装置。 In the driving assistance device according to any one of claims 1 to 4,
The process execution means executes a process for increasing the humidity inside the host vehicle as the suppression process,
A driving assistance device characterized by the above. 請求項１から請求項５のうちのいずれか１項に記載の運転支援装置において、
前記処理実行手段は、予め定められた回数にわたり前記抑制処理を実行した場合には、前記検出手段により前記ドライバがくしゃみをしたことが検出されると、前記抑制処理に替えて、前記ドライバに対しくしゃみが多発していることを警告する警告処理を実行すること、
を特徴とする運転支援装置。 In the driving assistance device according to any one of claims 1 to 5,
In the case where the suppression process is executed for a predetermined number of times, the process execution means detects that the driver sneezes by the detection means and replaces the suppression process with respect to the driver. Perform warning processing to warn of frequent sneezing,
A driving assistance device characterized by the above.
JP2011192923A 2011-09-05 2011-09-05 Driving support apparatus Pending JP2013052784A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011192923A JP2013052784A (en) 2011-09-05 2011-09-05 Driving support apparatus
KR1020120097534A KR101326954B1 (en) 2011-09-05 2012-09-04 Sneeze detecting device for vehicle and drive assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011192923A JP2013052784A (en) 2011-09-05 2011-09-05 Driving support apparatus

Publications (1)

Publication Number Publication Date
JP2013052784A true JP2013052784A (en) 2013-03-21

Family

ID=48130177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011192923A Pending JP2013052784A (en) 2011-09-05 2011-09-05 Driving support apparatus

Country Status (2)

Country Link
JP (1) JP2013052784A (en)
KR (1) KR101326954B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292439A (en) * 2015-11-30 2018-07-17 德尔福技术有限责任公司 For calibrating installation to the method for the orientation of the video camera of vehicle
CN109040665A (en) * 2017-06-09 2018-12-18 阿自倍尔株式会社 People's detection device and method
CN109080411A (en) * 2018-07-12 2018-12-25 吉利汽车研究院（宁波）有限公司 A kind of gas generating unit intelligence control system
CN113819588A (en) * 2021-09-09 2021-12-21 青岛海尔空调器有限总公司 Method and device for controlling air conditioner and air conditioner
US11341681B2 (en) 2018-02-28 2022-05-24 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
WO2022149354A1 (en) * 2021-01-08 2022-07-14 株式会社Ｊｖｃケンウッド Vehicle window control system and vehicle window control method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004189178A (en) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd Air conditioner with ion generator for vehicle
JP2005351509A (en) * 2004-06-09 2005-12-22 Sharp Corp Air conditioner
JP2007265377A (en) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc Driver state determining device and driving support device
JP2008105613A (en) * 2006-10-26 2008-05-08 Matsushita Electric Works Ltd Electrostatic atomizer for vehicle
JP2010007899A (en) * 2008-06-25 2010-01-14 Sanyo Electric Co Ltd Atomizer
JP2010128649A (en) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd Awakening state determining device and awakening state determining method
JP2010208540A (en) * 2009-03-11 2010-09-24 Omron Corp Control device, method, and program
JP2011140271A (en) * 2010-01-07 2011-07-21 Toyota Motor Corp Vehicle operation supporting device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3335390B2 (en) * 1992-11-09 2002-10-15 マツダ株式会社 Vehicle driver fatigue reduction device
JP2008302790A (en) 2007-06-07 2008-12-18 Ngk Spark Plug Co Ltd Air conditioner
JP2009012635A (en) 2007-07-05 2009-01-22 Denso Corp Vehicular cleaning device
JP2010006178A (en) 2008-06-25 2010-01-14 Toyota Motor Corp Driving fatigue decision device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004189178A (en) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd Air conditioner with ion generator for vehicle
JP2005351509A (en) * 2004-06-09 2005-12-22 Sharp Corp Air conditioner
JP2007265377A (en) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc Driver state determining device and driving support device
JP2008105613A (en) * 2006-10-26 2008-05-08 Matsushita Electric Works Ltd Electrostatic atomizer for vehicle
JP2010007899A (en) * 2008-06-25 2010-01-14 Sanyo Electric Co Ltd Atomizer
JP2010128649A (en) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd Awakening state determining device and awakening state determining method
JP2010208540A (en) * 2009-03-11 2010-09-24 Omron Corp Control device, method, and program
JP2011140271A (en) * 2010-01-07 2011-07-21 Toyota Motor Corp Vehicle operation supporting device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292439A (en) * 2015-11-30 2018-07-17 德尔福技术有限责任公司 For calibrating installation to the method for the orientation of the video camera of vehicle
US11113843B2 (en) 2015-11-30 2021-09-07 Aptiv Technologies Limited Method for calibrating the orientation of a camera mounted to a vehicle
CN108292439B (en) * 2015-11-30 2022-01-04 德尔福技术有限责任公司 Method and storage medium for calibrating orientation of camera mounted to vehicle
CN109040665A (en) * 2017-06-09 2018-12-18 阿自倍尔株式会社 People's detection device and method
US11341681B2 (en) 2018-02-28 2022-05-24 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
US11663740B2 (en) 2018-02-28 2023-05-30 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
CN109080411A (en) * 2018-07-12 2018-12-25 吉利汽车研究院（宁波）有限公司 A kind of gas generating unit intelligence control system
WO2022149354A1 (en) * 2021-01-08 2022-07-14 株式会社Ｊｖｃケンウッド Vehicle window control system and vehicle window control method
CN113819588A (en) * 2021-09-09 2021-12-21 青岛海尔空调器有限总公司 Method and device for controlling air conditioner and air conditioner
WO2023035675A1 (en) * 2021-09-09 2023-03-16 青岛海尔空调器有限总公司 Method and apparatus for controlling air conditioner, and air conditioner

Also Published As

Publication number Publication date
KR20130026394A (en) 2013-03-13
KR101326954B1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
JP2013052784A (en) Driving support apparatus
US9888875B2 (en) Driver monitoring apparatus
CN107526235B (en) Method and device for preventing front cover of camera lens from fogging and camera
JP6707969B2 (en) Arousal level determination device
JPWO2020059442A1 (en) Space purification system and space purification method
JPWO2018190003A1 (en) Air cleaner
CN108105865B (en) Control method of air conditioner and air conditioner
JPWO2011118393A1 (en) Awakening level determination device, awakening level determination method, and program
TWI459333B (en) An Attractive Force Detection Device and Its Method for Interactive Voice
JP2007272810A5 (en)
CN103622160A (en) Gas flow detecting processing method and device of electronic cigarette and electronic cigarette
JP6855274B2 (en) Air purifier and air purifier control method
CN104063994A (en) Warning device for identifying human consciousness based on camera
JP2010139319A (en) Gas constituent detector
JP5163103B2 (en) Drinking operation prevention device, drinking operation prevention method, and drinking operation prevention program
CN113719980A (en) Oxygen-enriched air conditioner and control method for oxygen-enriched air conditioner
JP2009090876A (en) Nap prevention device
JP2020009179A5 (en)
CN113719979B (en) Oxygen-enriched air conditioner and control method for oxygen-enriched air conditioner
JP2017058041A (en) Air cleaner
JP2011172089A5 (en)
JP2008137623A (en) Drink-driving prevention device
JP5029433B2 (en) Vehicle drunk driving prevention device
WO2022113275A1 (en) Sleep detection device and sleep detection system
JP6575162B2 (en) Drying suppression device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150630