JP2013225205A - 喫煙検出装置及びプログラム - Google Patents

喫煙検出装置及びプログラム Download PDF

Info

Publication number
JP2013225205A
JP2013225205A JP2012096744A JP2012096744A JP2013225205A JP 2013225205 A JP2013225205 A JP 2013225205A JP 2012096744 A JP2012096744 A JP 2012096744A JP 2012096744 A JP2012096744 A JP 2012096744A JP 2013225205 A JP2013225205 A JP 2013225205A
Authority
JP
Japan
Prior art keywords
smoking
cigarette
image
area
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012096744A
Other languages
English (en)
Inventor
Kenji Ohara
賢治 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012096744A priority Critical patent/JP2013225205A/ja
Priority to PCT/JP2013/060859 priority patent/WO2013157466A1/ja
Publication of JP2013225205A publication Critical patent/JP2013225205A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/008Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models the input being air quality
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/32Responding to malfunctions or emergencies
    • F24F11/33Responding to malfunctions or emergencies to fire, excessive heat or smoke
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • F24F11/65Electronic processing for selecting an operating mode
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/50Air quality properties
    • F24F2110/62Tobacco smoke
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Thermal Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】運転者の喫煙状態の検出を、簡易な構成でしかも精度良く検出できる喫煙検出装置及びプログラムを提供する。
【解決手段】通常のドライバモニタシステム1で用いられるカメラ9等の装置を用いて、人の顔画像を撮影し、その顔画像からタバコを検出できるので、赤外線カメラのような特別の装置が不要であり、装置を簡易化して、コストの低減を図ることができる。また、喫煙中のタバコが存在していると予想される口や鼻の近傍の喫煙領域を設定し、その領域内においてタバコを検出するので、喫煙状態の判定精度が高い。更に、タバコの先端部の輝度でも判定を行うので、一層判定精度を高めることができる。
【選択図】図3

Description

本発明は、例えば自動車のドライバ(運転者)の顔の画像(顔画像)を撮像し、その顔画像から運転者の喫煙状態を把握できる喫煙検出装置及びプログラムに関する。
従来より、例えば脇見や居眠りなどといった運転操作上好ましくない運転者の状態を検出するためや運転者の個人認証を行うために、投光器から運転者の顔に向けて近赤外光を照射し、カメラによって運転者の顔を撮影して顔画像を取得し、その顔画像を解析することによって運転者の状態を検知したり個人認証を行うドライバモニタシステムが知られている。
また、近年のドライバモニタシステムでは、運転者の喫煙状態を、タバコの先端の高温の燃焼部分を赤外線カメラ(温度センサ)で検知することによって検出して、エアコンを作動させる空調制御を行ったり、タバコのポイ捨て検知を行う技術が提案されている(下記特許文献1〜3参照)。
特開2010−218494号公報 特開2009−15519号公報 特開2009−23400号公報
しかしながら、上述した従来技術では、赤外線カメラを用いて喫煙状態を検知するので、通常のカメラによるドライバモニタシステムに加えて赤外線カメラが必要であり、装置が複雑化するとともに、コストが上昇するという問題があった。
また、装置を簡易化するために、赤外線カメラを使用しない場合には、喫煙状態の検知の精度が低いという問題があった。
本発明は上記問題点を解決するものであり、その目的は、運転者の喫煙状態の検出を、簡易な構成でしかも精度良く検出できる喫煙検出装置及びプログラムを提供することである。
(1)請求項1の発明は、人を撮影する撮像部からの画像情報に基づいて、前記人の喫煙状態を検出する喫煙検出装置であって、前記人の顔を撮影した顔画像に基づいて、喫煙中のタバコが存在すると予想される喫煙領域を設定する喫煙境域設定手段と、前記喫煙領域における画像から、前記タバコを検出するタバコ検出手段と、前記喫煙領域に前記タバコが存在する場合には、前記喫煙状態であると推定する喫煙推定手段と、を備えたことを特徴とする。
本発明では、人の顔を撮影した顔画像に基づいて、喫煙中のタバコが存在すると予想される喫煙領域を設定し、その喫煙領域における画像からタバコの検出を行い、その喫煙領域にタバコが存在する場合には、喫煙状態であると推定する。
つまり、本発明では、通常のドライバモニタで用いられるカメラ等の装置を用いて、人の顔画像を撮影し、その顔画像からタバコを検出できるので、赤外線カメラのような特別の装置が不要であり、装置を簡易化して、コストの低減を図ることができる。
また、通常、喫煙中のタバコが存在していると予想される例えば口や鼻の近傍の喫煙領域を設定し、その領域内においてタバコを検出できれば、喫煙状態と推定できるので、判定精度が高いという利点がある。
なお、ここでは、喫煙領域にタバコが存在する場合には、タバコに火がついている慨然性が高いとして、喫煙状態であると推定しているが、後述する様に、実際に火が付けられているか否かの判定を加味することにより、一層精度の高い判定を行うことができる。
(2)請求項2の発明では、前記喫煙領域は、前記顔画像の全領域より小さな領域において、口の領域及び鼻の領域のうち少なくとも一方の領域を含むことを特徴とする。
本発明は、好ましい喫煙領域を例示している。通常、喫煙状態の場合には、タバコは口や鼻の周辺に存在すると推定できる。よって、喫煙中のタバコが存在する可能性が高い口や鼻の周辺の喫煙領域を設定することにより、精度の高い喫煙判定を行うことができる。
(3)請求項3の発明では、前記タバコ検出手段は、前記喫煙領域における画像と、予め設定されたタバコをくわえていない基礎画像とを比較して、前記タバコの画像を抽出することにより、前記タバコを検出すること特徴とする。
人が喫煙している画像と喫煙していない画像とを比較すると、喫煙している画像では、タバコの画像が存在しているはずである。従って、予め喫煙していない基礎画像を求めておき、その基礎画像と喫煙判定を行う画像と比較することにより、(喫煙している場合には)タバコの画像を容易に抽出することができる。これにより、タバコの検出を行うことができる。
なお、タバコの色は通常は白色であり、顔の色(輝度)とは異なるので、タバコの抽出は容易である。
(4)請求項4の発明では、前記喫煙推定手段は、前記抽出したタバコの画像に基づいて、前記タバコの先端部における輝度を求め、この先端部の輝度に基づいて、前記喫煙状態の判定を行うことを特徴とする。
タバコに火が付けられている場合には、タバコの先端部が(例えば先端部以外の箇所より)明るく輝く。よって、このタバコの先端部の輝度に基づいて、喫煙状態を正確に判定することができる。
(5)請求項5の発明では、前記喫煙推定手段は、前記タバコの先端部における輝度が、所定値以上の場合には、前記喫煙状態と判定することを特徴とする。
ここでは、タバコの先端部における輝度が、タバコに火を付けた状態を示す値よりも大きな場合には、喫煙状態と判定するので、精度の良い喫煙判定を行うことができる。
(6)請求項6の発明では、前記喫煙推定手段は、前記タバコの先端部における輝度が該先端部以外の輝度より所定値以上大きな場合には、前記喫煙状態と判定することを特徴とする。
ここでは、タバコの先端部における輝度が他の部分の輝度よりも大きな場合には、喫煙状態と判定するので、精度の良い喫煙判定を行うことができる。
(7)請求項7の発明では、前記撮像部による撮影は、近赤外光を照射して行うことを特徴とする。
近赤外光を照射した対象物を通常のドライバモニタで使用されるカメラ(例えばCCDカメラ)で撮影すると、(可視光で撮影した場合に比べて)白い部分が明るく写る。一方、タバコは通常白いので、近赤外光で撮影することにより、精度良くタバコを検出することができる。
(8)請求項8の発明では、コンピュータを、請求項1に記載の前記喫煙境域設定手段、前記タバコ検出手段、前記喫煙推定手段として機能させるためのプログラムを特徴とする。
つまり、喫煙境域設定手段、タバコ検出手段、喫煙推定手段は、コンピュータのプログラムにより実行される処理により実現することができる。
このようなプログラムの場合、例えば、FD、MO、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ROMやバックアップRAMをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのROMあるいはバックアップRAMをコンピュータに組み込んで用いても良い。
実施例1の喫煙検出装置の機能を有するドライバモニタシステム構成を示す説明図である。 カメラと投光器と運転者との位置関係を示す説明図である。 喫煙検出装置の電気的構成を示すブロック図である。 (a)はAAMにより形成されたマスクを示す説明図、(b)はマスクの口及び鼻の領域を示す説明図である。 (a)は喫煙領域における登録輝度分布を示す説明図、(b)は現フレームの喫煙領域における輝度分布を示す説明図、(c)は(a)の画像と(b)の画像との差分を示す差分画像である。 喫煙領域を小領域に区分し、各小領域における輝度の配置(輝度分布)を示す説明図である。 タバコの先端部とそれ以外部分とを示す説明図である。 喫煙検出装置の処理内容である輝度分布登録ルーチンを示すフローチャートである。 喫煙検出装置の処理内容である喫煙検出ルーチンを示すフローチャートである。
以下に本発明の喫煙検出装置の実施例を図面と共に説明する。
a)まず、本実施例の喫煙検出装置を搭載した車両のシステム構成を、図1〜図3に基づいて説明する。
図1に示す様に、車両(自動車)には、ドライバ(運転者)の居眠りや脇見等の状態を検出したり個人認証などを行うために、運転者の顔画像を撮像して、その顔画像を解析するドライバモニタシステム1が搭載されており、本実施例では、このドライバモニタシステム1が喫煙検出装置として用いられる。
このドライバモニタシステム1は、例えば、ダッシュモード3のメータ(図示せず)の近傍に配置された撮像部5と撮像部5等の動作を制御する制御部7とを備えている。
図2に示す様に、前記撮像部5は、運転者の顔を撮像するカメラ9と、運転者の顔等に光を照射する撮像用の一対の投光器11a、11b(11と総称する)とを備えている。
このうち、カメラ9は、近赤外光により画像の撮像を行うことが可能な(即ち近赤外光に対して一定の感度を持つ)例えばCCDカメラであり、例えば運転者の顔を正面斜め下方より撮像が可能な様に配置されている。
投光器11は、例えば近赤外LEDからなり、近赤外光を運転者の顔に向けて照射するように、カメラ9とほぼ同軸となる様に配置されている。なお、その照射領域は、運転者の顔を中心にほぼ円錐状である。
b)次に、ドライバモニタシステム1の電気的構成について、図3に基づいて説明する。
図3に示す様に、ドライバモニタシステム1は、上述したカメラ9及び投光器11を有する撮像部5と、撮像部5等を制御する制御部7とを備えており、この制御部7には、制御部7からの制御信号によって制御される装置として、エアコン13、スピーカ25、パワーウインド17、空気清浄機19等が接続されている。
このうち、制御部7は、周知のマイクロコンピュータを備えた電子制御装置であり、カメラ9からの画像信号に基づいて、画像処理等を行うとともに、後述する様に、運転者の喫煙状態の検出や、その検出結果に応じた各種の制御を行うものである。
c)次に、ドライバモニタシステム1のうち、喫煙検出装置として実施される処理の原理について、図4〜図7に基づいて説明する。
・本実施例の喫煙検出装置では、まず、カメラによって運転者の顔を撮影し、その撮影した画像から運転者の顔を示す顔画像を取得する。
この顔画像の取得方法としては、例えば特開2008−276328号公報に記載の様な周知の手法を採用できる。この手法とは、その公報の段落[0030]〜[0032]に記載の様に、画像における運転者の顔の部分の輝度と運転者の背景の画像の輝度との違いに基づいて、運転者の顔の画像(顔画像)を抽出する技術である。
・次に、上述の様にして得られた顔画像に対して、図4(a)に示す様に、例えば顔の目や口や鼻等のパーツを区分するような線分(ワイヤーフレーム)からなるマスクパターンを有するマスクを形成する。
このマスクは、顔画像の特徴点を結ぶ三角形(三角パッチ)を組み合わせた図形(顔パッチ図面)によって表される。
この顔画像における特徴点とは、顔において、例えば目の端や口の端など、画像上周囲とは明瞭に異なる特徴のある(特に顔の判別に有用な)点を示しており、更には、この特徴点から得られた2次的な点(例えば特徴点間の特定の位置の点など)も特徴点に含めることもある。なお、任意の顔画像において、特徴点は、例えば周知のエッジ検出処理などによって求めることができる。
この様なマスクパターンを形成する手法としては、例えば周知のAAM(Active Appearance Models)の手法を利用できる(例えば、Edwards, G., Taylor, C. J. and Cootes, T. F.: Interpreting Face Images using Active Appearance Models, In IEEE Conf. on Automatic Face and Gesture Recognition 1998, pp.300-305, Japan, (1998).参照)。
このAAMは、顔の表情やトラッキングや顔の認識などに主に使用される技術であり、ある特徴点群の配置を基本形状として、その基本形状からの見え方の変化を表現した2次元空間における公知の顔画像モデルである。以下に、簡単に、AAMの手法について説明する。
(1)学習用の顔画像について、その特徴点(目じり、鼻頭、口の端等)を設定し、モデルを作製する。この時点で、どの特徴点がどの部位を示しているかかが分かる。
(2)次に、学習用の輝度情報を登録する。
(3)次に、主成分分析により算出した主成分ベクトルに基づき、各特徴点を変化させる。
(4)次に、登録した顔の輝度情報を、前記(3)に基づいて変化させ、現フレームでの入力画像と登録された輝度情報の輝度値(登録輝度値)が一致するように、繰り返し前記(3)の処理を行う。
(5)次に、輝度値が最も近くなった位置を、モデルフィッティング位置(即ち、マスクが現フレームでの顔画像にフィットすると推定された位置)とする。
そして、前記(1)で予めどの特徴点がどの部位かが分かるので、この(5)の処理後に、各部位ごとに線を引くことにより、前記図4(a)に示すようなマスクを形成できる。
(6)次に、上述の様に好適にマスクを形成できた場合には、そのことを示すマスク有効フラグを設定する。
具体的には、マスク有効フラグの設定は、例えば、フィッティング時の登録輝度値と入力画像の輝度値との差の閾値処理により決定する。即ち、このマスク有効フラグとは、正確にマスクが現フレームでの顔画像にフィッティングしたか否かを示すフラグである。
・次に、図4(b)に示す様に、前記顔画像において、運転者が喫煙中のタバコが存在する領域を定めるために、口と鼻との領域(同図でグレー部分)を区分する。なお、口と鼻との領域とは、口と鼻の外周を示す特徴点を結ぶ領域である。
・次に、この口の領域と鼻の領域とを含む様に、喫煙中のタバコが存在すると予想される喫煙領域を設定する。
具体的には、例えば図5(a)に示す様な長方形の喫煙領域を設定する。つまり、鼻の領域の上端を喫煙領域の上端とし、口の領域の下端より所定値(所定数の画素)分下方を喫煙領域の下端とし、口の領域の左端を喫煙領域の左端とし、口の領域の右端を喫煙領域の右端とする。これにより、長方形の喫煙領域が設定される。
なお、カメラ9との顔との位置関係によっては、顔画像の大きさが変化するので、顔画像の大きさの変化に合わせて、喫煙領域が一定の大きさになるように、適宜、拡大・縮小する。
また、この喫煙領域は、実験等によって得られたデータに基づいて、喫煙中のタバコが存在する可能性が高いと判断された領域であり、更に各上下端や左右端において、適宜領域を増やしたり減らすことが可能である。また、これとは別に、例えば口の中心(例えば面積中心)を中心とした多角形や円形の領域など、適宜、喫煙領域を設定することができる。
次に、前記喫煙領域を、例えば図6に示す様に、縦M×横Nの行列で示される多数の小領域(配列要素)に区分し、その領域における輝度値を記憶する。例えば、その小領域における各画素の輝度値の平均値を記憶する。これにより、喫煙領域は、前記図6に示す様な輝度の分布(輝度分布)として表現することができる。なお、各画素毎に輝度値を求めて輝度分布を作製してもよい。
また、単一のフレームにおける画像だけでは、データの信頼性が低いので、ここでは、複数のフレームにおける配列要素のデータを蓄積する。
例えば、各フレーム毎に得られる前記図6の輝度分布を、各配列要素毎に加算し、必要なデータ数を蓄積する。例えば30フレーム分のデータが蓄積された場合を、十分なデータ数が得られたとする。
・そして、前記図5(a)に示す様なタバコを吸っていない場合の喫煙領域の画像を、登録輝度分布(基礎画像)として記憶しておき、その基礎画像と実際に喫煙を検出する現フレームにおける喫煙領域の画像(図5(b)参照)とを比較する。
具体的には、登録輝度分布と現フレームの輝度分布との差分を求める。これにより、タバコをくわえている場合には、タバコの部分の画像が異なるので、例えば図5(c)に示すような画像(差分画像)が得られる。
従って、この差分画像から、タバコが加えられているか否かの判定ができる。即ち、喫煙状態の推定が可能となる。
・更に、図7に示す様に、タバコの先端部(タバコの軸方向における一方の端部)と、それ以外の箇所(基端部)との輝度の違いを求める。例えば先端部と基端部との平均の輝度の違いを求め、この輝度の違いが所定の以上の大きな場合には、タバコの先端に火が付けられていると確定することができる。
つまり、タバコに火がつけられている場合には、タバコの先端部の輝度が他の部分の輝度に比べて大きく上昇するので、この輝度の違いによって喫煙の有無を判断することができる。
或いは、タバコに火が付けられている場合には、その輝度は非常に大きなものであるので、単に先端部の輝度の大きさから、喫煙の有無を判定してもよい。
なお、タバコの先端部の検出は、タバコの軸方向におけるどちら一方の端部を、先端からの所定距離で区分すればよい。この距離は、実験等で火により輝度が上昇する領域を求めておけばよい。
ここで、軸方向のどちら側を先端部とするかは、どちらを先端部としても喫煙の判定は可能であるが、例えば口の中心よりも遠い方を先端部とすることが望ましい。
d)次に、喫煙検出装置で実施される処理方法について、図8、図9に基づいて説明する。
<輝度分布登録ルーチン>
このルーチンは、予めタバコを吸っていない状態の顔画像に基づいて、前記図6に示した様な喫煙領域の輝度分布を登録するための処理を示している。
図8に示す様に、まず、ステップ(S)100では、カメラ9によって撮影された画像に基づいて、上述した様にして顔画像を取得する。
続くステップ110では、前記AAMの技術により、顔画像から特徴点を求めて、前記図4(a)に示す様なマスクを作製する。
続くステップ120では、マスク有効フラグがたっているか(設定されているか)否かを判定する。ここで肯定判断されるとステップ130に進み、一方否定判断されると前記ステップ100に戻り、同様な処理を繰り返す。
ステップ130では、好適にマスクが形成されたので、そのマスクにおける口及び鼻を含む喫煙領域を設定し、前記図6に示す様な喫煙領域の輝度分布を作製する。
続くステップ140では、作製した輝度分布を蓄積する。即ちフレームの輝度分布を、各配列要素毎に加算する。
続くステップ150では、データが必要分(例えば30フレーム分)溜まったか否かを判定する。ここで肯定判断されるとステップ160に進み、一方否定判断されると前記ステップ100に戻り、同様な処理を繰り返す。
ステップ160では、データが必要分溜まったので、通常時(非喫煙時)の口及び鼻を含む喫煙領域における輝度分布として登録する。
続くステップ170では、後述する喫煙検出ルーチンに移行し、一旦本処理を終了する。
<喫煙検出ルーチン>
このルーチンは、撮影された運転者の顔画像に基づいて、喫煙状態を検出する処理を示している。
実際に運転者の喫煙状態の検出を行う場合には、図9のステップ200に示す様に、まず、運転者の顔を撮影して、その顔画像を取得する。
続くステップ210では、前記AAMの技術により、顔画像から特徴点を求めて、前記図4(a)に示す様なマスクを作製する。
続くステップ220では、マスク有効フラグがたっているか否かを判定する。ここで肯定判断されるとステップ230に進み、一方否定判断されると前記ステップ200に戻り、同様な処理を繰り返す。
ステップ230では、マスクにおける口及び鼻を含む喫煙領域を設定し、その喫煙領域の輝度分布を作製する。
続くステップ240では、作製した現フレームにおける輝度分布と、前記輝度分布作製ルーチンにて作製した登録輝度分布の差分を算出する。
なお、ここでは、タバコの検出を確実に行うために、一定以上の輝度の差がある領域をタバコの画像として抽出する。
続くステップ250では、差分領域から、前記図5(c)に示す様なタバコの形状が検出できたか否かを判定する。例えば実際のタバコに相当する所定の長さと幅を有する長尺の画像(長尺の長方形の画像)が抽出できたか否かを判定する。
ここで肯定判断されると、「喫煙状態の可能性がある」としてステップ260に進み、一方否定判断されると、「喫煙状態ではない」として前記ステップ200に戻り、同様な処理を繰り返す。
ステップ260では、喫煙状態である可能性が高いので、その確認のために、(火がついている可能性が高い)タバコの先端部を検出する。即ち、タバコの先端から所定範囲の領域の明るさ(例えばその範囲の画素の輝度の平均値)を検出する。
続くステップ270では、タバコの先端部が強く光っているか否かを判定する。例えばタバコの先端部の輝度が所定の判定値以上の場合、或いは、タバコの先端部と先端部以外の箇所との輝度(平均値)の差が所定以上の場合には、タバコの先端部が強く光っていると判定する。
ここで肯定判断されると、「喫煙状態である」としてステップ280に進み、一方否定判断されると、再度確認するために前記ステップ200に戻り、同様な処理を繰り返す。
ステップ280では、喫煙状態であると判定し、例えば喫煙確定フラグをセットする。
続くステップ290、300、310では、喫煙状態であるとの判定に基づいた各処理を行い、以下上述した処理を繰り返す。
なお、各ステップ290、300、310の処理は、少なくとも1種を実行すればよく、その順番も適宜選択することができる。
具体的には、ステップ290では、喫煙中であるので、車内の空気を浄化するために、空気清浄機19を作動させる。
ステップ300では、スピーカ15を駆動して、例えば「健康に注意しましょう」などの警報を出力する。
ステップ310では、煙を車外に放出するために、パワーウインド17を駆動して、窓を少し開ける制御を行う。
なお、これ以外に、例えばエアコン13を制御して、空気の循環性を高め、空気の浄化を促進させてもよい。
e)この様に、本実施例では、通常のドライバモニタシステム1で用いられるカメラ9等の装置を用いて、人の顔画像を撮影し、その顔画像からタバコを検出できるので、赤外線カメラのような特別の装置が不要であり、装置を簡易化して、コストの低減を図ることができる。
また、通常、喫煙中のタバコが存在していると予想される例えば口や鼻の近傍の喫煙領域を設定し、その領域内においてタバコを検出できれば、喫煙状態と推定できるので、判定精度が高いという利点がある。
更に、喫煙状態の場合には、タバコは口や鼻の周辺に存在すると推定できるが、本実施例では、喫煙中のタバコが存在する可能性が高い口や鼻の周辺の喫煙領域を設定することにより、精度の高い喫煙判定を行うことができる。
また、人が喫煙している画像と喫煙していない画像とを比較すると、喫煙している画像では、タバコの画像が存在しているはずである。従って、本実施例では、予め喫煙していない画像を求めておき、その画像と喫煙判定を行う画像と比較することにより、(喫煙している場合には)タバコの画像を抽出することができる。これにより、タバコの検出を精度良く行うことができる。
特に、本実施例では、近赤外光を照射して撮影すると、タバコの白い部分が明るい画像が得られる。よって、タバコの抽出を容易に行うことができる。
更に、タバコに火が付けられている場合には、タバコの先端部が明るく輝く。よって、本実施例では、このタバコの先端部の輝度を検出し、その輝度に基づいて、喫煙状態を一層正確に判定することができる。
[特許請求の範囲と実施例との対応]
喫煙領域設定手段はステップ230等に、タバコ検出手段はステップ240等に、喫煙推定手段はステップ250〜270等に、それぞれ対応する。
尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、上述した喫煙検出装置の前記図8及び図9に示す様な各処理を行うコンピュータのプログラムも、本発明の範囲である。つまり、上述した喫煙検出装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。
1…ドライバモニタシステム
5…撮像部
7…制御部
9、9a、9b…カメラ
11…投光器

Claims (8)

  1. 人を撮影する撮像部からの画像情報に基づいて、前記人の喫煙状態を検出する喫煙検出装置であって、
    前記人の顔を撮影した顔画像に基づいて、喫煙中のタバコが存在すると予想される喫煙領域を設定する喫煙境域設定手段と、
    前記喫煙領域における画像から、前記タバコを検出するタバコ検出手段と、
    前記喫煙領域に前記タバコが存在する場合には、前記喫煙状態であると推定する喫煙推定手段と、
    を備えたことを特徴とする喫煙検出装置。
  2. 前記喫煙領域は、前記顔画像の全領域より小さな領域において、口の領域及び鼻の領域のうち少なくとも一方の領域を含むことを特徴とする請求項1に記載の喫煙検出装置。
  3. 前記タバコ検出手段は、前記喫煙領域における画像と、予め設定されたタバコをくわえていない基礎画像とを比較して、前記タバコの画像を抽出することにより、前記タバコを検出すること特徴とする請求項1又は2に記載の喫煙検出装置。
  4. 前記喫煙推定手段は、前記抽出したタバコの画像に基づいて、前記タバコの先端部における輝度を求め、この先端部の輝度に基づいて、前記喫煙状態の判定を行うことを特徴とする請求項3に記載の喫煙検出装置。
  5. 前記喫煙推定手段は、前記タバコの先端部における輝度が、所定値以上の場合には、前記喫煙状態と判定することを特徴とする請求項4に記載の喫煙検出装置。
  6. 前記喫煙推定手段は、前記タバコの先端部における輝度が該先端部以外の輝度より所定値以上大きな場合には、前記喫煙状態と判定することを特徴とする請求項4に記載の喫煙検出装置。
  7. 前記撮像部による撮影は、近赤外光を照射して行うことを特徴とする請求項1〜6のいずれか1項に記載の喫煙検出装置。
  8. コンピュータを、請求項1に記載の前記喫煙境域設定手段、前記タバコ検出手段、前記喫煙推定手段として機能させるためのプログラム。
JP2012096744A 2012-04-20 2012-04-20 喫煙検出装置及びプログラム Pending JP2013225205A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012096744A JP2013225205A (ja) 2012-04-20 2012-04-20 喫煙検出装置及びプログラム
PCT/JP2013/060859 WO2013157466A1 (ja) 2012-04-20 2013-04-10 喫煙検出装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012096744A JP2013225205A (ja) 2012-04-20 2012-04-20 喫煙検出装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2013225205A true JP2013225205A (ja) 2013-10-31

Family

ID=49383425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012096744A Pending JP2013225205A (ja) 2012-04-20 2012-04-20 喫煙検出装置及びプログラム

Country Status (2)

Country Link
JP (1) JP2013225205A (ja)
WO (1) WO2013157466A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10232680B2 (en) * 2016-01-07 2019-03-19 Lg Electronics Inc. Air circulation control device for vehicle
CN111457493A (zh) * 2020-03-31 2020-07-28 广东美的制冷设备有限公司 空气净化控制方法、装置及相关设备
JP2022501713A (ja) * 2019-03-29 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 動作認識方法及び装置、電子機器、並びに記憶媒体
DE102018130589B4 (de) 2017-12-04 2024-06-13 GM Global Technology Operations LLC Rauchmeldesystem für den Innenraum eines Fahrzeugs

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598934B (zh) * 2014-12-17 2018-09-18 安徽清新互联信息科技有限公司 一种驾驶员吸烟行为监控方法
CN104978829B (zh) * 2015-06-24 2018-01-02 国家电网公司 一种室内吸烟监控控制方法及系统
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
US10688961B2 (en) * 2017-12-04 2020-06-23 GM Global Technology Operations LLC In-vehicle smoke detection and reporting system and method for car sharing and ride sharing vehicles
CN108710837A (zh) * 2018-05-07 2018-10-26 广州通达汽车电气股份有限公司 吸烟行为识别方法、装置、计算机设备和存储介质
CN109334386A (zh) * 2018-10-09 2019-02-15 上海博泰悦臻网络技术服务有限公司 车内空气净化方法及其系统
CN110264670A (zh) * 2019-06-24 2019-09-20 广州鹰瞰信息科技有限公司 基于客运车辆司机疲劳驾驶状态分析装置
CN113761980B (zh) * 2020-06-04 2024-03-01 杭州海康威视系统技术有限公司 吸烟检测方法、装置、电子设备及机器可读存储介质
CN113323539A (zh) * 2021-06-23 2021-08-31 曼德电子电器有限公司 用于车辆排烟的方法、装置、存储介质、车辆及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003080920A (ja) * 2001-09-12 2003-03-19 Denso Corp 車両用空調装置
JP2008036352A (ja) * 2006-08-10 2008-02-21 Omron Corp 分煙装置および分煙制御方法、並びにプログラム
JP2012054897A (ja) * 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10232680B2 (en) * 2016-01-07 2019-03-19 Lg Electronics Inc. Air circulation control device for vehicle
DE102018130589B4 (de) 2017-12-04 2024-06-13 GM Global Technology Operations LLC Rauchmeldesystem für den Innenraum eines Fahrzeugs
JP2022501713A (ja) * 2019-03-29 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 動作認識方法及び装置、電子機器、並びに記憶媒体
JP7130856B2 (ja) 2019-03-29 2022-09-05 北京市商▲湯▼科技▲開▼▲發▼有限公司 動作認識方法及び装置、電子機器、並びに記憶媒体
CN111457493A (zh) * 2020-03-31 2020-07-28 广东美的制冷设备有限公司 空气净化控制方法、装置及相关设备
CN111457493B (zh) * 2020-03-31 2022-02-25 广东美的制冷设备有限公司 空气净化控制方法、装置及相关设备

Also Published As

Publication number Publication date
WO2013157466A1 (ja) 2013-10-24

Similar Documents

Publication Publication Date Title
JP2013225205A (ja) 喫煙検出装置及びプログラム
JP4793269B2 (ja) 眠気検知装置
JP5761074B2 (ja) 撮像制御装置及びプログラム
US8369608B2 (en) System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
WO2016038784A1 (ja) ドライバ状態判定装置
EP2860664B1 (en) Face detection apparatus
US9662977B2 (en) Driver state monitoring system
JP6601351B2 (ja) 視線計測装置
JP4819606B2 (ja) 対象物の部位判別装置及び性別判定装置
CN104346603A (zh) 图像处理装置与图像处理方法
JP2012113687A (ja) 車両内運転者の顔認証方法
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
JP5018653B2 (ja) 画像識別装置
JP2007295946A (ja) 酒気帯び検知システム及び酒気帯び検知方法
JP2013045317A (ja) 顔画像検出装置
JP2005323180A (ja) 撮像制御装置及びプログラム
JP5720627B2 (ja) 人検出装置
CN107507395A (zh) 一种疲劳驾驶检测系统及方法
JP2013196331A (ja) 撮像制御装置及びプログラム
JP2009279186A (ja) 顔検出装置及び顔検出方法
WO2018086420A1 (zh) 一种用于显示的方法、装置及智能镜子
JP4623172B2 (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP2010184067A (ja) 生体状態推定装置
JP2008183933A (ja) 赤外線暗視装置
CN111818316A (zh) 一种护眼投影方法、装置和投影仪