JP2019159346A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2019159346A
JP2019159346A JP2018040311A JP2018040311A JP2019159346A JP 2019159346 A JP2019159346 A JP 2019159346A JP 2018040311 A JP2018040311 A JP 2018040311A JP 2018040311 A JP2018040311 A JP 2018040311A JP 2019159346 A JP2019159346 A JP 2019159346A
Authority
JP
Japan
Prior art keywords
imaging
shielding
shielding object
sections
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018040311A
Other languages
English (en)
Inventor
崇裕 佐久間
Takahiro Sakuma
崇裕 佐久間
義朗 松浦
Yoshiro Matsuura
義朗 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018040311A priority Critical patent/JP2019159346A/ja
Priority to DE102019103963.0A priority patent/DE102019103963A1/de
Priority to US16/283,883 priority patent/US20190279365A1/en
Priority to CN201910162984.6A priority patent/CN110248153A/zh
Publication of JP2019159346A publication Critical patent/JP2019159346A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像を妨げる遮蔽物を、撮像を妨げない遮蔽物と区別して的確に検知できる撮像装置を提供する。【解決手段】撮像部が撮像した撮像画像Pを複数のセクション#1〜#16に分割するとともに、所定数のセクションを1つのブロックとして、撮像画像Pを複数のブロックA〜Dに分割する。複数のブロックA〜Dのそれぞれについて、当該ブロックに含まれるセクションの遮蔽状態を検証し、少なくとも1つのブロックにおいて、セクションの遮蔽状態が被写体の撮像を妨げるような遮蔽状態である場合(中央領域Kの少なくとも一部が遮蔽状態にある場合)は、撮像部と被写体との間に遮蔽物があると判定する。【選択図】図6

Description

本発明は、たとえば車両に搭載されるドライバモニタのような撮像装置に関し、特に、被写体の撮像を妨げる遮蔽物を検知する技術に関する。
車両に搭載されるドライバモニタは、カメラで撮像した運転者の顔の画像を解析して、瞼の閉じ具合や視線方向などから、居眠り運転や脇見運転の有無を監視する装置である。ドライバモニタのカメラは、運転席の前方のダッシュボードに、表示パネルや計器類などと共に設置される場合が多い。
しかるに、カメラは小型の部品であることから、運転者が気付かないうちに、ダッシュボード上に置かれた物(たとえばタオル)が垂れ下がってきて、カメラを遮蔽する場合がある。また、運転席の空間を漂う物(たとえば昆虫)や、悪戯によって貼られたシールなどによって、カメラが遮蔽される場合もある。カメラが遮蔽されると、運転者の顔の撮像が妨げられ、運転者の状態を正しく監視できなくなる。
カメラと被写体との間に存在する遮蔽物への対策を講じた撮像装置が、特許文献1および特許文献2に示されている。特許文献1では、撮像範囲において、被写体を捉える第1領域と、第1領域を一部に含む第2領域とを設定し、第2領域に被写体を遮る遮蔽体が存在する場合は撮像を行わないことで、撮像画像に遮蔽体が写り込むのを防止している。特許文献2では、カメラと顔との間に遮蔽物があって、撮像画像から顔の特徴部分を検出できなかった場合に、その特徴部分を報知するとともに、検出できなかった原因やとるべき措置なども報知するようにしている。
ところで、遮蔽物がカメラの撮像を妨げる態様はさまざまであり、カメラの視野(撮像範囲)の全部を妨げる場合もあれば、視野の一部を妨げる場合もある。遮蔽物が視野の全部を妨げる場合は、当然のことながら顔の撮像は不可能であるが、視野の一部を妨げる場合は、顔の撮像が不可能な場合とそうでない場合とがある。
たとえば、カメラが視野の中央領域で顔を捉える場合、中央領域の全部または一部が遮蔽物で遮蔽されると、顔の全体を捉えることができなくなるが、中央領域を除く周辺領域が遮蔽物で遮蔽されても、顔の全体を捉えることは可能である。したがって、後者の場合は、たとえカメラと顔との間に存在する遮蔽物が検知されたとしても、顔の撮像は妨げられないから、このような場合に遮蔽物検知に基づく処理(たとえば警報出力)を行うことは、装置に余計な負担がかかるだけでなく、利用者に対しても誤った情報を伝えることになる。
特開2013−205675号公報 特開2009−296355号公報
本発明は、撮像を妨げる遮蔽物を、撮像を妨げない遮蔽物と区別して的確に検知できる撮像装置を提供することを課題とする。
本発明に係る撮像装置は、被写体を撮像する撮像部と、この撮像部が撮像した撮像画像に対して所定の処理を行う画像処理部と、この画像処理部で処理された撮像画像に基づいて、撮像部と被写体との間に存在する遮蔽物を検知する遮蔽物検知部とを備えている。画像処理部は、撮像部が撮像した撮像画像を複数のセクションに分割するとともに、所定数のセクションを1つのブロックとして、撮像画像を複数のブロックに分割する。遮蔽物検知部は、複数のブロックのそれぞれについて、当該ブロックに含まれるセクションの遮蔽状態を検証し、少なくとも1つのブロックにおいて、セクションの遮蔽状態が被写体の撮像を妨げるような遮蔽状態である場合は、遮蔽物があると判定する。
このような本発明によると、各ブロックにおける遮蔽状態を検証することで、撮像部と被写体との間に、撮像を妨げる遮蔽物が存在する場合は、遮蔽物ありと判定することができる。また、撮像部と被写体との間に遮蔽物が存在しても、当該遮蔽物によって撮像が妨げられない場合は、遮蔽物なしと判定することができる。したがって、撮像を妨げる遮蔽物を、撮像を妨げない遮蔽物と区別して的確に検知することが可能となる。
本発明において、遮蔽物検知部は、少なくとも1つのブロックにおいて、当該ブロック内の全てのセクションが遮蔽状態である場合は、遮蔽物があると判定してもよい。
本発明において、複数のブロックのそれぞれは、撮像画像において被写体の特定部分が収まる特定領域の一部を含んでいてもよい。
この場合、遮蔽物検知部は、特定領域に位置する少なくとも1つのセクションが遮蔽状態である場合は、遮蔽物があると判定することができる。
また、遮蔽物検知部は、特定領域に位置する全てのセクションが遮蔽状態でない場合は、遮蔽物がないと判定することができる。
本発明において、被写体の特定部分は顔であり、特定領域は撮像画像における中央領域であってもよい。
本発明において、遮蔽物検知部は、少なくとも1つのブロックにおいて、当該ブロック内の全てのセクションが遮蔽状態である場合に、遮蔽物があると判定し、全てのブロックにおいて、当該ブロック内の所定のセクションが遮蔽状態でない場合に、遮蔽物がないと判定してもよい。
本発明において、遮蔽物検知部は、1つのセクションに含まれる複数の画素の輝度を、画素単位で閾値と比較し、その比較結果が所定の条件を満たしている画素を一定数以上含むセクションを、遮蔽状態のセクションと判定してもよい。
本発明において、画像処理部は、撮像画像における端部領域を除外した領域を有効領域として設定し、この有効領域内で撮像画像を複数のセクションに分割してもよい。
本発明において、遮蔽物検知部は、遮蔽物があると判定した場合に、当該遮蔽物の除去を通知する信号を出力してもよい。
本発明において、撮像部は、車両に搭載されて当該車両の乗員の顔を撮像し、遮蔽物検知部は、撮像部と乗員の顔との間に存在する遮蔽物を検知してもよい。
本発明によれば、撮像を妨げる遮蔽物を、撮像を妨げない遮蔽物と区別して的確に検知できる撮像装置を提供することができる。
本発明の実施形態であるドライバモニタの電気ブロック図である。 ドライバモニタによる顔の撮像の様子を示す図である。 撮像画像におけるセクション分割とブロック分割を示す図である。 分割後の画像領域を示す図である。 遮蔽物がないと判定される場合の遮蔽状態を示す図である。 遮蔽物があると判定される場合の遮蔽状態を示す図である。 遮蔽物を捉えた撮像画像の例である。 遮蔽物検知の手順を示すフローチャートである。 遮蔽物検知の手順の他の例を示すフローチャートである。 遮蔽物があると判定される場合の他の例を示す図である。 遮蔽物があると判定される場合の他の例を示す図である。 セクション分割の他の例を示す図である。 ブロック分割の他の例を示す図である。
本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。以下では、本発明を車両に搭載されるドライバモニタに適用した例を挙げる。
まず、図1および図2を参照して、ドライバモニタの構成について説明する。図1において、ドライバモニタ100は、図2の車両50に搭載されており、撮像部1、画像処理部2、ドライバ状態判定部3、遮蔽物検知部4、および信号出力部5を備えている。
撮像部1は、カメラを構成しており、撮像素子11と発光素子12とを有している。撮像素子11は、たとえばCMOSイメージセンサからなり、シート52に着座した被写体である運転者53の顔を撮像する。発光素子12は、たとえば近赤外光を発光するLEDからなり、運転者53の顔に近赤外光を照射する。図2に示すように、撮像部1は、車両50の運転席のダッシュボード51における、運転者53の顔と対向する位置に設置されている。
画像処理部2は、撮像部1が撮像した撮像画像に対して所定の処理を行う。この処理の詳細については後述する。ドライバ状態判定部3は、画像処理部2で処理された画像に基づいて、運転者53の状態(居眠り状態や脇見状態など)を判定する。遮蔽物検知部4は、画像処理部2で処理された画像に基づいて、後述する方法により、撮像部1と運転者53との間に存在する遮蔽物を検知する。図2に示されている遮蔽物Zは、ダッシュボード51上に置かれたタオルや印刷物などである。
信号出力部5は、ドライバ状態判定部3での判定結果に基づく信号、および遮蔽物検知部4での検知結果に基づく信号をそれぞれ出力する。これらの出力信号は、CAN(Controller Area Network)を介して、車両50に搭載されている図示しないECU(Electronic Control Unit)へ送られる。
なお、図1において、画像処理部2、ドライバ状態判定部3、および遮蔽物検知部4のそれぞれの機能は、実際にはソフトウェアによって実現されるが、図1では便宜上、ブロック図で示している。
次に、遮蔽物検知部4により遮蔽物Zを検知する方法について説明する。
図3は、撮像部1で撮像された撮像画像Pを模式的に示している。本例では、撮像画像Pは、640×480個の画素から構成されている。この撮像画像Pを、まず16個のセクションYに分割する。この場合、撮像画像Pにおける端部領域(塗り潰し部分)を除外した領域を有効領域として設定し、この有効領域内で16個のセクションYに分割する。端部領域を除外する理由は、端部領域で遮蔽物が捉えられたとしても、当該遮蔽物は顔の撮像の妨げにならないからである。1つのセクションYには、複数の画素mが含まれている。
次に、16個に分割されたセクションYのうち、4個のセクションを1つのブロックとして、撮像画像Pを4個のブロックA、B、C、Dに分割する。ここでは便宜上、16個のセクションYのそれぞれに対して、図4のように番号1〜16を割り当てる。そして、以下では、番号1のセクションを「セクション#1」、番号2のセクションを「セクション#2」のように表記する。
ブロックAは、セクション#1、#2、#5、#6の4個のセクションを含んでいる。ブロックBは、セクション#9、#10、#13、#14の4個のセクションを含んでいる。ブロックCは、セクション#3、#4、#7、#8の4個のセクションを含んでいる。ブロックDは、セクション#11、#12、#15、#16の4個のセクションを含んでいる。
図4に点線で示した正方形の領域Kは、被写体の特定部分が収まる特定領域である。本実施形態では、被写体は運転者53であり、特定部分は運転者53の顔であり、特定領域は撮像画像Pにおける中央領域Kである。すなわち、中央領域Kは、運転者53の顔を捉える領域であり、運転者53の顔画像がこの中央領域Kに収められる。中央領域Kには、セクション#6、#7、#10、#11の4個のセクションが含まれる。したがって、4個のブロックA〜Dのそれぞれは、中央領域Kの一部の領域を含んでいる。
図4において、セクション#1〜#4は、主として車両の内装が写る領域であり、セクション#14および#15は、主として運転者53の上半身の衣服が写る領域である。4個のブロックA〜Dのそれぞれは、これらのセクションの少なくとも1つを含んでいる。
遮蔽物の検知にあたり、まず、1つのブロックに所属する4個のセクションのそれぞれについて、遮蔽状態の有無を検証する。詳しくは、1つのセクションに含まれる複数の画素mの輝度を、画素単位で閾値と比較し、その比較結果が所定の条件を満たしている画素、具体的には、閾値より大きい輝度値を持つ画素を抽出する。図7の撮像画像Qに示すように、撮像範囲に遮蔽物Zが存在すると、当該遮蔽物Zは発光素子12からの近赤外光の照射を受けて白く写るため、遮蔽物Zの領域の輝度が高くなる。そこで、閾値より大きい輝度値を持つ画素mの数が全画素数の1/2以上であるセクションを、遮蔽状態のセクションと判定する。この判定を、ブロックA〜Dの全てに対して行う。
次に、ブロックA〜Dのそれぞれについて、当該ブロックに含まれるセクションの遮蔽状態が、被写体の撮像を妨げるような遮蔽状態であるか否かを検証する。本実施形態では、1ブロックに含まれる4個のセクションが全て遮蔽状態か否かが検証される。図5および図6は、各ブロックにおける遮蔽状態の例を示している。図中、網掛のセクションが、遮蔽状態のセクションを表している。
図5は、被写体の撮像を妨げない遮蔽状態の例である。ここでは、1つのブロックにおいて、4個のセクションの一部だけが遮蔽状態となっている。
図5(a)では、ブロックAのセクション#1、#2、#5が遮蔽状態にあり、セクション#6は遮蔽状態にない。図5(b)では、ブロックAのセクション#1、#2が遮蔽状態にあり、セクション#5、#6は遮蔽状態にない。また、ブロックCのセクション#3、#4が遮蔽状態にあり、セクション#7、#8は遮蔽状態にない。図5(c)では、ブロックCのセクション#4、#8が遮蔽状態にあり、セクション#3、#7は遮蔽状態にない。また、ブロックDのセクション#12が遮蔽状態にあり、セクション#11、#15、#16は遮蔽状態にない。
図5(a)は、遮蔽物が斜め上から撮像範囲へ侵入してきて、セクション#1、#2、#5が遮蔽状態となった例、図5(b)は、遮蔽物が上から撮像範囲へ侵入してきて、セクション#1〜#4が遮蔽状態となった例、図5(c)は、遮蔽物が横から撮像範囲へ侵入してきて、セクション#4、#8、#12が遮蔽状態となった例である。
図5(a)〜(c)のいずれの場合も、撮像範囲内に遮蔽物が存在するが、この遮蔽物は中央領域Kまでは侵入していないので、中央領域Kにあるセクション#6、#7、#10、#11は、いずれも遮蔽状態となっていない。したがって、中央領域Kで顔を捉えることが可能であるから、この場合の遮蔽物は、被写体の撮像を妨げない遮蔽物である。そこで、このように、全てのブロックA〜Dにおいて、各ブロック内の中央領域Kに位置するセクション#6、#7、#10、#11が遮蔽状態でない場合、すなわち中央領域Kの全域が遮蔽状態でない場合は、遮蔽物がないと判定する。
図6は、被写体の撮像を妨げる遮蔽状態の例である。ここでは、1つのブロックにおいて、4個のセクションの全てが遮蔽状態となっている。
図6(a)では、ブロックBのセクション#9、#10、#13、#14が全て遮蔽状態にある。図6(b)では、ブロックAのセクション#1、#2、#5、#6が全て遮蔽状態にあり、ブロックCのセクション#3、#4、#7、#8も全て遮蔽状態にある。図6(c)では、ブロックAのセクション#1、#2、#5、#6が全て遮蔽状態にあり、ブロックBのセクション#9、#10、#13、#14も全て遮蔽状態にある。
図6(a)は、遮蔽物が斜め下から撮像範囲へ侵入してきて、セクション#9、#10、#13、#14が遮蔽状態となった例、図6(b)は、遮蔽物が上から撮像範囲へ侵入してきて、セクション#1〜#8が遮蔽状態となった例、図6(c)は遮蔽物が横から撮像範囲へ侵入してきて、セクション#1〜#3、#5〜#7、#9〜#11、#13〜#15が遮蔽状態となった例である。
図6(a)では、ブロックBの全てのセクションが遮蔽状態にあり、その結果として中央領域Kの一部(セクション#10)も遮蔽状態となっている。図6(b)では、ブロックA、Cの全てのセクションが遮蔽状態にあり、その結果として中央領域Kの一部(セクション#6、#7)も遮蔽状態となっている。図6(c)では、ブロックA、Bの全てのセクションが遮蔽状態にあり、その結果として中央領域Kの一部(セクション#6、#10)も遮蔽状態となっている。また、ブロックC、Dのセクション#7、#11が遮蔽状態にあるため、中央領域Kは全域が遮蔽状態となっている。
図6(a)〜(c)のいずれの場合も、遮蔽物が中央領域Kまで侵入しており、中央領域Kで顔を正確に捉えることは不可能であるから、この場合の遮蔽物は、被写体の撮像を妨げる遮蔽物である。そこで、このようにブロックA〜Dの少なくとも1つにおいて、当該ブロック内の全てのセクションが遮蔽状態であり、その結果として中央領域Kの少なくとも一部が遮蔽状態となる場合は、遮蔽物があると判定する。なお、図6(c)の場合、ブロックC、Dは、一部のセクションが遮蔽状態ではないため、遮蔽物ありの判定には関与しない。
図8は、ドライバモニタ100における遮蔽物検知の手順を示したフローチャートである。
図8において、ステップS1では、撮像部1が被写体である運転者53の顔を撮像する。ステップS2では、画像処理部2が、撮像部1で撮像された撮像画像Pにおける各画素mの輝度情報を取得する。ステップS3では、画像処理部2が、図3で示したように、撮像画像Pを複数のセクションYに分割するとともに、所定数のセクションを1つのブロックとして、ブロック化する(ブロックA〜D)。以降のステップS4〜S11は、遮蔽物検知部4によって実行される。
ステップS4では、ステップS2で取得された輝度情報と前述の閾値とに基づき、セクション(#1〜#16)ごとに遮蔽状態を検証する。ステップS5では、各セクションの検証結果に基づき、ブロック(A〜D)ごとに遮蔽状態を検証する。
ステップS6では、1つのブロックにつき、当該ブロックに含まれる全てのセクションが遮蔽状態であるか否かを判定し、全てのセクションが遮蔽状態である場合(ステップS6:YES)は、ステップS7へ移って、遮蔽物フラグをセットする。一部のセクションが遮蔽状態でない場合(ステップS6:NO)は、ステップS7を実行することなく、ステップS8へ移る。
ステップS8では、全てのブロックについて遮蔽状態の検証を実施したか否かを判定する。検証を実施していないブロックがあれば(ステップS8:NO)、ステップS5に戻って、次のブロックについて遮蔽状態を検証する。全てのブロックについて遮蔽状態の検証が終了すると(ステップS8:YES)、ステップS9へ移る。
ステップS9では、遮蔽物フラグがセットされているか否かを判定する。ステップS7で遮蔽物フラグがセットされている場合(ステップS9:YES)は、ステップS10へ移って、「遮蔽物あり」と判定する。そして、続くステップS11において、遮蔽物の除去を通知する信号を出力する。この通知信号は、信号出力部5(図1)から前述のECUへ送られる。ECUは、受け取った通知信号に基づいて、遮蔽物の除去を促すメッセージを画面に表示したり、音声で出力したりすることによって、運転者53に通知する。
一方、ステップS9において、遮蔽物フラグがセットされていない場合(ステップS9:NO)は、ステップS12へ移って、「遮蔽物なし」と判定する。そして、ステップS11を実行することなく、処理を終了する。
以上述べたように、本実施形態においては、撮像部1が撮像した撮像画像Pを複数のセクション#1〜#16に分割するとともに、所定数(ここでは4個)のセクションを1つのブロックとして、撮像画像Pを複数のブロックA〜Dに分割している。そして、複数のブロックA〜Dのそれぞれについて、当該ブロックに含まれるセクションの遮蔽状態を検証し、図6のように、少なくとも1つのブロックにおいて、セクションの遮蔽状態が被写体の撮像を妨げるような遮蔽状態である場合(中央領域Kの少なくとも一部が遮蔽状態にある場合)は、撮像部1と被写体との間に遮蔽物があると判定する。一方、図5のように、全てのブロックA〜Dにおいて、セクションの遮蔽状態が被写体の撮像を妨げないような遮蔽状態である場合(中央領域Kの全域が遮蔽状態にない場合)は、撮像部1と被写体との間に遮蔽物がないと判定する。
このため、各ブロックA〜Dにおける遮蔽状態を検証することで、撮像部1と運転者53の顔との間に、撮像を妨げる遮蔽物Zが存在する場合は、遮蔽物ありと判定することができる。また、撮像部1と運転者53の顔との間に遮蔽物Zが存在しても、当該遮蔽物Zによって顔の撮像が妨げられない場合は、遮蔽物なしと判定することができる。したがって、撮像を妨げる遮蔽物Zを、撮像を妨げない遮蔽物Zと区別して的確に検知することが可能となる。
また、本実施形態においては、ブロックA〜Dのそれぞれが中央領域Kの一部を含んでいる。このため、少なくとも1つのブロックにおいて全てのセクションが遮蔽状態であれば、必然的に中央領域Kの一部(または全部)が遮蔽状態となるので、撮像を妨げる遮蔽物を簡単かつ確実に検知することができる。
また、本実施形態においては、図3で説明したように、撮像画像Pにおける端部領域を除外した有効領域内で、撮像画像Pを複数のセクションに分割している。このため、端部領域を含む全領域で撮像した画像を処理する場合に比べて、データ量が少なくなり、装置の処理負担を軽減することができる。
また、本実施形態においては、遮蔽物があると判定した場合、すなわち撮像部1と顔との間に撮像を妨げる遮蔽物Zが存在する場合に、当該遮蔽物Zの除去を通知する信号を出力する。このため、運転者53は、遮蔽物Zの存在を速やかに察知して、これを除去する措置を講じることができる。
図9は、遮蔽物検知手順の他の例を示すフローチャートである。図9において、図8と同じ処理を実行するステップには、同じ符号を付してある。前述した図8のフローチャートでは、ステップS6で1つのブロックが遮蔽状態と判定された場合に、ステップS7で遮蔽物フラグをセットし、全てのブロックについて遮蔽状態の検証が終了した後に、ステップS9で遮蔽物フラグの有無を確認し、遮蔽物フラグがセットされている場合に、ステップS10で遮蔽物ありと判定した。
これに対し、図9のフローチャートでは、図8のステップS7、S9が省略されており、ステップS6で1つのブロックが遮蔽状態と判定された場合は、直ちにステップS10へ移行して遮蔽物ありと判定する。すなわち、いずれかのブロックにおいて、当該ブロックに含まれる全てのセクションが遮蔽状態であることが判明すれば、その時点で遮蔽物ありと判定し、ステップS11で遮蔽物除去の通知を行う。このため、遮蔽物の除去を通知するまでの時間を短縮することができる。
本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。
前記の実施形態では、遮蔽物ありと判定される場合の各ブロックA〜Dにおける遮蔽状態の例として、図6に示したものを例に挙げたが、これに限らず、たとえば図10A(a)〜(c)や図10B(a)〜(c)に示すような遮蔽状態の例も考えられる。図6では、少なくとも1つのブロックにおいて、4個のセクションの全てが遮蔽状態である場合に、遮蔽物ありと判定されるが、図10Aおよび図10Bでは、少なくとも1つのブロックにおいて、中央領域Kに位置するセクションが遮蔽状態である場合に、遮蔽物ありと判定される。その他、遮蔽状態の例としては、これら以外にも、種々のパターンが考えられる。
前記の実施形態では、撮像画像Pを16個のセクションに分割した例を挙げたが(図4)、これに限らず、セクションの分割数は任意に選択することができる。たとえば、図11に示すように、撮像画像Pを64個のセクションに細かく分割してもよい。図11では、ブロックA〜Dのそれぞれは、16個のセクションを有しており、そのうち4個のセクションが中央領域Kに位置している。この例では、1つのブロックにおいて、中央領域Kにある4個のセクションの全部が遮蔽状態である場合に、遮蔽物があると判定してもよいし、中央領域Kにあるセクションの一部が遮蔽状態である場合に、遮蔽物があると判定してもよい。
前記の実施形態では、撮像画像Pを4個のブロックA〜Dに分割した例を挙げたが(図3)、これに限らず、ブロックの分割数は任意に選択することができる。たとえば、図12に示すように、撮像画像PをA〜Iの9個のブロックに分割してもよい。各ブロックに含まれるセクションの少なくとも1つは、中央領域Kに位置している。
前記の実施形態では、中央領域Kを正方形の領域として設定した例を挙げたが(図4)、これに限らず、中央領域Kを長方形、菱形、楕円形、円形などの領域として設定してもよい。
前記の実施形態では、被写体の特定部分が収まる特定領域として、撮像画像Pの中央に位置する中央領域Kを例に挙げたが、これに限らず、特定領域の位置は、被写体に応じて、撮像画像Pの中央からシフトした任意の位置に設定してもよい。
前記の実施形態では、本発明の撮像装置として車両に搭載されるドライバモニタ100を例に挙げたが、本発明は、車両以外の用途に用いられる撮像装置にも適用することができる。
1 撮像部
11 撮像素子
12 発光素子
2 画像処理部
3 ドライバ状態判定部
4 遮蔽物検知部
5 信号出力部
50 車両
53 乗員(被写体)
100 ドライバモニタ(撮像装置)
A、B、C、D ブロック
Y セクション
K 中央領域(特定領域)
P 撮像画像
m 画素
Z 遮蔽物

Claims (9)

  1. 被写体を撮像する撮像部と、
    前記撮像部が撮像した撮像画像に対して所定の処理を行う画像処理部と、
    前記画像処理部で処理された撮像画像に基づいて、前記撮像部と前記被写体との間に存在する遮蔽物を検知する遮蔽物検知部と、を備え、
    前記画像処理部は、前記撮像部が撮像した撮像画像を複数のセクションに分割するとともに、所定数のセクションを1つのブロックとして、前記撮像画像を複数のブロックに分割し、
    前記遮蔽物検知部は、
    前記複数のブロックのそれぞれについて、当該ブロックに含まれるセクションの遮蔽状態を検証し、
    少なくとも1つのブロックにおいて、前記セクションの遮蔽状態が、前記被写体の撮像を妨げるような遮蔽状態である場合は、前記遮蔽物があると判定する、ことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記遮蔽物検知部は、
    少なくとも1つのブロックにおいて、当該ブロック内の全てのセクションが遮蔽状態である場合は、前記遮蔽物があると判定する、ことを特徴とする撮像装置。
  3. 請求項1に記載の撮像装置において、
    前記複数のブロックのそれぞれは、前記撮像画像において前記被写体の特定部分が収まる特定領域の一部を含んでおり、
    前記遮蔽物検知部は、
    前記特定領域に位置する少なくとも1つのセクションが遮蔽状態である場合は、前記遮蔽物があると判定する、ことを特徴とする撮像装置。
  4. 請求項3に記載の撮像装置において、
    前記遮蔽物検知部は、
    前記特定領域に位置する全てのセクションが遮蔽状態でない場合は、前記遮蔽物がないと判定する、ことを特徴とする撮像装置。
  5. 請求項3または請求項4に記載の撮像装置において、
    前記特定部分は、前記被写体の顔であり、
    前記特定領域は、前記撮像画像における中央領域である、ことを特徴とする撮像装置。
  6. 請求項1ないし請求項5のいずれかに記載の撮像装置において、
    前記遮蔽物検知部は、
    1つのセクションに含まれる複数の画素の輝度を、画素単位で閾値と比較し、
    前記比較結果が所定の条件を満たしている画素を一定数以上含むセクションを、遮蔽状態のセクションと判定する、ことを特徴とする撮像装置。
  7. 請求項1ないし請求項6のいずれかに記載の撮像装置において、
    前記画像処理部は、
    前記撮像画像における端部領域を除外した領域を有効領域として設定し、
    前記有効領域内で、前記撮像画像を複数のセクションに分割する、ことを特徴とする撮像装置。
  8. 請求項1ないし請求項7のいずれかに記載の撮像装置において、
    前記遮蔽物検知部は、前記遮蔽物があると判定した場合に、当該遮蔽物の除去を通知する信号を出力する、ことを特徴とする撮像装置。
  9. 請求項1ないし請求項8のいずれかに記載の撮像装置において、
    前記撮像部は、車両に搭載されて当該車両の乗員の顔を撮像し、
    前記遮蔽物検知部は、前記撮像部と前記乗員の顔との間に存在する遮蔽物を検知する、ことを特徴とする撮像装置。
JP2018040311A 2018-03-07 2018-03-07 撮像装置 Pending JP2019159346A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018040311A JP2019159346A (ja) 2018-03-07 2018-03-07 撮像装置
DE102019103963.0A DE102019103963A1 (de) 2018-03-07 2019-02-18 Ildgebungsvorrichtung
US16/283,883 US20190279365A1 (en) 2018-03-07 2019-02-25 Imaging apparatus
CN201910162984.6A CN110248153A (zh) 2018-03-07 2019-03-05 摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018040311A JP2019159346A (ja) 2018-03-07 2018-03-07 撮像装置

Publications (1)

Publication Number Publication Date
JP2019159346A true JP2019159346A (ja) 2019-09-19

Family

ID=67841979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018040311A Pending JP2019159346A (ja) 2018-03-07 2018-03-07 撮像装置

Country Status (4)

Country Link
US (1) US20190279365A1 (ja)
JP (1) JP2019159346A (ja)
CN (1) CN110248153A (ja)
DE (1) DE102019103963A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021008172T5 (de) 2021-08-31 2024-07-18 Mitsubishi Electric Corporation Verdeckungsbeurteilungsvorrichtung, insassenüberwachungsvorrichtung und verdeckungsbeurteilungsverfahren

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200353865A1 (en) * 2017-07-06 2020-11-12 Mazda Motor Corporation Passenger imaging device
US11175714B2 (en) * 2019-12-28 2021-11-16 Intel Corporation Detection of user-facing camera obstruction
CN113468925B (zh) * 2020-03-31 2024-02-20 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
US11518391B1 (en) 2020-05-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using semi-supervised clustering
US11810198B2 (en) 2020-05-26 2023-11-07 BlueOwl, LLC Systems and methods for identifying distracted driving events using common features
US11518392B1 (en) 2020-06-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using unsupervised clustering

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
JP2007025940A (ja) * 2005-07-14 2007-02-01 Fujifilm Holdings Corp 防犯システム、防犯装置、防犯方法、及びプログラム
WO2007046477A1 (ja) * 2005-10-20 2007-04-26 Aisin Seiki Kabushiki Kaisha 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2007172504A (ja) * 2005-12-26 2007-07-05 Daihatsu Motor Co Ltd 付着物検出装置及び付着物検出方法
JP2009193464A (ja) * 2008-02-15 2009-08-27 Nec Corp 隠蔽検知装置、画像監視システム、隠蔽検知方法及び隠蔽検知プログラム
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
JP2010003117A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2014178739A (ja) * 2013-03-13 2014-09-25 Sony Corp 画像処理装置及び画像処理方法、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532B (zh) * 2010-05-27 2013-03-27 周渝斌 相机镜头遮挡检测系统及方法
CN102609685B (zh) * 2012-01-17 2013-06-19 公安部沈阳消防研究所 一种图像型火灾探测器的遮挡判别方法
CN203275651U (zh) * 2012-12-28 2013-11-06 广州市浩云安防科技股份有限公司 一种针对摄像机遮挡的感知装置及摄像装置
CN103440475B (zh) * 2013-08-14 2016-09-21 北京博思廷科技有限公司 一种自动取款机使用者人脸可见性判断系统及方法
JP6504138B2 (ja) 2016-09-08 2019-04-24 トヨタ自動車株式会社 内燃機関の排気構造

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
JP2007025940A (ja) * 2005-07-14 2007-02-01 Fujifilm Holdings Corp 防犯システム、防犯装置、防犯方法、及びプログラム
WO2007046477A1 (ja) * 2005-10-20 2007-04-26 Aisin Seiki Kabushiki Kaisha 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2007114029A (ja) * 2005-10-20 2007-05-10 Aisin Seiki Co Ltd 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2007172504A (ja) * 2005-12-26 2007-07-05 Daihatsu Motor Co Ltd 付着物検出装置及び付着物検出方法
JP2009193464A (ja) * 2008-02-15 2009-08-27 Nec Corp 隠蔽検知装置、画像監視システム、隠蔽検知方法及び隠蔽検知プログラム
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
JP2010003117A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
US20100183218A1 (en) * 2008-06-20 2010-07-22 Aisin Seiki Kabushiki Kaisha Object determining device and program thereof
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2014178739A (ja) * 2013-03-13 2014-09-25 Sony Corp 画像処理装置及び画像処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021008172T5 (de) 2021-08-31 2024-07-18 Mitsubishi Electric Corporation Verdeckungsbeurteilungsvorrichtung, insassenüberwachungsvorrichtung und verdeckungsbeurteilungsverfahren

Also Published As

Publication number Publication date
US20190279365A1 (en) 2019-09-12
CN110248153A (zh) 2019-09-17
DE102019103963A1 (de) 2019-10-17

Similar Documents

Publication Publication Date Title
JP2019159346A (ja) 撮像装置
JP6257792B2 (ja) カメラの被覆状態の認識方法、カメラシステム、及び自動車
JP4626632B2 (ja) 映像監視システム
CN109564382B (zh) 拍摄装置以及拍摄方法
US9321399B2 (en) Surrounding area monitoring device for vehicle
US9137498B1 (en) Detection of mobile computing device use in motor vehicle
EP3351958B1 (en) Object position detection apparatus
US9758098B2 (en) Vehicle periphery monitoring device
JP2008109301A (ja) 車両の乗員検知装置
JP2013530466A (ja) ステレオカメラシステムの光学式自己診断
JP2020010400A5 (ja)
JPWO2019016971A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP2007207274A (ja) 発進報知装置
JP5018652B2 (ja) 物体存在判定装置
JP3984863B2 (ja) 発進報知装置
JP2002298299A (ja) 車両の運転支援装置
JP2015162165A (ja) 物体検出装置、及び、物体検出システム
JP6179447B2 (ja) 視線検出装置、視線検出方法
KR101553707B1 (ko) 카메라 모듈 결함 판정용 이미지 스테인 검출 방법
US10242460B2 (en) Imaging apparatus, car, and variation detection method
WO2020121650A1 (ja) 眼の開閉検出装置、乗員監視装置
WO2018025381A1 (ja) 駐車場監視システム
WO2023032029A1 (ja) 遮蔽判定装置、乗員監視装置及び遮蔽判定方法
KR102409857B1 (ko) 차량용 주변 감시 장치 및 방법
JP2008123057A (ja) 不審者検知装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201013