JP2021051381A - 付着物検出装置および付着物検出方法 - Google Patents

付着物検出装置および付着物検出方法 Download PDF

Info

Publication number
JP2021051381A
JP2021051381A JP2019172213A JP2019172213A JP2021051381A JP 2021051381 A JP2021051381 A JP 2021051381A JP 2019172213 A JP2019172213 A JP 2019172213A JP 2019172213 A JP2019172213 A JP 2019172213A JP 2021051381 A JP2021051381 A JP 2021051381A
Authority
JP
Japan
Prior art keywords
region
deposit
candidate
predetermined
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019172213A
Other languages
English (en)
Other versions
JP7200893B2 (ja
Inventor
信徳 朝山
Nobutoku Asayama
信徳 朝山
修久 池田
Nobuhisa Ikeda
修久 池田
河野 貴
Takashi Kono
貴 河野
谷 泰司
Taiji Tani
泰司 谷
山本 大輔
Daisuke Yamamoto
大輔 山本
朋和 沖
Tomokazu Oki
朋和 沖
輝彦 上林
Teruhiko Kamibayashi
輝彦 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2019172213A priority Critical patent/JP7200893B2/ja
Priority to US17/018,017 priority patent/US20210089818A1/en
Publication of JP2021051381A publication Critical patent/JP2021051381A/ja
Application granted granted Critical
Publication of JP7200893B2 publication Critical patent/JP7200893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供すること。【解決手段】実施形態に係る付着物検出装置は、検出部と、抽出部と、確定部とを備える。検出部は、撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて撮像装置に付着した付着物に対応する付着物領域の候補領域を検出する。抽出部は、検出部によって検出された候補領域に含まれる小領域のうち、小領域と隣接する小領域との輝度差分値が所定の閾値以上となる小領域を境界領域として抽出する。確定部は、抽出部によって抽出された境界領域の数が所定の確定条件を満たした場合に、候補領域を付着物領域として確定する。【選択図】図2

Description

本発明は、付着物検出装置および付着物検出方法に関する。
従来、撮像画像の所定領域を分割した小領域毎の輝度情報を算出し、算出した輝度情報が所定範囲内にある小領域を抽出することで撮像装置のレンズに付着した付着物に対応する領域(以下、付着物領域)を検出する付着物検出装置が知られている(例えば、特許文献1参照)。
特開2018−191087号公報
しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、薄暮の状態で撮像された画像の場合、画像全体が暗くなるため、付着物領域として検出するための輝度情報の特徴が出にくくなることで、付着物領域の検出精度が低下するおそれがあった。
本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、検出部と、抽出部と、確定部とを備える。前記検出部は、撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて前記撮像装置に付着した付着物に対応する付着物領域の候補領域を検出する。前記抽出部は、前記検出部によって検出された前記候補領域に含まれる前記小領域のうち、当該小領域と隣接する前記小領域との輝度差分値が所定の閾値以上となる前記小領域を境界領域として抽出する。前記確定部は、前記抽出部によって抽出された前記境界領域の数が所定の確定条件を満たした場合に、前記候補領域を前記付着物領域として確定する。
本発明によれば、付着物を高精度に検出することができる。
図1は、実施形態に係る付着物検出方法の概要を示す図である。 図2は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図3は、確定部を含む制御部の処理内容を示す図である。 図4は、検出部による候補カウント数のリセット処理を示す図である。 図5は、実施形態に係る付着物検出装置が実行する処理の処理手順を示すフローチャートである。
以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
まず、図1を用いて、実施形態に係る付着物検出方法の概要について説明する。図1は、実施形態に係る付着物検出方法の概要を示す図である。なお、図1の上段には、例えば、車両に搭載されたカメラ(撮像装置の一例)のレンズに泥等の遮光性の付着物が付着した状態で撮像された画像I(以下、撮像画像I)を示している。このような遮光性の付着物が付着した場合、撮像画像Iにおける付着物領域は、黒つぶれの状態となる。なお、遮光性の付着物は、泥以外に、虫や、埃等がある。
ここで、従来の付着物検出方法について説明する。従来は、撮像画像の所定領域(図1に示す所定領域ROI)を分割した小領域(図1に示す小領域100)毎の輝度情報を算出し、算出した輝度情報が所定範囲内にある小領域を抽出することで撮像装置のレンズに付着した付着物に対応する付着物領域を検出していた。
しかしながら、従来の付着物検出方法では、付着物を高精度に検出する点で改善の余地があった。例えば、薄暮の状態で撮像された画像の場合、撮像画像全体が若干暗くなるため(夜間に比べて画像全体の輝度が若干高い状態)、付着物領域として検出するための輝度情報の特徴が出にくくなることで、付着物領域の検出精度が低下するおそれがあった。例えば、道路や影の領域等のように、元々の輝度が低い領域の輝度情報が、薄暮の影響を受けて、付着物領域の輝度情報と類似してしまうことで、付着物領域として誤検知するおそれがあった。
そこで、実施形態に係る付着物検出方法では、小領域100毎の輝度情報に加えて、隣接する小領域100との輝度を比較して付着物領域を検出する。
具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Iにおける所定領域ROIを分割した小領域100毎の輝度情報を算出する(ステップS1)。つづいて、実施形態に係る付着物検出方法では、算出した輝度情報に基づいてカメラに付着した付着物に対応する付着物領域の候補領域200を検出する(ステップS2)。なお、候補領域200とは、輝度情報が所定条件を満たす小領域100を所定数以上含んだ領域である。
つづいて、実施形態に係る付着物検出方法では、候補領域200に含まれる小領域100それぞれについて、隣接する小領域100との輝度差分値を算出する(ステップS3)。具体的には、実施形態に係る付着物検出方法では、候補領域200に含まれる小領域100を基準として上下左右に隣接する小領域100との輝度差分値を算出する。なお、輝度差分値は、例えば、小領域100に含まれる画素の輝度平均の差分値である。
つづいて、実施形態に係る付着物検出方法では、候補領域200に含まれる小領域100のうち、隣接する小領域100との輝度差分値が所定の閾値以上となる小領域100を境界領域300として抽出する(ステップS4)。
つづいて、実施形態に係る付着物検出方法では、抽出した境界領域300の数が所定の確定条件を満たした場合に、候補領域200を付着物領域として確定する(ステップS5)。
つまり、実施形態に係る付着物検出方法では、泥等の遮光性の付着物の場合、付着物領域が黒つぶれの状態となる特性を利用して付着物領域を確定する。具体的には、薄暮の場合であっても、付着物領域と付着物領域以外の領域とでは輝度情報に差があるため、この輝度情報の差によって、付着物領域と付着物領域以外の領域との間には境界が生じることとなる。
すなわち、実施形態に係る付着物検出方法では、付着物領域と付着物領域以外の領域との境界である境界領域300を検出することで、薄暮のような画像全体が若干暗くなるような状況であっても付着物領域とそれ以外の領域とを高精度に切り分けることができる。
従って、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。
なお、実施形態に係る付着物検出方法では、境界領域300が確定条件を満たす状態が所定期間継続した場合に、最終的に付着物領域として確定するが、かかる点については後述する。
次に、図2を用いて、実施形態に係る付着物検出装置1の構成について説明する。図2は、実施形態に係る付着物検出装置1の構成を示すブロック図である。図2に示すように、実施形態に係る付着物検出装置1は、カメラ10と、車速センサ11と、各種機器50とに接続される。なお、図2では、付着物検出装置1は、カメラ10と、各種機器50とは別体で構成される場合を示したが、これに限らず、カメラ10および各種機器50の少なくとも一方と一体で構成されてもよい。
カメラ10は、たとえば、魚眼レンズ等のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子とを備えた車載カメラである。カメラ10は、例えば、車両の前方、後方、左側方および右側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Iを付着物検出装置1へ出力する。
車速センサ11は、車両の速度を検出するセンサである。車速センサ11は、検出した車速情報を付着物検出装置1へ出力する。
各種機器50は、付着物検出装置1の検出結果を取得して、車両の各種制御を行う機器である。各種機器50は、例えば、カメラ10のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。
図2に示すように、実施形態に係る付着物検出装置1は、制御部2と、記憶部3とを備える。制御部2は、前処理部21と、検出部22と、抽出部23と、確定部24と、フラグ出力部27とを備える。記憶部3は、閾値情報31を記憶する。
ここで、付着物検出装置1は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。
コンピュータのCPUは、たとえば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の前処理部21、検出部22、抽出部23、確定部24およびフラグ出力部25として機能する。
また、制御部2の前処理部21、検出部22、抽出部23、確定部24およびフラグ出力部25の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
また、記憶部3は、たとえば、RAMやデータフラッシュに対応する。RAMやデータフラッシュは、閾値情報31や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
記憶部3に記憶された閾値情報31は、制御部2の各処理で用いられる閾値等の情報を含む情報である。閾値情報31に含まれる閾値等の情報は、実験等によって予め検証された結果に基づいて設定される。
前処理部21は、カメラ10で撮像された撮像画像Iに対して所定の前処理を施す。
具体的には、前処理部21は、取得した撮像画像Iに画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、前処理部21は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。
このように、付着物検出装置1は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。
なお、前処理部21は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、前処理部21は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Iの積分画像を生成してもよい。
前処理部21は、積分画像である撮像画像Iを検出部22へ出力する。
検出部22は、撮像画像Iにおける所定領域ROIを分割した小領域100毎の輝度情報に基づいて付着物領域の候補領域200を検出する。
具体的には、まず、検出部22は、撮像画像Iに対して所定領域ROIおよび小領域100を設定する。所定領域ROIは、カメラ10の特性に応じて予め設定される矩形状の領域であり、例えば、車体領域やカメラ10の筐体領域を除いた領域である。小領域100は、所定領域R0Iを水平方向、および垂直方向に分割することで形成される矩形状の領域である。例えば、各小領域100は、40×40の画素を含む領域であるが、小領域100に含まれる画素の数は、任意に設定可能である。
つづいて、検出部22は、小領域100毎に輝度の特徴量を示す輝度情報を算出する。具体的には、検出部22は、小領域100毎に輝度の平均値および輝度の標準偏差を特徴量として算出する。また、検出部22は、所定領域ROI全体における輝度の特徴量(輝度の平均値および輝度の標準偏差)を算出する。
つづいて、検出部22は、過去から現在までの撮像画像Iにおける輝度の特徴量の変動を算出する。具体的には、検出部22は、過去および現在の撮像画像Iの同じ位置にある小領域100における輝度の平均値の差分である第1差分を変動として算出する。すなわち、検出部22は、対応する小領域100における過去の輝度の平均値と、現在の輝度の平均値との第1差分を変動として算出する。
また、検出部22は、過去および現在の撮像画像Iの同じ位置にある小領域100における輝度の標準偏差の差分である第2差分を算出する。すなわち、検出部22は、対応する小領域100における過去の輝度の標準偏差と、現在の輝度の標準偏差との第2差分を変動として算出する。
つづいて、検出部22は、小領域100それぞれについて輝度情報が所定の候補条件を満たすか否かを判定する。具体的には、検出部22は、過去および現在の撮像画像Iにおける小領域100の輝度の特徴量の変動が所定の閾値範囲内である場合に候補条件を満たすと判定する。
つづいて、検出部22は、輝度情報が候補条件を満たす回数を示す候補カウント数が所定数以上となった小領域100の数が所定数以上の場合に、当該所定数の小領域100を候補領域200として検出する。つまり、検出部22は、現在から過去数フレームの撮像画像Iにおいて、輝度情報が候補条件を満たす状態が所定回数以上継続した所定数の小領域100のまとまりを候補領域200として検出する。
なお、検出部22は、後述の確定部24によって候補領域200が付着物領域ではない(非付着物領域)と判定された場合に、上記した候補カウント数を所定値に再セットするが、かかる点については図4で後述する。
検出部22は、検出した候補領域200の情報を抽出部23へ出力する。
抽出部23は、検出部22によって検出された候補領域200に含まれる小領域100のうち、当該小領域100と隣接する小領域100との輝度差分値が所定の閾値以上となる小領域100を境界領域300として抽出する。
具体的には、抽出部23は、候補領域200に含まれる小領域100を基準として上下(垂直方向)に隣接する小領域100、および左右(水平方向)に隣接する小領域100との輝度差分値を算出する。
輝度差分値は、例えば、小領域100に含まれる画素の輝度の平均値の差分である。なお、輝度差分値は、小領域100において任意に選択された画素の輝度の差分であってもよく、あるいは、小領域100に含まれる画素を輝度を階級とするヒストグラムの中央値であってもよい。また、輝度差分値は、隣接する小領域100の輝度平均同士の比率でもよい。輝度差分値は、隣接する小領域100同士の輝度の違いを定量化できれば、種々の方法で算出してよい。
そして、抽出部23は、上下左右に隣接する小領域100のうち、少なくとも1つ以上の小領域100との輝度差分値が所定の閾値以上となる小領域100(候補領域200)を境界領域300として抽出する。
抽出部23は、抽出した境界領域300の情報を確定部24へ出力する。
確定部24は、抽出部23によって抽出された境界領域300に基づいて付着物領域を確定する。具体的には、確定部24は、境界領域300の数が所定の確定条件を満たした場合に、候補領域200を付着物領域として確定する。
ここで、図3を用いて、確定部24の処理内容について説明する。図3は、確定部24を含む制御部2の処理内容を示す図である。
図3の上段に示すように、抽出部23は、候補領域200に含まれる小領域100を基準にして、隣接する小領域100との輝度差分値を算出し、当該輝度差分値に基づいて境界領域300を抽出する。つまり、基準となる小領域100と隣接する小領域100には、候補領域200に含まれる小領域100(下、左、右)と、候補領域200に含まれない小領域100(上)とが含まれる。
ここで、図3の下段の左右に示すように、抽出部23によって抽出された境界領域300の数が多い(所定数以上)場合と少ない(所定数未満)場合とを示している。
図3下段の左図に示すように、確定部24は、境界領域300の数が所定数以上の場合、確定条件を満たすと判定し、確定条件を満たす回数を示す確定カウント数をアップする。そして、確定部24は、確定カウント数が所定数以上となった場合、候補領域200を付着物領域として確定する。
このように、確定部24は、一定数以上の境界領域300が継続して抽出された場合に候補領域200を付着物領域として確定できるため、境界領域300の数が一時的に所定数以上となる場合に付着物領域として誤検出してしまうことを減らすことができる。
一方、確定部24は、境界領域300の数が所定数未満の場合、確定条件を満たさないと判定し、確定カウント数を維持する。そして、確定部24は、確定条件を満たさない回数を示す非確定カウント数が所定数以上継続した場合、候補領域200が付着物領域ではない、つまり、候補領域200が非付着物領域であると判定する。
上述したように、確定部24は、境界領域300の数が所定数以上である場合に確定条件を満たすと判定した。すなわち、確定部24は、候補領域200の大きさに関わらず、一定数以上の境界領域300が抽出されれば確定条件を満たすと判定する。
これにより、付着物領域の確定処理のための演算を簡易化できるため、制御部2の処理負荷を軽減できる。なお、所定領域ROIを一定画素数のまとまりである小領域100毎に境界領域300を抽出することで、候補領域200の大きさに起因した境界領域300の数のばらつきを抑えることができる。
なお、確定部24は、所定領域ROIに対する境界領域300の数の比率等に基づいて確定条件を満たすか否かを判定してもよい。
そして、確定部24の確定処理の結果、非付着物領域と確定された場合、検出部212は、上記候補カウント数を所定値に再セットする。かかる点について、図4を用いて説明する。
図4は、検出部22による候補カウント数のリセット処理を示す図である。図4では、確定部24によって非付着物領域であると確定された候補領域200を示している。また、図4において、左図は、候補領域200に含まれる小領域100の数が所定数以上である場合を示し、右図は、候補領域200に含まれる小領域100の数が所定数未満である場合を示す。また、図4では、候補領域200となる基準である候補カウント数が5(以上)であることとする。
図4の左図に示すように、検出部22は、候補領域200に含まれる小領域100の数が所定数以上である場合において、確定部24によって境界領域300の数が確定条件を満たさないと判定された場合、候補カウント数を所定値まで戻す。
図4の左図に示す例では、候補カウント数「5」を「3」に再セットする。これにより、候補領域200と判定する候補カウント数「5」を下回るため、次回処理では候補領域200ではない状態として検出処理が行われる。
このように、確定部24によって境界領域300の数が確定条件を満たさないと判定された場合、候補カウント数を所定値まで戻すことで、候補領域200の判定結果を解除して再度候補領域200の判定を行わせることができる。従って、非付着物領域を付着物領域として誤検出することを減らすことができる。
一方、図4の右図に示すように、検出部22は、候補領域200に含まれる小領域100の数が所定数未満である場合において、確定部24によって境界領域300の数が確定条件を満たさないと判定された場合、候補カウント数を所定値まで戻すことを禁止する。
図4の右図に示す例では、候補カウント数「5」を維持する。これにより、次回処理において継続して候補領域200として抽出処理を行うことができるため、比較的少ない泥が付着した場合の付着物検出精度を高めることができる。
なお、検出部22は、候補領域200に含まれる小領域100の数が所定数未満である場合であっても、候補カウント数を所定値まで戻してもよい。つまり、検出部22は、確定部24によって境界領域300の数が確定条件を満たさないと判定された場合、候補カウント数を所定値まで戻してもよい。
また、検出部22による再セット後の候補カウント数は、0以上の任意の値であってよい。
図2に戻って、フラグ出力部25について説明する。フラグ出力部25は、確定部24が付着物領域であると確定した場合、付着物フラグONを各種機器50に対して出力する。一方、フラグ出力部25は、確定部24が非付着物領域であると確定した場合、付着物フラグOFFを各種機器50に対して出力する。
次に、図5を用いて、実施形態に係る付着物検出装置1が実行する処理の処理手順について説明する。図5は、実施形態に係る付着物検出装置1が実行する処理の処理手順を示すフローチャートである。
図5に示すように、まず、前処理部21は、カメラ10で撮像された画像を取得し、取得した撮像画像Iに対して前処理を施す(ステップS101)。ここでいう、前処理とは、例えば、グレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて積分画像を生成する処理である。
つづいて、検出部22は、撮像画像Iにおける所定領域ROIを小領域100毎に分割する(ステップS102)。
つづいて、検出部22は、小領域毎に輝度の特徴量を示す輝度情報を算出する(ステップS103)。輝度の特徴量は、例えば、輝度の平均値および輝度の標準偏差である。
つづいて、検出部22は、算出した輝度情報に基づいて、付着物領域の候補領域200を検出する(ステップS104)。
つづいて、抽出部23は、検出部22によって検出された候補領域200に含まれる小領域100のうち、当該小領域100と隣接する小領域100との輝度差分値が所定の閾値以上となる小領域100を境界領域300として抽出する(ステップS105)。
つづいて、確定部24は、抽出部23によって抽出された境界領域300の数が所定の確定条件を満たすか否かを判定する(ステップS106)。
確定部24は、境界領域300の数が所定の確定条件を満たす場合(ステップS106:Yes)、確定カウント数をアップするとともに、確定カウント数が所定数以上であるか否かを判定する(ステップS107)。
確定部24は、確定カウント数が所定数以上である場合(ステップS107:Yes)、候補領域200を付着物領域として確定する(ステップS108)。
つづいて、フラグ出力部25は、確定部24によって付着物領域として確定した場合、付着物フラグONを各種機器50へ出力し(ステップS109)、処理を終了する。
一方、ステップS106において、確定部24は、境界領域300の数が確定条件を満たさない場合(ステップS106:No)、非確定カウント数をアップするとともに、非確定カウント数が所定数以上であるか否かを判定する(ステップS110)。
確定部24は、非確定カウント数が所定数以上の場合(ステップS110:Yes)、候補領域200を非付着物領域として確定する(ステップS111)。
つづいて、検出部22は、候補領域200に含まれる小領域100の数が所定数以上であるか否かを判定する(ステップS112)。
検出部22は、小領域100の数が所定数以上である場合(ステップS112:Yes)、候補カウンタ数を所定値に再セットする(ステップS113)。
フラグ出力部25は、確定部24によって非付着物領域として確定された場合、付着物フラグOFFを各種機器50へ出力し(ステップS114)、処理を終了する。
一方、ステップS107において、確定部24は、確定カウント数が所定数未満である場合(ステップS107:No)、ステップS101の処理に移行する。
また、ステップS110において、確定部24は、非確定カウント数が所定数未満である場合(ステップS110:No)、ステップS101の処理に移行する。
また、ステップS112において、検出部22は、候補領域200に含まれる小領域100の数が所定数未満である場合(ステップS112:No)、ステップS114の処理に移行する。
上述してきたように、実施形態に係る付着物検出装置1は、検出部22と、抽出部23と、確定部24とを備える。検出部22は、撮像装置(カメラ10)で撮像された画像(撮像画像I)における所定領域ROIを分割した小領域100毎の輝度情報に基づいて撮像装置に付着した付着物に対応する付着物領域の候補領域200を検出する。抽出部23は、検出部22によって検出された候補領域200に含まれる小領域100のうち、小領域100と隣接する小領域100との輝度差分値が所定の閾値以上となる小領域100を境界領域300として抽出する。確定部24は、抽出部23によって抽出された境界領域300の数が所定の確定条件を満たした場合に、候補領域200を付着物領域として確定する。これにより、付着物を高精度に検出することができる。
また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Iを用いたが、撮像画像Iは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Iであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Iであればよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 付着物検出装置
2 制御部
3 記憶部
10 カメラ
11 車速センサ
21 前処理部
22 検出部
23 抽出部
24 確定部
25 フラグ出力部
31 閾値情報
50 各種機器
100 小領域
200 候補領域
300 境界領域
ROI 所定領域
I 撮像画像

Claims (6)

  1. 撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて前記撮像装置に付着した付着物に対応する付着物領域の候補領域を検出する検出部と、
    前記検出部によって検出された前記候補領域に含まれる前記小領域のうち、当該小領域と隣接する前記小領域との輝度差分値が所定の閾値以上となる前記小領域を境界領域として抽出する抽出部と、
    前記抽出部によって抽出された前記境界領域の数が所定の確定条件を満たした場合に、前記候補領域を前記付着物領域として確定する確定部と
    を備えることを特徴とする付着物検出装置。
  2. 前記確定部は、
    前記境界領域の数が前記確定条件を満たす回数を示す確定カウント数が所定数以上となった場合に、前記候補領域を前記付着物領域として確定すること
    を特徴とする請求項1に記載の付着物検出装置。
  3. 前記確定部は、
    前記境界領域の数が所定数以上である場合に前記確定条件を満たすと判定し、前記候補領域を前記付着物領域として確定すること
    を特徴とする請求項1または2に記載の付着物検出装置。
  4. 前記検出部は、
    前記輝度情報が所定の候補条件を満たす回数を示す候補カウント数が所定数以上となった前記小領域の数が所定数以上の場合に、当該所定数の前記小領域を前記候補領域として検出するものであって、前記確定部によって前記境界領域の数が前記確定条件を満たさないと判定された場合、前記候補カウント数を所定値まで戻すこと
    を特徴とする請求項1〜3のいずれか1つに記載の付着物検出装置。
  5. 前記検出部は、
    前記候補領域に含まれる前記小領域の数が所定数未満である場合において、前記確定部によって前記境界領域の数が前記確定条件を満たさないと判定された場合、前記候補カウント数を所定値まで戻すことを禁止すること
    を特徴とする請求項4に記載の付着物検出装置。
  6. 撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて前記撮像装置に付着した付着物に対応する付着物領域の候補領域を検出する検出工程と、
    前記検出工程によって検出された前記候補領域に含まれる前記小領域のうち、当該小領域と隣接する前記小領域との輝度差分値が所定の閾値以上となる前記小領域を境界領域として抽出する抽出工程と、
    前記抽出工程によって抽出された前記境界領域の数が所定の確定条件を満たした場合に、前記候補領域を前記付着物領域として確定する確定工程と
    を含むことを特徴とする付着物検出方法。
JP2019172213A 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法 Active JP7200893B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019172213A JP7200893B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法
US17/018,017 US20210089818A1 (en) 2019-09-20 2020-09-11 Deposit detection device and deposit detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172213A JP7200893B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Publications (2)

Publication Number Publication Date
JP2021051381A true JP2021051381A (ja) 2021-04-01
JP7200893B2 JP7200893B2 (ja) 2023-01-10

Family

ID=74881016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172213A Active JP7200893B2 (ja) 2019-09-20 2019-09-20 付着物検出装置および付着物検出方法

Country Status (2)

Country Link
US (1) US20210089818A1 (ja)
JP (1) JP7200893B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7251426B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN114414470B (zh) * 2022-01-17 2022-12-13 广东海洋大学 一种海洋生物附着检测方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030188A (ja) * 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP2019029940A (ja) * 2017-08-02 2019-02-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP2019102929A (ja) * 2017-11-30 2019-06-24 パナソニックIpマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030188A (ja) * 2012-07-03 2014-02-13 Clarion Co Ltd レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP2019029940A (ja) * 2017-08-02 2019-02-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP2019102929A (ja) * 2017-11-30 2019-06-24 パナソニックIpマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法

Also Published As

Publication number Publication date
US20210089818A1 (en) 2021-03-25
JP7200893B2 (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
JP5019375B2 (ja) 物体検出装置および物体検出方法
EP2709038A1 (en) Device and method for detecting the presence of a logo in a picture
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
JP7200893B2 (ja) 付着物検出装置および付着物検出方法
WO2021009524A1 (en) Method, computer program product and computer readable medium for generating a mask for a camera stream
WO2023019793A1 (zh) 一种确定方法、清洁机器人和计算机存储介质
JP7200894B2 (ja) 付着物検出装置および付着物検出方法
JP7251425B2 (ja) 付着物検出装置および付着物検出方法
US20210090260A1 (en) Deposit detection device and deposit detection method
JP7163766B2 (ja) 付着物検出装置および付着物検出方法
JP2020109595A (ja) 付着物検出装置および付着物検出方法
JP2020109594A (ja) 付着物検出装置および付着物検出方法
US11393128B2 (en) Adhered substance detection apparatus
JP7243546B2 (ja) 付着物検出装置および付着物検出方法
JP7156225B2 (ja) 付着物検出装置および付着物検出方法
US20200211194A1 (en) Attached object detection apparatus
US11182626B2 (en) Attached object detection apparatus
JP7251426B2 (ja) 付着物検出装置および付着物検出方法
JP7234884B2 (ja) 付着物検出装置および付着物検出方法
JP7151476B2 (ja) 付着物検出装置、および付着物検出方法
JP7234886B2 (ja) 付着物検出装置および付着物検出方法
JP4639140B2 (ja) 画像処理装置
US20190355141A1 (en) Method, image processing device, and system for generating depth map

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7200893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150