JP2019096320A5 - - Google Patents

Download PDF

Info

Publication number
JP2019096320A5
JP2019096320A5 JP2018219101A JP2018219101A JP2019096320A5 JP 2019096320 A5 JP2019096320 A5 JP 2019096320A5 JP 2018219101 A JP2018219101 A JP 2018219101A JP 2018219101 A JP2018219101 A JP 2018219101A JP 2019096320 A5 JP2019096320 A5 JP 2019096320A5
Authority
JP
Japan
Prior art keywords
cleanliness
image
dirt
dirty
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018219101A
Other languages
English (en)
Other versions
JP7164417B2 (ja
JP2019096320A (ja
Filing date
Publication date
Priority claimed from EP17382793.2A external-priority patent/EP3489892B1/en
Application filed filed Critical
Publication of JP2019096320A publication Critical patent/JP2019096320A/ja
Publication of JP2019096320A5 publication Critical patent/JP2019096320A5/ja
Application granted granted Critical
Publication of JP7164417B2 publication Critical patent/JP7164417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (14)

  1. 画像のキャプチャ装置(100)によってキャプチャされた画像(400)がきれいであるか又はよごれているかを判定する方法であって、
    前記キャプチャ装置によってキャプチャされた画像(400)を受信(301)すること、
    受信した前記画像(400)を所定の分割基準に従って複数の画像部分に分割(302)すること、
    前記画像部分の幾つかの各々に対して、エッジ/シャープネス・フィルタの工程(303)を実行して、前記画像部分の特徴ベクトルを生成すること、
    生成した前記特徴ベクトルの少なくとも幾つかの各々を第1機械学習モジュールであって、対応する画像部分の清潔さ又は汚れの確率的な値を含む清潔さ/汚れの指数を対応する特徴ベクトルに応じて生成(304)するように学習された前記第1機械学習モジュールに送信すること、
    コンテキストベースのフィルタを実行すること、前記コンテキストベースのフィルタ実行が、
    汚れを示す清潔さ/汚れの指数を持つ部分である隣接のよごれている部分(410-412)を含む1以上のよごれているブロック(401)を判定することと、
    前記1以上のよごれているブロック(401)の1以上のエッジ(409)を検出することと、
    前記1以上のエッジ(409)のシャープネスを判定することと、
    前記エッジ(409)に隣接する清潔さを示す清潔さ/汚れの指数を持つ部分であるきれいな部分(413-416)のシャープネス及び/又は清潔さ/汚れの指数に応じて、前記よごれているブロック(401)内の前記よごれている部分(410-412)の清潔さ/汚れの指数を調整することと、を有し、及び、
    前記第1機械学習モジュールによって生成されてその後に前記コンテキストベースのフィルタ実行によって調整された清潔さ/汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定(305)すること、
    を含む方法。
  2. 請求項1に記載の方法であって、
    前記エッジ/シャープネス・フィルタは、特徴ベクトルに含まれるラプラシアン・フィルタ特徴を生成するラプラシアン・フィルタである、
    方法。
  3. 請求項2に記載の方法であって、
    対応する画像部分のラプラシアン・フィルタから得られるラプラシアン・フィルタ特徴は、前記画像部分の前記ラプラシアン・フィルタの、尖度、平均値、分散、平均グレー値、及び1以上のモーメントのうちの少なくとも1つを含む、
    方法。
  4. 請求項1乃至3の何れか1項に記載の方法であって、
    前記第1機械学習モジュールは、線形分類器である、
    方法。
  5. 請求項1乃至4の何れか1項に記載の方法であって、
    前記画像がきれいであるか又はよごれているかの前記判定は、
    前記第1機械学習モジュールによって提供される清潔さ/汚れの前記指数を集約して、前記画像の全体の清潔さ/汚れの指数を生成すること、及び、
    前記画像の前記全体の清潔さ/汚れの前記指数が全体の清潔さ/汚れの閾値を超えるか否かによって、前記画像がきれいであるか又はよごれているかを判定すること、
    を有する、
    方法。
  6. 請求項1乃至5の何れか1項に記載の方法であって、
    前記画像がきれいであるか又はよごれているかの前記判定は、
    きれいな部分の数及び/又はよごれている部分の数を決定するために、前記第1機械学習モジュールによって提供される清潔さ/汚れの前記指数をカウントすること、及び、
    きれいな部分の前記数がきれいな部分の閾値を超えるか否か及び/又はよごれている部分の前記数がよごれている部分の閾値を超えるか否かによって、前記画像がきれいであるか又はよごれているかを判定すること、
    を有する、
    方法。
  7. 請求項1乃至6の何れか1項に記載の方法であって、
    前記画像がきれいであるか又はよごれているかの前記判定は、
    前記第1機械学習モジュールによって提供される清潔さ/汚れの前記指数を第2機械学習モジュールであって、前記画像の全体の清潔さ/汚れの指数を画像部分の対応する清潔さ又は汚れの指数に応じて生成するように学習された前記第2機械学習モジュールに送信すること、及び、
    前記第2機械学習モジュールによって生成された前記画像の前記全体の清潔さ/汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定すること、
    を有する、
    方法。
  8. 請求項1乃至7の何れか1項に記載の方法であって、
    前記キャプチャ装置(100)によって時間とともにキャプチャされた異なる画像における対応する画像部分の清潔さ/汚れの指数に関して時間フィルタを実行すること、
    を更に含む方法。
  9. 請求項8に記載の方法であって、
    前記時間フィルタの前記実行は、
    対応する画像部分の複数の清潔さ/汚れの指数から最大値又は平均値又は中央値を決定すること、及び、
    前記複数の清潔さ/汚れの前記指数と前記最大値又は平均値又は中央値との間の偏差に応じて、1以上の外れ値を決定すること、
    を有する、
    方法。
  10. 請求項1乃至9の何れか1項に記載の方法であって、
    前記よごれているブロック(401)における前記画像部分の前記清潔さ/汚れの前記指数の前記調整は、
    清潔から汚れへの急激な変化又はその逆の急激な変化を示すように急激な閾値の上のシャープネスを選択し、選択したシャープネスに応じて前記清潔さ/汚れの前記指数を調整すること、及び/又は、
    隣接のきれいな部分の清潔さを決定し、前記隣接のきれいな部分の前記清潔さに応じて前記清潔さ/汚れの前記指数を調整すること、
    を有する、
    方法。
  11. 請求項1乃至10の何れか1項に記載の方法であって、
    対応する画像の画素レベルのラプラシアン・フィルタであって、ラプラシアン畳み込みカーネルを決定すること及び前記画像の各画素に前記ラプラシアン畳み込みカーネルを適用することを有する前記ラプラシアン・フィルタを、実行すること、
    を更に含む方法。
  12. 請求項1乃至11の何れか1項に記載の方法をコンピュータ・システムに実行させて、キャプチャ装置(100)によってキャプチャされた画像(400)がきれいであるか又はよごれているかを判定させるためのプログラム命令を備えるコンピュータ・プログラム。
  13. 記録媒体に組み込まれ、且つ/又は、搬送信号によって運ばれる請求項12に記載のコンピュータ・プログラム。
  14. 画像のキャプチャ装置(100)によってキャプチャされた画像(400)がきれいであるか又はよごれているかを判定するシステム(200)であって、
    前記キャプチャ装置(100)によってキャプチャされた画像(400)を受信するための受け付けモジュール(201)と、
    受信した前記画像(400)を所定の分割基準に従って複数の画像部分に分割するための分割モジュール(202)と、
    前記画像部分の幾つかの各々に対して、エッジ/シャープネス・フィルタの工程を実行して、前記画像部分の特徴ベクトルを生成するためのフィルタ・モジュール(203)と、
    生成した前記特徴ベクトルの少なくとも幾つかの各々を第1機械学習モジュールであって、対応する画像部分の清潔さ又は汚れの確率的な値を含む清潔さ/汚れの指数を対応する特徴ベクトルに応じて生成するように学習された前記第1機械学習モジュールに供給するための供給モジュール(204)と、
    コンテキストベースのフィルタを実行するように構成されるコンテキストベースのフィルタ・モジュールであって、前記コンテキストベースのフィルタ実行が、
    汚れを示す清潔さ/汚れの指数を持つ部分である隣接のよごれている部分(410-412)を含む1以上のよごれているブロック(401)を判定すること、
    前記1以上のよごれているブロック(401)の1以上のエッジ(409)を検出すること、
    前記1以上のエッジ(409)のシャープネスを判定すること、及び
    前記エッジ(409)に隣接する清潔さを示す清潔さ/汚れの指数を持つ部分であるきれいな部分(413-416)のシャープネス及び/又は清潔さ/汚れの指数に応じて、前記よごれているブロック(401)内の前記よごれている部分(410-412)の清潔さ/汚れの指数を調整することを有する、前記コンテキストベースのフィルタ・モジュールと、
    前記第1機械学習モジュールによって生成された清潔さ/汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定するための状態判定モジュール(205)と、
    を備えるシステム(200)。
JP2018219101A 2017-11-24 2018-11-22 きれい又はよごれたキャプチャ画像判定 Active JP7164417B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17382793.2 2017-11-24
EP17382793.2A EP3489892B1 (en) 2017-11-24 2017-11-24 Determining clean or dirty captured images

Publications (3)

Publication Number Publication Date
JP2019096320A JP2019096320A (ja) 2019-06-20
JP2019096320A5 true JP2019096320A5 (ja) 2022-01-06
JP7164417B2 JP7164417B2 (ja) 2022-11-01

Family

ID=60543482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219101A Active JP7164417B2 (ja) 2017-11-24 2018-11-22 きれい又はよごれたキャプチャ画像判定

Country Status (4)

Country Link
US (1) US10922803B2 (ja)
EP (1) EP3489892B1 (ja)
JP (1) JP7164417B2 (ja)
CN (1) CN109840911A (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113474641A (zh) * 2019-02-27 2021-10-01 大金工业株式会社 信息提供系统
US11209282B2 (en) * 2019-07-02 2021-12-28 Ford Global Technologies, Llc Vehicle cleanliness detection and carwash recommendation
CN110572636B (zh) * 2019-07-23 2020-08-04 RealMe重庆移动通信有限公司 摄像头脏污检测方法、装置、存储介质及电子设备
CN112824926A (zh) * 2019-11-20 2021-05-21 上海为彪汽配制造有限公司 一种无人机雷达清洁方法和无人机
US11328428B2 (en) 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
US11113580B2 (en) 2019-12-30 2021-09-07 Industrial Technology Research Institute Image classification system and method
CN111724349B (zh) * 2020-05-29 2022-09-20 同济大学 一种基于hsv和svm的图像脏污识别方法
DE102020209198A1 (de) * 2020-07-22 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors
CN111787315A (zh) * 2020-08-05 2020-10-16 昆山软龙格自动化技术有限公司 一种基于fpga的嵌入式高速运算网卡装置
US11341682B2 (en) 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
CN112261403B (zh) * 2020-09-22 2022-06-28 深圳市豪恩汽车电子装备股份有限公司 车载摄像头的脏污物检测装置及方法
CN111970506B (zh) * 2020-10-20 2020-12-29 常州市瑞泰光电有限公司 镜头脏污检测方法、装置和设备
CN112455396B (zh) * 2020-12-18 2022-05-27 青海慧洗智能科技有限公司 面向自动洗车的车轮定位系统、方法和装置
CN113600525B (zh) * 2021-07-29 2022-09-16 河北白沙烟草有限责任公司保定卷烟厂 一种基于智能识别技术的铜排链在线清洁装置
US20230068848A1 (en) * 2021-08-25 2023-03-02 Argo AI, LLC Systems and methods for vehicle camera obstruction detection
WO2023079593A1 (ja) * 2021-11-02 2023-05-11 三菱電機ビルソリューションズ株式会社 汚れ判定装置、汚れ判定方法、および汚れ判定プログラム
CN115082473B (zh) * 2022-08-22 2023-06-20 小米汽车科技有限公司 脏污检测方法、装置及电子设备

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
US7545985B2 (en) * 2005-01-04 2009-06-09 Microsoft Corporation Method and system for learning-based quality assessment of images
US20070280552A1 (en) * 2006-06-06 2007-12-06 Samsung Electronics Co., Ltd. Method and device for measuring MPEG noise strength of compressed digital image
WO2008115410A2 (en) * 2007-03-16 2008-09-25 Sti Medical Systems, Llc A method to provide automated quality feedback to imaging devices to achieve standardized imaging data
US20090174773A1 (en) * 2007-09-13 2009-07-09 Gowdy Jay W Camera diagnostics
US8208043B2 (en) * 2008-05-09 2012-06-26 Aptina Imaging Corporation Lens cleaning warning system and method
RU2653461C2 (ru) * 2014-01-21 2018-05-08 Общество с ограниченной ответственностью "Аби Девелопмент" Обнаружение блика в кадре данных изображения
US20110182495A1 (en) * 2010-01-26 2011-07-28 General Electric Company System and method for automatic defect recognition of an inspection image
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
CN103235949B (zh) * 2013-04-12 2016-02-10 北京大学 图像兴趣点检测方法和装置
CN104346622A (zh) * 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
US10185892B1 (en) * 2014-05-30 2019-01-22 Amazon Technologies, Inc. Automatic large-scale imaging device diagnostics
US10289962B2 (en) * 2014-06-06 2019-05-14 Google Llc Training distilled machine learning models
US10453098B2 (en) * 2015-03-04 2019-10-22 Google Llc Privacy-aware personalized content for the smart home
EP3113108B1 (en) * 2015-07-02 2020-03-11 Continental Automotive GmbH Detection of lens contamination using expected edge trajectories
US9576219B2 (en) * 2015-07-14 2017-02-21 ADANI Systems, Inc. Method and system for detection of contraband narcotics in human digestive tract
US9665962B2 (en) * 2015-07-29 2017-05-30 Adobe Systems Incorporated Image distractor detection and processng
US10186026B2 (en) * 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
DE102016204206A1 (de) * 2016-03-15 2017-09-21 Robert Bosch Gmbh Verfahren zum Detektieren einer Verschmutzung einer optischen Komponente eines Umfeldsensors zum Erfassen eines Umfelds eines Fahrzeugs, Verfahren zum maschinellen Anlernen eines Klassifikators und Detektionssystem
US10347294B2 (en) * 2016-06-30 2019-07-09 Google Llc Generating moving thumbnails for videos
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10115040B2 (en) * 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion
CN109792829B (zh) * 2016-10-11 2021-12-10 昕诺飞控股有限公司 监控系统的控制系统、监控系统和控制监控系统的方法
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10410084B2 (en) * 2016-10-26 2019-09-10 Canon Virginia, Inc. Devices, systems, and methods for anomaly detection
WO2018106783A1 (en) * 2016-12-06 2018-06-14 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
US10402688B2 (en) * 2016-12-07 2019-09-03 Kla-Tencor Corporation Data augmentation for convolutional neural network-based defect inspection
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
EP3591612A4 (en) * 2017-03-27 2020-03-25 Mitsubishi Heavy Industries, Ltd. ERROR DETECTING SYSTEM FOR AIRCRAFT COMPONENT AND DEFECTIVE DETECTION METHOD FOR AIRCRAFT COMPONENT
WO2018191698A1 (en) * 2017-04-13 2018-10-18 Instrumental, Inc. Method for predicting defects in assembly units
US10453366B2 (en) * 2017-04-18 2019-10-22 Samsung Display Co., Ltd. System and method for white spot mura detection
US10949872B2 (en) * 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
CN107292869B (zh) * 2017-06-07 2020-04-07 西安电子科技大学 基于各向异性高斯核和梯度搜索的图像斑点检测方法
US10929945B2 (en) * 2017-07-28 2021-02-23 Google Llc Image capture devices featuring intelligent use of lightweight hardware-generated statistics
EP3451284A1 (de) * 2017-09-05 2019-03-06 Siemens Healthcare GmbH Verfahren zur automatischen artefakterkennung in computertomographischen bilddaten
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
US10755133B2 (en) * 2018-02-22 2020-08-25 Samsung Display Co., Ltd. System and method for line Mura detection with preprocessing
US10607331B1 (en) * 2019-06-28 2020-03-31 Corning Incorporated Image segmentation into overlapping tiles

Similar Documents

Publication Publication Date Title
JP2019096320A5 (ja)
KR102301437B1 (ko) 비전 검사 장치 및 이의 얼룩 검출 방법
RU2018145742A (ru) Устройство захвата изображения, устройство обработки изображения, способ управления и носитель хранения
EP2375374A2 (en) Noise detection and estimation techniques for picture enhancement
US9064317B2 (en) Detection of near-field camera obstruction
CN103632352A (zh) 一种噪声图像的时域降噪方法和相关装置
JP2008278288A5 (ja)
US9324136B2 (en) Method, electronic apparatus, and computer readable medium for processing reflection in image
EP2743886B1 (en) System for detecting structured artifacts in video sequences
JP2012089929A (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
JP2017129567A5 (ja)
RU2012152939A (ru) Устройство обработки информации, способ обработки изображения и программа
JP2013500536A5 (ja)
JP2013161405A5 (ja) 被写体判定装置、被写体判定方法及びプログラム
CN107748882B (zh) 一种车道线检测方法及装置
JP6731645B2 (ja) 画像監視装置、画像監視方法および画像監視プログラム
CN112842184B (zh) 一种清扫方法及清洁机器人
JP2011258180A5 (ja)
JP6809613B2 (ja) 画像前景の検出装置、検出方法及び電子機器
JP2013254480A5 (ja)
JP2012034343A5 (ja) 画像処理装置、及びその制御方法
US20150116543A1 (en) Information processing apparatus, information processing method, and storage medium
CN102005051A (zh) 一种边缘检测方法以及相关装置
US20090316049A1 (en) Image processing apparatus, image processing method and program
JP2016178608A5 (ja)