JP2022075247A - 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム - Google Patents
汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム Download PDFInfo
- Publication number
- JP2022075247A JP2022075247A JP2020185919A JP2020185919A JP2022075247A JP 2022075247 A JP2022075247 A JP 2022075247A JP 2020185919 A JP2020185919 A JP 2020185919A JP 2020185919 A JP2020185919 A JP 2020185919A JP 2022075247 A JP2022075247 A JP 2022075247A
- Authority
- JP
- Japan
- Prior art keywords
- external light
- dirt
- cleaning
- image
- stain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 238000004140 cleaning Methods 0.000 claims abstract description 145
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 87
- 230000003287 optical effect Effects 0.000 claims description 30
- 230000010365 information processing Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 abstract description 14
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000012530 fluid Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 241000238631 Hexapoda Species 0.000 description 3
- 210000003608 fece Anatomy 0.000 description 3
- 239000007788 liquid Substances 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000012459 cleaning agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011086 high cleaning Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Cleaning In General (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
複数フレームの外光画像からエッジを抽出したエッジ画像(Ie)を生成するエッジ画像生成部(120)と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定部(130)と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定部(150)と、
を備える。
複数フレームの外光画像からエッジを抽出したエッジ画像(Ie)を生成するエッジ画像生成プロセス(S20,S30)と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定する特定プロセス(S35,S40;S45)と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス(S70,S110)と、
を含む。
命令は、
複数フレームの外光画像からエッジを抽出したエッジ画像(Ie)を生成させるエッジ画像生成プロセス(S20,S30)と、
複数フレームのエッジ画像に基づいて、汚れが付着した領域の候補とする候補領域を特定させる特定プロセス(S35,S40;S45)と、
外光画像における候補領域内の特徴量について、複数フレームにわたる変動量が、汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス(S70,S110)と、
を含む。
第1実施形態の汚れ検出装置1について、図1~図8を参照しながら説明する。第1実施形態において、汚れ検出装置1は、センシングカメラ4に搭載された電子制御装置である。図1に示すように、センシングカメラ4を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、汚れ検出装置1と共に、ハウジング3、センシングカメラ4、洗浄系6及びデータ処理装置7を含んで構成されている。なお、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
第2実施形態では、第1実施形態における汚れ検出装置1の変形例について説明する。図9及び図10において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第3実施形態では、第1実施形態における汚れ検出装置1の変形例について説明する。図11及び図12において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第4実施形態では、第1実施形態における汚れ検出装置1の変形例について説明する。図13において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第5実施形態では、第1実施形態における汚れ検出装置1の変形例について説明する。図14~図16において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第6実施形態では、第1実施形態における汚れ検出装置1の変形例について説明する。図17及び図18において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。第6実施形態において、汚れ検出装置1は、LiDAR5にて検出された点群データを、候補領域BLcにおける汚れの付着判定に利用する。
第7実施形態では、第6実施形態における汚れ検出装置1の変形例について説明する。図19において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。第7実施形態において、汚れ検出装置1は、LiDAR5等の他の光学センサにおけるエッジ画像Ieに基づく候補領域BLcの特定結果を、候補領域BLcにおける汚れの付着判定に利用する。
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品及び/又は要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品及び/又は要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品及び/又は要素の置き換え、又は組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。
Claims (19)
- 外光強度に応じた外光画像(Io)を取得可能な光学センサ(4,5)と、前記光学センサにおける外光の入射面(33)に対する洗浄処理を実行する洗浄系(6)と、を搭載する車両(2)における前記入射面に付着した汚れを検出する汚れ検出装置であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像(Ie)を生成するエッジ画像生成部(120)と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定部(130)と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定部(150)と、
を備える汚れ検出装置。 - 前記変動量が前記付着範囲内であると判定した場合に、前記洗浄系に対して前記洗浄処理の実行を指示する指示部(160)をさらに備える請求項1に記載の汚れ検出装置。
- 前記変動量が前記付着範囲内であると判定した場合に、前記外光画像の画像処理を行う画像処理装置(7)に対して、前記外光画像に基づく前記汚れの検出処理を指示する指示部(160)をさらに備える請求項1に記載の汚れ検出装置。
- 前記判定部は、前記洗浄処理の実行前における前記特徴量と、前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する請求項2又は請求項3に記載の汚れ検出装置。
- 前記指示部は、前記差分が前記残留範囲内であると判定すると、洗浄方法を変更した前記洗浄処理の実行を前記洗浄系に指示する請求項4に記載の汚れ検出装置。
- 前記指示部は、前記差分が前記残留範囲内であると判定すると、前記洗浄系による前記洗浄処理とは異なる対応処理を情報処理装置(7)に指示する請求項4又は請求項5に記載の汚れ検出装置。
- 前記特定部は、前記車両の走行中における複数フレームにわたって前記エッジが抽出されないと判断した領域を、前記候補領域に特定する請求項1から請求項6のいずれか1項に記載の汚れ検出装置。
- 前記特定部は、前記車両の走行中における複数フレームにわたって位置が固定であると判断した前記エッジにより囲まれた領域を、前記候補領域に特定する請求項1から請求項7のいずれか1項に記載の汚れ検出装置。
- 前記光学センサは、光照射に対して反射光を反射する対象物の点群を検出可能であって、
前記変動量が前記付着範囲内であると判定された場合、前記点群のうち、前記候補領域に対応する対応点群について、他の前記点群よりも信頼度を低く設定する設定部(115)をさらに備える請求項1から請求項8のいずれか1項に記載の汚れ検出装置。 - 外光強度に応じた外光画像(Io)を取得可能な光学センサ(4,5)と、前記光学センサにおける外光の入射面(33)に対する洗浄処理を実行する洗浄系(6)と、を搭載する車両(2)における前記入射面に付着した汚れを検出するために、プロセッサ(12,82)により実行される汚れ検出方法であって、
複数フレームの前記外光画像からエッジを抽出したエッジ画像(Ie)を生成するエッジ画像生成プロセス(S20,S30)と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定する特定プロセス(S35,S40;S45)と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定する判定プロセス(S70,S110)と、
を含む汚れ検出方法。 - 前記変動量が前記付着範囲内であると判定した場合に、前記洗浄系に対して前記洗浄処理の実行を指示する指示プロセス(S80,S120;S125)をさらに備える請求項10に記載の汚れ検出方法。
- 前記変動量が前記付着範囲内であると判定した場合に、前記外光画像の画像処理を行う画像処理装置(7)に対して、前記外光画像に基づく前記汚れの検出を指示する指示プロセス(S85)をさらに備える請求項10に記載の汚れ検出方法。
- 前記判定プロセスでは、前記洗浄処理の実行前における前記特徴量と前記洗浄処理の実行後における前記特徴量との差分について、前記汚れの残留判定を下す残留範囲内であるか否かを判定する請求項11又は請求項12に記載の汚れ検出方法。
- 前記指示プロセスでは、前記差分が前記残留範囲内であると判定すると、洗浄方法を変更した前記洗浄処理の実行を前記洗浄系に指示する請求項13に記載の汚れ検出方法。
- 前記指示プロセスでは、前記差分が前記残留範囲内であると判定すると、前記洗浄系による前記洗浄処理とは異なる対応処理を情報処理装置(7)に指示する請求項13又は請求項14に記載の汚れ検出方法。
- 前記特定プロセスでは、前記車両の走行中における複数フレームにわたって前記エッジが抽出されないと判断した領域を、前記候補領域に特定する請求項10から請求項15のいずれか1項に記載の汚れ検出方法。
- 前記特定プロセスでは、前記車両の走行中における複数フレームにわたって前記エッジの位置が固定である判断した領域を、前記候補領域に特定する請求項10から請求項16のいずれか1項に記載の汚れ検出方法。
- 前記光学センサは、光照射に対して反射光を反射する対象物の点群を検出可能であって、
前記変動量が前記付着範囲内であると判定された場合、前記点群のうち、前記候補領域に対応する対応点群について、他の前記点群よりも信頼度を低く設定する設定プロセス(S75)をさらに備える請求項10から請求項17のいずれか1項に記載の汚れ検出方法。 - 外光強度に応じた外光画像(Io)を取得可能な光学センサ(4,5)と、前記光学センサにおける外光の入射面(33)に対する洗浄処理を実行する洗浄系(6)と、を搭載する車両(2)における前記入射面に付着した汚れを検出するために、プロセッサ(12,82)に実行させる命令を含む汚れ検出プログラムであって、
前記命令は、
複数フレームの前記外光画像からエッジを抽出したエッジ画像(Ie)を生成させるエッジ画像生成プロセス(S20,S30)と、
複数フレームの前記エッジ画像に基づいて、前記汚れが付着した領域の候補とする候補領域を特定させる特定プロセス(S35,S40;S45)と、
前記外光画像における前記候補領域内の特徴量について、複数フレームにわたる変動量が、前記汚れの付着判定を下す付着範囲内であるか否かを判定させる判定プロセス(S70,S110)と、
を含む汚れ検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020185919A JP2022075247A (ja) | 2020-11-06 | 2020-11-06 | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020185919A JP2022075247A (ja) | 2020-11-06 | 2020-11-06 | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022075247A true JP2022075247A (ja) | 2022-05-18 |
Family
ID=81606353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020185919A Pending JP2022075247A (ja) | 2020-11-06 | 2020-11-06 | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022075247A (ja) |
-
2020
- 2020-11-06 JP JP2020185919A patent/JP2022075247A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102231286B1 (ko) | 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법 | |
US9488721B2 (en) | Image processing apparatus, image processing method, computer program, and movable body | |
CN112315383B (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
WO2010084521A1 (ja) | ウインドシールド上の雨滴を同定するための方法及び装置 | |
JP2019144186A (ja) | 光学的測距装置およびその方法 | |
CN112287834A (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
CN111064870A (zh) | 视觉机器人的镜头清洁方法、控制装置及存储介质 | |
US20230219532A1 (en) | Vehicle control device, vehicle control method, and computer program product | |
JP2020502685A (ja) | パッシブ光学センサの画像データを増大させるための電子デバイス、システムおよび方法 | |
KR102520844B1 (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
CN112056991A (zh) | 机器人的主动清洁方法、装置、机器人和存储介质 | |
CN111409070A (zh) | 检测方法及装置、智能机器人及存储介质 | |
EP3657379A1 (en) | A neural network image processing apparatus for detecting soiling of an image capturing device | |
KR101525516B1 (ko) | 카메라 영상 처리 시스템 및 이의 오염 처리 방법 | |
JP2008160635A (ja) | カメラ状態検出方法 | |
JP2022075247A (ja) | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム | |
CN110389133B (zh) | 识别车辆脏污的系统和方法 | |
WO2021014846A1 (ja) | 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
WO2022054531A1 (ja) | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム | |
JP2022047499A (ja) | 車両制御装置、車両制御方法、車両制御プログラム | |
CN112927278A (zh) | 控制方法、装置、机器人及计算机可读存储介质 | |
JP2022131226A (ja) | 車両用制御装置、車両用制御方法、車両用制御プログラム | |
US12058308B2 (en) | Aperture health monitoring mode | |
KR101087863B1 (ko) | 구조 광 패턴을 이용한 영상의 경계를 결정하는 방법, 이러한 방법이 기록된 기록매체 및 구조 광 패턴을 이용한 영상의 경계 인식 시스템 | |
CN116188563A (zh) | 障碍物占地轮廓的估计方法、装置、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240801 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240910 |