JP2020136731A - 異常検出システム、移動体、異常検出方法、及びプログラム - Google Patents
異常検出システム、移動体、異常検出方法、及びプログラム Download PDFInfo
- Publication number
- JP2020136731A JP2020136731A JP2019023708A JP2019023708A JP2020136731A JP 2020136731 A JP2020136731 A JP 2020136731A JP 2019023708 A JP2019023708 A JP 2019023708A JP 2019023708 A JP2019023708 A JP 2019023708A JP 2020136731 A JP2020136731 A JP 2020136731A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interest
- unit
- abnormality detection
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 160
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 230000002159 abnormal effect Effects 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 230000008859 change Effects 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 description 22
- 238000007781 pre-processing Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 18
- 238000012986 modification Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
(1)概要
本実施形態の異常検出システム1は、図1に示すように、受付部11と、判断部12とを備える。
本実施形態の異常検出システム1を含めた全体システムについて図1を参照して説明する。本実施形態の異常検出システム1は、自動車のような移動体100(図2参照)に用いられる。すなわち、本実施形態の移動体100は、移動する移動体本体101と、移動体本体101に搭載される異常検出システム1と、を備える。
本実施形態に係る異常検出システム1を含む全体システムについて図1〜図5を参照して説明する。
異常検出システム1は、処理部10と、通信部21と、通知部22と、記憶部23と、を備える。
カメラシステム30は、移動体100に搭載される撮像部31と、撮像部31が撮影した画像の画像データを前処理する前処理部32とを備える。
照明システム40は、光源41と、照明制御部42と、を備える。
表示システム50は、表示装置51と、表示制御部52とを備える。
センサ60は、移動体100に設けられた各種のセンサである。センサ60は、移動体100の周囲環境に関する環境情報、具体的には移動体100の周囲の環境に関する第2情報を検出する。センサ60は、例えば、環境情報(第2情報)として周囲の照度を検知する照度センサ、環境情報(第2情報)として周囲の温度を検知する温度センサ、環境情報(第2情報)として降雨状況を検知する降雨センサ等を含む。また、センサ60は、移動体100の周辺の物体を検知するための超音波センサ、ドップラーレーダ等を含んでもよい。センサ60はCAN80を介してECU70又は異常検出システム1に検知結果を出力する。
ECU70は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、ECU70の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
本実施形態の異常検出システム1の動作を図5のフローチャート等に基づいて説明する。以下では、異常検出システム1の判断部12が、カメラシステム30から入力される前方カメラ311の画像データに異常があるか否かを判断する場合の動作について説明する。なお、異常検出システム1の判断部12が、後方カメラ312の画像データに異常があるか否かを判断する場合の動作は、前方カメラ311の画像データに異常があるか否かを判断する場合の動作と同様であるので、その説明は省略する。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、異常検出システム1と同様の機能は、異常検出方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部31で撮影された画像の画像データを受け付ける。判断処理では、互いに異なるタイミングで受付処理にて受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。
基本例の異常検出システム1は、判断部12が、受付部11が受け付ける画像の黒潰れ又は白とびの異常を検出しているのに対して、変形例1では、判断部12が、受付部11が受け付ける画像の黒潰れの異常を検出しており、この点で両者は相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例2の異常検出システム1は、注目画素が、画像の一部又は全部を構成する複数の画素を含む画素群であり、判断部12が、判断条件に基づいて画素群の画素値が異常であるか否かを判断する点で、基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例3の異常検出システム1は、判断部12の判断条件が、互いに異なるタイミングで受付部11が受け付ける2つの画像の間での注目画素の画素値の変化量が基準値以下になる状態が、所定期間(第1所定期間)に所定回数以上発生するという条件を含む点で基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例4の異常検出システム1は、判断部12の判断条件が、注目画素の画素値の変化量を所定期間(第2所定期間)にわたって累積した累積値が、累積基準値以下であるという条件を含む点で基本例と相違する。
変形例5の異常検出システム1は、判断部12が、周囲環境の照度が変化するタイミングで、注目画素の画素値が異常であるか否かを判断する点で、上記の基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
基本例では、判断部12は、受付部11が今回受け付けた画像と受付部11が前回受け付けた画像との間で注目画素の画素値の変化量を求めているが、受付部11が互いに異なるタイミングで受け付けた複数の画像の間で注目画素の画素値の変化量を求めればよい。例えば、判断部12は、受付部11が今回受け付けた画像と、受付部11が前回よりも前のタイミング(例えば数回前のタイミング)で受け付けた画像との間で、注目画素の画素値の変化量を求めてもよい。そして、判断部12は、画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断してもよい。
以上説明したように、第1の態様に係る異常検出システム(1)は、受付部(11)と、判断部(12)と、を備える。受付部(11)は、撮像部(31)で撮影された画像の画像データを受け付ける。判断部(12)は、互いに異なるタイミングで受付部(11)が受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
11 受付部
12 判断部
13 決定部
31 撮像部
100 移動体
101 移動体本体
Claims (16)
- 撮像部で撮影された画像の画像データを受け付ける受付部と、
互いに異なるタイミングで前記受付部が受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断部と、を備える、
異常検出システム。 - 周囲環境に関する環境情報に基づいて前記判断条件を決定する決定部を更に備える、
請求項1に記載の異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む、
請求項1に記載の異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の明領域の閾値よりも明るく、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む、
請求項1に記載の異常検出システム。 - 周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定部を更に備える、
請求項3又は4に記載の異常検出システム。 - 前記環境情報は、周囲の照度に関する情報を含む、
請求項2又は5に記載の異常検出システム。 - 前記注目画素は前記画像の一部又は全部を構成する複数の画素であり、
前記判断部は、前記複数の画素の各々について前記判断条件に基づいて前記注目画素の前記画素値が異常であるか否かを判断する、
請求項1〜6のいずれか1項に記載の異常検出システム。 - 前記注目画素は、前記画像の一部又は全部を構成する複数の画素を含む画素群であり、
前記判断部は、前記判断条件に基づいて前記画素群の前記画素値が異常であるか否かを判断する、
請求項1〜6のいずれか1項に記載の異常検出システム。 - 前記判断条件は、互いに異なるタイミングで前記受付部が受け付ける2つの前記画像の間での前記注目画素の前記画素値の変化量が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む、
請求項1〜8のいずれか1項に記載の異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値の変化量を所定期間にわたって累積した累積値が、累積基準値以下であるという条件を含む、
請求項1〜8のいずれか1項に記載の異常検出システム。 - 前記判断部は、周囲環境の照度が変化するタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
請求項1〜10のいずれか1項に記載の異常検出システム。 - 前記撮像部が、移動体に搭載される、
請求項1〜11のいずれか1項に記載の異常検出システム。 - 前記撮像部の前記画像は、前記移動体の制御に関わる処理に用いられる、
請求項12に記載の異常検出システム。 - 移動する移動体本体と、
前記移動体本体に搭載される請求項12又は13に記載の前記異常検出システムと、を備える、
移動体。 - 撮像部で撮影された画像の画像データを受け付ける受付処理と、
互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を含む、
異常検出方法。 - コンピュータシステムに、
撮像部で撮影された画像の画像データを受け付ける受付処理と、
互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を実行させるための、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023708A JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023708A JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020136731A true JP2020136731A (ja) | 2020-08-31 |
JP7262043B2 JP7262043B2 (ja) | 2023-04-21 |
Family
ID=72263747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019023708A Active JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7262043B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7127901B1 (ja) | 2021-05-24 | 2022-08-30 | Necプラットフォームズ株式会社 | 情報処理端末、制御方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104123A (ja) * | 2001-09-28 | 2003-04-09 | Matsushita Electric Ind Co Ltd | 車両用ミラー装置 |
JP2006229341A (ja) * | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
-
2019
- 2019-02-13 JP JP2019023708A patent/JP7262043B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104123A (ja) * | 2001-09-28 | 2003-04-09 | Matsushita Electric Ind Co Ltd | 車両用ミラー装置 |
JP2006229341A (ja) * | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7127901B1 (ja) | 2021-05-24 | 2022-08-30 | Necプラットフォームズ株式会社 | 情報処理端末、制御方法、及びプログラム |
JP2022179960A (ja) * | 2021-05-24 | 2022-12-06 | Necプラットフォームズ株式会社 | 情報処理端末、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7262043B2 (ja) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
WO2015118806A1 (ja) | 画像解析装置、および画像解析方法 | |
US20130088598A1 (en) | Obstacle detection system and method, and obstacle detection apparatus | |
US11081008B2 (en) | Vehicle vision system with cross traffic detection | |
CN111669513A (zh) | 通过脉冲照明实现弱光视觉的系统和方法 | |
JP5441450B2 (ja) | 車両用撮像装置 | |
JP2010537330A (ja) | 画像評価適応走行制御システムのセンサ画像における輝度値を評価するための方法およびシステム | |
JP2009177309A (ja) | 撮像手段の調整装置および車外監視装置 | |
JP7262043B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
KR102284128B1 (ko) | 차량용 카메라 | |
JP2006030713A (ja) | 表示装置 | |
JP7262044B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
KR101969856B1 (ko) | 주변 광의 검출 방법 및 시스템 | |
CN112243089B (zh) | 摄像头hdr图像效果开关控制方法、装置、后视镜、车辆及存储介质 | |
US20230171510A1 (en) | Vision system for a motor vehicle | |
EP3484144B1 (en) | Captured image display system, electronic mirror system, and captured image display method | |
JP2019028482A (ja) | 車載器および運転支援装置 | |
JP2011029974A (ja) | 表示画像修正装置 | |
JP2011028371A (ja) | 移動体検知装置および移動体検知方法 | |
EP4191998A1 (en) | Infrared image capturing device, and infrared image capturing system | |
EP4304191A2 (en) | Camera system, method for controlling the same, and computer program | |
JPH10129375A (ja) | 車載用前方車両認識装置 | |
JP2018182540A (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
US20230110938A1 (en) | Vehicular vision system with remote display feature |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |