JP2018142828A - Deposit detector and deposit detection method - Google Patents

Deposit detector and deposit detection method Download PDF

Info

Publication number
JP2018142828A
JP2018142828A JP2017035364A JP2017035364A JP2018142828A JP 2018142828 A JP2018142828 A JP 2018142828A JP 2017035364 A JP2017035364 A JP 2017035364A JP 2017035364 A JP2017035364 A JP 2017035364A JP 2018142828 A JP2018142828 A JP 2018142828A
Authority
JP
Japan
Prior art keywords
region
deposit
value
hue
extraction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017035364A
Other languages
Japanese (ja)
Inventor
修久 池田
Nobuhisa Ikeda
修久 池田
山本 大輔
Daisuke Yamamoto
大輔 山本
信徳 朝山
Nobutoku Asayama
信徳 朝山
河野 貴
Takashi Kono
貴 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2017035364A priority Critical patent/JP2018142828A/en
Publication of JP2018142828A publication Critical patent/JP2018142828A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a deposit detector and a deposit detection method which enable the detection of an opaque deposit.SOLUTION: A deposit detector according to an embodiment comprises a calculating unit and an extraction unit. The calculating unit calculates hue values of pixels included in a taken image shot by an imaging device. The extraction unit extracts a deposit region indicative of a shooting region of a deposit depositing on a lens of the imaging device based on a hue distribution which is a distribution of hue values calculated by the calculating unit.SELECTED DRAWING: Figure 1B

Description

本発明は、付着物検出装置および付着物検出方法に関する。   The present invention relates to a deposit detection apparatus and a deposit detection method.

従来、例えば車両に取り付けられた車載カメラのレンズに付着した付着物を検出する付着物検出装置がある。かかる付着物検出装置は、撮像画像から付着物の輝度のエッジを抽出し、レンズに付着した水滴を付着物として検出している(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, for example, there is an attached matter detection device that detects attached matter attached to a lens of an in-vehicle camera attached to a vehicle. Such an adhering matter detection device extracts the luminance edge of the adhering matter from the captured image, and detects a water droplet adhering to the lens as an adhering matter (see, for example, Patent Document 1).

特開2010−14494号公報JP 2010-14494 A

しかしながら、従来の付着物検出方法では、付着物として水滴を検出することができるが、例えば、ごみなどの光を透過させない不透明な付着物については検出することはできなかった。   However, in the conventional attached matter detection method, water droplets can be detected as the attached matter, but for example, an opaque attached matter that does not transmit light such as dust cannot be detected.

本発明は、上記に鑑みてなされたものであって、不透明な付着物を検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。   This invention is made in view of the above, Comprising: It aims at providing the deposit | attachment detection apparatus and the deposit | attachment detection method which can detect an opaque deposit | attachment.

本発明は、付着物検出装置において、算出部と、抽出部とを備える。算出部は、撮像装置によって撮像された撮像画像に含まれる各画素の色相値を算出する。抽出部は、前記算出部によって算出された前記色相値の分布である色相分布に基づき、前記撮像画像のレンズに付着した付着物の撮像領域を示す付着物領域を抽出する。   The present invention includes a calculation unit and an extraction unit in an attached matter detection apparatus. The calculation unit calculates the hue value of each pixel included in the captured image captured by the imaging device. The extraction unit extracts an attachment region indicating an imaging region of the attachment attached to the lens of the captured image based on the hue distribution that is the distribution of the hue values calculated by the calculation unit.

本発明によれば、不透明な付着物を検出することができる。   According to the present invention, an opaque deposit can be detected.

図1Aは、付着物検出装置の搭載例を示す図である。FIG. 1A is a diagram illustrating a mounting example of an attached matter detection apparatus. 図1Bは、付着物検出方法の概要を示す図である。FIG. 1B is a diagram showing an outline of the deposit detection method. 図2は、付着物検出装置のブロック図である。FIG. 2 is a block diagram of the adhering matter detection apparatus. 図3Aは、生成部による処理の具体例を示す図(その1)である。FIG. 3A is a diagram (part 1) illustrating a specific example of processing by the generation unit. 図3Bは、生成部による処理の具体例を示す図(その2)である。FIG. 3B is a second diagram illustrating a specific example of the process performed by the generation unit. 図3Cは、生成部による処理の具体例を示す図(その3)である。FIG. 3C is a third diagram illustrating a specific example of the process performed by the generation unit. 図4Aは、抽出部による処理の具体例を示す図(その1)である。FIG. 4A is a diagram (part 1) illustrating a specific example of processing by the extraction unit. 図4Bは、抽出部による処理の具体例を示す図(その2)である。FIG. 4B is a second diagram illustrating a specific example of processing performed by the extraction unit. 図4Cは、抽出部による処理の具体例を示す図(その3)である。FIG. 4C is a third diagram illustrating a specific example of the process performed by the extraction unit. 図5は、付着物検出装置が実行する処理手順を示すフローチャートである。FIG. 5 is a flowchart illustrating a processing procedure executed by the attached matter detection apparatus. 図6は、変形例に係る付着物検出装置の処理内容を示す図である。FIG. 6 is a diagram illustrating processing contents of the attached matter detection device according to the modification.

以下、添付図面を参照して、実施形態に係る付着物検出装置および付着物検出方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。   Hereinafter, an attached matter detection apparatus and an attached matter detection method according to an embodiment will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by this embodiment.

まず、図1Aおよび図1Bを用いて実施形態に係る付着物検出装置および付着物検出方法の概要について説明する。図1Aは、付着物検出装置の搭載例を示す図である。図1Bは、付着物検出方法の概要を示す図である。   First, the outline | summary of the deposit | attachment detection apparatus and deposit | attachment detection method which concern on embodiment is demonstrated using FIG. 1A and FIG. 1B. FIG. 1A is a diagram illustrating a mounting example of an attached matter detection apparatus. FIG. 1B is a diagram showing an outline of the deposit detection method.

図1Aに示すように、付着物検出装置1は、車両Cに搭載される。また、付着物検出装置1は、車両Cに搭載された撮像装置であるカメラ10によって撮像された撮像画像Lからカメラ10のレンズ10a(図示略)に付着した付着物Fを検出する。   As shown in FIG. 1A, the deposit detection device 1 is mounted on a vehicle C. Further, the attached matter detection apparatus 1 detects the attached matter F attached to the lens 10a (not shown) of the camera 10 from the captured image L captured by the camera 10 which is an imaging device mounted on the vehicle C.

なお、同図に示す例では、車両Cが、互いに異なる方向を撮像する4つのカメラ10を備える場合について示している。ここで、カメラ10は、車両Cの車外に配置されるため、カメラ10のレンズ10aには、水滴やごみなどの付着物Fが付着するおそれがある。   In the example shown in the figure, a case where the vehicle C includes four cameras 10 that capture images in different directions is illustrated. Here, since the camera 10 is disposed outside the vehicle C, there is a possibility that an adhering substance F such as water droplets or dust may adhere to the lens 10a of the camera 10.

しかしながら、従来の付着物検出装置では、付着物Fとして水滴のみを検出対象としており、水滴以外の付着物Fを検出することについては考慮されていなかった。   However, in the conventional attached matter detection apparatus, only the water droplet is detected as the attached matter F, and detection of the attached matter F other than the water droplet is not considered.

そこで、実施形態に係る付着物検出方法では、カメラ10のレンズ10aに付着した不透明な付着物Fを検出することとした。つまり、実施形態に係る付着物検出方法では、撮像画像Lに含まれる各画素の色相値の分布である色相分布に着目することで、カメラ10のレンズ10aに付着した不透明な付着物Fを検出する。   Therefore, in the attached matter detection method according to the embodiment, the opaque attached matter F attached to the lens 10a of the camera 10 is detected. That is, in the adhering matter detection method according to the embodiment, the opaque adhering matter F adhering to the lens 10a of the camera 10 is detected by paying attention to the hue distribution that is the distribution of the hue value of each pixel included in the captured image L. To do.

具体的には、図1Bに示すように、まず、実施形態に係る付着物検出方法では、撮像画像Lに含まれる各画素の色相値を算出する(ステップS1)。ここで、撮像画像Lにおいて不透明な付着物Fが付着した付着物領域Mでは、付着物Fによって光が遮断されるため、カメラ10のイメージセンサにノイズ等に起因して、付着物領域Mにおいて特定色の色相値がランダムに表れる。   Specifically, as illustrated in FIG. 1B, first, in the attached matter detection method according to the embodiment, the hue value of each pixel included in the captured image L is calculated (step S1). Here, in the deposit region M where the opaque deposit F adheres in the captured image L, light is blocked by the deposit F, and therefore in the deposit region M due to noise or the like in the image sensor of the camera 10. Hue values of specific colors appear randomly.

実施形態に係る付着物検出方法では、かかる点に着目し、かかる色相分布に基づいて付着物領域Mを抽出する(ステップS2)。具体的には、実施形態に係る付着物検出方法では、特定の色相値がランダムに表れた領域を付着物領域Mとして抽出する。   In the attached matter detection method according to the embodiment, paying attention to such points, the attached matter region M is extracted based on the hue distribution (step S2). Specifically, in the attached matter detection method according to the embodiment, a region where a specific hue value appears at random is extracted as the attached matter region M.

つまり、実施形態に係る付着物検出方法では、付着物領域Mの色相分布に乱れが生じるという特徴を利用して、カメラ10のレンズ10aに付着した不透明の付着物Fを検出する。   That is, in the attached matter detection method according to the embodiment, the opaque attached matter F attached to the lens 10a of the camera 10 is detected using the feature that the hue distribution of the attached region M is disturbed.

これにより、実施形態に係る付着物検出方法では、不透明な付着物Fを検出することができる。   Thereby, in the deposit | attachment detection method which concerns on embodiment, the opaque deposit | attachment F can be detected.

ところで、実施形態に係る付着物検出方法は、色相値に基づいて各画素を2値化した2値化色相画像Lhを生成し、2値化色相画像Lhから付着物領域Mを抽出することもできる。この点の詳細については、図3A等を用いて後述する。   By the way, the attached matter detection method according to the embodiment generates a binarized hue image Lh obtained by binarizing each pixel based on the hue value, and extracts the attached matter region M from the binarized hue image Lh. it can. Details of this point will be described later with reference to FIG. 3A and the like.

また、実施形態に係る付着物検出方法では、色相値に加えて、各画素の明度値や彩度値に基づいて付着物領域Mを抽出することもできる。この点の詳細については、図3Bおよび図3C等を用いて後述する。   In the attached matter detection method according to the embodiment, the attached matter region M can be extracted based on the brightness value and the saturation value of each pixel in addition to the hue value. Details of this point will be described later with reference to FIGS. 3B and 3C.

また、実施形態に係る付着物検出方法では、時系列的な複数の撮像画像Lに基づいて付着物領域Mを確定することもできる。この点の詳細については、図4Cを用いて後述する。   In the attached matter detection method according to the embodiment, the attached matter region M can also be determined based on a plurality of time-series captured images L. Details of this point will be described later with reference to FIG. 4C.

次に、図2を用いて実施形態に係る付着物検出装置1の構成について説明する。図2は、付着物検出装置1のブロック図である。なお、同図には、カメラ10および付着物除去装置11を併せて示す。   Next, the structure of the deposit | attachment detection apparatus 1 which concerns on embodiment is demonstrated using FIG. FIG. 2 is a block diagram of the deposit detection apparatus 1. In the figure, the camera 10 and the deposit removing device 11 are shown together.

カメラ10は、例えば、CMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサ(撮像素子)を備えた車載カメラであり、上記したように、車両Cの周囲を撮像する。カメラ10によって撮像された撮像画像Lは、付着物検出装置1に出力される。なお、カメラ10は、CMOSに代えてCCD(Charge Coupled Device)などの他のイメージセンサを用いることにしてもよい。また、カメラ10のレンズ10aは、例えば、魚眼レンズ等の広角レンズであるが、その他のレンズであってもよい。   The camera 10 is an in-vehicle camera including an image sensor (imaging device) such as a CMOS (Complementary Metal Oxide Semiconductor), for example, and images the surroundings of the vehicle C as described above. A captured image L captured by the camera 10 is output to the attached matter detection apparatus 1. The camera 10 may use another image sensor such as a CCD (Charge Coupled Device) instead of the CMOS. The lens 10a of the camera 10 is, for example, a wide-angle lens such as a fisheye lens, but may be other lenses.

付着物除去装置11は、付着物検出装置1による除去動作指示に基づいてカメラ10のレンズ10aに付着した付着物の除去動作を行う。付着物除去装置11は、例えば圧縮した空気やウォッシャ液をカメラ10のレンズ10aに向けて噴出したりワイパでレンズ10aを拭ったりすることで、レンズ10aに付着した付着物を除去することができる。   The attached matter removing device 11 performs an operation for removing the attached matter attached to the lens 10 a of the camera 10 based on the removal operation instruction from the attached matter detecting device 1. The deposit removing device 11 can remove deposits adhering to the lens 10a by, for example, jetting compressed air or washer liquid toward the lens 10a of the camera 10 or wiping the lens 10a with a wiper. .

付着物検出装置1は、制御部2および記憶部3を備える。制御部2は、算出部21と、生成部22と、抽出部23とを備える。制御部2は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、入出力ポートなどを有するコンピュータや各種の回路を含む。   The attached matter detection apparatus 1 includes a control unit 2 and a storage unit 3. The control unit 2 includes a calculation unit 21, a generation unit 22, and an extraction unit 23. The control unit 2 includes, for example, a computer having a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), a hard disk drive (HDD), an input / output port, and various circuits.

コンピュータのCPUは、例えば、ROMに記憶されたプログラムを読み出して実行することによって、制御部2の算出部21、生成部22および抽出部23として機能する。   The CPU of the computer functions as the calculation unit 21, the generation unit 22, and the extraction unit 23 of the control unit 2, for example, by reading and executing a program stored in the ROM.

また、制御部2の算出部21、生成部22および抽出部23の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。   In addition, at least one or all of the calculation unit 21, the generation unit 22, and the extraction unit 23 of the control unit 2 may be configured by hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). it can.

また、記憶部3は、たとえば、RAMやHDDに対応する。RAMやHDDは、特定色情報31、閾値情報32および点数情報33や各種プログラムの情報を記憶することができる。   The storage unit 3 corresponds to, for example, a RAM or an HDD. The RAM and HDD can store specific color information 31, threshold information 32, point information 33, and various program information.

なお、付着物検出装置1は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。   In addition, the deposit | attachment detection apparatus 1 is good also as acquiring the above-mentioned program and various information via the other computer and portable recording medium which were connected by the wired or wireless network.

制御部2の算出部21は、カメラ10から入力される撮像画像Lに含まれる各画素の色相値を算出する。具体的には、算出部21は、撮像画像LについてHSV変換を行うことで、撮像画像Lに含まれる各画素の色相値(いわゆるH値)を算出する。例えば、色相値は、0〜179までの180個の数字で表される。   The calculation unit 21 of the control unit 2 calculates the hue value of each pixel included in the captured image L input from the camera 10. Specifically, the calculation unit 21 performs the HSV conversion on the captured image L to calculate the hue value (so-called H value) of each pixel included in the captured image L. For example, the hue value is represented by 180 numbers from 0 to 179.

また、算出部21は、撮像画像Lに対してHSV変換を行うことで、色相値に加え、彩度値(いわゆるS値)および明度値(いわゆるV値)を算出することもできる。例えば、彩度値および明度値は、それぞれ0〜255までの数字で表される。   The calculation unit 21 can also calculate a saturation value (so-called S value) and a lightness value (so-called V value) in addition to the hue value by performing HSV conversion on the captured image L. For example, the saturation value and the lightness value are represented by numbers from 0 to 255, respectively.

算出部21は、算出した各画素の色相値、彩度値および明度値を対応する各画素に対応付けた画像データを生成し、かかる画像データを生成部22へ出力する。   The calculation unit 21 generates image data in which the calculated hue value, saturation value, and brightness value of each pixel are associated with each corresponding pixel, and outputs the image data to the generation unit 22.

なお、ここでは、算出部21が色相値を180個に分割する場合について説明したが、これに限定されるものではなく、180個以上に分割することにしてもよいし、180個未満に分割するようにしてもよい。また、算出部21は、HSV変換に代えて、HLS変換など、他の変換手法を用いて色相値等を算出することにしてもよい。   In addition, although the case where the calculation unit 21 divides the hue value into 180 pieces has been described here, the present invention is not limited to this, and may be divided into 180 pieces or more, or may be divided into less than 180 pieces. You may make it do. Further, the calculation unit 21 may calculate a hue value or the like by using another conversion method such as HLS conversion instead of the HSV conversion.

生成部22は、算出部21によって算出された色相値が付着物領域Mに特有の特定色であるか、当該特定色以外であるかで各画素を2値化した2値化色相画像Lhを生成し、抽出部23へ出力する。   The generation unit 22 generates a binarized hue image Lh in which each pixel is binarized depending on whether the hue value calculated by the calculation unit 21 is a specific color unique to the deposit region M or other than the specific color. Generate and output to the extraction unit 23.

また、生成部22は、算出部21によって算出された明度値および彩度値に基づいてそれぞれに対応する2値化明度画像Lvと、2値化彩度画像Lsを生成することもできる。かかる2値化明度画像Lvおよび2値化彩度画像Lsは、抽出部23へ出力される。なお、以下では、生成部22によって生成される2値化色相画像Lh、2値化明度画像Lvおよび2値化彩度画像Lsを総称して単に「2値化画像」と記載する場合がある。   The generation unit 22 can also generate a binary lightness image Lv and a binary saturation image Ls corresponding to the lightness value and the saturation value calculated by the calculation unit 21, respectively. The binarized lightness image Lv and the binarized chroma image Ls are output to the extraction unit 23. In the following description, the binarized hue image Lh, the binarized lightness image Lv, and the binarized chroma image Ls generated by the generating unit 22 may be collectively referred to simply as “binarized image”. .

ここで、図3A〜図3Cを用いて生成部22による処理の具体例について説明する。図3A〜図3Cは、生成部22による処理の具体例を示す図である。   Here, the specific example of the process by the production | generation part 22 is demonstrated using FIG. 3A-FIG. 3C. 3A to 3C are diagrams illustrating specific examples of processing by the generation unit 22.

まず、図3Aを用いて生成部22が色相値に基づいて2値化色相画像Lhを生成する場合について説明する。なお、図3Aでは、説明を簡単にするため、画像データの一部を切り出して模式的に示している。   First, the case where the generation unit 22 generates the binarized hue image Lh based on the hue value will be described with reference to FIG. 3A. In FIG. 3A, a part of the image data is cut out and schematically shown for easy explanation.

図3Aに示すように、画像データの各画素には、算出部21によって算出された色相値の数字が対応付けられている。そして、生成部22は、画像データのうち、付着物領域Mの特徴を示す特定色の色相値である画素を「1」とし、かかる特定色以外の色相値である画素を「0」とすることで、2値化色相画像Lhを生成する。なお、同図では、2値化色相画像Lhにおいて特定色に該当する画素を黒で示し、特定色に該当しない画素を白で示している。   As shown in FIG. 3A, each pixel of the image data is associated with a numerical value of the hue value calculated by the calculation unit 21. Then, the generation unit 22 sets a pixel that is a hue value of a specific color indicating the feature of the adhered region M to “1” in the image data, and sets a pixel that is a hue value other than the specific color to “0”. Thus, the binarized hue image Lh is generated. In the figure, in the binarized hue image Lh, pixels corresponding to the specific color are shown in black, and pixels not corresponding to the specific color are shown in white.

ここで、かかる特定色の色相値に関する情報は、予め実験や、機械学習などを用いて作成され、記憶部3に特定色情報31として記憶される(図2参照)。特定色情報31は、例えば、付着物領域Mにおいて出現する確率が高い色相値の中から上位20色を抽出した情報である。   Here, the information regarding the hue value of the specific color is created in advance using experiments, machine learning, or the like, and is stored as the specific color information 31 in the storage unit 3 (see FIG. 2). The specific color information 31 is, for example, information obtained by extracting the top 20 colors from hue values that have a high probability of appearing in the deposit region M.

このように、生成部22は、色相値に基づいて2値化色相画像Lhを生成することで、特定色である複数の色相値を有する画素を等価にすることができる。換言すると、2値化色相画像Lhは、撮像画像Lに含まれる各画素の色相分布を簡略化したマップである。これにより、後段の抽出部23による処理を容易にすることができる。   As described above, the generation unit 22 generates the binarized hue image Lh based on the hue value, so that pixels having a plurality of hue values that are specific colors can be made equivalent. In other words, the binarized hue image Lh is a map in which the hue distribution of each pixel included in the captured image L is simplified. Thereby, the process by the latter extraction part 23 can be made easy.

次に、図3Bを用いて生成部22が、明度値に基づいて画像データから2値化明度画像Lvを生成する場合について説明する。図3Bに示すように、生成部22は、各画素の明度値と、閾値Thaとを比較することで各画素を2値化し、2値化明度画像Lvを生成する。   Next, a case where the generation unit 22 generates a binarized brightness image Lv from image data based on the brightness value will be described with reference to FIG. 3B. As illustrated in FIG. 3B, the generation unit 22 binarizes each pixel by comparing the brightness value of each pixel with a threshold value Tha, and generates a binarized brightness image Lv.

具体的には、生成部22は、明度値が閾値Thaよりもが低い画素を「1」とし、明度値が閾値Tha以上である画素を「0」とすることで、2値化明度画像Lvを生成することができる。換言すると、生成部22は、明度が暗い画素のみを後段の抽出部23による処理に回すことができる。   Specifically, the generation unit 22 sets a pixel having a lightness value lower than the threshold value Tha to “1” and sets a pixel having a lightness value equal to or greater than the threshold value Tha to “0”, whereby the binarized lightness image Lv. Can be generated. In other words, the generation unit 22 can send only pixels with low brightness to the processing by the subsequent extraction unit 23.

これは、不透明な付着物Fは、光を透過させないため、付着物Fが付着した付着物領域Mの明度値は、付着物Fが付着していない領域よりも暗くなるためである。すなわち、生成部22は、明度値に基づいて2値化明度画像Lvを生成することで、後述する抽出部23による付着物領域Mの抽出精度を向上させることができる。   This is because the opaque deposit F does not transmit light, and therefore the brightness value of the deposit region M where the deposit F is adhered is darker than the region where the deposit F is not adhered. That is, the production | generation part 22 can improve the extraction precision of the deposit | attachment area | region M by the extraction part 23 mentioned later by producing | generating the binarized lightness image Lv based on a lightness value.

なお、明度値を0〜255とする場合、閾値Thaは、30である。また、生成部22は、かかる閾値Thaをカメラ10の周囲の照度などに応じて変更することができる。   When the brightness value is 0 to 255, the threshold value Tha is 30. Further, the generation unit 22 can change the threshold value Tha according to the illuminance around the camera 10 and the like.

次に、図3Cを用いて生成部22が彩度値に基づいて画像データから2値化彩度画像Lsを生成する場合の処理について説明する。図3Cに示すように、生成部22は、各画素の彩度値が所定の範囲Rs内にあるか否かを判定することで、2値化彩度画像Lsを生成する。   Next, a process when the generation unit 22 generates the binarized saturation image Ls from the image data based on the saturation value will be described with reference to FIG. 3C. As illustrated in FIG. 3C, the generation unit 22 determines whether or not the saturation value of each pixel is within a predetermined range Rs, thereby generating a binary saturation image Ls.

具体的には、生成部22は、画素の彩度値が範囲Rs内であれば、かかる画素を「1」とし、彩度値が範囲Rs以外である画素を「0」とすることで、2値化彩度画像Lsを生成する。   Specifically, when the saturation value of the pixel is within the range Rs, the generation unit 22 sets the pixel to “1” and sets the pixel whose saturation value is outside the range Rs to “0”. A binary saturation image Ls is generated.

これは、例えば、カメラ10のレンズ10aに広角レンズを用いた場合、撮像画像Lには、カメラ10のレンズ10aの縁が写りこむ。そして、かかるレンズ10aの縁が、撮像画像Lにおいて色相分布が付着物領域Mと同様の特徴を示す一方、彩度値において範囲Rsから逸脱する特徴を有するためである。   For example, when a wide-angle lens is used as the lens 10 a of the camera 10, the edge of the lens 10 a of the camera 10 is reflected in the captured image L. This is because the edge of the lens 10a has a feature in which the hue distribution in the captured image L is the same as that of the deposit region M, while the saturation value deviates from the range Rs.

つまり、生成部22は、彩度値に基づいて2値化彩度画像Lsを生成することで、撮像画像Lに写ったカメラ10のレンズ10aの縁に対応する画素を後段の抽出部23による抽出処理から除外することができる。これにより、抽出部23による付着物Fの検出精度を向上させることができる。   In other words, the generation unit 22 generates a binary saturation image Ls based on the saturation value, so that the pixel corresponding to the edge of the lens 10a of the camera 10 captured in the captured image L is extracted by the subsequent extraction unit 23. It can be excluded from the extraction process. Thereby, the detection precision of the deposit | attachment F by the extraction part 23 can be improved.

なお、彩度値を0〜255とすると、範囲Rsは、1〜254までの範囲であるが、生成部22は、カメラ10の周囲の照度等に応じて適宜変更することができる。なお、上記した図3Bおよび図3Cに示した閾値Thaや、範囲Rsに関する情報は、記憶部3に閾値情報32として記憶される。   When the saturation value is 0 to 255, the range Rs is a range from 1 to 254, but the generation unit 22 can be changed as appropriate according to the illuminance around the camera 10 and the like. Note that the information on the threshold value Tha and the range Rs shown in FIG. 3B and FIG. 3C is stored as threshold information 32 in the storage unit 3.

図2の説明に戻り、制御部2の抽出部23について説明する。抽出部23は、算出部21によって算出された色相値の分布である色相分布に基づき、カメラ10のレンズ10aに付着した付着物Fの撮像領域を示す付着物領域Mを抽出する。   Returning to the description of FIG. 2, the extraction unit 23 of the control unit 2 will be described. Based on the hue distribution that is the hue value distribution calculated by the calculation unit 21, the extraction unit 23 extracts an attachment region M that indicates an imaging region of the attachment F attached to the lens 10 a of the camera 10.

ここで、図4A〜図4Cを用いて抽出部23による処理の具体例について説明する。図4A〜図4Cは、抽出部23による処理の具体例を示す図である。   Here, the specific example of the process by the extraction part 23 is demonstrated using FIG. 4A-FIG. 4C. 4A to 4C are diagrams illustrating specific examples of processing performed by the extraction unit 23.

図4Aに示すように、抽出部23は、撮像画像Lを複数の領域に分割し、分割した領域ごとに、付着物領域Mを抽出する。かかる領域は、同図に示すように、例えば、撮像画像Lの周縁部を該周縁部以外よりも大きく分割する。   As illustrated in FIG. 4A, the extraction unit 23 divides the captured image L into a plurality of regions, and extracts an attachment region M for each of the divided regions. As shown in the figure, for example, the region divides the peripheral portion of the captured image L larger than the peripheral portion.

具体的には、周縁部の領域Blは、周縁部以外の領域Bsの面積比にして例えば、4倍のサイズに分割される。また、抽出部23は、図4Bおよび図4Cで後述するように、分割した領域における2値価値の割合が所定の条件を満たした場合に、当該領域を付着物領域Mとして抽出する。つまり、抽出部23は、領域ごとに付着物領域Mの候補である候補画素の割合を算出し、かかる割合に基づいて付着物領域Mを抽出する。   Specifically, the peripheral region Bl is divided into, for example, four times the size of the region Bs other than the peripheral region. Further, as will be described later with reference to FIG. 4B and FIG. 4C, the extraction unit 23 extracts the region as an attachment region M when the binary value ratio in the divided region satisfies a predetermined condition. That is, the extraction unit 23 calculates the ratio of candidate pixels that are candidates for the attachment region M for each region, and extracts the attachment region M based on the ratio.

このとき、領域のサイズが大きな領域Blは、領域Blよりもサイズが小さい領域Bsに比べて、付着物領域Mとして抽出される条件が厳しくなる。例えば、領域Blおよび領域Bsに同じ数の候補画素が存在する場合、候補画素の割合は、領域Blでは領域Bsよりも小さくなる。すなわち、領域Blは、領域Bsよりも付着物領域Mとして抽出されにくくなる。   At this time, the region B1 having a large region size has a stricter condition of being extracted as the deposit region M than the region Bs having a smaller size than the region Bl. For example, when the same number of candidate pixels exist in the region Bl and the region Bs, the ratio of candidate pixels is smaller in the region Bl than in the region Bs. That is, the region Bl is less likely to be extracted as the adhered region M than the region Bs.

これは、撮像画像Lの周縁部の領域Blは、周縁部以外の領域Bsに比べて付着物Fを検出する優先度が低いためである。すなわち、周縁部の領域Blに付着物Fが付着していても、例えば、車両Cの運転者に支障を与えないためである。   This is because the peripheral region Bl of the captured image L has a lower priority for detecting the deposit F than the region Bs other than the peripheral portion. That is, even if the deposit F adheres to the peripheral area B1, for example, it does not hinder the driver of the vehicle C.

このように、抽出部23は、周縁部の領域Blを他の領域Bsに比べてサイズを大きくすることで、領域Blにおける付着物Fの誤検出を抑制することができる。なお、抽出部23は、撮像画像Lの周縁部については、付着物Fの検出対象から除外することにしてもよい。   Thus, the extraction part 23 can suppress the erroneous detection of the deposit | attachment F in area | region Bl by enlarging size of area | region Bl of the peripheral part compared with other area | region Bs. Note that the extraction unit 23 may exclude the peripheral portion of the captured image L from the detection target of the deposit F.

また、ここでは、領域を矩形状に分割する場合について説明したが、抽出部23は、領域を円形や多角形など他の形状に分割するようにしてもよい。また、抽出部23は、領域を全て同等に分割し、撮像画像Lの端縁に近くなるほど、付着物領域Mとする抽出条件が厳しくなるように重み付けを行うようにしてもよい。   Although the case where the region is divided into rectangles has been described here, the extraction unit 23 may divide the region into other shapes such as a circle and a polygon. Further, the extraction unit 23 may divide all the regions equally, and may perform weighting so that the extraction conditions for the attachment region M become more severe as the region becomes closer to the edge of the captured image L.

ところで、従来の付着物検出装置では、上記したように付着物Fが水滴を検出対象としている。このため、従来の付着物検出装置では、水滴の形状はおおむね円形状に限定することができる。このため、従来の付着物検出装置では、予め用意した円形状のテンプレートとのマッチング処理によって水滴を検出することができる。   By the way, in the conventional deposit | attachment detection apparatus, as mentioned above, the deposit | attachment F makes the water drop a detection target. For this reason, in the conventional deposit | attachment detection apparatus, the shape of a water droplet can be limited to a substantially circular shape. For this reason, in the conventional deposit | attachment detection apparatus, a water droplet can be detected by the matching process with the circular template prepared previously.

一方、実施形態に係る付着物検出装置1では、不透明な付着物Fを検出対象とし、ごみや泥など不定形の付着物Fを検出する。このため、上記のようにテンプレートを用意しようとする場合、膨大な数のテンプレートを用意する必要がある。換言すると、従来技術のようにテンプレートを用いたマッチング処理により不定形の付着物Fを検出するのは困難である。   On the other hand, in the adhering matter detection apparatus 1 according to the embodiment, the opaque adhering matter F is detected, and the irregular adhering matter F such as dust and mud is detected. For this reason, when preparing a template as described above, it is necessary to prepare an enormous number of templates. In other words, it is difficult to detect the irregular deposit F by the matching process using the template as in the prior art.

このため、実施形態に係る付着物検出装置1では、領域ごとに付着物Fを検出することで、不定形の付着物Fを検出することが可能となる。   For this reason, in the deposit | attachment detection apparatus 1 which concerns on embodiment, it becomes possible to detect the irregular-shaped deposit | attachment F by detecting the deposit | attachment F for every area | region.

次に、図4Bおよび図4Cを用いて抽出部23による処理の具体例について説明する。図4Bに示すように、まず、抽出部23は、生成部22から入力された3種類の2値化画像から重なり領域を抽出する。   Next, a specific example of processing by the extraction unit 23 will be described with reference to FIGS. 4B and 4C. As illustrated in FIG. 4B, first, the extraction unit 23 extracts an overlapping area from the three types of binarized images input from the generation unit 22.

具体的には、抽出部23は、2値化色相画像Lh、2値化明度画像Lvおよび2値化彩度画像Lsの全てで「1」である画素を抽出し、付着判定画像Ldを生成する。   Specifically, the extraction unit 23 extracts pixels that are “1” in all of the binarized hue image Lh, the binarized lightness image Lv, and the binarized chroma image Ls, and generates an adhesion determination image Ld. To do.

換言すると、抽出部23は、2値化色相画像Lh、2値化明度画像Lvおよび2値化彩度画像Lsの論理積となる重なり領域を抽出し、付着判定画像Ldを生成する。つまり、抽出部23は、明度値が閾値Tha未満、彩度値が範囲Rs内、かつ色相値が特定色である画素を抽出する。   In other words, the extraction unit 23 extracts an overlapping region that is a logical product of the binarized hue image Lh, the binarized lightness image Lv, and the binarized chroma image Ls, and generates an adhesion determination image Ld. That is, the extraction unit 23 extracts pixels whose brightness value is less than the threshold value Tha, saturation value is in the range Rs, and hue value is a specific color.

そして、抽出部23は、かかる付着判定画像Ldにおいて、図4Aに示した領域Bl、Bsごとに、重なり領域となる画素の割合を算出し、かかる画素の割合が閾値以上(例えば、80パーセント以上)である領域を付着物領域Mとして抽出することができる。   Then, the extraction unit 23 calculates the ratio of pixels that are overlapping areas for each of the areas Bl and Bs illustrated in FIG. 4A in the adhesion determination image Ld, and the ratio of the pixels is equal to or higher than a threshold (for example, 80% or higher). ) Can be extracted as the deposit region M.

ここで、各領域における重なり領域となる画素の割合としたのは、付着物Fが付着している場合、撮像画像Lには、複数の画素にわたって付着物Fが写るためである。換言すると、付着物Fが1画素のみに写ることは、考えにくいためである。   Here, the reason why the ratio of the pixels to be the overlapping region in each region is that when the attached matter F is attached, the attached matter F appears in the captured image L over a plurality of pixels. In other words, it is difficult to think that the deposit F appears in only one pixel.

すなわち、抽出部23は、各領域における重なり領域となる画素の割合に基づいて付着物領域Mを抽出することで、実際には、付着物Fが付着している画素でないにもかかわらず、重なり領域として偶然抽出された画素を排除することができる。   That is, the extraction unit 23 extracts the adhered region M based on the ratio of pixels that are overlapping regions in each region. Pixels accidentally extracted as regions can be excluded.

なお、ここでは、抽出部23が、2値化色相画像Lh、2値化明度画像Lvおよび2値化彩度画像Lsの論理積をとって重なり領域を抽出する場合について説明したが、抽出部23は、2値化色相画像Lhと、2値化明度画像Lvまたは2値化彩度画像Lsの論理積をとって重なり領域を抽出することにしてもよい。すなわち、抽出部23は、明度値が閾値Tha未満であり、かつ色相値が特定色である画素を重なり領域として抽出することにしてもよいし、あるいは、彩度値が範囲Rs内であり、かつ色相値が特定色である画素を重なり領域として抽出することにしてもよい。   Here, the case has been described where the extracting unit 23 extracts the overlapping region by taking the logical product of the binarized hue image Lh, the binarized lightness image Lv, and the binarized chroma image Ls. 23 may extract the overlap region by taking the logical product of the binarized hue image Lh and the binarized lightness image Lv or the binarized chroma image Ls. That is, the extraction unit 23 may extract pixels whose brightness value is less than the threshold value Tha and whose hue value is a specific color as an overlapping region, or the saturation value is within the range Rs. In addition, pixels whose hue value is a specific color may be extracted as an overlapping region.

ところで、抽出部23は、時系列的な複数フレームの撮像画像Lに基づいて付着物領域Mを確定することができる。具体的には、図4Cに示すように、抽出部23は、時系列的な複数の付着判定画像Ldに基づいて付着物領域Mを抽出する。   By the way, the extraction unit 23 can determine the attachment region M based on the captured images L of a plurality of frames in time series. Specifically, as illustrated in FIG. 4C, the extraction unit 23 extracts an attachment region M based on a plurality of time-series attachment determination images Ld.

例えば、図4Cに示すように、抽出部23は、上記した付着物領域Mを抽出した場合に、付着判定画像Ldごとに付着物領域Mとなる領域に点数を加点していく。そして、抽出部23は、各領域の点数の累積値を図2に示した点数情報33として記憶部3に記憶させる。   For example, as illustrated in FIG. 4C, when the extraction unit 23 extracts the above-described attachment region M, the extraction unit 23 adds points to the region that becomes the attachment region M for each attachment determination image Ld. Then, the extraction unit 23 causes the storage unit 3 to store the cumulative value of the points in each region as the point information 33 illustrated in FIG.

抽出部23は、点数情報33に基づいて累積値が予め設定された閾値を超えた領域について付着物領域Mとして確定させる。そして、抽出部23は、確定させた付着物領域Mの付着判定画像Ldにおける座標情報を図2に示した付着物除去装置11へ出力し、除去動作を指示する。   Based on the score information 33, the extraction unit 23 determines the region where the cumulative value exceeds a preset threshold value as the deposit region M. Then, the extraction unit 23 outputs the coordinate information in the attachment determination image Ld of the determined attachment region M to the attachment removal device 11 shown in FIG. 2, and instructs the removal operation.

これにより、付着物除去装置11は、レンズ10aに付着した付着物Fを除去することとなる。また、抽出部23は、かかる除去動作を指示すると、点数情報33をリセットすることで各領域の点数の累積値をリセットする。なお、抽出部23は、所定周期ごとに点数情報33をリセットするようにしてもよい。   Thereby, the deposit | attachment removal apparatus 11 will remove the deposit | attachment F adhering to the lens 10a. Further, when instructing such a removal operation, the extraction unit 23 resets the score information 33 to reset the cumulative value of the scores in each region. Note that the extraction unit 23 may reset the score information 33 every predetermined period.

このように、抽出部23は、時系列的な複数の付着判定画像Ldに基づいて付着物領域Mを抽出することで、付着物Fの検出精度を向上させることができる。つまり、抽出部23は、1つの付着判定画像Ldのみで付着物領域Mとして抽出された領域について付着物領域Mとして確定しないため、付着物Fの誤検出を抑制することができる。   Thus, the extraction unit 23 can improve the detection accuracy of the deposit F by extracting the deposit region M based on the plurality of time-series adhesion determination images Ld. That is, since the extraction unit 23 does not determine the region extracted as the adhered region M by only one adhesion determination image Ld as the adhered region M, it is possible to suppress erroneous detection of the adhered item F.

次に、図5を用いて実施形態に係る付着物検出装置1が実行する処理手順について説明する。図5は、付着物検出装置1が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、図2に示した制御部2によって繰り返し実行される。   Next, a processing procedure executed by the deposit detection apparatus 1 according to the embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating a processing procedure executed by the attached matter detection apparatus 1. Note that this processing procedure is repeatedly executed by the control unit 2 shown in FIG.

図5に示すように、算出部21は、各画素の色相値、明度値および彩度値を算出する(ステップS101)。続いて、生成部22は、色相値、明度値および彩度値に基づいて2値化画像を生成する(ステップS102)。   As shown in FIG. 5, the calculation unit 21 calculates the hue value, lightness value, and saturation value of each pixel (step S101). Subsequently, the generation unit 22 generates a binarized image based on the hue value, the lightness value, and the saturation value (step S102).

続いて、抽出部23は、2値化画像の論理積をとることで重なり領域を抽出し(ステップS103)、領域ごとに点数を加算する(ステップS104)。次に、抽出部23は、点数の累積値が閾値を超えたか否かを判定する(ステップS105)。   Subsequently, the extraction unit 23 extracts an overlapping region by taking a logical product of the binarized images (step S103), and adds a score for each region (step S104). Next, the extraction unit 23 determines whether or not the cumulative value of the score exceeds a threshold value (step S105).

かかる判定において、抽出部23は、累積値が閾値を超えた場合(ステップS105,Yes)、累積値が閾値を超えた領域を付着物領域Mとして確定し(ステップS106)、処理を終了する。   In this determination, when the cumulative value exceeds the threshold value (Yes at Step S105), the extraction unit 23 determines the region where the cumulative value exceeds the threshold value as the deposit region M (Step S106), and ends the process.

一方、ステップS105の判定において累積値が閾値以下である場合(ステップS105,No)、制御部2は、ステップ101以降の処理を繰り返すこととなる。   On the other hand, when the cumulative value is equal to or smaller than the threshold value in the determination in step S105 (No in step S105), the control unit 2 repeats the processing from step 101 onward.

上述したように、実施形態に係る付着物検出装置1は、算出部21と、抽出部23とを備える。算出部21は、撮像装置(カメラ10)によって撮像された撮像画像Lに含まれる各画素の色相値を算出する。抽出部23は、算出部21によって算出された色相値の分布である色相分布に基づき、撮像装置(カメラ10)のレンズ10aに付着した付着物Fの撮像領域を示す付着物領域Mを抽出する。したがって、実施形態にかかる付着物検出装置1によれば、不透明な付着物Fを検出することができる。   As described above, the attached matter detection apparatus 1 according to the embodiment includes the calculation unit 21 and the extraction unit 23. The calculation unit 21 calculates the hue value of each pixel included in the captured image L captured by the imaging device (camera 10). Based on the hue distribution that is the hue value distribution calculated by the calculation unit 21, the extraction unit 23 extracts an attachment region M that indicates an imaging region of the attachment F attached to the lens 10a of the imaging device (camera 10). . Therefore, according to the attached matter detection apparatus 1 according to the embodiment, the opaque attached matter F can be detected.

ところで、上述した実施形態では、抽出部23が、生成部22によって生成された2値化色相画像Lhに基づいて付着物領域Mを抽出する場合について説明したが、これに限定されるものではない。   By the way, in the above-described embodiment, the case where the extraction unit 23 extracts the attachment region M based on the binarized hue image Lh generated by the generation unit 22 has been described. However, the present invention is not limited to this. .

そこで、図6を用いて変形例として抽出部23が、色相分布のヒストグラムに基づいて付着物領域Mを抽出する場合について説明する。図6は、変形例に係る付着物検出装置1の処理内容を示す図である。   Therefore, a case where the extraction unit 23 extracts the attachment region M based on the histogram of the hue distribution will be described as a modified example with reference to FIG. FIG. 6 is a diagram illustrating the processing contents of the attached matter detection apparatus 1 according to the modification.

図6に示すように、まず、付着物検出装置1は、所定区画ごとに、色相分布を示すヒストグラムを作成する(ステップS21)。続いて、付着物検出装置1は、かかるヒストグラムと、サンプルヒストグラムとの類似度を算出する(ステップS22)。   As shown in FIG. 6, first, the attached matter detection apparatus 1 creates a histogram indicating the hue distribution for each predetermined section (step S21). Subsequently, the adhering matter detection apparatus 1 calculates the similarity between the histogram and the sample histogram (step S22).

ここで、サンプルヒストグラムは、複数の付着物領域Mの色相分布を示す複数のヒストグラムをサンプルデータとして予め機械学習等によって作成される。すなわち、サンプルヒストグラムは、付着物領域Mに特有の色相分布を示すヒストグラムである。   Here, the sample histogram is created in advance by machine learning or the like using, as sample data, a plurality of histograms indicating the hue distributions of the plurality of attachment regions M. That is, the sample histogram is a histogram showing a hue distribution peculiar to the deposit region M.

そして、付着物検出装置1は、かかる類似度の高かった領域を付着物領域Mとして抽出する(ステップS23)。つまり、変形例に係る付着物検出装置1は、撮像画像Lから作成したヒストグラムと、サンプルヒストグラムとの類似度が高い領域を付着物領域Mとして抽出することで、不透明な付着物Fを検出することができる。   Then, the attached matter detection apparatus 1 extracts a region having a high similarity as the attached matter region M (step S23). That is, the attached matter detection apparatus 1 according to the modification detects an opaque attached matter F by extracting a region having a high similarity between the histogram created from the captured image L and the sample histogram as the attached matter region M. be able to.

また、付着物検出装置1は、例えば、ヒストグラムの分散値を算出し、サンプルヒストグラムの分散値との類似度を算出し、かかる類似度に基づいて付着物領域Mを抽出することにしてもよい。   Further, for example, the attached matter detection apparatus 1 may calculate the variance value of the histogram, calculate the similarity with the variance value of the sample histogram, and extract the attached matter region M based on the similarity. .

また、上記した実施形態では、付着物検出装置1をいずれも車載用のカメラ10に適用する場合について示したが、例えば、建物の内外や路地等に設定される監視/防犯カメラなどのその他の種類のカメラに適用してもよい。   Further, in the above-described embodiment, the case where the attached matter detection apparatus 1 is applied to the vehicle-mounted camera 10 has been described. However, for example, other monitoring / security cameras set inside or outside the building, alleys, etc. It may be applied to different types of cameras.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。   Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the present invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications can be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.

1 付着物検出装置
10 カメラ(撮像装置の一例)
10a レンズ
21 算出部
22 生成部
23 抽出部
F 付着物
L 撮像画像
Lh 2値化色相画像
Lv 2値化明度画像
Ls 2値化彩度画像
Ld 付着判定画像
M 付着物領域
DESCRIPTION OF SYMBOLS 1 Adhering matter detection apparatus 10 Camera (an example of an imaging device)
10a Lens 21 Calculation unit 22 Generation unit 23 Extraction unit F Attachment L Captured image Lh Binary hue image Lv Binary lightness image Ls Binary saturation image Ld Adhesion determination image M Attachment region

Claims (8)

撮像装置によって撮像された撮像画像に含まれる各画素の色相値を算出する算出部と、
前記算出部によって算出された前記色相値の分布である色相分布に基づき、前記撮像装置のレンズに付着した付着物の撮像領域を示す付着物領域を抽出する抽出部と
を備えることを特徴とする付着物検出装置。
A calculation unit that calculates a hue value of each pixel included in the captured image captured by the imaging device;
An extraction unit that extracts an attachment region indicating an imaging region of the attachment attached to the lens of the imaging device based on a hue distribution that is a distribution of the hue value calculated by the calculation unit. Attachment detection device.
前記抽出部は、
前記算出部によって算出された前記色相値が前記付着物に特有の特定色である領域を前記付着物領域として抽出すること
を特徴とする請求項1に記載の付着物検出装置。
The extraction unit includes:
The attached matter detection apparatus according to claim 1, wherein a region in which the hue value calculated by the calculation unit is a specific color unique to the attached matter is extracted as the attached matter region.
前記抽出部は、
前記撮像画像を複数の領域に分割し、分割した前記領域における前記特定色の割合が所定の条件を満たした場合に、当該領域を前記付着物領域として抽出すること
を特徴とする請求項2に記載の付着物検出装置。
The extraction unit includes:
3. The captured image is divided into a plurality of regions, and when the ratio of the specific color in the divided regions satisfies a predetermined condition, the region is extracted as the attached region. The adhering matter detection apparatus as described.
前記抽出部は、
前記撮像画像の周縁部を該周縁部以外よりも大きく分割すること
を特徴とする請求項3に記載の付着物検出装置。
The extraction unit includes:
The adhering matter detection apparatus according to claim 3, wherein a peripheral portion of the captured image is divided larger than a portion other than the peripheral portion.
前記抽出部は、
前記所定の条件を満たす前記領域に点数を加算し、時系列な複数の前記撮像画像に関して前記領域に加算した前記点数の累積値が閾値以上となった場合に、当該領域を前記付着物領域として確定すること
を特徴とする請求項3または4に記載の付着物検出装置。
The extraction unit includes:
A score is added to the region that satisfies the predetermined condition, and when the cumulative value of the score added to the region for a plurality of time-series captured images is equal to or greater than a threshold value, the region is defined as the attached region. The deposit detection apparatus according to claim 3, wherein the deposit is detected.
前記算出部は、
前記各画素の明度値を算出し、
前記抽出部は、
前記明度値が閾値未満、かつ前記色相値が前記特定色である領域を前記付着物領域として抽出すること
を特徴とする請求項2〜5のいずれか一つに記載の付着物検出装置。
The calculation unit includes:
Calculating the brightness value of each pixel;
The extraction unit includes:
The attached matter detection apparatus according to claim 2, wherein a region in which the brightness value is less than a threshold value and the hue value is the specific color is extracted as the attached matter region.
前記算出部は、
前記各画素の彩度値を算出し、
前記抽出部は、
前記彩度値が所定の範囲であり、かつ前記色相値が前記特定色である領域を前記付着物領域として抽出すること
を特徴とする請求項2〜6のいずれか一つに記載の付着物検出装置。
The calculation unit includes:
Calculating the saturation value of each pixel,
The extraction unit includes:
The deposit according to any one of claims 2 to 6, wherein an area where the saturation value is in a predetermined range and the hue value is the specific color is extracted as the deposit area. Detection device.
撮像装置によって撮像された撮像画像に含まれる各画素の色相値を算出する算出工程と、
前記算出工程によって算出された前記色相値の分布である色相分布に基づき、前記撮像画像のレンズに付着した付着物の撮像領域を示す付着物領域を抽出する抽出工程と
を含むことを特徴とする付着物検出方法。
A calculation step of calculating a hue value of each pixel included in the captured image captured by the imaging device;
An extraction step of extracting an attachment region indicating an imaging region of the attachment attached to the lens of the captured image based on a hue distribution that is a distribution of the hue value calculated by the calculation step. Attachment detection method.
JP2017035364A 2017-02-27 2017-02-27 Deposit detector and deposit detection method Pending JP2018142828A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017035364A JP2018142828A (en) 2017-02-27 2017-02-27 Deposit detector and deposit detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017035364A JP2018142828A (en) 2017-02-27 2017-02-27 Deposit detector and deposit detection method

Publications (1)

Publication Number Publication Date
JP2018142828A true JP2018142828A (en) 2018-09-13

Family

ID=63528411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017035364A Pending JP2018142828A (en) 2017-02-27 2017-02-27 Deposit detector and deposit detection method

Country Status (1)

Country Link
JP (1) JP2018142828A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616906B1 (en) * 2018-01-29 2019-12-04 三菱電機ビルテクノサービス株式会社 Detection device and detection system for defective photographing data
WO2020196536A1 (en) * 2019-03-26 2020-10-01 株式会社小糸製作所 Photographing system and image processing device
JP2021021579A (en) * 2019-07-25 2021-02-18 トヨタ自動車株式会社 Lithium deposition inspection device
JP6946541B1 (en) * 2020-12-25 2021-10-06 株式会社クボタ River monitoring device, river monitoring system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616906B1 (en) * 2018-01-29 2019-12-04 三菱電機ビルテクノサービス株式会社 Detection device and detection system for defective photographing data
WO2020196536A1 (en) * 2019-03-26 2020-10-01 株式会社小糸製作所 Photographing system and image processing device
JP2021021579A (en) * 2019-07-25 2021-02-18 トヨタ自動車株式会社 Lithium deposition inspection device
JP6946541B1 (en) * 2020-12-25 2021-10-06 株式会社クボタ River monitoring device, river monitoring system

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP2018142828A (en) Deposit detector and deposit detection method
JP6230751B1 (en) Object detection apparatus and object detection method
JP6817104B2 (en) Adhesion detection device, deposit detection method
KR101546700B1 (en) System and method for recognizing road pothole area using image
JP4533836B2 (en) Fluctuating region detection apparatus and method
TWI494899B (en) Method for in-image periodic noise reparation
JP4518139B2 (en) Image processing device
JP2008286725A (en) Person detector and detection method
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
JP2018524732A (en) Semi-automatic image segmentation
JP6832224B2 (en) Adhesion detection device and deposit detection method
JP6726052B2 (en) Image processing method and program
KR102399017B1 (en) Method of generating image and apparatus thereof
JP6188592B2 (en) Object detection apparatus, object detection method, and object detection program
JP6497162B2 (en) Image processing apparatus and image processing method
JP2012048484A (en) Image processing apparatus, image processing method, and program
JP2009276910A (en) Image processor, method and program
JP2007257132A (en) Motion detector and motion detection method
JP6221283B2 (en) Image processing apparatus, image processing method, and image processing program
JP2020109542A (en) Deposition substance detection device and deposition substance detection method
US10997743B2 (en) Attachable matter detection apparatus
JP5642785B2 (en) Vehicle periphery monitoring device
US11037266B2 (en) Attached substance detection device and attached substance detection method
JP2008028478A (en) Obstacle detection system, and obstacle detecting method