JP2018146342A - Attachment detector - Google Patents
Attachment detector Download PDFInfo
- Publication number
- JP2018146342A JP2018146342A JP2017040569A JP2017040569A JP2018146342A JP 2018146342 A JP2018146342 A JP 2018146342A JP 2017040569 A JP2017040569 A JP 2017040569A JP 2017040569 A JP2017040569 A JP 2017040569A JP 2018146342 A JP2018146342 A JP 2018146342A
- Authority
- JP
- Japan
- Prior art keywords
- adhesion
- adhesion detection
- detection device
- distance sensor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000000126 substance Substances 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000035945 sensitivity Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 35
- 239000000284 extract Substances 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 239000000470 constituent Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002956 ash Substances 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
本開示は、送信波を送信し反射波を検知することで物体までの距離を検知する距離センサの表面に付着した異物を検知する技術に関する。 The present disclosure relates to a technique for detecting foreign matter attached to the surface of a distance sensor that detects a distance to an object by transmitting a transmission wave and detecting a reflected wave.
下記の特許文献１には、超音波式の距離センサの表面に付着した異物を検知する付着検知装置として、残響の継続時間を表す残響時間を観測し、残響時間が規定値よりも長い場合に異物があると判定する技術が提案されている。 In Patent Document 1 below, a reverberation time representing the duration of reverberation is observed as an adhesion detection device that detects foreign matter adhering to the surface of an ultrasonic distance sensor, and the reverberation time is longer than a specified value. A technique for determining that there is a foreign object has been proposed.
特許文献１の技術では、付着した物体によっては残響時間が規定値よりも長くなりにくく、異物の付着の判定が正常に行えない場合があるという問題があった。特に異物が雪であり、超音波式の距離センサを覆ってしまった場合、送信波および反射波が雪で吸音される影響で検知しづらい状態に陥っているにも関わらず、残響時間が規定値より長くならずに異物があると判定できず、異常状態を検出し使用者等に通知できない。 The technique of Patent Document 1 has a problem that reverberation time is unlikely to be longer than a predetermined value depending on an attached object, and it may not be possible to correctly determine the adhesion of foreign matter. In particular, if the foreign object is snow and covers the ultrasonic distance sensor, the reverberation time is specified even though the transmitted wave and reflected wave are difficult to detect due to the effect of sound absorption by snow. It cannot be determined that there is a foreign object without being longer than the value, and an abnormal state cannot be detected and notified to the user or the like.
本開示では、送信波を送信し反射波を検知することで物体までの距離を検知する距離センサの表面に付着した異物を検知する付着検知装置において、より正確に異物の付着を検知できるようにする技術を提供する。 In the present disclosure, in an adhesion detection device that detects a foreign object adhered to the surface of a distance sensor that detects a distance to an object by transmitting a transmission wave and detecting a reflected wave, the adhesion of the foreign object can be detected more accurately. Provide technology to do.
本開示の付着検知装置（１０）は、画像取得部（Ｓ１３０）と、表面抽出部（Ｓ１４０）と、付着検知部（Ｓ１２０、Ｓ１８０）とを備える。
画像取得部は、距離センサの表面または距離センサに対応する対応物の表面を表す対象表面が含まれる撮像画像を取得するように構成される。表面抽出部は、撮像画像において対象表面の位置を表す画像表面位置を抽出するように構成される。付着検知部は、予め準備された位置であって異物が付着していないときにおける対象表面の位置を表す基準位置と画像表面位置とを比較することによって距離センサの表面に対する異物の付着を検知するように構成される。
The adhesion detection device (10) of the present disclosure includes an image acquisition unit (S130), a surface extraction unit (S140), and an adhesion detection unit (S120, S180).
The image acquisition unit is configured to acquire a captured image including a target surface representing a surface of a distance sensor or a surface of a counterpart corresponding to the distance sensor. The surface extraction unit is configured to extract an image surface position representing the position of the target surface in the captured image. The adhesion detection unit detects the adhesion of the foreign matter to the surface of the distance sensor by comparing a reference position representing the position of the target surface when the foreign matter is not attached with a position prepared in advance and the image surface position. Configured as follows.
このような付着検知装置によれば、異物が付着していないときにおける対象表面の位置を表す基準位置と、撮像画像において対象表面の位置を表す画像表面位置とを比較することによって距離センサの表面に対する異物の付着を検知するので、異物の付着の有無をより精度よく検知することができる。 According to such an adhesion detection device, the surface of the distance sensor is compared by comparing the reference position representing the position of the target surface when no foreign object is adhered to the image surface position representing the position of the target surface in the captured image. Therefore, the presence or absence of foreign matter can be detected with higher accuracy.
なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 Note that the reference numerals in parentheses described in this column and in the claims indicate the correspondence with the specific means described in the embodiment described later as one aspect, and the technical scope of the present disclosure It is not limited.
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１−１．構成］
付着検知システム１は、例えば乗用車等の車両に搭載され、超音波センサ４１，４２により障害物等の車両の周囲に存在する物体を検知するシステムである。特に本実施形態の付着検知システム１では、超音波センサ４１，４２の表面５２に付着する異物を検知する機能を有する。
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
[1. Embodiment]
[1-1. Constitution]
The adhesion detection system 1 is a system that is mounted on a vehicle such as a passenger car and detects objects existing around the vehicle such as an obstacle using ultrasonic sensors 41 and 42. In particular, the adhesion detection system 1 of the present embodiment has a function of detecting foreign matter adhering to the surface 52 of the ultrasonic sensors 41 and 42.
ここで、異物とは、例えば、雪、泥、火山灰、砂、水滴等、車両の走行中に遭遇し得る飛来物が該当する。
図１に示す付着検知システム１は、制御装置１０を備える。また、付着検知システム１は、撮像部３１と、送信回路部３２と、受信回路部３３と、複数の超音波センサ４１，４２を備えてもよい。
Here, the foreign matter corresponds to flying objects that can be encountered while the vehicle is running, such as snow, mud, volcanic ash, sand, and water droplets.
An adhesion detection system 1 illustrated in FIG. 1 includes a control device 10. In addition, the adhesion detection system 1 may include an imaging unit 31, a transmission circuit unit 32, a reception circuit unit 33, and a plurality of ultrasonic sensors 41 and 42.
撮像部３１は、車両の周囲を撮像し車両の周囲を監視するための周知のカメラとして構成される。本実施形態では、この撮像部３１を、異物の付着を検知するためのカメラとしても活用する。撮像部３１は、例えば、図１に示すように、超音波センサ４１，４２の表面５２、および距離センサに対応する対応物、周囲の車両等の障害物が撮像範囲５１内に含まれるよう配置される。 The imaging unit 31 is configured as a known camera for imaging the surroundings of the vehicle and monitoring the surroundings of the vehicle. In the present embodiment, the imaging unit 31 is also used as a camera for detecting the adhesion of foreign matter. For example, as illustrated in FIG. 1, the imaging unit 31 is arranged so that obstacles such as the surface 52 of the ultrasonic sensors 41 and 42, the corresponding object corresponding to the distance sensor, and surrounding obstacles are included in the imaging range 51. Is done.
距離センサに対応する対応物とは、超音波センサ４１，４２等の距離センサの周囲に位置する物体であって、この物体の表面の状態と距離センサの表面の状態とが概ね同じであると推定できる物体を表す。具体的な距離センサに対応する対応物としては、図２に示すように、バンパの端部であるバンパエッジ等が含まれうる。 The counterpart corresponding to the distance sensor is an object located around the distance sensor such as the ultrasonic sensors 41 and 42, and the surface state of the object and the surface state of the distance sensor are substantially the same. Represents an object that can be estimated. As a corresponding object corresponding to a specific distance sensor, as shown in FIG. 2, a bumper edge which is an end portion of the bumper may be included.
つまり、撮像部３１が超音波センサ４１，４２の表面５２を直接的に撮像していなくても、超音波センサ４１，４２の表面５２が概ねバンパ５３の表面に近い位置に配置されている場合には、バンパエッジを撮像していればよい。この場合には、バンパエッジが撮像されていることで超音波センサ４１，４２の表面５２が撮像されているものとして、バンパエッジへの異物の付着の有無の判定することによって、超音波センサ４１，４２の表面５２への異物の付着の有無の推定を行うことができる。 That is, even when the imaging unit 31 does not directly image the surfaces 52 of the ultrasonic sensors 41 and 42, the surface 52 of the ultrasonic sensors 41 and 42 is disposed at a position substantially close to the surface of the bumper 53. For this, it is only necessary to image the bumper edge. In this case, it is assumed that the surface 52 of the ultrasonic sensors 41 and 42 has been imaged by imaging the bumper edge, and the ultrasonic sensors 41 and 42 are determined by determining whether or not foreign matter has adhered to the bumper edge. It is possible to estimate the presence or absence of foreign matter adhering to the surface 52.
図２は撮像部３１がリアカメラとして配置された場合の撮像画像の一例であるが、例えば、撮像部３１はフロントカメラとして配置されており、図３に示すようにフロントカメラによる撮像画像を用いてもよい。図３に示す例では、撮像部３１は、車両におけるナンバプレートの端部や、周囲の車両等の障害物が撮像範囲５１内に含まれるよう配置される。なお、「ナンバプレートの端部」には、ナンバプレートを保持する部材であるナンバプレートステーを含む。この場合においても、バンパエッジの場合と同様に、撮像部３１が超音波センサ４１，４２の表面５２を直接的に撮像していなくても、ナンバプレートの端部を撮像していればよい。 FIG. 2 shows an example of a captured image when the imaging unit 31 is arranged as a rear camera. For example, the imaging unit 31 is arranged as a front camera and uses an image captured by the front camera as shown in FIG. May be. In the example shown in FIG. 3, the imaging unit 31 is arranged so that the end of the number plate in the vehicle and obstacles such as surrounding vehicles are included in the imaging range 51. The “end portion of the number plate” includes a number plate stay that is a member that holds the number plate. Even in this case, as in the case of the bumper edge, it is only necessary to image the end portion of the number plate even if the imaging unit 31 does not directly image the surface 52 of the ultrasonic sensors 41 and 42.
送信回路部３２は、超音波センサ４１，４２から超音波を発生させるための電力波形を生成する回路である。送信回路部３２は、制御装置１０からの指令に応じた電力波形を生成する。受信回路部３３は、超音波センサ４１，４２によって得られたアナログ受信信号を、電圧を示すデジタル値に変換して出力する回路である。 The transmission circuit unit 32 is a circuit that generates a power waveform for generating ultrasonic waves from the ultrasonic sensors 41 and 42. The transmission circuit unit 32 generates a power waveform according to a command from the control device 10. The reception circuit unit 33 is a circuit that converts an analog reception signal obtained by the ultrasonic sensors 41 and 42 into a digital value indicating a voltage and outputs the digital value.
超音波センサ４１，４２は、送信波である超音波を送信し反射波を検知することで物体までの距離を検知する周知の超音波センサである。超音波センサ４１，４２は、バンパ５３に埋設されおり、超音波センサ４１，４２の表面５２にて超音波の送受信を行う。 The ultrasonic sensors 41 and 42 are well-known ultrasonic sensors that detect the distance to an object by transmitting ultrasonic waves that are transmission waves and detecting reflected waves. The ultrasonic sensors 41 and 42 are embedded in the bumper 53 and transmit and receive ultrasonic waves on the surface 52 of the ultrasonic sensors 41 and 42.
超音波センサ４１，４２は、送信回路部３２にて生成された電力波形によって圧電素子が駆動されることで所定の周波数の超音波を出力する。また、超音波センサ４１，４２は、出力した送信波の反射波や他の超音波センサの送信波を受信可能に構成されており、これらの送信波や反射波を受けると、圧電素子が振動させられることでアナログ受信信号を出力する。 The ultrasonic sensors 41 and 42 output ultrasonic waves having a predetermined frequency when the piezoelectric element is driven by the power waveform generated by the transmission circuit unit 32. In addition, the ultrasonic sensors 41 and 42 are configured to be able to receive the reflected wave of the output transmission wave and the transmission wave of another ultrasonic sensor. When receiving the transmission wave and the reflected wave, the piezoelectric element vibrates. When received, an analog reception signal is output.
制御装置１０は、ＣＰＵ１１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１２）と、を有する周知のマイクロコンピュータを中心に構成される。制御装置１０の各種機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。 The control device 10 is mainly configured by a known microcomputer having a CPU 11 and a semiconductor memory (hereinafter referred to as a memory 12) such as a RAM, a ROM, and a flash memory. Various functions of the control device 10 are realized by the CPU 11 executing a program stored in a non-transitional physical recording medium. In this example, the memory 12 corresponds to a non-transitional tangible recording medium that stores a program.
また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、制御装置１０を構成するマイクロコンピュータの数は１つでも複数でもよい。 Also, by executing this program, a method corresponding to the program is executed. Note that the non-transitional tangible recording medium means that the electromagnetic waves in the recording medium are excluded. Further, the number of microcomputers constituting the control device 10 may be one or plural.
制御装置１０は、ＣＰＵ１１がプログラムを実行することで実現される機能の構成として、図１に示すように、エッジ検出部２１と、付着判定部２２と、複数の超音波センサ制御部２６Ａ，２６Ｂと、複数の反射波計測部２７Ａ，２７Ｂと、複数の残響算出部２８Ａ，２８Ｂと、を備える。超音波センサ制御部２６Ａ，２６Ｂ、反射波計測部２７Ａ，２７Ｂ、および残響算出部２８Ａ，２８Ｂは超音波センサ４１，４２毎に設けられる。 As shown in FIG. 1, the control device 10 has a function configuration realized by the CPU 11 executing a program, as shown in FIG. And a plurality of reflected wave measuring units 27A and 27B and a plurality of reverberation calculating units 28A and 28B. The ultrasonic sensor control units 26A and 26B, the reflected wave measurement units 27A and 27B, and the reverberation calculation units 28A and 28B are provided for each of the ultrasonic sensors 41 and 42.
制御装置１０を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部または全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、またはアナログ回路、あるいはこれらの組合せによって実現してもよい。 The method of realizing these elements constituting the control device 10 is not limited to software, and some or all of the elements may be realized using one or a plurality of hardware. For example, when the above function is realized by an electronic circuit that is hardware, the electronic circuit may be realized by a digital circuit including a large number of logic circuits, an analog circuit, or a combination thereof.
エッジ検出部２１としての機能では、撮像部３１から得られた撮像画像を画像処理することによって、隣接する画素同士の特徴が比較的大きく異なる点をエッジとして抽出する。 In the function as the edge detection unit 21, the captured image obtained from the imaging unit 31 is subjected to image processing, and a point where features of adjacent pixels are relatively different is extracted as an edge.
付着判定部２２としての機能では、多数の連続的に並ぶエッジによって区切られる領域を物体として認識し、物体の位置および種別を認識したり、超音波センサ４１，４２の表面５２への異物の付着を認識したりする。 In the function as the adhesion determination unit 22, an area delimited by a large number of continuously arranged edges is recognized as an object, and the position and type of the object are recognized, or foreign matter adheres to the surface 52 of the ultrasonic sensors 41 and 42. Or recognizing
超音波センサ制御部２６Ａ，２６Ｂとしての機能では、送信回路部３２に対して超音波センサ４１，４２を駆動するための駆動信号を出力するとともに、駆動信号を出力したタイミングを反射波計測部２７Ａ，２７Ｂに出力する。 In the function as the ultrasonic sensor control units 26A and 26B, a drive signal for driving the ultrasonic sensors 41 and 42 is output to the transmission circuit unit 32, and the timing at which the drive signal is output is reflected on the reflected wave measurement unit 27A. , 27B.
反射波計測部２７Ａ，２７Ｂとしての機能では、超音波センサ４１，４２の出力に対応するデジタル値から残響を含む反射波を抽出する。例えば、得られた多数のデジタル値から駆動信号を出力しているときのデジタル値を除いたデジタル値を、残響を含む反射波として抽出する。 In the function as the reflected wave measuring units 27A and 27B, the reflected wave including reverberation is extracted from the digital value corresponding to the output of the ultrasonic sensors 41 and 42. For example, a digital value obtained by removing a digital value when a drive signal is output from a large number of obtained digital values is extracted as a reflected wave including reverberation.
残響算出部２８Ａ，２８Ｂとしての機能では、残響を含む反射波から残響を除く処理を行い、残響を含まない反射波を生成する。残響は、例えば、駆動信号の出力を終了してから予め設定された時間内の出力と定義できる。なお、後述する異物付着検知処理では、駆動信号の出力を終了してから実際に出力が低下するまでの時間を計測する処理も実施する。 In the function as the reverberation calculation units 28A and 28B, a process of removing reverberation from a reflected wave including reverberation is performed to generate a reflected wave not including reverberation. The reverberation can be defined as, for example, an output within a preset time after the output of the drive signal is finished. In the foreign matter adhesion detection process described later, a process of measuring the time from when the output of the drive signal is finished until the output actually decreases is also performed.
［１−２．処理］
制御装置１０が実行する異物付着検知処理について、図４のフローチャートを用いて説明する。異物付着検知処理は、例えば、車両の電源が投入されると開始され、その後、繰り返し実施される処理である。異物付着検知処理では、前述したエッジ検出部２１、付着判定部２２、超音波センサ制御部２６Ａ，２６Ｂ、反射波計測部２７Ａ，２７Ｂ、および残響算出部２８Ａ，２８Ｂの機能を実施する手順の一例を示す。
[1-2. processing]
The foreign matter adhesion detection process executed by the control device 10 will be described with reference to the flowchart of FIG. The foreign object adhesion detection process is, for example, a process that is started when the vehicle is turned on and then repeatedly performed. In the foreign matter adhesion detection process, an example of a procedure for performing the functions of the edge detection unit 21, the adhesion determination unit 22, the ultrasonic sensor control units 26A and 26B, the reflected wave measurement units 27A and 27B, and the reverberation calculation units 28A and 28B described above. Indicates.
異物付着検知処理では、まず、Ｓ１１０で、制御装置１０は、自車両の走行速度である車速Ｖを取得する。なお、車速Ｖは周知の車速センサ等から得ることができる。
続いて、Ｓ１２０で、制御装置１０は、車速Ｖが予め設定された閾値Ｖｔｈ以上であるか否かを判定する。制御装置１０は、Ｓ１２０で車速Ｖが閾値Ｖｔｈ以上でないと判定した場合には、Ｓ１１０に戻る。
In the foreign matter adhesion detection process, first, in S110, the control device 10 acquires a vehicle speed V that is the traveling speed of the host vehicle. The vehicle speed V can be obtained from a known vehicle speed sensor or the like.
Subsequently, in S120, the control device 10 determines whether or not the vehicle speed V is equal to or higher than a preset threshold value Vth. If the control device 10 determines in S120 that the vehicle speed V is not equal to or higher than the threshold value Vth, the control device 10 returns to S110.
すなわち、車速Ｖが閾値Ｖｔｈ以上である場合には、駐車場等のコンクリート舗装された領域や、雪が多く積もった領域等、路面の色が白色に近い領域を自車両が走行している可能性が低く、路面の色が濃い、アスファルト舗装された道路を走行している可能性が高い。アスファルト舗装された道路を走行しているときには、自車両の車体色が白色系であっても、バンパの端部やナンバプレートの端部と路面とのコントラスト差が検知しやすくなる。このため、本実施形態では、車速Ｖが閾値Ｖｔｈ以上である場合に異物の付着を検知する。ただし、車速Ｖが閾値Ｖｔｈ未満である場合に異物の付着を検知してもよい。 That is, when the vehicle speed V is equal to or higher than the threshold value Vth, there is a possibility that the host vehicle is traveling in a region where the color of the road surface is close to white, such as a concrete paved region such as a parking lot or a region where much snow is accumulated. There is a high possibility that the vehicle is running on an asphalt-paved road with a low, dark road surface. When traveling on an asphalt paved road, even if the vehicle body color is white, it is easy to detect the contrast difference between the bumper end or the number plate end and the road surface. For this reason, in this embodiment, adhesion of a foreign object is detected when the vehicle speed V is equal to or higher than the threshold value Vth. However, the adhesion of foreign matter may be detected when the vehicle speed V is less than the threshold value Vth.
一方、制御装置１０は、Ｓ１２０で車速Ｖが閾値Ｖｔｈ以上であると判定した場合には、Ｓ１３０へ移行し、撮像部３１による撮像画像を取得する。この撮像画像には、超音波センサ４１，４２の表面５２が含まれる。また、この撮像画像には、例えば、車両におけるバンパの端部やナンバプレートの端部が含まれる。 On the other hand, if it is determined in S120 that the vehicle speed V is equal to or higher than the threshold value Vth, the control device 10 proceeds to S130 and acquires a captured image by the imaging unit 31. The captured image includes the surface 52 of the ultrasonic sensors 41 and 42. In addition, the captured image includes, for example, an end portion of a bumper and an end portion of a number plate in the vehicle.
続いて、Ｓ１４０で、制御装置１０は、撮像画像から画像表面位置を抽出する。画像表面位置とは、超音波センサ４１，４２の表面５２の位置を表し、本実施形態では、車両におけるバンパの端部やナンバプレートの端部の位置を示す。 Subsequently, in S140, the control device 10 extracts an image surface position from the captured image. The image surface position represents the position of the surface 52 of the ultrasonic sensors 41 and 42, and in the present embodiment, the position of the bumper end or the number plate end in the vehicle.
この処理では、例えば、撮像画像中のエッジを抽出し、予め準備された超音波センサ４１，４２の表面５２の形状に近いエッジの集合であって基準位置に最も近いエッジの集合を表面５２の位置とする。ここで、基準位置とは、予め準備されたエッジの集合の連続的な配置であって、表面５２に異物が付着していないときにおける表面５２の位置として、エッジの集合が並ぶ位置を表す。 In this process, for example, an edge in the captured image is extracted, and a set of edges close to the shape of the surface 52 of the ultrasonic sensors 41 and 42 prepared in advance and closest to the reference position is extracted from the surface 52. Position. Here, the reference position is a continuous arrangement of a set of edges prepared in advance, and represents a position where a set of edges is arranged as the position of the surface 52 when no foreign matter adheres to the surface 52.
続いて、Ｓ１５０で、制御装置１０は、撮像画像から対象物・異物を抽出する。この処理では、抽出されたエッジを接続することによってエッジにて仕切られる領域のそれぞれを対象物または異物として認識する。 Subsequently, in S150, the control device 10 extracts the object / foreign matter from the captured image. In this process, each of the regions partitioned by the edges is recognized as an object or a foreign object by connecting the extracted edges.
なお、対象物とは、超音波センサ４１，４２の検知範囲内に位置する物体を表す。検知範囲内に位置する物体には、自車両の周囲に位置する他車両や建物、縁石等の物体が含まれる。異物や対象物については、その位置も認識する。 The object represents an object located within the detection range of the ultrasonic sensors 41 and 42. Objects located within the detection range include objects such as other vehicles, buildings, curbs, and the like located around the host vehicle. The positions of foreign objects and objects are also recognized.
続いて、Ｓ１６０で、制御装置１０は、異物の種別を特定する。ここで、メモリ１２には、異物の種別毎に、形状、色、明るさ等の均質さ、凹凸、大きさ等を表す画像特徴が予め記録されており、この処理では、このメモリ１２を参照することによって、抽出された異物の種別を特定する。同様にして、対象物の種別も特定する。特に、本実施形態では、異物が雪であるか否かを特定する。 Subsequently, in S160, the control device 10 specifies the type of foreign matter. Here, in the memory 12, image features representing homogeneity such as shape, color, brightness, unevenness, size, etc. are recorded in advance for each type of foreign matter. By doing so, the type of the extracted foreign matter is specified. Similarly, the type of the object is also specified. In particular, in the present embodiment, it is specified whether or not the foreign object is snow.
続いて、Ｓ１７０で、制御装置１０は、画像表面位置と基準位置とを比較する。つまり、撮像画像から得られる表面５２の位置と、表面５２に異物が付着していないときにおける表面５２の位置とについて、その位置を比較する。 Subsequently, in S170, the control device 10 compares the image surface position with the reference position. That is, the position of the surface 52 obtained from the captured image is compared with the position of the surface 52 when no foreign matter is attached to the surface 52.
続いて、Ｓ１８０で、制御装置１０は、これらの位置の差異が予め設定された閾値以上であるか否かを判定する。
制御装置１０は、Ｓ１８０でこれらの位置の差異が閾値未満と判定した場合には、Ｓ２１０へ移行し、制御装置１０は、超音波センサ４１，４２の感度を通常値に設定した後、図４の異物付着検知処理を終了する。
Subsequently, in S180, the control device 10 determines whether or not the difference between these positions is greater than or equal to a preset threshold value.
When the control device 10 determines that the difference between these positions is less than the threshold value in S180, the control device 10 proceeds to S210, and the control device 10 sets the sensitivity of the ultrasonic sensors 41 and 42 to the normal value, and then performs FIG. The foreign matter adhesion detection process is terminated.
一方、制御装置１０は、Ｓ１８０でこれらの位置の差異が閾値以上であると判定した場合には、Ｓ２２０へ移行し、超音波センサ４１，４２の感度をより高く変更している状態であるか否かを判定する。 On the other hand, if it is determined in S180 that the difference between these positions is greater than or equal to the threshold value, the control device 10 proceeds to S220 and is the state in which the sensitivity of the ultrasonic sensors 41 and 42 is changed to be higher. Determine whether or not.
制御装置１０は、Ｓ２２０で超音波センサ４１，４２の感度をより高く変更している状態であると判定した場合には、Ｓ２３０へ移行し、残響時間が予め設定された基準時間以上であるか否かを判定する。ここで、残響時間は、図５および図６に示すように、超音波センサ４１，４２から送信波の送信を停止してから、超音波センサ４１，４２から出力を示すデジタル値が予め設定された閾値を下回るまでの時間を示す。 If the control device 10 determines in S220 that the sensitivity of the ultrasonic sensors 41 and 42 has been changed to a higher level, the control device 10 proceeds to S230 and determines whether the reverberation time is equal to or greater than a preset reference time. Determine whether or not. Here, as shown in FIGS. 5 and 6, the reverberation time is preset with a digital value indicating the output from the ultrasonic sensors 41 and 42 after the transmission of the transmission waves from the ultrasonic sensors 41 and 42 is stopped. The time until it falls below the threshold value.
受信回路部３３でのゲインの増加前では、図５に示すように、異物としての雪が超音波センサ４１，４２の表面５２に付着している場合と付着していない場合とで、残響時間に大きな変化が見られない。一方で、受信回路部３３でのゲインの増加後では、図６に示すように、異物としての雪が超音波センサ４１，４２の表面５２に付着している場合と付着していない場合とで、残響時間に比較的大きな変化が見られる。つまり、残響時間を用いて雪の付着を検知しやすくなることが分かる。 Before the gain in the receiving circuit unit 33 is increased, as shown in FIG. 5, the reverberation time depends on whether or not snow as a foreign matter is attached to the surface 52 of the ultrasonic sensors 41 and 42. There is no significant change. On the other hand, after the gain in the receiving circuit unit 33 is increased, as shown in FIG. 6, depending on whether or not snow as a foreign matter is attached to the surface 52 of the ultrasonic sensors 41 and 42, There is a relatively large change in the reverberation time. That is, it can be seen that it is easier to detect the attachment of snow using the reverberation time.
すなわち、異物が雪であり、超音波式の距離センサを覆ってしまった場合、送信波および反射波が雪で吸音される影響で検知しづらい状態に陥っているにも関わらず、残響時間が規定値より長くならずに異物があると判定できず、異常状態を検出し使用者等に通知できない。しかし、本実施形態のように、画像によって異物を検出したときに、受信回路部３３でのゲインを増加させれば、残響の変化を検知しやすくなるので、残響時間を用いて雪の付着を検知しやすくすることができる。 In other words, when the foreign object is snow and covers the ultrasonic distance sensor, the reverberation time is in spite of the fact that the transmitted wave and reflected wave are difficult to detect due to the sound absorption by the snow. It cannot be determined that there is a foreign object without being longer than the specified value, and an abnormal state cannot be detected and notified to the user or the like. However, as in the present embodiment, when a foreign object is detected from an image, if the gain in the receiving circuit unit 33 is increased, it becomes easier to detect a change in reverberation. It can be easily detected.
そこで、制御装置１０は、Ｓ２２０で超音波センサ４１，４２の感度を変更している状態でなく、通常値であると判定した場合には、Ｓ２４０へ移行し、超音波センサ４１，４２の感度を変更する。この処理では、異物が検知された場合には、受信回路部３３によるゲインを増加させることによって超音波センサ４１，４２の感度をより高く変更する。なお、異物の種別や異物の厚みによって感度を変更してもよい。異物の厚みは、例えば基準位置と画像表面位置との差の大きさによって求めることができる。異物の種別に応じて異なる感度を設定する際には、異物の種別と変更後の感度とを対応付けたテーブルを予め準備しておき、異物の種別に応じてテーブルにて対応する感度を設定するようにすればよい。 Therefore, when the control device 10 determines that the sensitivity of the ultrasonic sensors 41 and 42 is not the state changed in S220 but is a normal value, the control device 10 proceeds to S240 and the sensitivity of the ultrasonic sensors 41 and 42 is determined. To change. In this process, when a foreign object is detected, the sensitivity of the ultrasonic sensors 41 and 42 is changed higher by increasing the gain by the receiving circuit unit 33. The sensitivity may be changed according to the type of foreign matter and the thickness of the foreign matter. The thickness of the foreign matter can be obtained by, for example, the magnitude of the difference between the reference position and the image surface position. When setting different sensitivities depending on the type of foreign object, prepare a table that associates the type of foreign object with the changed sensitivity in advance, and sets the corresponding sensitivity in the table according to the type of foreign object You just have to do it.
制御装置１０は、Ｓ２３０で残響時間が予め設定された基準時間以上であると判定した場合には、Ｓ２８０へ移行し、異物の種別に応じて超音波センサ４１，４２の感度を変更する。 If the controller 10 determines in S230 that the reverberation time is greater than or equal to the preset reference time, the controller 10 proceeds to S280 and changes the sensitivity of the ultrasonic sensors 41 and 42 according to the type of foreign matter.
一方、制御装置１０は、Ｓ２３０で残響時間が予め設定された基準時間以上でないと判定した場合には、図４の異物付着検知処理を終了する。
続いて、Ｓ２５０で、制御装置１０は、超音波センサ４１，４２による出力を取得する。 このとき、ある超音波センサ４１，４２に隣接して配置された他の超音波センサ４１，４２による送信波も検知し、対象物の位置とともに他の超音波センサ４１，４２による送信波が得られるか否かを検知する。
On the other hand, when determining in S230 that the reverberation time is not longer than the preset reference time, the control device 10 ends the foreign matter adhesion detection process of FIG.
Subsequently, in S250, the control device 10 acquires outputs from the ultrasonic sensors 41 and 42. At this time, transmission waves by other ultrasonic sensors 41 and 42 arranged adjacent to a certain ultrasonic sensor 41 and 42 are also detected, and transmission waves by the other ultrasonic sensors 41 and 42 are obtained together with the position of the object. Detect whether or not
続いて、Ｓ２６０で、制御装置１０は、画像によって検知された画像対象物が存在し、かつ超音波によって検知された超音波対象物が存在する状態であるか否かを判定する。
制御装置１０は、Ｓ２６０で画像対象物が存在し、かつ超音波対象物が存在する状態であると判定した場合には、Ｓ２７０へ移行し、隣接する超音波センサ４１，４２の送信波が検知された状態であるか否かを判定する。
Subsequently, in S260, the control device 10 determines whether or not the image object detected by the image exists and the ultrasonic object detected by the ultrasonic wave exists.
If the control apparatus 10 determines in S260 that the image object exists and the ultrasonic object exists, the control apparatus 10 proceeds to S270 and detects the transmission waves of the adjacent ultrasonic sensors 41 and 42. It is determined whether or not it is in a state that has been performed.
一方、制御装置１０は、Ｓ２６０で画像対象物が存在しない、または超音波対象物が存在しない状態であると判定した場合には、Ｓ２８０へ移行し、超音波センサ４１，４２が使用不可である旨の出力をした後、図４の異物付着検知処理を終了する。 On the other hand, if the control apparatus 10 determines in S260 that there is no image object or no ultrasonic object, the control apparatus 10 proceeds to S280 and the ultrasonic sensors 41 and 42 cannot be used. After outputting that effect, the foreign matter adhesion detection process in FIG. 4 is terminated.
制御装置１０は、Ｓ２７０で隣接する超音波センサ４１，４２の送信波が検知された状態でないと判定した場合には、Ｓ２８０へ移行し、超音波センサ４１，４２が使用不可である旨の出力をした後、図４の異物付着検知処理を終了する。 If the control device 10 determines in S270 that the transmission waves of the adjacent ultrasonic sensors 41 and 42 are not detected, the control apparatus 10 proceeds to S280 and outputs that the ultrasonic sensors 41 and 42 are unusable. Then, the foreign object adhesion detection process in FIG. 4 is terminated.
一方、制御装置１０は、Ｓ２７０で隣接する超音波センサ４１，４２の送信波が検知された状態であると判定した場合には、図４の異物付着検知処理を終了する。
［１−３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
On the other hand, if the control device 10 determines in S270 that the transmission waves of the adjacent ultrasonic sensors 41 and 42 have been detected, the foreign matter adhesion detection process in FIG. 4 ends.
[1-3. effect]
According to the embodiment described in detail above, the following effects can be obtained.
（１ａ）上記の付着検知システム１は、送信波を送信し反射波を検知することで物体までの距離を検知する距離センサの表面５２に対する異物の付着を検知するように構成されたシステムであって、制御装置１０が実行する機能として下記の処理を実施する。 (1a) The adhesion detection system 1 described above is a system configured to detect adhesion of a foreign object to the surface 52 of a distance sensor that detects a distance to an object by transmitting a transmission wave and detecting a reflected wave. Thus, the following processing is performed as a function executed by the control device 10.
すなわち、制御装置１０は、超音波センサ４１，４２の表面５２が含まれる撮像画像を取得するように構成される。また、撮像画像において超音波センサ４１，４２の表面５２の位置を表す画像表面位置を抽出するように構成される。また、予め準備された位置であって異物が付着していないときにおける超音波センサ４１，４２の表面５２を表す基準位置と画像表面位置とを比較することによって超音波センサ４１，４２の表面５２に対する異物の付着を検知するように構成される。 That is, the control device 10 is configured to acquire a captured image including the surfaces 52 of the ultrasonic sensors 41 and 42. Moreover, it is comprised so that the image surface position showing the position of the surface 52 of the ultrasonic sensors 41 and 42 may be extracted in a captured image. Further, the surface 52 of the ultrasonic sensors 41 and 42 is compared with the reference position representing the surface 52 of the ultrasonic sensors 41 and 42 at a position prepared in advance and no foreign matter is attached. It is comprised so that adhesion of the foreign material with respect to may be detected.
このような付着検知システム１によれば、異物が付着していないときにおける超音波センサ４１，４２の表面５２の位置を表す基準位置と、撮像画像において超音波センサ４１，４２の表面５２の位置を表す画像表面位置とを比較することによって超音波センサ４１，４２の表面５２に対する異物の付着を検知するので、異物の付着の有無をより精度よく検知することができる。 According to such an adhesion detection system 1, the reference position representing the position of the surface 52 of the ultrasonic sensor 41, 42 when no foreign object is adhered, and the position of the surface 52 of the ultrasonic sensor 41, 42 in the captured image. Is compared with the image surface position representing the presence of foreign matter on the surface 52 of the ultrasonic sensors 41 and 42, so that the presence or absence of the foreign matter can be detected more accurately.
（１ｂ）上記の付着検知システム１において制御装置１０は、撮像画像を画像処理することによって撮像画像中の異物を抽出し、予め異物の種別と画像特徴とが対応付けられたメモリ１２を参照することによって、抽出された異物の画像特徴と一致する異物の種別を特定する。 (1b) In the adhesion detection system 1 described above, the control device 10 performs image processing on the captured image to extract foreign matters in the captured image, and refers to the memory 12 in which the types of foreign matters and image features are associated in advance. Thus, the type of the foreign matter that matches the image feature of the extracted foreign matter is specified.
このような付着検知システム１によれば、画像特徴を用いて異物の種別を特定することができる。
（１ｃ）上記の付着検知システム１において制御装置１０は、予め異物が雪である場合の画像特徴が対応付けられたデータベースを参照することによって、抽出された異物が雪であるか否かを特定する。
According to such an adhesion detection system 1, it is possible to specify the type of foreign matter using image features.
(1c) In the adhesion detection system 1 described above, the control device 10 specifies whether or not the extracted foreign matter is snow by referring to a database associated with image features in the case where the foreign matter is snow in advance. To do.
このような付着検知システム１によれば、異物の種別が雪か否かを特定することができる。
（１ｄ）上記の付着検知システム１において制御装置１０は、車両におけるバンパの端部が含まれる撮像画像を取得し、画像表面位置として、撮像画像においてバンパの端部を抽出する。そして、基準位置として、予め準備された位置であって異物が付着していないときにおけるバンパの端部の位置を用いて、基準位置と画像表面位置とを比較することによって異物の付着を検知する。
According to such an adhesion detection system 1, it is possible to specify whether or not the type of foreign matter is snow.
(1d) In the adhesion detection system 1 described above, the control device 10 acquires a captured image including the end of the bumper in the vehicle, and extracts the end of the bumper in the captured image as the image surface position. Then, using the position of the end of the bumper when the foreign object is not attached as a reference position, the reference position and the image surface position are compared to detect the attachment of the foreign object. .
このような付着検知システム１によれば、バンパの端部の位置を用いて異物を検知するので、周辺監視用のカメラ等、バンパの端部が撮像範囲５１内に含まれる既存の撮像装置で得られた撮像画像を用いて異物の付着を検知することができる。 According to such an adhesion detection system 1, foreign matter is detected using the position of the end of the bumper. Therefore, with an existing imaging apparatus in which the end of the bumper is included in the imaging range 51, such as a peripheral monitoring camera. Adhesion of foreign matter can be detected using the obtained captured image.
（１ｅ）上記の付着検知システム１において制御装置１０は、車両におけるナンバプレートの端部が含まれる撮像画像を取得し、画像表面位置として、撮像画像においてナンバプレートの端部を抽出する。そして、基準位置として、予め準備された位置であって異物が付着していないときにおけるナンバプレートの端部の位置を用いて、基準位置と画像表面位置とを比較することによって異物の付着を検知する。 (1e) In the adhesion detection system 1 described above, the control device 10 acquires a captured image including the end portion of the number plate in the vehicle, and extracts the end portion of the number plate in the captured image as the image surface position. As a reference position, the position of the end of the number plate when a foreign object is not attached is prepared in advance, and the adhesion of the foreign object is detected by comparing the reference position with the image surface position. To do.
このような付着検知システム１によれば、ナンバプレートの端部の位置を用いて異物を検知するので、車両の色によらず同一の条件で異物の付着を検知することができる。
（１ｆ）上記の付着検知システム１は、車両に搭載されており、制御装置１０は、付着検知システム１が搭載された車両を表す自車両の走行速度を取得し、自車両の走行速度が予め設定された速度以上である場合に、異物の付着を検知する。
According to such an adhesion detection system 1, foreign matter is detected by using the position of the end portion of the number plate, so that the adhesion of foreign matter can be detected under the same conditions regardless of the color of the vehicle.
(1f) The adhesion detection system 1 described above is mounted on a vehicle, and the control device 10 acquires the traveling speed of the host vehicle representing the vehicle on which the adhesion detection system 1 is mounted, and the traveling speed of the host vehicle is determined in advance. When the speed is higher than the set speed, foreign matter adhesion is detected.
このような付着検知システム１によれば、自車両の走行速度が予め設定された速度以上であり、比較的路面等の周囲の物体とのコントラストが得られやすいときに異物の付着を検知するので、精度よく異物を検知することができる。 According to such an adhesion detection system 1, since the traveling speed of the host vehicle is equal to or higher than a preset speed and the contrast with a surrounding object such as a road surface is relatively easily obtained, the adhesion of a foreign object is detected. , Foreign objects can be detected with high accuracy.
（１ｇ）上記の付着検知システム１において制御装置１０は、異物が検知された場合に、距離センサが使用不可能である旨を出力する。
このような付着検知システム１によれば、距離センサが使用不可能な場合にはその旨を出力することができる。
(1g) In the adhesion detection system 1 described above, the control device 10 outputs that the distance sensor cannot be used when a foreign object is detected.
According to such an adhesion detection system 1, when the distance sensor cannot be used, it can be output.
（１ｈ）上記の付着検知システム１において制御装置１０は、異物が検知された場合に、距離センサの感度をより高く変更する。
このような付着検知システム１によれば、異物が付着したときであっても異物の付着の程度によっては感度を変更することで距離センサを利用可能とすることができる。
(1h) In the adhesion detection system 1 described above, the control device 10 changes the sensitivity of the distance sensor higher when a foreign object is detected.
According to such an adhesion detection system 1, even when a foreign substance is adhered, the distance sensor can be used by changing the sensitivity depending on the degree of adhesion of the foreign substance.
（１ｉ）上記の付着検知システム１において距離センサは超音波センサとして構成されており、制御装置１０は、超音波センサの感度がより高く変更された場合に、送信した超音波の残響時間と予め設定された基準時間とを比較する。そして、残響時間が基準時間以上である場合に、超音波センサが使用不可能である旨を出力する。 (1i) In the adhesion detection system 1 described above, the distance sensor is configured as an ultrasonic sensor, and the control device 10 determines the reverberation time of the transmitted ultrasonic wave in advance when the sensitivity of the ultrasonic sensor is changed to be higher. Compare with the set reference time. When the reverberation time is equal to or longer than the reference time, the fact that the ultrasonic sensor cannot be used is output.
このような付着検知システム１によれば、残響時間を基準時間と比較することによって超音波センサが使用可能か否かを判定することができ、使用不可能な場合にはその旨を出力することができる。 According to such an adhesion detection system 1, it is possible to determine whether or not the ultrasonic sensor can be used by comparing the reverberation time with the reference time, and output that fact when the ultrasonic sensor cannot be used. Can do.
（１ｊ）上記の付着検知システム１において制御装置１０は、撮像画像を画像処理することによって距離センサの検知範囲内に位置する物体を表す対象物を抽出する。そして、距離センサが対象物を検知できない場合に、距離センサが使用不可能である旨を出力する。 (1j) In the adhesion detection system 1 described above, the control device 10 extracts a target object representing an object located within the detection range of the distance sensor by performing image processing on the captured image. When the distance sensor cannot detect the object, a message indicating that the distance sensor cannot be used is output.
このような付着検知システム１によれば、撮像画像中に対象物が存在するにも拘らず距離センサが対象物を検知できていない場合に、距離センサが使用不可能である旨を出力することができる。 According to such an adhesion detection system 1, when the distance sensor cannot detect the object despite the presence of the object in the captured image, the fact that the distance sensor cannot be used is output. Can do.
（１ｋ）上記の付着検知システム１において制御装置１０は、距離センサに隣接して配置された他の距離センサによる送信波を検知する。そして、他の距離センサによる送信波を検知できない場合に、距離センサが使用不可能である旨を出力する。 (1k) In the adhesion detection system 1 described above, the control device 10 detects a transmission wave from another distance sensor disposed adjacent to the distance sensor. When a transmission wave from another distance sensor cannot be detected, a message indicating that the distance sensor cannot be used is output.
このような付着検知システム１によれば、距離センサに隣接して配置された他の距離センサによる送信波を検知できない場合に、距離センサが使用不可能である旨を出力することができる。 According to such an adhesion detection system 1, it is possible to output that the distance sensor cannot be used when a transmission wave by another distance sensor arranged adjacent to the distance sensor cannot be detected.
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
[2. Other Embodiments]
As mentioned above, although embodiment of this indication was described, this indication is not limited to the above-mentioned embodiment, and can carry out various modifications.
（２ａ）上記実施形態では、基準位置と画像表面位置とを比較することによって異物の付着を検知したが、これに限定されるものではない。例えば、この構成に換えて、或いは、この構成に加えて、画像表面位置における各エッジの位置の滑らかさも加味することによって異物の付着を検知するようにしてもよい。各エッジの位置の滑らかさとは、各エッジが所定の関数にて表される曲線または直線状に並ぶ程度を示す。 (2a) In the above embodiment, the adhesion of the foreign matter is detected by comparing the reference position and the image surface position, but the present invention is not limited to this. For example, instead of this configuration, or in addition to this configuration, the adhesion of foreign matter may be detected by taking into account the smoothness of the position of each edge in the image surface position. The smoothness of the position of each edge indicates the degree to which each edge is arranged in a curved line or a straight line represented by a predetermined function.
このような付着検知システムによれば、画像表面位置における各エッジの位置の滑らかさも加味するので、より精度よく異物を検知することができる。
（２ｂ）上記実施形態では、受信回路部３３によるゲインを増加させることによって超音波センサ４１，４２の感度をより高く変更したが、これに限定されるものではない。例えば、送信波の強度を高くしてもよいし、受信回路部３３のダイナミックレンジを変更する等してもよい。
According to such an adhesion detection system, since the smoothness of the position of each edge in the image surface position is taken into account, the foreign object can be detected with higher accuracy.
(2b) In the above embodiment, the sensitivity of the ultrasonic sensors 41 and 42 is changed to be higher by increasing the gain by the receiving circuit unit 33. However, the present invention is not limited to this. For example, the intensity of the transmission wave may be increased, or the dynamic range of the reception circuit unit 33 may be changed.
（２ｃ）上記実施形態において距離センサとして超音波センサ４１，４２を採用したが、これに限定されるものではない。例えば、電波や光等の電磁波を送受信する構成である電波式レーダセンサやレーザセンサであってもよい。距離センサがバンパ５３等に覆われている場合、距離センサの表面５２は、送信波または反射波が通過する部材の表面を表す。この場合の表面５２には、例えば、超音波センサ４１，４２を覆う筐体、超音波センサ４１，４２の表面を保護する保護部材、超音波センサ４１，４２を内部に収容する収容部材等が該当する。 (2c) Although the ultrasonic sensors 41 and 42 are employed as the distance sensor in the above embodiment, the present invention is not limited to this. For example, a radio wave type radar sensor or a laser sensor that transmits and receives electromagnetic waves such as radio waves and light may be used. When the distance sensor is covered with the bumper 53 or the like, the surface 52 of the distance sensor represents the surface of the member through which the transmission wave or the reflected wave passes. The surface 52 in this case includes, for example, a casing that covers the ultrasonic sensors 41 and 42, a protective member that protects the surfaces of the ultrasonic sensors 41 and 42, a housing member that houses the ultrasonic sensors 41 and 42, and the like. Applicable.
（２ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (2d) A plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. Further, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
（２ｅ）上述した付着検知システム１の他、当該付着検知システム１の構成要素となる制御装置１０等の装置、当該付着検知システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、付着検知方法など、種々の形態で本開示を実現することもできる。 (2e) In addition to the adhesion detection system 1 described above, a device such as the control device 10 as a component of the adhesion detection system 1, a program for causing a computer to function as the adhesion detection system 1, and a semiconductor memory storing the program The present disclosure can also be realized in various forms such as a non-transition actual recording medium such as an adhesion detection method.
［３．実施形態の構成と本開示の構成との対応関係］
上記実施形態において制御装置１０が実行する処理のうちのＳ１１０の処理は本開示でいう速度取得部に相当し、上記実施形態においてＳ１２０、Ｓ１８０の処理は本開示でいう付着検知部に相当する。また、上記実施形態においてＳ１３０の処理は本開示でいう画像取得部に相当し、上記実施形態においてＳ１４０の処理は本開示でいう表面抽出部に相当する。
[3. Correspondence between Configuration of Embodiment and Configuration of Present Disclosure]
Of the processes executed by the control device 10 in the above embodiment, the process of S110 corresponds to the speed acquisition unit referred to in the present disclosure, and in the above embodiment, the processes of S120 and S180 correspond to the adhesion detection unit referred to in the present disclosure. In the above embodiment, the process of S130 corresponds to the image acquisition unit referred to in the present disclosure, and in the above embodiment, the process of S140 corresponds to the surface extraction unit referred to in the present disclosure.
また、上記実施形態においてＳ１５０の処理は本開示でいう異物抽出部、対象物抽出部に相当し、上記実施形態においてＳ１６０の処理は本開示でいう種別特定部に相当する。また、上記実施形態においてＳ１８０、Ｓ２６０、Ｓ２７０、Ｓ２８０の処理は本開示でいう不可能出力部に相当し、上記実施形態においてＳ２２０、Ｓ２３０の処理は本開示でいう時間比較部に相当する。 In the above embodiment, the process in S150 corresponds to the foreign substance extraction unit and the object extraction unit in the present disclosure. In the above embodiment, the process in S160 corresponds to the type identification unit in the present disclosure. In the above embodiment, the processes in S180, S260, S270, and S280 correspond to the impossible output unit in the present disclosure, and the processes in S220 and S230 in the above embodiment correspond to the time comparison unit in the present disclosure.
また、上記実施形態においてＳ２４０の処理は本開示でいう感度変更部に相当し、上記実施形態においてＳ２５０の処理は本開示でいう送信波検知部に相当する。 In the above embodiment, the process of S240 corresponds to the sensitivity changing unit referred to in the present disclosure, and in the above embodiment, the process of S250 corresponds to the transmission wave detecting unit referred to in the present disclosure.
１…付着検知システム、１０…制御装置、１１…ＣＰＵ、１２…メモリ、２１…エッジ検出部、２２…付着判定部、２６Ａ，２６Ｂ…超音波センサ制御部、２７Ａ，２７Ｂ…反射波計測部、２８Ａ，２８Ｂ…残響算出部、３１…撮像部、３２…送信回路部、３３…受信回路部、４１…超音波センサ、５２…表面、５３…バンパ。 DESCRIPTION OF SYMBOLS 1 ... Adhesion detection system, 10 ... Control apparatus, 11 ... CPU, 12 ... Memory, 21 ... Edge detection part, 22 ... Adhesion determination part, 26A, 26B ... Ultrasonic sensor control part, 27A, 27B ... Reflected wave measurement part, 28A, 28B ... reverberation calculation unit, 31 ... imaging unit, 32 ... transmission circuit unit, 33 ... reception circuit unit, 41 ... ultrasonic sensor, 52 ... surface, 53 ... bumper.
Claims (12)
前記距離センサの表面または前記距離センサに対応する対応物の表面を表す対象表面が含まれる撮像画像を取得するように構成された画像取得部（Ｓ１３０）と、
前記撮像画像において前記対象表面の位置を表す画像表面位置を抽出するように構成された表面抽出部（Ｓ１４０）と、
予め準備された位置であって異物が付着していないときにおける前記対象表面の位置を表す基準位置と前記画像表面位置とを比較することによって前記距離センサの表面に対する異物の付着を検知するように構成された付着検知部（Ｓ１２０、Ｓ１８０）と、
を備えた付着検知装置。 An adhesion detection device (10) configured to detect adhesion of foreign matter to the surface (52) of a distance sensor (41, 42) that detects a distance to an object by transmitting a transmission wave and detecting a reflected wave. There,
An image acquisition unit (S130) configured to acquire a captured image including a target surface representing a surface of the distance sensor or a surface of a counterpart corresponding to the distance sensor;
A surface extraction unit (S140) configured to extract an image surface position representing the position of the target surface in the captured image;
The adhesion of foreign matter to the surface of the distance sensor is detected by comparing a reference position representing the position of the target surface when the foreign matter is not attached at a position prepared in advance with the image surface position. A configured adhesion detector (S120, S180);
Adhesion detection device.
前記撮像画像を画像処理することによって撮像画像中の異物を抽出するように構成された異物抽出部（Ｓ１５０）と、
予め異物の種別と画像特徴とが対応付けられたデータベースを参照することによって、抽出された異物の画像特徴と一致する異物の種別を特定するように構成された種別特定部（Ｓ１６０）と、
をさらに備える付着検知装置。 The adhesion detection device according to claim 1,
A foreign matter extraction unit (S150) configured to extract foreign matter in the captured image by performing image processing on the captured image;
A type specifying unit (S160) configured to specify a type of a foreign object that matches the extracted image characteristic of the foreign object by referring to a database in which the type of the foreign object and the image feature are associated in advance;
An adhesion detection device further comprising:
前記種別特定部は、予め異物が雪である場合の画像特徴が対応付けられたデータベースを参照することによって、抽出された異物が雪であるか否かを特定する
ように構成された付着検知装置。 The adhesion detection device according to claim 2,
The type identification unit is configured to identify whether or not the extracted foreign matter is snow by referring to a database in which an image feature is associated in advance when the foreign matter is snow. .
前記画像取得部は、車両におけるバンパの端部が含まれる撮像画像を取得するように構成され、
前記表面抽出部は、前記画像表面位置として、前記撮像画像において前記バンパの端部を抽出するように構成され、
前記付着検知部は、前記基準位置として、予め準備された位置であって異物が付着していないときにおけるバンパの端部の位置を用いて、前記基準位置と前記画像表面位置とを比較することによって異物の付着を検知する
ように構成された付着検知装置。 It is an adhesion detection device according to any one of claims 1 to 3,
The image acquisition unit is configured to acquire a captured image including an end of a bumper in a vehicle,
The surface extraction unit is configured to extract an end of the bumper in the captured image as the image surface position,
The adhesion detection unit compares the reference position with the image surface position by using the position of the end of the bumper when the foreign substance is not adhered as the reference position. An adhesion detection device configured to detect the adhesion of foreign matter.
前記画像取得部は、車両におけるナンバプレートの端部が含まれる撮像画像を取得するように構成され、
前記表面抽出部は、前記画像表面位置として、前記撮像画像において前記ナンバプレートの端部を抽出するように構成され、
前記付着検知部は、前記基準位置として、予め準備された位置であって異物が付着していないときにおけるナンバプレートの端部の位置を用いて、前記基準位置と前記画像表面位置とを比較することによって異物の付着を検知する
ように構成された付着検知装置。 The adhesion detection device according to any one of claims 1 to 4,
The image acquisition unit is configured to acquire a captured image including an end of a number plate in a vehicle,
The surface extraction unit is configured to extract an end portion of the number plate in the captured image as the image surface position,
The adhesion detection unit compares the reference position with the image surface position by using the position of the end of the number plate when the foreign substance is not adhered as the reference position. An adhesion detection device configured to detect the adhesion of foreign matter.
当該付着検知装置は車両に搭載されており、
当該付着検知装置が搭載された車両を表す自車両の走行速度を取得する速度取得部（Ｓ１１０）、
をさらに備え、
前記付着検知部は、前記自車両の走行速度が予め設定された速度以上である場合に、異物の付着を検知する
ように構成された付着検知装置。 It is the adhesion detection device according to any one of claims 1 to 5,
The adhesion detection device is mounted on a vehicle,
A speed acquisition unit (S110) for acquiring the traveling speed of the host vehicle representing the vehicle on which the adhesion detection device is mounted;
Further comprising
The adhesion detection unit is configured to detect adhesion of a foreign object when a traveling speed of the host vehicle is equal to or higher than a preset speed.
前記付着検知部は、前記基準位置と前記画像表面位置とを比較するとともに、前記画像表面位置における各エッジの位置の滑らかさも加味することによって異物の付着を検知する
ように構成された付着検知装置。 The adhesion detection apparatus according to any one of claims 1 to 6,
The adhesion detection unit is configured to detect the adhesion of foreign matter by comparing the reference position and the image surface position and taking into account the smoothness of the position of each edge in the image surface position. .
前記付着検知部によって異物が検知された場合に、前記距離センサが使用不可能である旨を出力するように構成された不可能出力部（Ｓ１８０、Ｓ２６０、Ｓ２７０、Ｓ２８０）と、
をさらに備える付着検知装置。 It is the adhesion detection device according to any one of claims 1 to 7,
An impossible output unit (S180, S260, S270, S280) configured to output that the distance sensor is unusable when a foreign object is detected by the adhesion detection unit;
An adhesion detection device further comprising:
前記付着検知部によって異物が検知された場合に、前記距離センサの感度をより高く変更するように構成された感度変更部（Ｓ２４０）、
をさらに備える付着検知装置。 It is the adhesion detection device according to any one of claims 1 to 8,
A sensitivity changing unit (S240) configured to change the sensitivity of the distance sensor higher when a foreign object is detected by the adhesion detection unit;
An adhesion detection device further comprising:
前記距離センサは超音波センサとして構成されており、
前記超音波センサの感度がより高く変更された場合に、送信した超音波の残響時間と予め設定された基準時間とを比較するように構成された時間比較部（Ｓ２２０、Ｓ２３０）、
をさらに備え、
前記不可能出力部は、前記残響時間が前記基準時間以上である場合に、前記超音波センサが使用不可能である旨を出力する
ように構成された付着検知装置。 The adhesion detection device according to claim 9 quoting claim 8.
The distance sensor is configured as an ultrasonic sensor,
A time comparison unit (S220, S230) configured to compare the reverberation time of the transmitted ultrasonic wave with a preset reference time when the sensitivity of the ultrasonic sensor is changed to be higher;
Further comprising
The adhesion detecting device configured to output that the ultrasonic sensor is unusable when the reverberation time is equal to or longer than the reference time.
前記撮像画像を画像処理することによって前記距離センサの検知範囲内に位置する物体を表す対象物を抽出する対象物抽出部（Ｓ１５０）、
をさらに備え、
前記不可能出力部は、前記距離センサが前記対象物を検知できない場合に、前記距離センサが使用不可能である旨を出力する
ように構成された付着検知装置。 The adhesion detection device according to claim 9 or claim 10 that cites claim 8.
An object extraction unit (S150) for extracting an object representing an object located within a detection range of the distance sensor by performing image processing on the captured image;
Further comprising
The adhesion detection device configured to output that the distance sensor cannot be used when the distance sensor cannot detect the object.
前記距離センサに隣接して配置された他の距離センサによる送信波を検知する送信波検知部（Ｓ２５０）
をさらに備え、
前記不可能出力部は、前記他の距離センサによる送信波を検知できない場合に、前記距離センサが使用不可能である旨を出力する
ように構成された付着検知装置。 The adhesion detection device according to any one of claims 9 to 11 quoting claim 8.
A transmission wave detector (S250) for detecting a transmission wave from another distance sensor arranged adjacent to the distance sensor.
Further comprising
The adhesion detection device configured to output that the distance sensor cannot be used when the impossible output unit cannot detect a transmission wave from the other distance sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017040569A JP6954749B2 (en) | 2017-03-03 | 2017-03-03 | Adhesion detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017040569A JP6954749B2 (en) | 2017-03-03 | 2017-03-03 | Adhesion detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018146342A true JP2018146342A (en) | 2018-09-20 |
| JP6954749B2 JP6954749B2 (en) | 2021-10-27 |
Family
ID=63591891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017040569A Active JP6954749B2 (en) | 2017-03-03 | 2017-03-03 | Adhesion detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6954749B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022118965A (en) * | 2021-02-03 | 2022-08-16 | 本田技研工業株式会社 | Drive support device |
| JP2022158939A (en) * | 2021-04-01 | 2022-10-17 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Method, calculation device, heating control system, and vehicle for operating heating device for adjusting temperature of radar sensor radome of vehicle using image data from camera |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
| JP2002131428A (en) * | 2000-10-25 | 2002-05-09 | Mitsubishi Electric Corp | Ultrasonic obstacle detecting device |
| JP2002148347A (en) * | 2000-08-31 | 2002-05-22 | Denso Corp | Vehicle obstacle detector |
| US20040080433A1 (en) * | 2002-10-28 | 2004-04-29 | Integritech System Engineering Ltd. | Foreign object detection system and method |
| JP2013162189A (en) * | 2012-02-02 | 2013-08-19 | Canon Inc | Imaging device |
| US20140160289A1 (en) * | 2012-12-12 | 2014-06-12 | Hyundai Motor Company | Apparatus and method for providing information of blind spot |
| JP2015502534A (en) * | 2011-11-14 | 2015-01-22 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | How the sensor works |
| JP2015148537A (en) * | 2014-02-07 | 2015-08-20 | 日本電産エレシス株式会社 | Detector, detection method, and detection program |
| US20150304649A1 (en) * | 2012-12-10 | 2015-10-22 | Robert Bosch Gmbh | Device for monitoring a vehicle environment |
| KR20170011884A (en) * | 2015-07-24 | 2017-02-02 | 엘지전자 주식회사 | Vehicle |
-
2017
- 2017-03-03 JP JP2017040569A patent/JP6954749B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001063500A (en) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | Monitoring device for obstacle around vehicle |
| JP2002148347A (en) * | 2000-08-31 | 2002-05-22 | Denso Corp | Vehicle obstacle detector |
| JP2002131428A (en) * | 2000-10-25 | 2002-05-09 | Mitsubishi Electric Corp | Ultrasonic obstacle detecting device |
| US20040080433A1 (en) * | 2002-10-28 | 2004-04-29 | Integritech System Engineering Ltd. | Foreign object detection system and method |
| JP2015502534A (en) * | 2011-11-14 | 2015-01-22 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | How the sensor works |
| JP2013162189A (en) * | 2012-02-02 | 2013-08-19 | Canon Inc | Imaging device |
| US20150304649A1 (en) * | 2012-12-10 | 2015-10-22 | Robert Bosch Gmbh | Device for monitoring a vehicle environment |
| US20140160289A1 (en) * | 2012-12-12 | 2014-06-12 | Hyundai Motor Company | Apparatus and method for providing information of blind spot |
| JP2015148537A (en) * | 2014-02-07 | 2015-08-20 | 日本電産エレシス株式会社 | Detector, detection method, and detection program |
| KR20170011884A (en) * | 2015-07-24 | 2017-02-02 | 엘지전자 주식회사 | Vehicle |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022118965A (en) * | 2021-02-03 | 2022-08-16 | 本田技研工業株式会社 | Drive support device |
| JP7213279B2 (en) | 2021-02-03 | 2023-01-26 | 本田技研工業株式会社 | Driving support device |
| JP2022158939A (en) * | 2021-04-01 | 2022-10-17 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Method, calculation device, heating control system, and vehicle for operating heating device for adjusting temperature of radar sensor radome of vehicle using image data from camera |
| JP7365439B2 (en) | 2021-04-01 | 2023-10-19 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | Method for operating a heating device for temperature regulating a radome of a radar sensor in a vehicle using image data from a camera, calculation device, heating control system and vehicle |
| US11852748B2 (en) | 2021-04-01 | 2023-12-26 | Bayerische Motoren Werke Aktiengesellschaft | Method for operating a heating device for controlling the temperature of a radome of a radar sensor of a vehicle by using image data from a camera, computing device, heating control system and vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6954749B2 (en) | 2021-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8502653B2 (en) | Vehicle-use object detection apparatus | |
| MY188558A (en) | Vehicle driving assist control method and control device | |
| JP6445419B2 (en) | Object detection apparatus and object detection method | |
| JP2006517659A (en) | Automotive device used for 3D detection of inside / outside scene of automobile | |
| JP2018072105A (en) | Object detection device | |
| EP3601001B1 (en) | Method and system for real-time estimation of road conditions and vehicle behavior | |
| US20180210088A1 (en) | Control device and assist system | |
| JP2011112416A (en) | Vehicle circumference monitoring device | |
| JP6954749B2 (en) | Adhesion detection device | |
| CN110678775B (en) | Object detection device, object detection method, and computer-readable storage medium | |
| JP5590774B2 (en) | Object detection device | |
| US20240004066A1 (en) | Method for characterising an object in an environment of a motor vehicle | |
| JP2019046012A (en) | Driver state determination device | |
| JP5436652B1 (en) | Vehicle periphery monitoring device and vehicle periphery monitoring method | |
| JP2016191614A (en) | Obstacle detection device, method of calculating humidity correction value, and method of determining ultrasonic wave reception threshold | |
| JP4644590B2 (en) | Peripheral vehicle position detection device and peripheral vehicle position detection method | |
| WO2022185085A1 (en) | Object detection method and object detection device | |
| US20240168157A1 (en) | Method for operating an ultrasonic sensor device for monitoring an underbody region of a motor vehicle, computer program product, computer-readable storage medium, and ultrasonic sensor device | |
| KR20190019565A (en) | Intelligent ultrasonic system and control method thereof | |
| JP2018088144A (en) | Section line recognition device | |
| JP6575726B1 (en) | Control device for object detection device, object detection device, and object detection program | |
| KR20220010900A (en) | Apparatus and Method for Controlling Radar of Vehicle | |
| JP2009031299A (en) | Peripheral monitoring sensor | |
| US20220317295A1 (en) | Object detection device, vehicle, method of setting wave receiving period in object detection device, and method of setting detection sensitivity in object detection device | |
| US20240132116A1 (en) | Vehicle control device, storage medium for storing computer program for vehicle control, and method for controlling vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210930 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6954749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |