JP2007208865A - System for detecting camera state - Google Patents

System for detecting camera state Download PDF

Info

Publication number
JP2007208865A
JP2007208865A JP2006027957A JP2006027957A JP2007208865A JP 2007208865 A JP2007208865 A JP 2007208865A JP 2006027957 A JP2006027957 A JP 2006027957A JP 2006027957 A JP2006027957 A JP 2006027957A JP 2007208865 A JP2007208865 A JP 2007208865A
Authority
JP
Japan
Prior art keywords
camera
state detection
vehicle
integral value
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006027957A
Other languages
Japanese (ja)
Inventor
Takaaki Iwama
隆昭 岩間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2006027957A priority Critical patent/JP2007208865A/en
Publication of JP2007208865A publication Critical patent/JP2007208865A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To objectively and quantitatively detect the presence/absence of the fault of a camera (including an optical system) in a system for detecting a camera state. <P>SOLUTION: The system includes: a camera 10 loaded on the rear upper part of a vehicle 200 and provided with a focusing distance fixed optical system for photographing the scene (image) P of surroundings (for instance, the rear part of a vehicle); a BPF 30 for extracting the high frequency components SH of a high space frequency of the image P photographed by the camera 10; an area selection part 61 and an area selection circuit 62 for receiving the input of an instruction for selecting a partial area range p of the image P and selecting the partial area range p; an integration circuit 40 for calculating the integral value ∫<SB>p</SB>(SH) of the high frequency components SH for the area range p; and a stain decision circuit 50 for determining the presence of the stain (fault) of the camera 10 or the optical system provided in the camera 10 by comparing the integral value ∫<SB>p</SB>(SH) with a reference value K. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、カメラ状態検知システムに関し、詳細には、車両に搭載されて車両の周辺を撮影するカメラの状態の検知に関するものである。   The present invention relates to a camera state detection system, and more particularly to detection of a state of a camera that is mounted on a vehicle and photographs the periphery of the vehicle.

近年、カメラおよびモニタを車両に搭載し、カメラで撮影して得られた画像情報を可視像としてモニタに表示させて、車両乗員の運転操作を助ける車載カメラシステムが普及している。   2. Description of the Related Art In recent years, an in-vehicle camera system that supports a vehicle occupant's driving operation by mounting a camera and a monitor on a vehicle and displaying the image information obtained by photographing with the camera as a visible image on the monitor has become widespread.

例えば、車両の後方や側方等の車両周辺を撮影し、この撮影された画像や映像を車載モニタに表示して、後退操作や幅寄せ操作の労力を軽減する駐車支援システムや側方モニタシステムなどがある(特許文献1)。
特開2001−055099号公報
For example, a parking assist system or a side monitor system that takes a picture of the vehicle periphery such as the rear or side of the vehicle and displays the taken image or video on an in-vehicle monitor to reduce the labor of the backward operation or the width adjustment operation. (Patent Document 1).
JP 2001-055099 A

ところで、これらの車載カメラシステムに用いられているカメラは、車両に固定されているため、撮影対象範囲までの距離は不変である。   By the way, since the camera used for these vehicle-mounted camera systems is fixed to the vehicle, the distance to the shooting target range is unchanged.

しかし、カメラに何らかの障害物がぶつかる等すると、カメラと撮影対象である車両周辺との距離関係が変化する場合も起こりうる。   However, when an obstacle collides with the camera, the distance relationship between the camera and the periphery of the vehicle that is the subject of photographing may change.

このような場合、カメラによって撮影して得られる画像や映像は、適切な合焦状態で得られる画像等ではないため、ピントがずれた画像等となる。   In such a case, an image or video obtained by photographing with a camera is not an image obtained in an appropriate in-focus state or the like, and thus is an out-of-focus image or the like.

しかし、カメラが、そのようなピントのずれた画像を撮影していても、乗員が車載モニタに映し出された可視像を見ることによって、ピントがずれているか否かを判断するため、必ずしもカメラの障害有無を適切に認識することができない場合がある。   However, even if the camera captures such an out-of-focus image, it is not always necessary to determine whether the occupant is out of focus by observing the visible image displayed on the in-vehicle monitor. It may not be possible to properly recognize the presence or absence of a fault.

すなわち、人間の目視だけでは定量的に判断することができず、また、カメラに障害があるのかモニタに障害があるのかの区別もできない。   That is, it cannot be determined quantitatively only by human eyes, and it cannot be distinguished whether the camera has a fault or the monitor has a fault.

また、カメラに備えられている光学系に油分が付着したり、くもりが生じるなど、光学系が汚損した場合や破損した場合にも、撮影により得られた画像のコントラストが低下したり、鮮鋭度が低下するため、上述したカメラの設置位置のずれと類似の現象を呈する。   In addition, when the optical system is soiled or damaged, such as when oil adheres to the optical system provided in the camera, or when it becomes cloudy, the contrast of the image obtained by shooting decreases or the sharpness Therefore, a phenomenon similar to the shift of the camera installation position described above is exhibited.

そして、これらカメラ(光学系を含む)の障害の有無について、従来は、客観的かつ定量的に検知することができなかった。   Conventionally, it has not been possible to detect objectively and quantitatively whether or not these cameras (including the optical system) are faulty.

本発明は上記事情に鑑みなされたものであり、車両に搭載されてこの車両の周辺を撮影するカメラ(光学系を含む)の障害の有無を、客観的かつ定量的に検知することができるカメラ状態検知システムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and is a camera that can objectively and quantitatively detect the presence or absence of a failure in a camera (including an optical system) that is mounted on a vehicle and photographs the periphery of the vehicle. An object is to provide a state detection system.

本発明に係るカメラ状態検知システムは、車両の周辺を撮影する車両搭載のカメラによって得られた画像情報について、高周波成分の積分値を算出し、得られた積分値を所定の基準値と比較照合することで、カメラの障害有無を検知するものである。   The camera state detection system according to the present invention calculates an integral value of a high-frequency component for image information obtained by a vehicle-mounted camera that captures the periphery of the vehicle, and compares the obtained integral value with a predetermined reference value. By doing so, it is possible to detect the presence or absence of a camera failure.

すなわち、本発明に係るカメラ状態検知システムは、車両に搭載されて該車両の周辺を撮影するカメラと、前記カメラにより撮影して得られた画像情報のうち高周波成分を抽出する高周波成分抽出手段と、前記高周波成分抽出手段により抽出された前記高周波成分の、前記画像情報の一部または全部の範囲についての積分値を算出する積分値算出手段と、前記積分値算出手段により算出された前記積分値に基づいて、前記カメラの障害を検知するカメラ状態検知手段とを備えたことを特徴とする。   That is, a camera state detection system according to the present invention includes a camera that is mounted on a vehicle and captures the periphery of the vehicle, and a high-frequency component extraction unit that extracts a high-frequency component from image information captured by the camera. An integral value calculating means for calculating an integral value of a part or all of the image information of the high frequency component extracted by the high frequency component extracting means; and the integral value calculated by the integral value calculating means. And camera state detection means for detecting a failure of the camera.

ここで、高周波成分抽出手段としては、高周波成分を通過させるバンドパスフィルタやハイパスフィルタなど実像領域で高周波成分の抽出処理を行う手段の他、離散フーリエ変換や離散コサイン変換を用いて空間周波数領域で高周波成分の抽出処理を行う手段であってもよい。   Here, as the high-frequency component extracting means, in addition to means for performing high-frequency component extraction processing in the real image region such as a bandpass filter and a high-pass filter that allow high-frequency components to pass through, in the spatial frequency region using discrete Fourier transform and discrete cosine transform. It may be a means for performing a high-frequency component extraction process.

積分値算出手段が算出する高周波成分の積分値とは、高周波成分のレベルの積算値を意味するものであり、高周波成分の度数(頻度)の積算値を意味するものではない。   The integral value of the high frequency component calculated by the integral value calculating means means an integrated value of the level of the high frequency component, and does not mean an integrated value of the frequency (frequency) of the high frequency component.

高周波成分抽出手段、積分値算出手段およびカメラ状態検知手段のうち少なくとも2つは、一体的に構成されたものであってもよく、例えば、カメラ状態検知手段が高周波成分抽出手段および積分値算出手段の各機能を兼ねるものであってもよい。   At least two of the high-frequency component extraction unit, the integral value calculation unit, and the camera state detection unit may be integrally configured. For example, the camera state detection unit includes the high-frequency component extraction unit and the integral value calculation unit. These functions may also be used.

カメラの障害は、例えばこのカメラが備えた光学系の汚れ、損傷等や、接触などによってこのカメラが搭載されている車両に対する当該カメラの設置位置のずれ(特に光軸方向に沿った距離のずれ)などである。   A camera failure is caused by, for example, contamination of the optical system provided in the camera, damage, etc., displacement of the installation position of the camera relative to the vehicle on which the camera is mounted (especially displacement of the distance along the optical axis direction). ) Etc.

このような光学系の汚れや損傷等や、カメラの設置位置や設置角度のずれは、、そのような障害のない場合と比べて、カメラによって得られた画像または映像が滲んでいたり、ピントがぼけた画像または映像となり、その画像または映像の鮮鋭度が低下する。   Such contamination and damage of the optical system, and deviations in the installation position and angle of the camera are such that the image or video obtained by the camera is blurred or out of focus compared to the case without such obstacles. It becomes a blurred image or video, and the sharpness of the image or video decreases.

本発明のカメラ状態検知システムは、高周波成分抽出手段が、カメラにより撮影して得られた画像情報から高周波成分を抽出し、積分値算出手段が、高周波成分抽出手段により抽出された高周波成分の積分値を算出するため、光学系に汚れや損傷等が存在する場合や、カメラへの接触等によって車両における対地面の設置位置や設置角度がずれている場合に算出された当該積分値は、そのような障害がない場合に算出された積分値(基準値)よりも小さい。   In the camera state detection system of the present invention, the high frequency component extraction means extracts high frequency components from the image information obtained by photographing with the camera, and the integral value calculation means integrates the high frequency components extracted by the high frequency component extraction means. In order to calculate the value, the integrated value calculated when there is dirt or damage in the optical system, or when the installation position or installation angle of the vehicle with respect to the ground is shifted due to contact with the camera, etc. It is smaller than the integral value (reference value) calculated when there is no such obstacle.

したがって、本発明のカメラ状態検知システムによれば、カメラ状態検知手段が、積分値算出手段により算出された積分値に基づいて、カメラの障害を客観的かつ定量的に検知することができる。   Therefore, according to the camera state detection system of the present invention, the camera state detection unit can objectively and quantitatively detect a camera failure based on the integral value calculated by the integral value calculation unit.

なお、画像の空間周波数の高さまたは微分値の大きさに応じて光学系の汚れを検出する技術(特開2001−119614号公報に記載のもの)が提案されているが、この技術は、画像の一部に偶発的に生じたノイズの影響を受け易く、誤判定を生じやすいのに対して、本発明に係るカメラ状態検知システムは、高周波成分の積分値に応じて判定するため、そのような虞を抑制することができる。   In addition, a technique (described in Japanese Patent Application Laid-Open No. 2001-119614) for detecting contamination of the optical system according to the height of the spatial frequency of the image or the magnitude of the differential value has been proposed. Whereas the camera state detection system according to the present invention is determined according to the integral value of the high-frequency component, it is easily affected by the noise generated accidentally in a part of the image, and erroneous determination is likely to occur. Such a fear can be suppressed.

また、画像の高周波成分に占めるさらなる高周波成分の割合に応じて、光学系の汚れを検出する技術(特開2003−189294号公報に記載のもの)も提案されている。   In addition, a technique (described in Japanese Patent Application Laid-Open No. 2003-189294) for detecting contamination of an optical system in accordance with the ratio of a further high frequency component in the high frequency component of an image has been proposed.

本発明に係るカメラ状態検知システムにおいて、カメラ状態検知手段は、前記積分値を、予め設定された基準値と比較することにより、障害の有無を判定するものであることが好ましい。   In the camera state detection system according to the present invention, it is preferable that the camera state detection unit determines whether or not there is a failure by comparing the integral value with a preset reference value.

算出される積分値は、カメラによって撮影して得られた画像、映像の鮮鋭度が低下するにしたがって小さくなる。   The calculated integral value becomes smaller as the sharpness of the image and video obtained by photographing with the camera decreases.

したがって、カメラに障害が発生していない状態において当該カメラにより撮影して得られた画像または映像の高周波成分の積分値を、基準値として予め設定しておくことにより、算出された積分値をそのように予め設定された基準値と大小比較するだけの簡単な処理で、カメラの障害の有無を容易に検知することができる。   Therefore, by setting an integral value of a high frequency component of an image or video obtained by photographing with the camera in a state where no trouble has occurred in the camera as a reference value, the calculated integral value is Thus, it is possible to easily detect the presence or absence of a camera failure by a simple process of simply comparing the size with a preset reference value.

本発明に係るカメラ状態検知システムにおいて、カメラ状態検知手段は、前記高周波成分抽出手段と前記積分値算出手段とのうち少なくとも一つを兼ねたものであることが好ましい。   In the camera state detection system according to the present invention, the camera state detection unit preferably serves as at least one of the high-frequency component extraction unit and the integral value calculation unit.

カメラ状態検知手段が、高周波成分抽出手段と積分値算出手段とのうち少なくとも一つを兼ねたものであるため、構成要素点数の低減を図ることができ、部品点数の低減に応じたサイズの小型化や製造コストの低減を図ることができる。   Since the camera state detection means serves as at least one of the high-frequency component extraction means and the integral value calculation means, the number of components can be reduced, and the size can be reduced according to the reduction in the number of parts. And manufacturing cost can be reduced.

本発明に係るカメラ状態検知システムにおいて、カメラは、焦点距離固定の光学系を備えたものであることが好ましい。   In the camera state detection system according to the present invention, the camera preferably includes an optical system with a fixed focal length.

焦点距離を変化させることができる光学系を備えたカメラでは、撮影対象までの距離に応じて光学系をその光軸方向に変位可能に構成され、合焦状態の調整を可能としている。   A camera equipped with an optical system that can change the focal length is configured so that the optical system can be displaced in the direction of the optical axis in accordance with the distance to the object to be photographed, and the in-focus state can be adjusted.

そして、そのような焦点距離可変の光学系を備えたカメラにおいては、一般のデジタルカメラに代表されるように、例えばコントラスト評価方式などのオートフォーカス装置を備えている(特開2005−003933号公報等)。   A camera having such a variable focal length optical system includes an autofocus device such as a contrast evaluation method as represented by a general digital camera (Japanese Patent Laid-Open No. 2005-003933). etc).

しかし、撮影対象が車両の周辺など所定の距離範囲に限定されているため、焦点距離を変化させる必要のない車両周辺撮影用の車両搭載カメラでは、焦点距離が固定された光学系を備えているに過ぎず、焦点距離可変の光学系を備えたカメラとは異なり、オートフォーカス装置を備えることはない。   However, since the subject to be photographed is limited to a predetermined distance range such as the periphery of the vehicle, the vehicle-mounted camera for photographing the periphery of the vehicle that does not need to change the focal length includes an optical system with a fixed focal length. However, unlike a camera having an optical system with variable focal length, it does not have an autofocus device.

特に、このような焦点距離固定の光学系を備えたカメラが車両に搭載されたときには、地面等の撮影対象に対するカメラの設置位置が変化することはないと考えられていた。   In particular, when a camera having such an optical system with a fixed focal length is mounted on a vehicle, it has been considered that the installation position of the camera with respect to an object to be photographed such as the ground does not change.

しかし、上述したカメラへの接触等によって、対地面等撮影対象に対するカメラの設置位置が変化することもあり得る。   However, the installation position of the camera relative to the object to be photographed such as the ground may change due to the above-described contact with the camera or the like.

したがって、このような焦点距離固定の光学系を備えたカメラおいては、上述した本発明のカメラ状態検知システムによって奏される効果を、一層顕著なものとすることができる。   Therefore, in a camera provided with such an optical system with a fixed focal length, the effects exhibited by the above-described camera state detection system of the present invention can be made more remarkable.

本発明に係るカメラ状態検知システムにおいて、車両の走行を検出する走行検出手段をさらに備え、カメラ状態検知手段は、前記走行検出手段によって前記車両の走行が検出されている状態において、前記カメラの障害を繰り返し検知するものであることが好ましい。   In the camera state detection system according to the present invention, the camera state detection system further includes a travel detection unit that detects the travel of the vehicle, and the camera state detection unit detects a failure of the camera when the travel of the vehicle is detected by the travel detection unit. Is preferably repeatedly detected.

車両が停車しているときは、モノトーンの壁際に駐車している場合や、路面標識の無い路上に停止している場合も多い。   When the vehicle is stopped, the vehicle is often parked near a monotone wall or stopped on a road without a road sign.

このような状況においては、カメラによって撮影された車両周辺の画像や映像に対応した画像情報には、そもそも高周波成分が多く含まれない場合もある。   In such a situation, the image information corresponding to the image and video around the vehicle photographed by the camera may not contain many high-frequency components in the first place.

一方、車両が走行している状態においては、カメラが撮影する画像や映像は時々刻々変化するため、得られた画像情報の中に高周波成分が常に少ししか含まれないという事態はない。   On the other hand, in the state where the vehicle is traveling, the images and videos taken by the camera change from moment to moment, so there is no situation where the obtained image information always contains only a few high-frequency components.

例えば、カメラの撮影対象が、車両周辺のうち走行中の路面を含むときは、路面に描かれた標識を走行中に撮影する機会が必ずあり、この路面の標識を含む画像情報には標識の輪郭において空間周波数の高周波成分が含まれる。   For example, when the subject to be photographed by the camera includes a road surface in the vicinity of the vehicle, there is always an opportunity to photograph the sign drawn on the road surface while the vehicle is traveling. A high frequency component of spatial frequency is included in the contour.

したがって、車両の走行中に、すなわち走行検出手段によって車両の走行が検出されたとき、カメラ状態検知手段が、繰り返しカメラの障害状態を検知することにより、車両の停車中よりも確実に精度良く、カメラの障害状態を検知することができる。   Therefore, when the vehicle travels, that is, when the travel detection unit detects the travel of the vehicle, the camera state detection unit repeatedly detects the failure state of the camera, thereby reliably and accurately compared to when the vehicle is stopped. It is possible to detect a failure state of the camera.

本発明に係るカメラ状態検知システムにおいて、カメラにより撮影して得られた画像情報の全体領域のうち一部領域を選択する領域選択手段をさらに備え、高周波成分抽出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記高周波成分を抽出し、または、前記積分値算出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記積分値を算出するものであることが好ましい。   In the camera state detection system according to the present invention, the camera state detection system further includes area selection means for selecting a part of the entire area of the image information obtained by the camera, and the high frequency component extraction means is selected by the area selection means. The high-frequency component is extracted only for the partial area that has been selected, or the integral value calculation means calculates the integral value only for the partial area selected by the area selection means. Is preferred.

高周波成分抽出手段が、領域選択手段によって選択された一部領域についてのみ高周波成分を抽出するものであっても、積分値算出手段は、カメラにより撮影して得られた画像情報の全体領域について、積分値を算出してもよいし、選択された一部領域についてのみ、積分値を算出してもよい。   Even if the high-frequency component extraction means extracts high-frequency components only for the partial area selected by the area selection means, the integral value calculation means is for the entire area of the image information obtained by photographing with the camera. An integral value may be calculated, or an integral value may be calculated only for a selected partial region.

画像情報の全体領域に対して積分値を算出しようとしても、高周波成分が抽出されているのは、選択された一部領域についてのみであるため、その一部領域を除いた他の残り領域については高周波成分が検出されていないこととなり、画像情報の全体領域についての積分値と選択された一部領域について積分値とは、結果的に同一となるからである。   Even if an integral value is calculated for the entire area of the image information, high-frequency components are extracted only for the selected partial area, so for other remaining areas excluding the partial area. This is because no high-frequency component is detected, and as a result, the integral value for the entire region of the image information and the integral value for the selected partial region are the same.

積分値算出手段が、領域選択手段によって選択された一部領域についてのみ積分値を算出するものであっても、高周波成分抽出手段は、カメラにより撮影して得られた画像情報の全体領域について、高周波成分を抽出してもよいし、選択された一部領域についてのみ、高周波成分を抽出してもよい。   Even if the integral value calculating means calculates the integral value only for the partial area selected by the area selecting means, the high frequency component extracting means is for the entire area of the image information obtained by photographing with the camera. A high frequency component may be extracted, or a high frequency component may be extracted only for a selected partial region.

画像情報の全体領域に対して高周波成分を抽出していた場合であっても、積分値を算出するのは、選択された一部領域についてのみであるため、その一部領域を除いた他の残り領域については積分値算出の対象から除外され、画像情報の全体領域について高周波成分を抽出した場合と一部領域について高周波成分を求めた場合とで、算出される積分値は結果的に同一となるからである。   Even when high-frequency components are extracted for the entire area of the image information, the integral value is calculated only for the selected partial area. The remaining area is excluded from the target of integral value calculation, and the calculated integral value is the same when the high-frequency component is extracted for the entire area of the image information and when the high-frequency component is obtained for a part of the area. Because it becomes.

本発明に係るカメラ状態検知システムにおいて、前記カメラは、撮影して得られた画像情報を可視画像として表示する車載モニタを少なくとも備えた車載カメラシステムに用いられているカメラであることが好ましい。   In the camera state detection system according to the present invention, the camera is preferably a camera used in an in-vehicle camera system including at least an in-vehicle monitor that displays image information obtained by photographing as a visible image.

駐車時等において車両の後方を監視するため駐車支援システムや、走行中に車両側方を監視するため側方モニタシステムなど、各種車載カメラシステムにおいて用いられているカメラに関して、その障害状態を検知することができるからである。   Detects the fault status of cameras used in various in-vehicle camera systems, such as a parking assistance system for monitoring the rear of the vehicle during parking, and a side monitor system for monitoring the side of the vehicle while traveling. Because it can.

本発明に係るカメラ状態検知システムによれば、カメラの障害を検知することができるため、カメラ自体を目視で直接観察して検査したり、カメラの設置状態を直接計測して検査することなく、カメラに障害が生じているか否かを検知することができる。   According to the camera state detection system according to the present invention, since it is possible to detect a failure of the camera, without directly observing and inspecting the camera itself or directly measuring and inspecting the installation state of the camera, It is possible to detect whether or not a failure has occurred in the camera.

また、カメラで得られた画像あるいは映像を車載モニタに表示させて、その表示を目視することにより、カメラの障害の有無を官能的かつ間接的に監視する場合に比べて、客観的かつ定量的に障害の有無を検知することができる。   In addition, an image or video obtained by the camera is displayed on an in-vehicle monitor, and the display is visually observed, which makes it objective and quantitative compared to the case where the presence or absence of a camera failure is monitored sensuously and indirectly. It is possible to detect whether there is a failure.

また、カメラ状態検知手段が、積分値を、予め設定された基準値と比較することにより障害の有無を判定して、障害状態を検知するようにしたカメラ状態検知システムによれば、カメラによって撮影により撮影して得られた画像または映像の高周波成分の積分値を、予め設定された基準値と大小比較するだけの簡単な処理によって、カメラの障害の有無を容易に検知することができる。   In addition, according to the camera state detection system in which the camera state detection unit detects the failure state by comparing the integrated value with a preset reference value to determine the presence or absence of the failure. The presence or absence of a camera failure can be easily detected by a simple process of simply comparing the integral value of the high-frequency component of an image or video obtained by shooting with a preset reference value.

また、カメラ状態検知手段が高周波成分抽出手段と積分値算出手段とのうち少なくとも一つを兼ねたものとしたカメラ状態検知システムによれば、構成要素点数の低減を図ることができ、部品点数の低減に応じたサイズの小型化や製造コストの低減を図ることができる。   In addition, according to the camera state detection system in which the camera state detection unit also serves as at least one of the high-frequency component extraction unit and the integral value calculation unit, the number of components can be reduced, and the number of parts can be reduced. According to the reduction, the size can be reduced and the manufacturing cost can be reduced.

また、焦点距離固定の光学系を備えたカメラが車両に搭載されたときには、地面等の撮影対象に対するカメラの設置位置が変化することは全く考慮されていないため、カメラが焦点距離固定の光学系を備えたカメラ状態検知システムによれば、上述した本発明のカメラ状態検知システムによって奏される効果を、一層顕著なものとすることができる。   In addition, when a camera having a fixed focal length optical system is mounted on a vehicle, it is not considered at all that the installation position of the camera with respect to a shooting target such as the ground changes. According to the camera state detection system provided with the above, the effects exhibited by the above-described camera state detection system of the present invention can be made more remarkable.

また、車両の走行を検出する走行検出手段をさらに備え、カメラ状態検知手段は、前記走行検出手段によって前記車両の走行が検出されている状態において、繰り返し前記カメラの障害を検知するようにしたカメラ状態検知システムによれば、車両の停止中よりも確実に精度良く、カメラの障害を検知することができる。   The camera further includes a travel detection means for detecting the travel of the vehicle, wherein the camera state detection means repeatedly detects a failure of the camera in a state in which the travel of the vehicle is detected by the travel detection means. According to the state detection system, it is possible to detect a camera failure more accurately and more accurately than when the vehicle is stopped.

一方、車両の停止中はカメラの障害を検知しないため、カメラの障害有無を誤って検知するのを防止することができる。   On the other hand, since the camera failure is not detected while the vehicle is stopped, it is possible to prevent erroneous detection of the camera failure.

また、カメラにより撮影して得られた画像情報の全体領域のうち一部領域を選択する領域選択手段をさらに備え、高周波成分抽出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記高周波成分を抽出し、または、前記積分値算出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記積分値を算出するようにしたカメラ状態検知システムによれば、画像情報の全体領域のうち一部領域についてのみ高周波成分の抽出を行うため抽出処理を高速化することができ、または、一部領域についてのみ積分値を算出するため積分値の算出処理を高速化することができる。   Further, the image processing apparatus further includes a region selecting unit that selects a partial region of the entire region of the image information obtained by photographing with the camera, and the high frequency component extracting unit is configured to select only the partial region selected by the region selecting unit. According to the camera state detection system, the high-frequency component is extracted, or the integral value calculating means calculates the integral value only for the partial area selected by the area selecting means. High-frequency components can be extracted only for a part of the entire information area, so that the extraction process can be speeded up. Alternatively, the integral value can be calculated only for a part of the area. be able to.

また、領域選択手段によって、カメラにより撮影して得られた画像情報の全体領域のうち、コントラストやトーン差(輝度差または濃度差)が比較的大きな一部領域を指定することで、全体領域を対象とした積分値との比較によっては適切な判定結果を得ることができない場合であっても、コントラストやトーン差が比較的大きな一部領域を対象とした積分値との比較によっては適切な判定結果を得ることができる。   In addition, by designating a partial area having a relatively large contrast or tone difference (luminance difference or density difference) from the entire area of the image information obtained by the camera by the area selection unit, the entire area is selected. Even if it is not possible to obtain an appropriate determination result by comparison with the target integral value, an appropriate determination is possible depending on the comparison with the integral value for a part of the region where contrast or tone difference is relatively large. The result can be obtained.

また、カメラが、撮影して得られた画像情報を可視画像として表示する車載モニタを少なくとも備えた車載カメラシステムに用いられているカメラであるカメラ状態検知システムによれば、駐車時等において車両の後方を監視するため駐車支援システムや、走行中に車両側方を監視するため側方モニタシステムなど、各種車載カメラシステムにおいて用いられているカメラに関して、その障害を検知することができる。   In addition, according to the camera state detection system, which is a camera used in an in-vehicle camera system that includes at least an in-vehicle monitor that displays image information obtained by photographing as a visible image, the It is possible to detect the failure of cameras used in various in-vehicle camera systems such as a parking assistance system for monitoring the rear and a side monitor system for monitoring the side of the vehicle while traveling.

以下、本発明に係るカメラ状態検知システムの実施形態について、図面を用いて説明する。   Embodiments of a camera state detection system according to the present invention will be described below with reference to the drawings.

図1は、本発明の一実施形態に係るカメラ状態検知システム100を示すブロック図である。   FIG. 1 is a block diagram showing a camera state detection system 100 according to an embodiment of the present invention.

図示のカメラ状態検知システム100は、車両200の後上部に搭載されて当該車両200の周辺(例えば、車両の後方)の景色(画像)Pを撮影する焦点距離固定の光学系を備えたカメラ10と、カメラ10により撮影して得られた画像P(この画像Pに対応する画像情報をSとする。)のうち、空間周波数の高い高周波成分SHを抽出するバンドパスフィルタ(BPF)30(高周波成分抽出手段)と、高周波成分SHの積分値∫(SH)を算出する積分回路40(例えば、コンデンサ;積分値算出手段)と、算出された積分値∫(SH)を基準値Kと比較することにより、カメラ10もしくはこのカメラ10が備えた光学系の汚れ(障害)の有無を判定する汚れ判定回路50(カメラ状態検知手段)とを備えた構成である。   The illustrated camera state detection system 100 is mounted on the rear upper part of a vehicle 200 and has a fixed focal length optical system 10 that captures a scene (image) P around the vehicle 200 (for example, behind the vehicle). And a bandpass filter (BPF) 30 (high frequency) for extracting a high frequency component SH having a high spatial frequency from the image P obtained by photographing with the camera 10 (image information corresponding to the image P is S). Component extraction means), an integration circuit 40 (for example, a capacitor; integral value calculation means) for calculating the integral value ∫ (SH) of the high-frequency component SH, and the calculated integral value ∫ (SH) are compared with the reference value K. Thus, the camera 10 or the optical system provided with the camera 10 is configured to include a dirt determination circuit 50 (camera state detection means) that determines the presence or absence of dirt (failure).

ここで、カメラ10は、例えば車両200に搭載された駐車支援システム等を構成する要素として搭載されたものであり、この駐車支援システム等は、このカメラ10の他、カメラ10によって撮影された画像、映像を可視像として表示するモニタや、駐車操作の際に車両を所定位置に適切に駐車できるように誘導するための誘導軌跡線や移動予測軌跡線などを算出するコントローラ等を備えている。   Here, the camera 10 is mounted as an element constituting a parking support system or the like mounted on the vehicle 200, for example. This parking support system or the like is an image taken by the camera 10 in addition to the camera 10. A monitor that displays a video as a visible image, a controller that calculates a guidance trajectory line, a movement prediction trajectory line, and the like for guiding the vehicle to be properly parked at a predetermined position during a parking operation .

カメラ状態検知システム100はさらに、BPF30により抽出された高周波成分SHのうち負側の成分を正側に反転させた絶対値高周波成分|SH|を出力する絶対値回路(例えば、整流器)30と、画像Pのうち一部の領域範囲pを選択する指示が入力されて、この指示された一部の領域範囲pに対応した水平同期信号・垂直同期信号を出力するエリア選択部61と、エリア選択部61から出力された垂直同期信号・水平同期信号に基づいて一部の領域範囲p(この一部の領域範囲pに対応した画像情報をsとする。)を選択するエリア選択回路62とを備えている。   The camera state detection system 100 further includes an absolute value circuit (for example, a rectifier) 30 that outputs an absolute value high frequency component | SH | obtained by inverting the negative component of the high frequency component SH extracted by the BPF 30 to the positive side; An area selection unit 61 that receives an instruction to select a partial area range p from the image P and outputs a horizontal synchronization signal / vertical synchronization signal corresponding to the specified partial area range p, and area selection An area selection circuit 62 for selecting a partial area range p (image information corresponding to the partial area range p is s) based on the vertical synchronization signal / horizontal synchronization signal output from the unit 61; I have.

なお、エリア選択部61は、例えば上述した駐車支援システムを構成するモニタ上で、領域範囲pを選択することができるタッチパネルセンサ等によって構成されてもよく、エリア選択部61とエリア選択回路62とは、領域選択手段を構成している。   In addition, the area selection part 61 may be comprised by the touchscreen sensor etc. which can select the area | region range p on the monitor which comprises the parking assistance system mentioned above, for example, the area selection part 61, the area selection circuit 62, Constitutes area selection means.

これにより、積分回路40は、この絶対値回路30により出力された絶対値高周波成分|SH|を、一部の領域範囲pについて積分して、積分値∫p |SH|を算出する。 Thereby, the integrating circuit 40 integrates the absolute value high-frequency component | SH | output from the absolute value circuit 30 with respect to a partial region range p to calculate an integrated value ∫ p | SH |.

また、汚れ判定回路50によって比較の対象となる基準値Kは、領域範囲pの画像種類(モチーフ)ごとに対応して予め設定されており、これら予め設定された基準値Kは、複数の基準値K1,K2,…としてメモリ72に記憶されており、汚れ判定回路50は、積分値∫p |SH|と、メモリ72に記憶されている複数の基準値K1,K2,…のうちから選択されたいずれかの基準値Ki(i=1,2,…)とを比較して、光学系の汚れの有無を判定する。 Further, the reference value K to be compared by the dirt determination circuit 50 is set in advance for each image type (motif) in the region range p, and these preset reference values K are a plurality of reference values. Are stored in the memory 72 as values K1, K2,..., And the dirt determination circuit 50 selects from the integral value ∫ p | SH | and a plurality of reference values K1, K2,. Any of the reference values Ki (i = 1, 2,...) Is compared to determine whether the optical system is dirty.

これにより、汚れ判定回路50は、算出された積分値∫p |SH|を、選択された基準値Kiと比較することにより、カメラ10もしくはこのカメラ10が備えた光学系の汚れの有無を判定する。 Accordingly, the dirt determination circuit 50 determines whether the camera 10 or the optical system provided in the camera 10 is dirty by comparing the calculated integral value ∫ p | SH | with the selected reference value Ki. To do.

このため、画像pのモチーフを選択するためのモチーフ選択部71が備えられ、モチーフ選択部71に入力された選択指示に対応したいずれかの基準値Ki(i=1,2,…)がメモリ72から読み出されて、汚れ判定回路50に入力される。   Therefore, a motif selection unit 71 for selecting a motif of the image p is provided, and any reference value Ki (i = 1, 2,...) Corresponding to the selection instruction input to the motif selection unit 71 is stored in the memory. 72, and is input to the dirt determination circuit 50.

次に、この実施形態のカメラ状態検知システム100の作用について、具体的に説明する。   Next, the operation of the camera state detection system 100 of this embodiment will be specifically described.

まず、カメラ10により、車両の後方路面の風景(画像)Pが撮影される。このとき撮影して得られた画像Pの一例を、図2に示す。なお、この画像Pは、カメラ10が撮影した画像が左右反転されている。これは、カメラ10は後方を向いているのに対して、この画像Pを表示するモニタは前方を向いた乗員が対面するように配置されるため、モニタに表示された画像Pを見た乗員に左右方向の違和感を与えないように、駐車支援システムのコントローラによって左右反転処理が施されているからである。   First, a landscape (image) P on the road surface behind the vehicle is photographed by the camera 10. An example of the image P obtained by photographing at this time is shown in FIG. Note that this image P is an image captured by the camera 10 that is horizontally reversed. This is because the camera 10 faces rearward and the monitor displaying this image P is arranged so that the occupant facing forward faces the occupant who sees the image P displayed on the monitor. This is because the left / right reversing process is performed by the controller of the parking assistance system so as not to give a sense of incongruity in the left / right direction.

得られた画像Pに対応した信号としての画像情報Sは、BPF20により、所定の空間周波数以上の高周波成分SHだけが抽出される。   In the image information S as a signal corresponding to the obtained image P, only a high frequency component SH having a predetermined spatial frequency or higher is extracted by the BPF 20.

例えば、図3(a)に示す画像情報Sを水平方向に走査したとき、画像情報Sにおける輝度値(信号値)の分布は、同図(b)に示すものとなり、空間的に狭い範囲で輝度の差が大きい部分(輝度変化が急峻な部分)である高周波成分SHは、同図(c)に示すものとなる。   For example, when the image information S shown in FIG. 3A is scanned in the horizontal direction, the distribution of luminance values (signal values) in the image information S is as shown in FIG. The high-frequency component SH, which is a portion with a large difference in luminance (a portion where the luminance change is steep), is as shown in FIG.

この高周波成分SHは、大きい輝度値から小さい輝度値に変化するときは負の変化となり、小さい輝度値から大きい輝度値に変化するときは正の変化となるため、後に積分値を算出する際に、正の変化部分における積分値と負の変化部分における積分値との間で相互に打ち消し合うのを防止する必要がある。   This high-frequency component SH becomes a negative change when changing from a large luminance value to a small luminance value, and becomes a positive change when changing from a small luminance value to a large luminance value. Therefore, when calculating the integral value later, Therefore, it is necessary to prevent mutual cancellation between the integral value in the positive change portion and the integral value in the negative change portion.

そこで、BPF20の出力SHに対して、絶対値回路30が、負の変化部分を正側に反転する絶対値処理を施して、図3(d)に示す絶対値高周波成分|SH|を出力する。   Therefore, the absolute value circuit 30 performs an absolute value process for inverting the negative change portion to the positive side with respect to the output SH of the BPF 20, and outputs an absolute value high frequency component | SH | shown in FIG. .

一方、乗員は、例えば上述した駐車支援システムを構成するモニタの表示面に設置されたタッチパネルセンサ(エリア選択部61)により、このモニタに表示されている全体画像P(撮影された画像Pの全体領域と一致するものとする)のうち、一部の領域範囲p(図2において、二点鎖線で示す)を選択する。   On the other hand, the occupant uses the touch panel sensor (area selection unit 61) installed on the display surface of the monitor that constitutes the above-described parking assistance system, for example, to display the entire image P (the entire captured image P) displayed on the monitor. A partial region range p (indicated by a two-dot chain line in FIG. 2) is selected.

この選択された領域範囲pは、乗員が、高周波成分SHが含まれているものと認める可視域における領域範囲である。   This selected region range p is a region range in the visible region that the occupant recognizes as containing the high-frequency component SH.

エリア選択部61は、このように設定された領域範囲pに対応する水平同期信号・垂直同期信号を出力し、この水平同期信号・垂直同期信号が入力されたエリア選択回路62が、画像情報S上において領域範囲pに対応する領域範囲sを特定し、この特定された領域範囲sは積分回路に入力される。   The area selection unit 61 outputs a horizontal synchronization signal / vertical synchronization signal corresponding to the region range p set as described above, and the area selection circuit 62 to which the horizontal synchronization signal / vertical synchronization signal is input receives the image information S. The region range s corresponding to the region range p is specified above, and the specified region range s is input to the integration circuit.

積分回路40は、絶対値高周波成分|SH|を、設定された領域範囲sについて積分処理し、算出された積分値∫p |SH|を汚れ判定回路50に入力する。 The integration circuit 40 integrates the absolute value high frequency component | SH | with respect to the set region range s, and inputs the calculated integration value ∫ p | SH |

汚れ判定回路50は、メモリ72に記憶された基準値Kと入力された積分値∫p |SH|とを大小比較して、カメラ10の本体またはカメラ10が備えた光学系の汚れの有無を判定するが、カメラ10の本体またはカメラ10が備えた光学系の汚れが無い場合であっても、比較の対象となる画像Pのモチーフによっては、そもそも高周波成分の積分値が小さいものもある。 The dirt determination circuit 50 compares the reference value K stored in the memory 72 with the inputted integral value ∫ p | SH | to determine whether the main body of the camera 10 or the optical system included in the camera 10 is dirty. Although it is determined that there is no contamination of the main body of the camera 10 or the optical system provided in the camera 10, depending on the motif of the image P to be compared, the integral value of the high frequency component may be small in the first place.

そこで、画像Pのモチーフごとに、比較の対象となる基準値Kiがメモリ72に記憶されており、乗員が、選択した領域範囲p(画像情報s)のモチーフをモチーフ選択部71に入力し、モチーフ選択部71は、入力されたモチーフの選択をメモリ72に入力し、メモリ72は、入力されたモチーフの選択に対応した基準値Ki(i=1,2,…)を、汚れ判定回路50に入力する。   Therefore, for each motif of the image P, the reference value Ki to be compared is stored in the memory 72, and the occupant inputs the motif of the selected region range p (image information s) to the motif selection unit 71, The motif selection unit 71 inputs the selection of the input motif to the memory 72, and the memory 72 uses the reference value Ki (i = 1, 2,...) Corresponding to the selection of the input motif as the stain determination circuit 50. To enter.

そして、汚れ判定回路50は、入力された積分値∫p |SH|と基準値Ki(i=1,2,…)とを大小比較して、カメラ10の本体またはカメラ10が備えた光学系の汚れの有無を判定する。具体的には、積分値∫p |SH|>基準値Kiのときは、カメラ10の汚れは無いと判定し、積分値∫p |SH|≦基準値Kiのときは、カメラ10の汚れが発生していると判定する。 Then, the dirt determination circuit 50 compares the input integral value p | SH | with the reference value Ki (i = 1, 2,...), And compares the size with the optical system provided in the main body of the camera 10 or the camera 10. The presence or absence of dirt is judged. Specifically, the integral value ∫ p | When the> reference value Ki, dirt camera 10 determines that there is no integral value ∫ p | | SH SH | When ≦ reference value Ki is dirt camera 10 It is determined that it has occurred.

なお、この判定結果は、例えば、駐車支援システムのモニタに表示される等して、乗員に報知される。   The determination result is notified to the occupant, for example, by being displayed on the monitor of the parking assistance system.

これにより、乗員は、カメラ10の本体またはカメラ10が備えた光学系の汚れの有無を検知することができる。したがって、カメラ10を目視で直接観察して検査することなく、カメラ10に汚れが有るか否かを検知することができる。   Thereby, the passenger | crew can detect the presence or absence of the stain | pollution | contamination of the optical system with which the main body of the camera 10 or the camera 10 was equipped. Therefore, it is possible to detect whether or not the camera 10 is dirty without directly observing and inspecting the camera 10 visually.

また、カメラ10で得られた画像Pをモニタに表示させて、その表示を目視することにより、カメラ10の汚れの有無を官能的かつ間接的に監視する場合に比べて、客観的かつ定量的に障害の有無を検知することができる。   Further, the image P obtained by the camera 10 is displayed on a monitor, and the display is visually observed, so that it is more objective and quantitative than the case where the presence or absence of dirt on the camera 10 is monitored sensorially and indirectly. It is possible to detect whether there is a failure.

なお、上述した説明は、カメラ10の本体またはカメラ10が備えた光学系の汚れの有無を検知することを目的とした説明であるが、カメラ10や光学系の劣化や損傷等、あるいは、カメラ10への接触などによってこのカメラ10が搭載されている車両200に対するカメラ10の設置位置のずれ(特に光軸方向に沿った距離のずれ)を、カメラ10の設置状態を直接計測することなく、検知することもできる。   In addition, although the above-mentioned description is the description for the purpose of detecting the presence or absence of dirt of the main body of the camera 10 or the optical system included in the camera 10, the camera 10 or the optical system is deteriorated or damaged, or the camera Without directly measuring the installation state of the camera 10, the displacement of the installation position of the camera 10 with respect to the vehicle 200 on which the camera 10 is mounted (particularly the displacement of the distance along the optical axis direction) can be measured. It can also be detected.

さらに、いわゆる自己診断(ダイアグノシス)情報として、カメラ10の汚れや劣化、損傷、位置ずれ等が発生した日時情報、程度などを、所定のメモリに記憶させるようにしてもよし、エンジン始動時ごとのイニシャルチェックとして実施するようにしてもよい。   Further, as so-called self-diagnosis information, the date and time information and degree of occurrence of dirt, deterioration, damage, misalignment, etc. of the camera 10 may be stored in a predetermined memory. You may make it implement as an initial check.

また、本実施形態のカメラ状態検知システム100によれば、カメラ10によって撮影により撮影して得られた画像Pの高周波成分|SH|の積分値∫p |SH|を、予め設定された基準値Kiと大小比較するだけの簡単な処理によって、カメラ10の障害(汚れや位置ずれ)の有無を容易に検知することができる。 Further, according to the camera state detection system 100 of the present embodiment, the integral value ∫ p | SH | of the high frequency component | SH | of the image P obtained by photographing by the camera 10 is set as a reference value set in advance. The presence or absence of a failure (dirt or misalignment) of the camera 10 can be easily detected by a simple process of simply comparing the size with Ki.

本実施形態は、一部の領域範囲pを、乗員が選択、設定するものであるが、画像Pにおける特定の範囲として予め設定されていてもよい。   In the present embodiment, the occupant selects and sets a part of the region range p, but may be set in advance as a specific range in the image P.

さらに、この設定される領域範囲pは、画像Pの全体領域のうち一部分に限定されるものではなく、全体領域であってもよい。すなわち、画像Pの領域全体についての高周波成分SHの絶対値|SH|の積分値∫|SH|を、対応する基準値Kと比較するものであってもよい。   Further, the set area range p is not limited to a part of the entire area of the image P, and may be the entire area. That is, the integral value ∫ | SH | of the absolute value | SH | of the high-frequency component SH for the entire region of the image P may be compared with the corresponding reference value K.

また、積分回路40は、エリア選択回路62によって特定された一部の領域範囲pについてのみ、積分値∫p |SH|を算出するため、この演算処理を高速化することができる。 Further, since the integration circuit 40 calculates the integration value ∫ p | SH | only for a part of the region range p specified by the area selection circuit 62, this calculation process can be speeded up.

なお、BPF20についても、エリア選択回路62によって特定された一部の領域範囲pについてのみ、高周波成分SHの抽出を行うようにしてもよく、そのように構成したものでは、抽出処理を高速化することができる。   The BPF 20 may also extract the high-frequency component SH only for a partial region range p specified by the area selection circuit 62. With such a configuration, the extraction process is speeded up. be able to.

もちろん、絶対値回路30についても、エリア選択回路62によって特定された一部の領域範囲pについてのみ、絶対値化する処理を行うようにしてもよく、そのように構成したものでは、絶対値化処理を高速化することができる。   Of course, the absolute value circuit 30 may be subjected to the absolute value processing only for a part of the region range p specified by the area selection circuit 62. Processing can be speeded up.

また、画像Pの全体領域のうち、コントラストやトーン差(輝度差または濃度差)が比較的大きな一部の領域範囲pを、エリア選択回路62によって指定することにより、全体領域を対象とした積分値∫|SH|との比較によっては適切な判定結果を得ることができない場合であっても、コントラストやトーン差が比較的大きな一部の領域範囲pを対象とした積分値∫p |SH|との比較によっては適切な判定結果を得ることができる。 Further, by designating, by the area selection circuit 62, a partial region range p having a relatively large contrast or tone difference (luminance difference or density difference) in the entire region of the image P, integration for the entire region is performed. Even if an appropriate determination result cannot be obtained by comparison with the value ∫ | SH |, the integrated value ∫ p | SH | for a partial region range p having a relatively large contrast or tone difference. An appropriate determination result can be obtained depending on the comparison.

本実施形態に係るカメラ状態検知システム100は、車両200が停止した状態で撮影された画像Pに基づいて、障害の有無を判定するものであるが、本発明に係るカメラ状態検知システムは、この形態に限定されるものではない。   The camera state detection system 100 according to the present embodiment determines whether or not there is a failure based on the image P taken in a state where the vehicle 200 is stopped. The form is not limited.

すなわち、カメラ状態検知システム100の搭載された車両200が、輝度分布が略一様な塀や壁などにカメラ10を向けて駐車しているときや、路面標識の無い路上に停車している場合は、画像Pの高周波成分SHは少ないため、カメラ10の障害が無い場合であっても、積分値∫p |SH|(全体領域についての積分値∫|SH|でも同様)は極めて小さいものとなり、カメラ10の障害の有無の判定を誤る虞がある。 That is, when the vehicle 200 on which the camera state detection system 100 is mounted is parked with the camera 10 facing a wall or a wall having a substantially uniform luminance distribution, or when the vehicle 200 is parked on a road without a road surface sign. Since the high-frequency component SH of the image P is small, even if the camera 10 is not obstructed, the integral value ∫ p | SH | (the same applies to the integral value ∫ | SH | for the entire region) is extremely small. There is a risk of erroneous determination of the presence or absence of a failure in the camera 10.

そこで、図4に示すように、カメラ状態検知システム100が、車両200の走行を検出する車速センサ80(走行検出手段)をさらに備え、汚れ判定回路50は、車速センサ80によって車両200の走行が検出されている状態においては、カメラ10の障害有無を繰り返し検知するものとし、車両200の走行が検出されていない状態においては、カメラ10の障害有無を検知しないものとしすればよい。   Therefore, as shown in FIG. 4, the camera state detection system 100 further includes a vehicle speed sensor 80 (travel detection means) that detects the travel of the vehicle 200, and the dirt determination circuit 50 uses the vehicle speed sensor 80 to drive the vehicle 200. In the detected state, the presence / absence of the failure of the camera 10 is repeatedly detected, and in the state where the traveling of the vehicle 200 is not detected, the presence / absence of the failure of the camera 10 may not be detected.

このように構成された実施形態のカメラ状態検知システム100によれば、車両200が走行している状態においては、汚れ判定回路50が、車速センサ80から入力される車速信号に基づいて、車両200が走行していることを検出することができる。   According to the camera state detection system 100 of the embodiment configured as described above, in a state where the vehicle 200 is traveling, the dirt determination circuit 50 is based on the vehicle speed signal input from the vehicle speed sensor 80. Can be detected.

車両200が走行しているときは、カメラ10が撮影する画像Pは時々刻々変化するため、得られた画像Pに高周波成分SHが常に少ししか含まれないという事態はあり得ない。   When the vehicle 200 is traveling, the image P taken by the camera 10 changes from moment to moment. Therefore, there cannot be a situation in which the obtained image P always contains only a small amount of the high-frequency component SH.

例えば、カメラ10の撮影対象が、走行中の路面を含むときは、路面に描かれた標識を走行中に撮影する機会が必ずあり、この路面の標識を含む画像Pには標識の輪郭部において空間周波数の高い高周波成分SHが含まれる。   For example, when the object to be photographed by the camera 10 includes a road surface that is running, there is always an opportunity to photograph a sign drawn on the road surface while traveling, and the image P including the road sign is displayed in the outline portion of the sign. A high frequency component SH having a high spatial frequency is included.

したがって、車両200の走行中、すなわち車速センサ80によって車両200の走行が汚れ判定回路50により検出されたとき、汚れ判定回路50が、カメラ10の障害状態を繰り返し検知することにより、車両200の停止中よりも確実に精度良く、カメラ10の障害有無を検知することができる。   Accordingly, when the vehicle 200 is traveling, that is, when traveling of the vehicle 200 is detected by the dirt determination circuit 50 by the vehicle speed sensor 80, the dirt determination circuit 50 repeatedly detects the failure state of the camera 10, thereby stopping the vehicle 200. It is possible to detect the presence or absence of a failure of the camera 10 with higher accuracy and accuracy than inside.

一方、車両200の停止中、すなわち車速センサ80によって車両200の走行が汚れ判定回路50により検出されないとき、汚れ判定回路50は、カメラ10の障害状態を検知しないため、カメラ10の障害有無を誤って検知するのを防止することができる。   On the other hand, when the vehicle 200 is stopped, that is, when the traveling speed of the vehicle 200 is not detected by the dirt determination circuit 50 by the vehicle speed sensor 80, the dirt determination circuit 50 does not detect the failure state of the camera 10. Can be prevented.

本発明の実施形態に係るカメラ状態検知システムの一例を示すブロック図である。It is a block diagram which shows an example of the camera state detection system which concerns on embodiment of this invention. 図1に示したカメラ状態検知システムにおけるカメラが撮影された画像(左右反転)の一例を示す図である。It is a figure which shows an example of the image (left-right reversal) image | photographed by the camera in the camera state detection system shown in FIG. 図1に示したカメラ状態検知システムの作用を説明する図であり、(a)は画像情報、(b)は輝度分布、(c)は高周波成分、(d)は高周波成分の絶対値、をそれぞれ示す。It is a figure explaining the effect | action of the camera state detection system shown in FIG. 1, (a) is image information, (b) is luminance distribution, (c) is a high frequency component, (d) is the absolute value of a high frequency component. Each is shown. 図1に示したカメラ状態検知システムの変形例を示すブロック図である。It is a block diagram which shows the modification of the camera state detection system shown in FIG.

符号の説明Explanation of symbols

10 カメラ
20 バンドパスフィルタ(高周波成分抽出手段)
30 絶対値回路(積分値算出手段)
40 積分回路(積分値算出手段)
50 汚れ判定回路(カメラ状態検知手段)
61 エリア選択部(領域選択手段)
62 エリア選択回路(領域選択手段)
71 モチーフ種類選択部
72 メモリ
100 カメラ状態検知システム
200 車両
10 Camera 20 Band pass filter (High-frequency component extraction means)
30 Absolute value circuit (integral value calculation means)
40 Integration circuit (integral value calculation means)
50 Dirt determination circuit (camera state detection means)
61 Area selection part (area selection means)
62 Area selection circuit (area selection means)
71 Motif type selection unit 72 Memory 100 Camera state detection system 200 Vehicle

Claims (7)

車両に搭載されて該車両の周辺を撮影するカメラと、
前記カメラにより撮影して得られた画像情報のうち高周波成分を抽出する高周波成分抽出手段と、
前記高周波成分抽出手段により抽出された前記高周波成分の、前記画像情報の一部または全部の範囲についての積分値を算出する積分値算出手段と、
前記積分値算出手段により算出された前記積分値に基づいて、前記カメラの障害を検知するカメラ状態検知手段とを備えたことを特徴とするカメラ状態検知システム。
A camera that is mounted on a vehicle and photographs the periphery of the vehicle;
High-frequency component extraction means for extracting high-frequency components from image information obtained by photographing with the camera;
An integral value calculating means for calculating an integral value of a part or all of the image information of the high frequency component extracted by the high frequency component extracting means;
A camera state detection system comprising camera state detection means for detecting a failure of the camera based on the integral value calculated by the integral value calculation means.
前記カメラ状態検知手段は、前記積分値を、予め設定された基準値と比較することにより、障害の有無を判定するものであることを特徴とする請求項1に記載のカメラ状態検知システム。   The camera state detection system according to claim 1, wherein the camera state detection unit determines whether or not there is a failure by comparing the integral value with a preset reference value. 前記カメラ状態検知手段は、前記高周波成分抽出手段と前記積分値算出手段とのうち少なくとも一つを兼ねたものであることを特徴とする請求項1または2に記載のカメラ状態検知システム。   The camera state detection system according to claim 1, wherein the camera state detection unit also serves as at least one of the high-frequency component extraction unit and the integral value calculation unit. 前記カメラは、焦点距離固定の光学系を備えたものであることを特徴とする請求項1から3のうちいずれか1項に記載のカメラ状態検知システム。   The camera state detection system according to claim 1, wherein the camera includes an optical system having a fixed focal length. 前記車両の走行を検出する走行検出手段をさらに備え、
前記カメラ状態検知手段は、前記走行検出手段によって前記車両の走行が検出されている状態において、前記カメラの障害を繰り返し検知するものであることを特徴とする請求項1から4のうちいずれか1項に記載のカメラ状態検知システム。
It further comprises travel detection means for detecting the travel of the vehicle,
5. The camera state detection unit according to claim 1, wherein the camera state detection unit repeatedly detects a failure of the camera in a state in which the traveling detection unit detects the traveling of the vehicle. The camera state detection system according to item.
前記カメラにより撮影して得られた画像情報の全体領域のうち一部領域を選択する領域選択手段をさらに備え、
前記高周波成分抽出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記高周波成分を抽出し、
または、前記積分値算出手段は、前記領域選択手段によって選択された前記一部領域についてのみ、前記積分値を算出するものであることを特徴とする請求項1から5のうちいずれか1項に記載のカメラ状態検知システム。
An area selection means for selecting a partial area of the entire area of the image information obtained by photographing with the camera;
The high-frequency component extraction means extracts the high-frequency component only for the partial region selected by the region selection means,
Alternatively, the integral value calculating unit calculates the integral value only for the partial region selected by the region selecting unit. The camera state detection system described.
前記カメラは、撮影して得られた画像情報を可視画像として表示する車載モニタを少なくとも備えた車載カメラシステムに用いられているカメラであることを特徴とする請求項1から6のうちいずれか1項に記載のカメラ状態検知システム。   The said camera is a camera used for the vehicle-mounted camera system provided with at least the vehicle-mounted monitor which displays the image information obtained by image | photographing as a visible image, Any one of Claim 1 to 6 characterized by the above-mentioned. The camera state detection system according to item.
JP2006027957A 2006-02-06 2006-02-06 System for detecting camera state Pending JP2007208865A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006027957A JP2007208865A (en) 2006-02-06 2006-02-06 System for detecting camera state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006027957A JP2007208865A (en) 2006-02-06 2006-02-06 System for detecting camera state

Publications (1)

Publication Number Publication Date
JP2007208865A true JP2007208865A (en) 2007-08-16

Family

ID=38487884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006027957A Pending JP2007208865A (en) 2006-02-06 2006-02-06 System for detecting camera state

Country Status (1)

Country Link
JP (1) JP2007208865A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186733A (en) * 2011-03-07 2012-09-27 Honda Elesys Co Ltd On-board camera system
WO2013136878A1 (en) * 2012-03-14 2013-09-19 日立オートモティブシステムズ株式会社 Object detection device
JP2016537934A (en) * 2013-11-12 2016-12-01 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド Camera covering state recognition method, camera system, and automobile
CN107454383A (en) * 2017-06-20 2017-12-08 福建网龙计算机网络信息技术有限公司 A kind of method and terminal for detecting shooting head status
JP2018060422A (en) * 2016-10-06 2018-04-12 株式会社Soken Object detection device
JP2019051769A (en) * 2017-09-13 2019-04-04 株式会社ミツバ door mirror
US10791252B2 (en) 2017-08-01 2020-09-29 Panasonic Intellectual Property Management Co., Ltd. Image monitoring device, image monitoring method, and recording medium
CN112637587A (en) * 2020-12-22 2021-04-09 维沃移动通信有限公司 Dead pixel detection method and device
US11034300B2 (en) 2017-05-23 2021-06-15 Mitsuba Corporation Door mirror

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131688A (en) * 1993-10-28 1995-05-19 Sharp Corp Camera monitoring device
JPH09113221A (en) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp On-vehicle device and method for processing picture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131688A (en) * 1993-10-28 1995-05-19 Sharp Corp Camera monitoring device
JPH09113221A (en) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp On-vehicle device and method for processing picture

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186733A (en) * 2011-03-07 2012-09-27 Honda Elesys Co Ltd On-board camera system
WO2013136878A1 (en) * 2012-03-14 2013-09-19 日立オートモティブシステムズ株式会社 Object detection device
JP2013191072A (en) * 2012-03-14 2013-09-26 Hitachi Automotive Systems Ltd Object detection device
JP2016537934A (en) * 2013-11-12 2016-12-01 アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド Camera covering state recognition method, camera system, and automobile
JP2018060422A (en) * 2016-10-06 2018-04-12 株式会社Soken Object detection device
US11034300B2 (en) 2017-05-23 2021-06-15 Mitsuba Corporation Door mirror
CN107454383A (en) * 2017-06-20 2017-12-08 福建网龙计算机网络信息技术有限公司 A kind of method and terminal for detecting shooting head status
US10791252B2 (en) 2017-08-01 2020-09-29 Panasonic Intellectual Property Management Co., Ltd. Image monitoring device, image monitoring method, and recording medium
JP2019051769A (en) * 2017-09-13 2019-04-04 株式会社ミツバ door mirror
CN112637587A (en) * 2020-12-22 2021-04-09 维沃移动通信有限公司 Dead pixel detection method and device
CN112637587B (en) * 2020-12-22 2022-04-01 维沃移动通信有限公司 Dead pixel detection method and device

Similar Documents

Publication Publication Date Title
JP2007208865A (en) System for detecting camera state
JP5421072B2 (en) Approaching object detection system
JP3807331B2 (en) Camera dirt detection device and camera dirt detection method
US20160185292A1 (en) Electronic mirror apparatus
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP5953824B2 (en) Vehicle rear view support apparatus and vehicle rear view support method
US9001204B2 (en) Vehicle peripheral monitoring device
JP4556798B2 (en) Image processing device
CN107615351B (en) Signal machine detecting device and semaphore detection method
JP6657034B2 (en) Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system
JP2008151659A (en) Object detector
JP2008281385A (en) Image processing device
JP2019175133A5 (en)
KR101190789B1 (en) Apparatus and method for measurementing distance of vehicle
JP2006295346A (en) Image processing apparatus and driving supporting device for vehicle using this
JP2008103839A (en) Apparatus and method for monitoring vehicle
JP6204844B2 (en) Vehicle stereo camera system
JP7009209B2 (en) Camera misalignment detection device, camera misalignment detection method and abnormality detection device
JP2008042759A (en) Image processing apparatus
JP5245471B2 (en) Imaging apparatus, and image processing apparatus and method
JP7443700B2 (en) fog detection device
US10242460B2 (en) Imaging apparatus, car, and variation detection method
JP2017215447A (en) Display control device and display control method
JP6981881B2 (en) Camera misalignment detection device and camera misalignment detection method
JP2005301892A (en) Lane recognition device by a plurality of cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101207