JP2008064716A - Vehicle azimuth correcting system - Google Patents
Vehicle azimuth correcting system Download PDFInfo
- Publication number
- JP2008064716A JP2008064716A JP2006245704A JP2006245704A JP2008064716A JP 2008064716 A JP2008064716 A JP 2008064716A JP 2006245704 A JP2006245704 A JP 2006245704A JP 2006245704 A JP2006245704 A JP 2006245704A JP 2008064716 A JP2008064716 A JP 2008064716A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- angle change
- images
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両の方位を補正する車両方位補正システムに関する。 The present invention relates to a vehicle orientation correction system that corrects a vehicle orientation.
従来のカーナビゲーションシステムは、車速センサによって検出される車速が0であり、且つ、エンジンが作動して電源が供給されている場合には、車両が停止していると判定し、その間のジャイロセンサからの出力を誤差とみなして、当該ジャイロセンサからの出力に基づく車両方位の補正を行わないという、いわゆるゼロ点補正が採用されている。 The conventional car navigation system determines that the vehicle is stopped when the vehicle speed detected by the vehicle speed sensor is 0 and the engine is operated and the power is supplied, and the gyro sensor during that time is determined. The so-called zero point correction is adopted in which the output from is regarded as an error and the vehicle orientation is not corrected based on the output from the gyro sensor.
しかしながら、駐車場に設置されたターンテーブルに車両が配置された場合等、エンジンが作動し、カーナビゲーションシステムに電源が供給されている状態で、車両が停止しつつ回転するような場合、回転により車両の方位が変化しているにも関わらず、カーナビゲーションシステムは、その間のジャイロセンサからの出力を全て誤差とみなして、ゼロ点補正を行ってしまうため、車両の方位に誤差が生じることになる。 However, when a vehicle is placed on a turntable installed in a parking lot, etc., when the engine is running and power is supplied to the car navigation system, the vehicle rotates while stopping. The car navigation system considers all the output from the gyro sensor during that time as an error and corrects the zero point in spite of the change in the direction of the vehicle. Become.
このような問題に対して、特許文献1に記載された技術は、車両に設置したカメラによって周期的に撮影された画像の一致の度合いにより、車両の回転を認識し、回転している場合には補正を行う。
しかしながら、特許文献1に記載された技術は、カーナビゲーションシステム等への電源が断たれてから再度電源が投入されるまでの間に車両が180°回転する場合にのみ、適切な方位に補正することができるものであり、昨今増加している、駐車場形状に合わせて任意角度に回転するターンテーブルに車両が配置された場合には、適切な方位補正ができない。 However, the technique described in Patent Document 1 corrects the heading to an appropriate direction only when the vehicle rotates 180 ° after the power to the car navigation system or the like is turned off and then turned on again. If the vehicle is placed on a turntable that rotates at an arbitrary angle according to the shape of the parking lot, which has been increasing recently, it is impossible to correct the direction.
本発明の目的は、上述した課題を解決するものであり、方位を適切に補正することが可能な車両方位補正システムを提供するものである。 An object of the present invention is to solve the above-described problems and to provide a vehicle orientation correction system capable of appropriately correcting the orientation.
本発明は、車両の方位を補正する車両方位補正システムであって、前記車両の近傍の第1の範囲と、該第1の範囲よりも遠方の第2の範囲とを周期的に撮影する撮影手段と、前記車両の速度を検出する車速検出手段と、前記撮影手段の撮影により得られた撮影タイミングの異なる2つの第1の範囲の画像の相関、及び、撮影タイミングの異なる2つの第2の範囲の画像の相関と、前記車速検出手段により検出された車両の速度とに基づいて、前記車両が停止、回転及び走行のいずれかの状態であるかを判定する車両状態判定手段と、前記車両の角度変化を検出する角度変化検出手段と、前記車両状態判定手段により前記車両が回転及び走行のいずれかの状態であると判定された場合に、前記角度変化検出手段により検出された車両の角度変化に基づいて、前記車両の方位を補正する方位補正手段とを有することを特徴とする。 The present invention is a vehicle azimuth correction system that corrects the azimuth of a vehicle, and shoots periodically shooting a first range near the vehicle and a second range farther than the first range. Means, vehicle speed detecting means for detecting the speed of the vehicle, correlation between images of two first ranges having different shooting timings obtained by shooting by the shooting means, and two second times having different shooting timings. Vehicle state determination means for determining whether the vehicle is in a stopped, rotating or traveling state based on the correlation between the images of the range and the vehicle speed detected by the vehicle speed detection means; and the vehicle An angle change detecting means for detecting an angle change of the vehicle, and an angle of the vehicle detected by the angle change detecting means when the vehicle state determining means determines that the vehicle is in one of a rotating state and a traveling state. change Based on, and having a heading correction means for correcting the orientation of the vehicle.
この構成によれば、周期的な撮影によって得られた車両の近傍及び遠方の画像のそれぞれの相関と、車速との双方を考慮することによって、車両の状態、具体的には、停止、回転、走行のいずれかの状態であるかを適切に判定することができ、車両が回転及び走行のいずれかの状態であれば、ゼロ点補正を行うことなく、ジャイロセンサ等の角度変化検出手段によって検出された車両の角度変化に基づいて、方位が適切に補正される。 According to this configuration, the state of the vehicle, specifically, stop, rotation, and the like, by considering both the correlation between the images of the near and far images of the vehicle obtained by periodic shooting and the vehicle speed. It is possible to appropriately determine whether the vehicle is in a running state. If the vehicle is in a rotating or running state, it is detected by angle change detection means such as a gyro sensor without performing zero point correction. The azimuth is appropriately corrected based on the changed angle of the vehicle.
同様の観点から、本発明の車両方位補正システムは、前記車両状態判定手段が、前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値以上であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値以上であって、且つ、前記車両の速度が0である場合に、前記車両が停止の状態であると判定し、前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値以上であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値未満であって、且つ、前記車両の速度が0である場合に、前記車両が回転の状態であると判定し、前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値未満であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値未満であって、且つ、前記車両の速度が0でない場合に、前記車両が走行の状態であると判定するようにしてもよい。 From the same point of view, in the vehicle orientation correction system of the present invention, the vehicle state determination means is such that the correlation between the images of the two first ranges having different shooting timings is equal to or more than a first threshold and the shooting timings are different. When the correlation between the images of the two second ranges is equal to or greater than a second threshold and the speed of the vehicle is 0, it is determined that the vehicle is in a stopped state, and the shooting timings are different. The correlation between the images of the two first ranges is equal to or greater than the first threshold, the correlation between the images of the two second ranges having different shooting timings is less than the second threshold, and the speed of the vehicle Is zero, it is determined that the vehicle is in a rotating state, and the correlation between the images of the two first ranges having different shooting timings is less than the first threshold, and the two having different shooting timings are Phase of second range image There are less than a second threshold value, and, if the speed of the vehicle is not zero, it may be determined that the vehicle is in a state of running.
また、本発明の車両方位補正システムは、前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値未満であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値未満であって、且つ、前記車両の速度が0である場合と、前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値以上であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値以上であって、且つ、前記車両の速度が0でない場合とにおいて、所定の警告を提示する警告提示手段を有するようにしてもよい。 In the vehicle azimuth correction system of the present invention, the correlation between the two first ranges of images having different shooting timings is less than the first threshold, and the correlation between the two second ranges of images having different shooting timings. Is less than the second threshold and the vehicle speed is 0, and the correlation between the two first ranges of images having different shooting timings is equal to or higher than the first threshold, and the shooting timing It is also possible to have a warning presenting means for presenting a predetermined warning when the correlation between the images of two second ranges having different values is equal to or greater than a second threshold and the vehicle speed is not zero. Good.
この構成によれば、画像の相関と車両の速度との間に矛盾が生じる場合、具体的には、画像の相関のみによれば車両が走行していると判断されるが、車両の速度が0である場合、あるいは、画像の相関のみによれば車両が停止していると判断されるが、車両の速度が0でない場合には、撮影手段又は車速検出手段に異常が生じたものとみなして、ユーザに対してその旨の警告を行うことができる。 According to this configuration, when there is a contradiction between the correlation between the images and the speed of the vehicle, specifically, it is determined that the vehicle is traveling based only on the correlation between the images. If it is 0, or it is determined that the vehicle is stopped only by the correlation of the images, but if the vehicle speed is not 0, it is considered that an abnormality has occurred in the photographing means or the vehicle speed detecting means. Thus, a warning to that effect can be given to the user.
また、本発明の車両方位補正システムは、前記車両状態判定手段が、前記撮影手段が複数の撮影ユニットにより構成される場合に、前記撮影ユニット毎に、該撮影ユニットの撮影により得られた撮影タイミングの異なる2つの第1の範囲の画像の相関、及び、撮影タイミングの異なる2つの第2の範囲の画像の相関と、前記車速検出手段により検出された車両の速度とに基づいて、前記車両の状態を判定し、前記方位補正手段が、前記車両状態判定手段により前記撮影ユニット毎に判定された車両の状態が回転及び走行のいずれかで一致する場合にのみ、前記角度変化検出手段により検出された車両の角度変化に基づいて、前記車両の方位を補正するようにしてもよい。 In the vehicle orientation correction system of the present invention, when the vehicle state determination unit is configured by a plurality of shooting units, the shooting timing obtained by shooting by the shooting unit for each shooting unit. Based on the correlation between the images of the two different first ranges of the images, the correlation between the images of the two second ranges with different shooting timings, and the vehicle speed detected by the vehicle speed detecting means. A state is determined, and the azimuth correction unit is detected by the angle change detection unit only when the vehicle state determined for each of the photographing units by the vehicle state determination unit coincides with either rotation or traveling. The direction of the vehicle may be corrected based on the change in the angle of the vehicle.
この構成によれば、複数の撮影ユニットによって撮影された画像を車両状態の判定に用いることで、より適切な車両状態の判定が可能となる。 According to this configuration, it is possible to more appropriately determine the vehicle state by using the images captured by the plurality of imaging units for determining the vehicle state.
また、本発明の車両方位補正システムは、前記撮影手段の撮影により得られた撮影タイミングの異なる2つの第2の範囲の画像のうち、一方の第2の範囲の画像内の第1の領域を選択し、他方の第2の範囲の画像内において前記一方の第2の範囲の画像内の第1の領域に含まれる画像との相関が第3の閾値以上である画像を含む第2の領域を検出し、前記一方の第2の範囲の画像内における第1の領域の位置と、前記他方の第2の範囲の画像内における第2の領域の位置との差に基づいて、前記車両の角度変化を算出する角度変化算出手段を有し、前記方位補正手段が、前記車両状態判定手段により前記車両が回転の状態であると判定された場合に、前記角度変化算出手段により算出された車両の角度変化に基づいて、前記車両の方位を補正するようにしてもよい。 In the vehicle orientation correction system of the present invention, a first region in one second range image of two second range images having different shooting timings obtained by shooting by the shooting unit is selected. A second region including an image having a correlation with an image included in the first region in the image in the one second range within a second threshold in the image in the other second range. Based on the difference between the position of the first region in the image of the one second range and the position of the second region in the image of the other second range. An angle change calculating means for calculating an angle change, wherein the azimuth correcting means is calculated by the angle change calculating means when the vehicle state determining means determines that the vehicle is in a rotating state; Based on the angle change of the vehicle, the direction of the vehicle is corrected It may be so that.
この構成によれば、車両が回転する場合には、撮影タイミングの異なる2つの画像のそれぞれにおいて、同一の撮影対象物の領域の位置、換言すれば、相関の高い領域の位置が変化することに鑑みて、撮影タイミングの異なる2つの画像のそれぞれにおいて、相関の高い領域を探し出し、その領域の位置の差を車両の角度変化に換算して、方位の補正を行うことで、適切な補正が可能となる。 According to this configuration, when the vehicle rotates, the position of the area of the same object to be photographed, in other words, the position of the highly correlated area changes in each of two images having different shooting timings. In view of this, in each of two images with different shooting timings, an area with high correlation is found, and the difference in the position of the area is converted into a change in the angle of the vehicle, so that an appropriate correction can be made. It becomes.
また、本発明の車両方位補正システムは、前記角度変化算出手段は、前記撮影手段が複数の撮影ユニットにより構成される場合に、前記撮影ユニット毎に、該撮影ユニットの撮影により得られた撮影タイミングの異なる2つの第2の範囲の画像のうち、一方の第2の範囲の画像内の第1の領域を選択し、他方の第2の範囲の画像内において前記一方の第2の範囲の画像内の第1の領域に含まれる画像との相関が第3の閾値以上である画像を含む第2の領域を検出し、前記一方の第2の範囲の画像内における第1の領域の位置と、前記他方の第2の範囲の画像内における第2の領域の位置との差に基づいて、前記車両の角度変化を算出し、前記撮影ユニット毎に検出された車両の角度変化の平均値を最終的な前記車両の角度変化として算出するようにしてもよい。 Further, in the vehicle orientation correction system of the present invention, the angle change calculation unit is configured such that when the photographing unit is configured by a plurality of photographing units, the photographing timing obtained by photographing of the photographing unit for each photographing unit. The first region in one second range image is selected from two images in the second range, and the image in the one second range is selected in the other second range image. Detecting a second region including an image having a correlation with an image included in the first region within the third threshold value or more, and detecting the position of the first region in the image in the one second range; The vehicle angle change is calculated based on the difference from the position of the second region in the image of the other second range, and the average value of the vehicle angle change detected for each of the photographing units is calculated. Calculate as the final angle change of the vehicle Unishi may be.
この構成によれば、複数の撮影ユニットによって撮影された画像を車両の角度変化の算出に用いることで、より適切な角度変化の導出が可能となる。 According to this configuration, it is possible to derive a more appropriate angle change by using the images shot by the plurality of shooting units for calculating the angle change of the vehicle.
また、本発明の車両方位補正システムは、前記角度変化検出手段により検出された車両の角度変化と、前記角度変化算出手段により算出された車両の角度変化とに応じて定められる補正値を用いて、前記角度変化検出手段により検出された車両の角度変化を補正する角度変化補正手段を有し、前記方位補正手段が、前記車両状態判定手段により前記車両が回転及び走行のいずれかの状態であると判定された場合に、前記角度変化補正手段による補正後の前記車両の角度変化に基づいて、前記車両の方位を補正するようにしてもよい。 Further, the vehicle orientation correction system of the present invention uses a correction value determined in accordance with a change in the angle of the vehicle detected by the angle change detection means and a change in the angle of the vehicle calculated by the angle change calculation means. And an angle change correcting means for correcting the angle change of the vehicle detected by the angle change detecting means, wherein the azimuth correcting means is in a state of either rotation or traveling by the vehicle state determining means. May be corrected based on the angle change of the vehicle after correction by the angle change correction means.
角度変化検出手段が、例えばカーナビゲーションシステム内のジャイロセンサである場合には、カーナビゲーションシステムが車両に搭載されてからの期間が短い場合、学習機能による誤差の解消が不十分なため、検出される車両の角度変化に誤差が生じることがあるが、この構成によれば、その誤差を適切に解消することができる。 When the angle change detection means is, for example, a gyro sensor in a car navigation system, if the period after the car navigation system is installed in the vehicle is short, the error is not sufficiently eliminated by the learning function, so that it is detected. An error may occur in the change in the angle of the vehicle. However, according to this configuration, the error can be appropriately eliminated.
また、本発明の車両方位補正システムは、前記車両の加速度を検出する加速度検出手段と、前記角度変化検出手段により検出された車両の角度変化と、前記角度変化算出手段により算出された車両の角度変化とに応じて定められる補正値を用いて、前記加速度検出手段により検出された車両の加速度を補正するようにしてもよい。 In addition, the vehicle orientation correction system of the present invention includes an acceleration detection unit that detects acceleration of the vehicle, a vehicle angle change detected by the angle change detection unit, and a vehicle angle calculated by the angle change calculation unit. You may make it correct | amend the acceleration of the vehicle detected by the said acceleration detection means using the correction value defined according to a change.
加速度検出手段が、例えばカーナビゲーションシステム内の加速度センサである場合には、カーナビゲーションシステムが車両に搭載されてからの期間が短い場合、学習機能による誤差の解消が不十分なため、検出される加速度に誤差が生じることがあるが、この構成によれば、その誤差を適切に解消することができる。 When the acceleration detection means is an acceleration sensor in a car navigation system, for example, if the period after the car navigation system is mounted on the vehicle is short, it is detected because the error due to the learning function is not sufficiently eliminated. Although an error may occur in the acceleration, according to this configuration, the error can be appropriately eliminated.
本発明によれば、周期的な撮影によって得られた車両の近傍及び遠方の画像のそれぞれの相関と、車速との双方を考慮することによって、車両の状態を適切に判定することができ、更にその車両の状態に応じて、車両の角度変化に基づく方位の補正を適切に行うことができる。 According to the present invention, it is possible to appropriately determine the state of the vehicle by considering both the correlation between the images of the near and far images of the vehicle obtained by periodic shooting and the vehicle speed. According to the state of the vehicle, it is possible to appropriately correct the direction based on the change in the angle of the vehicle.
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図1は、本発明が適用された車両方位補正システムの第1の構成を示す図である。図1に示す車両方位補正システム100−1は、車両に搭載されたカーナビゲーションシステムの内部に構成されるものであり、撮影手段に対応するカメラ102と、車両状態判定手段及び角度変化算出手段に対応する仮判定部104と、画像保持部106と、車速検出手段に対応する車速センサ108と、角度変化検出手段に対応するジャイロセンサ110と、車両状態判定手段、方位補正手段、警告提示手段、角度変化補正手段及び加速度補正手段に対応する判定・補正部112と、モニタ114と、加速度検出手段に対応する加速度センサ116とにより構成される。これらのうち、カメラ102は、例えば、図2に示すように、車両の側面部(例えば、ドアミラーの取り付け部分)に搭載されている。
Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. FIG. 1 is a diagram showing a first configuration of a vehicle orientation correction system to which the present invention is applied. A vehicle orientation correction system 100-1 shown in FIG. 1 is configured inside a car navigation system mounted on a vehicle, and includes a
車両方位補正システム100−1は、カメラ102によって異なる撮影タイミングで撮影された画像の相関と、車速センサ108によって検出された車両の速度とに基づいて、車両の状態を判定し、その判定結果に応じ、ジャイロセンサ110によって検出された車両の角度変化に基づいて、車両の方位を補正する。以下、フローチャートを参照しつつ、車両方位補正システム100−1による方位補正動作について説明する。
The vehicle azimuth correction system 100-1 determines the state of the vehicle based on the correlation between the images captured by the
図3及び図4は、車両方位補正システム100−1による方位補正動作を示すフローチャートである。車両のエンジンが作動して車両方位補正システム100−1を含むカーナビゲーションシステムに電源が供給されている状態において、カメラ102は、第1の範囲である車両の近傍の範囲(例えば、車両から10cm以内の範囲)と、当該第1の範囲よりも遠方である第2の範囲である遠方の範囲(たとえば、車両から1.5m以上離れた範囲)との双方を同時に撮影する(S101)。なお、カメラ102は、方位補正のために専用に設けられたものでなくてもよく、車両周辺を撮影して運転者に障害物を認識させるためのカメラと共用でもよい。撮影によって得られた画像データは、所定の時間周期でサンプリングされ、撮影日時が付加された上で仮判定部104へ送られる。
3 and 4 are flowcharts showing the direction correction operation by the vehicle direction correction system 100-1. In a state where the vehicle engine is activated and power is supplied to the car navigation system including the vehicle heading correction system 100-1, the
仮判定部104は、カメラ102からの画像を取得すると、当該画像のうち、近傍範囲に対応する画像(近傍画像)と遠方範囲に対応する画像(遠方画像)とを抽出する(S102)。具体的には、仮判定部104は、画像における近傍範囲の領域の情報と遠方範囲の領域の情報とを保持しており、これら領域の情報に基づいて、カメラ102からの画像における、近傍範囲と遠方範囲とを特定する。図5は、カメラ102による撮影画像の一例である。図5に示す画像200においては、下部の所定範囲の領域が近傍範囲の領域201であり、上部の所定範囲の領域が遠方範囲の領域202である。そして、仮判定部104は、カメラ102からの画像のうち、これら近傍範囲と遠方範囲のそれぞれに対応する画像を抽出する。
When the
次に、仮判定部104は、S102にて抽出した最新の近傍画像と、1つ前の近傍画像との相関値(近傍画像相関値)を算出するとともに、S102にて抽出した最新の遠方画像と、1つ前の遠方画像との相関値(遠方画像相関値)を算出する(S103)。過去の近傍画像及び遠方画像は、画像保持部106に保持されている。図6は、画像保持部106に保持されている画像データの一例を示す図である。図6に示すように、画像データは、撮影日時、近傍範囲画像及び遠方範囲画像の各情報を対応付けて構成される。なお、画像保持部106は、必ずしも過去の全ての近傍画像及び遠方画像に対応する画像データを保持する必要はなく、少なくとも1つ前の近傍画像及び遠方画像に対応する画像データを保持していればよい。
Next, the
相関値の算出は、例えば、以下のようにして行われる。すなわち、仮判定部104は、最新の近傍画像と、1つ前の近傍画像のそれぞれにおける同一の位置の画素を選択し、その同一位置の画素値の差を算出する。そして、仮判定部104は、画像の全ての位置の画素について算出した画素値の差を集計し、その逆数を近傍画像相関値とする。同様に、仮判定部104は、最新の遠方画像と、1つ前の遠方画像のそれぞれにおける同一の位置の画素を選択し、その同一位置の画素値の差を算出する。そして、仮判定部104は、画像の全ての位置の画素について算出した画素値の差を集計し、その逆数を遠方画像相関値とする。なお、相関値は、周知の様々な手法によって算出可能である。
The correlation value is calculated as follows, for example. That is, the
次に、仮判定部104は、算出した近傍画像相関値及び遠方画像相関値に基づいて、車両の状態の仮判定を行う(S104)。具体的には、仮判定部104は、近傍画像相関値と予め定められた閾値aとを比較するとともに、遠方画像相関値と予め定められた閾値bとを比較する。
Next, the
そして、仮判定部104は、近傍画像相関値が閾値a以上であり、且つ、遠方画像相関値が閾値b以上である場合、換言すれば、近傍画像と遠方画像の双方の時間的変化が小さい場合には、車両が停止している状態であるとの仮判定を行う。また、仮判定部104は、近傍画像相関値が閾値a以上であり、且つ、遠方画像相関値が閾値b未満である場合、換言すれば、近傍画像の時間的変化は小さいが、遠方画像の時間的変化が大きい場合には、車両が駐車場のターンテーブル等に配置されて回転している状態(方位のみ変化している状態)であるとの仮判定を行う。この仮判定は、車両がターンテーブル等に配置されて回転している状態では、ターンテーブルを撮影対象物とした近傍画像は変化せず、遠方画像のみが変化することに基づく。また、仮判定部104は、近傍画像相関値が閾値a未満であり、且つ、遠方画像相関値が閾値b未満である場合、換言すれば、近傍画像と遠方画像の双方の時間的変化が大きい場合には、車両が走行している状態であるとの仮判定を行う。
Then, the
仮判定部104は、このようにして求めた仮判定の結果を、判定・補正部112へ送る。また、仮判定部104は、S102において抽出した近傍画像及び遠方画像と撮影日時とを対応付けた画像データを画像保持部106に保持させる。ここで保持された画像データ内の近傍画像及び遠方画像は、次の方位補正動作において、1つ前の近傍画像及び遠方画像として用いられる。
The
判定・補正部112は、仮判定結果を取得すると、車速センサ108によって検出される最新の車両の速度(車速)を取得する。(S105)。ジャイロセンサ110は、上述したカメラ102による画像出力と同一の時間周期で車両の角度を検出し、その都度、検出した最新の車両の角度と1つ前に検出した車両の角度との差を角度変化として判定・補正部112へ出力する。判定・補正部112は、このジャイロセンサ110から送られる最新の車両の角度変化を取得する(S106)。
When acquiring the provisional determination result, the determination /
その後、図4に示す動作に移行し、判定・補正部112は、仮判定結果が停止であり、且つ、車速が0であるか否かを判定する(S201)。仮判定結果が停止、且つ、車速が0を満たす場合には、判定・補正部112は、最終的な車両状態の判定結果を停止であるとする(S202)。この場合には、ジャイロセンサ110によって検出される最新の車両の角度変化に基づく車両の方位補正は行われずに(ゼロ点補正)、次の方位補正動作に移行し、再び、図3のS101におけるカメラ102による撮影以降の動作が繰り返される。
Thereafter, the operation proceeds to the operation shown in FIG. 4, and the determination /
一方、仮判定結果が停止、且つ、車速が0を満たさない場合には、次に、判定・補正部112は、仮判定結果が回転であり、且つ、車速が0であるか否かを判定する(S203)。仮判定結果が回転、且つ、車速が0を満たす場合には、判定・補正部112は、最終的な車両状態の判定結果を回転であるとする(S204)。この場合には、判定・補正部112は、S106において取得した車両の角度変化に基づいて、車両の方位を補正する(S205)。
On the other hand, when the temporary determination result is stopped and the vehicle speed does not satisfy 0, the determination /
具体的には、判定・補正部112は、その時点で設定されている車両の方位から角度変化分だけ変化した方位を補正後の車両の方位とする。補正により得られた新たな方位の情報は、例えば、ナビゲーションシステム内で車両位置を検出する車両位置検出部(図示せず)へ出力される。その後は、次の方位補正動作に移行し、再び、図3のS101におけるカメラ102による撮影以降の動作が繰り返される。
Specifically, the determination /
一方、仮判定結果が回転、且つ、車速が0を満たさない場合には、次に、判定・補正部112は、仮判定結果が走行であり、且つ、車速が0以外であるか否かを判定する(S206)。仮判定結果が走行、且つ、車速が0以外を満たす場合には、判定・補正部112は、最終的な車両状態の判定結果を走行であるとする(S207)。この場合には、判定・補正部112は、S106において取得した角度変化に基づいて、車両の方位を補正し、その方位情報を出力する(S205)。その後は、次の方位補正動作に移行し、再び、図3のS101におけるカメラ102の撮影以降の動作が繰り返される。
On the other hand, when the temporary determination result is rotated and the vehicle speed does not satisfy 0, the determination /
一方、仮判定結果が走行、且つ、車速が0以外を満たさない場合には、仮判定結果が停止であるにもかかわらず、車速が0以外である場合、仮判定結果が回転であるにもかかわらず、車速が0以外である場合、及び、仮判定結果が走行であるにもかかわらず、車速が0である場合のいずれかであり、仮判定結果と車速との間に矛盾が生じているということである。この場合、判定・補正部112は、カメラ102又は車速センサ108に異常が生じたとみなして、モニタ114にその旨を表示させる等、警報通知を行う(S208)。なお、仮判定結果が回転、車速が0以外である場合には、警報通知は行われなくてもよい。その後は、次の方位補正動作に移行し、再び、図3のS101におけるカメラ102による撮影以降の動作が繰り返される。
On the other hand, when the temporary determination result is traveling and the vehicle speed does not satisfy a value other than 0, the temporary determination result is a rotation when the vehicle speed is other than 0 even though the temporary determination result is stop. Regardless, it is either the case where the vehicle speed is other than 0, or the case where the vehicle speed is 0 even though the provisional determination result is traveling, and there is a contradiction between the provisional determination result and the vehicle speed. That is. In this case, the determination /
このように、車両方位補正システム100−1は、カメラ102による周期的な撮影によって得られた車両の近傍及び遠方の画像のそれぞれの相関と、車速センサ108によって検出された車速との双方を考慮することによって、車両が停止、回転、走行のいずれかの状態であるかを適切に判定することができる。更には、車両方位補正システム100−1は、その車両の状態が停止であれば、車両の方位を補正せず、回転及び走行のいずれかの状態であれば、ジャイロセンサ110によって検出された車両の角度変化に基づいて、車両の方位を補正することにより、方位が適切を補正することができる。
As described above, the vehicle orientation correction system 100-1 considers both the correlation between the images of the vicinity and the distance of the vehicle obtained by the periodic shooting by the
なお、車両の角度変化は、カメラ102によって撮影された画像に基づいて算出することもできる。図7及び図8は、車両方位補正システム100−1による角度変化算出動作を示すフローチャートである。仮判定部104は、図3のS102において、カメラ102からの画像から抽出した最新の遠方画像における所定の領域(第1領域)を選択するとともに(S301)、画像保持部106に保持されている1つ前の遠方画像における所定の領域(第2領域)を選択する(S302)。ここで、第1領域と第2領域は、同一の形状及び同一の面積である。
Note that the change in the angle of the vehicle can also be calculated based on an image taken by the
次に、仮判定部104は、S301にて選択した第1領域に含まれる画像と、S302にて選択した第2領域に含まれる画像との相関値を算出する(S303)。ここで、相関値は、周知の様々な手法によって算出可能である。更に、仮判定部104は、算出した相関値が予め定められた閾値c以上であるか否かを判定する(S304)。そして、相関値が閾値c以上である場合、換言すれば、第1領域に含まれる画像と、第2領域に含まれる画像とが近似している場合には、最新の遠方画像における第1領域の位置と1つ前の遠方画像における第2領域の位置との差を算出する(S305)。
Next, the
図9は、領域の位置の差の算出の一例を示す図である。図9(a)は、最新の画像200であり、遠方画像202において第1領域210が選択されている。一方、図9(b)は、1つ前の画像200であり、遠方画像202において第2領域220が選択されている。これら、第1領域210に含まれる画像と第2領域に含まれる画像とは、近似しており、相関値は閾値c以上である。
FIG. 9 is a diagram illustrating an example of calculation of a difference in region position. FIG. 9A shows the
このような場合、仮判定部104は、図9(a)の最新の画像200における、第1領域210の中心Mの座標(画像200の左端からの距離がL1)と、図9(b)の1つ前の画像200における、第2領域220の中心Nの座標(画像200の左端からの距離がL2)との差(L2−L1)を、最新の遠方画像200における第1領域210の位置と1つ前の遠方画像200における第2領域220の位置との差として算出する。
In such a case, the
次に、仮判定部104は、算出した最新の遠方画像における第1領域の位置と1つ前の遠方画像における第2領域の位置との差と、画像の光軸と地面が交わる距離とに基づいて、車両の角度変化を算出する(S306)。画像の光軸と地面が交わる距離は、カメラ102の設置位置及び撮影方向により一意に決定されるものであり、この画像の光軸と地面が交わる距離によって、第1領域と第2領域との位置の差を車両の角度変化に換算する際の係数が決定される。このようにして算出された車両の角度変化は、判定・補正部112へ送られる。この場合、判定・補正部112は、図3のS106におけるジャイロセンサ110からの車両の角度変化を取得しなくても、仮判定部104によって算出された車両の角度変化を取得することにより、図4のS205における、車両の角度変化に基づく方位補正を行うことができる。
Next, the
一方、S304において、相関値が閾値c未満である場合、換言すれば、第1領域に含まれる画像と、第2領域に含まれる画像とが近似していない場合には、図8に示す動作に移行し、仮判定部104は、S301にて一度、第1領域を選択した後において、1つ前の遠方画像の全領域についてS303及びS304の処理がなされたか否かを判定する(S307)。そして、1つ前の遠方画像において未処理の領域が存在する場合には、仮判定部104は、その時点で選択されている第2領域の位置を所定量ずらした新たな第2領域を選択し(S308)、S303における第1領域と第2領域の画像の相関値の算出以降の動作を繰り返す。
On the other hand, if the correlation value is less than the threshold value c in S304, in other words, if the image included in the first area and the image included in the second area are not approximate, the operation shown in FIG. The
一方、1つ前の遠方画像において未処理の領域が存在しない場合には、仮判定部104は、最新の遠方画像の全領域についてS302以降の処理がなされたか否かを判定する(S309)。そして、最新の遠方画像において未処理の領域が存在する場合には、仮判定部104は、その時点で選択されている第1領域の位置を所定量ずらした新たな第1領域を選択し(S310)、S302における第2領域の選択以降の動作を繰り返す。また、最新の遠方画像において未処理の領域が存在しない場合には、一連の動作を終了する。この場合には、車両の角度変化は算出されないことになる。
On the other hand, if there is no unprocessed area in the previous far image, the
また、上述した図7及び図8に示す手順によって、仮判定部104により車両の角度変化が算出される場合には、その車両の角度変化に基づいて、ジャイロセンサ110によって検出される車両の角度変化を補正するようにしてもよい。
Further, when the change in the angle of the vehicle is calculated by the
図10(a)に示すように、ジャイロセンサ110によって検出される車両の角度変化がPであり、仮判定部104により算出された角度変化がQである場合、判定・補正部112は、補正係数TをT=Q/Pにより算出する。その後、判定・補正部112は、ジャイロセンサ110によって検出される車両の角度変化を取得すると、その取得した角度変化に補正係数Tを乗じた値を車両の角度変化として算出し、図4のS205における方位補正に用いる。
As shown in FIG. 10A, when the change in the angle of the vehicle detected by the
更に、この補正係数Tを用いて、判定・補正部112は、加速度116によって検出される加速度を補正するようにしてもよい。具体的には、判定・補正部112は、加速度センサ116によって検出される加速度(補正前加速度)Rを取得すると、補正後の加速度SをS=R×Tにより算出する。この算出式は、以下のようにして得られる。すなわち、図10(b)に示すように、補正前加速度Rと補正後加速度Sとのなす角をθとすると、S=R/cosθであり、近似式T≒1/cosθを用いることにより、S=R×Tとなる。
Further, the determination /
また、複数のカメラを用いて撮影が行われるようにしてもよい。図11は、本発明が適用された車両方位補正システムの第2の構成を示す図である。図11に示す車両方位補正システム100−2は、図1に示す車両方位補正システム100−1と比較すると、カメラ102に代えて、それぞれが撮影ユニットに対応する4台のカメラ103−1乃至103−4を有する。これらカメラ103−1乃至103−4(以下、これらをまとめて適宜「カメラ103」と称する)は、例えば、図12に示すように、車両の両側面部と、前部及び後部に搭載されている。
Moreover, you may make it image | photograph using a some camera. FIG. 11 is a diagram showing a second configuration of the vehicle orientation correction system to which the present invention is applied. Compared to the vehicle orientation correction system 100-1 shown in FIG. 1, the vehicle orientation correction system 100-2 shown in FIG. 11 replaces the
車両方位補正システム100−2において、各カメラ103は、近傍範囲及び遠方範囲の双方を同時に撮影しており、この撮影によって得られた画像データは、所定の時間周期でサンプリングされ、撮影日時とカメラ103の識別情報が付加された上で仮判定部104へ送られる。
In the vehicle orientation correction system 100-2, each camera 103 captures both the near range and the far range at the same time, and the image data obtained by the capture is sampled at a predetermined time period, and the shooting date and time and the camera The identification information 103 is added to the
仮判定部104は、各カメラ103からの画像を取得すると、これらカメラ103毎に、当該カメラ103からの画像について、近傍画像と遠方画像とを抽出する。更に、仮判定部104は、抽出した最新の近傍画像と同一の識別情報が付加された1つ前の近傍画像を画像保持部106から取得し、これら近傍画像の相関値を算出する。同様に、仮判定部104は、抽出した最新の遠方画像と同一の識別情報が付加された1つ前の遠方画像を画像保持部106から取得し、これら遠方画像の相関値を算出する。
When the
このようにして、カメラ103毎に近傍画像相関値及び遠方画像相関値が算出されると、仮判定部104は、カメラ103毎に、当該カメラ103に対応する近傍画像相関値及び遠方画像相関値に基づいて、車両状態の仮判定を行う。具体的な手順は、図3のS104と同様であり、仮判定の結果は、判定・補正部112へ送られる。
When the neighborhood image correlation value and the far image correlation value are calculated for each camera 103 in this way, the
判定・補正部112は、カメラ103毎の仮判定結果が全て回転で一致し、且つ、車速センサ108から取得した車速が0である場合にのみ、最終的な車両状態の判定結果を回転であるとし、ジャイロセンサ110から取得した角度変化に基づいて、車両の方位補正を行う。また、判定・補正部112は、カメラ103毎の仮判定結果が全て走行で一致し、且つ、車速センサ108から取得した車速が0以外である場合にのみ、最終的な車両状態の判定結果を走行であるとし、ジャイロセンサ110から取得した角度変化に基づいて、車両の方位補正を行う。
The determination /
また、車両方位補正システム100−2において、各カメラ103によって撮影された画像に基づいて車両の角度変化が算出されるようにしてもよい。この場合、仮判定部104は、各カメラ103からの画像毎に、図7におけるS301乃至S306の動作を行い、角度変化を算出する。このようにしてカメラ103毎に角度変化を算出すると、次に、仮判定部104は、そのカメラ103毎の角度変化の平均値を算出し、判定・補正部112へ出力する。判定・補正部112は、この角度変化の平均値を、仮判定部104によって算出された角度変化として用いることにより、上述したような車両の方位補正や、ジャイロセンサ110によって検出される車両の角度変化の補正、加速度センサ116によって検出される車両の加速度の補正を行う。
In addition, the vehicle orientation correction system 100-2 may calculate a change in the angle of the vehicle based on an image captured by each camera 103. In this case, the
また、近傍範囲を撮影するカメラと遠方範囲を撮影するカメラとを別々に設けてもよい。この場合には、仮判定部104は、図3のS102に示す近傍画像及び遠方画像の抽出を行わず、近傍範囲を撮影するカメラの撮影によって得られた近傍画像と、遠方範囲を撮影するカメラの撮影によって得られた遠方画像とを、そのまま相関値の算出(図3のS103)に用いる。なお、本発明は、上述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
Further, a camera that captures the near range and a camera that captures the distant range may be provided separately. In this case, the
以上、説明したように、本発明に係る車両方位補正システムは、方位を適切に補正することができ、車両方位補正システムとして有用である。 As described above, the vehicle orientation correction system according to the present invention can appropriately correct the orientation, and is useful as a vehicle orientation correction system.
100−1、100−2 車両方位補正システム
102、103−1、103−2、103−3、103−4 カメラ
104 仮判定部
106 画像保持部
108 車速センサ
110 ジャイロセンサ
112 判定・補正部
114 モニタ
116 加速度センサ
100-1, 100-2 Vehicle
Claims (8)
前記車両の近傍の第1の範囲と、該第1の範囲よりも遠方の第2の範囲とを周期的に撮影する撮影手段と、
前記車両の速度を検出する車速検出手段と、
前記撮影手段の撮影により得られた撮影タイミングの異なる2つの第1の範囲の画像の相関、及び、撮影タイミングの異なる2つの第2の範囲の画像の相関と、前記車速検出手段により検出された車両の速度とに基づいて、前記車両が停止、回転及び走行のいずれかの状態であるかを判定する車両状態判定手段と、
前記車両の角度変化を検出する角度変化検出手段と、
前記車両状態判定手段により前記車両が回転及び走行のいずれかの状態であると判定された場合に、前記角度変化検出手段により検出された車両の角度変化に基づいて、前記車両の方位を補正する方位補正手段とを有することを特徴とする車両方位補正システム。 A vehicle direction correction system for correcting the direction of a vehicle,
Photographing means for periodically photographing a first range in the vicinity of the vehicle and a second range farther than the first range;
Vehicle speed detection means for detecting the speed of the vehicle;
The correlation between two first range images with different shooting timings obtained by shooting by the shooting unit and the correlation between two second range images with different shooting timings are detected by the vehicle speed detection unit. Vehicle state determination means for determining whether the vehicle is in a stopped, rotating, or traveling state based on the speed of the vehicle;
An angle change detecting means for detecting an angle change of the vehicle;
When the vehicle state determining unit determines that the vehicle is in one of the rotation state and the traveling state, the vehicle orientation is corrected based on the angle change of the vehicle detected by the angle change detection unit. A vehicle orientation correction system comprising orientation correction means.
前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値以上であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値以上であって、且つ、前記車両の速度が0である場合に、前記車両が停止の状態であると判定し、
前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値以上であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値未満であって、且つ、前記車両の速度が0である場合に、前記車両が回転の状態であると判定し、
前記撮影タイミングの異なる2つの第1の範囲の画像の相関が第1の閾値未満であり、前記撮影タイミングの異なる2つの第2の範囲の画像の相関が第2の閾値未満であって、且つ、前記車両の速度が0でない場合に、前記車両が走行の状態であると判定することを特徴とする請求項1に記載の車両方位補正システム。 The vehicle state determination means includes
The correlation between the images of the two first ranges having different shooting timings is not less than a first threshold, the correlation between the images of the two second ranges having different shooting timings is not less than a second threshold, and Determining that the vehicle is in a stopped state when the speed of the vehicle is zero;
The correlation between the images of the two first ranges with different shooting timings is equal to or greater than a first threshold, the correlation between the images of the two second ranges with different shooting timings is less than a second threshold, and Determining that the vehicle is in a rotating state when the speed of the vehicle is zero;
The correlation between the images of the two first ranges with different shooting timings is less than a first threshold, the correlation between the images of the two second ranges with different shooting timings is less than a second threshold, and 2. The vehicle heading correction system according to claim 1, wherein when the speed of the vehicle is not 0, it is determined that the vehicle is in a traveling state.
前記方位補正手段は、前記車両状態判定手段により前記撮影ユニット毎に判定された車両の状態が回転及び走行のいずれかで一致する場合にのみ、前記角度変化検出手段により検出された車両の角度変化に基づいて、前記車両の方位を補正することを特徴とする請求項1乃至3のいずれかに記載の車両方位補正システム。 In the case where the photographing unit is constituted by a plurality of photographing units, the vehicle state determination unit is configured to obtain, for each photographing unit, images of two first ranges having different photographing timings obtained by photographing by the photographing unit. Determining the state of the vehicle based on the correlation and the correlation between the images of the second range of two different shooting timings and the vehicle speed detected by the vehicle speed detection means;
The azimuth correction means detects the angle change of the vehicle detected by the angle change detection means only when the vehicle state determined for each of the photographing units by the vehicle state determination means coincides with either rotation or running. The vehicle orientation correction system according to any one of claims 1 to 3, wherein the orientation of the vehicle is corrected based on the following.
前記方位補正手段は、前記車両状態判定手段により前記車両が回転の状態であると判定された場合に、前記角度変化算出手段により算出された車両の角度変化に基づいて、前記車両の方位を補正することを特徴とする請求項1乃至4のいずれかに記載の車両方位補正システム。 Of the two second range images having different shooting timings obtained by shooting by the shooting means, a first region in one second range image is selected, and the other second range image is selected. A second region including an image having a correlation with an image included in the first region in the image in the one second range within a third threshold is detected, and the one second range is detected. Angle change calculation means for calculating the angle change of the vehicle based on the difference between the position of the first region in the image of the second region and the position of the second region in the image of the other second range. And
The azimuth correction unit corrects the azimuth of the vehicle based on the change in the angle of the vehicle calculated by the angle change calculation unit when the vehicle state determination unit determines that the vehicle is in a rotating state. The vehicle orientation correction system according to any one of claims 1 to 4, wherein
前記方位補正手段は、前記車両状態判定手段により前記車両が回転及び走行のいずれかの状態であると判定された場合に、前記角度変化補正手段による補正後の前記車両の角度変化に基づいて、前記車両の方位を補正することを特徴とする請求項5又は6に記載の車両方位補正システム。 The vehicle detected by the angle change detecting means using a correction value determined according to the angle change of the vehicle detected by the angle change detecting means and the angle change of the vehicle calculated by the angle change calculating means. An angle change correcting means for correcting the angle change of
The azimuth correcting means is based on the change in the angle of the vehicle after the correction by the angle change correcting means when the vehicle state determining means determines that the vehicle is in a state of either rotation or traveling. The vehicle orientation correction system according to claim 5 or 6, wherein the orientation of the vehicle is corrected.
前記角度変化検出手段により検出された車両の角度変化と、前記角度変化算出手段により算出された車両の角度変化とに応じて定められる補正値を用いて、前記加速度検出手段により検出された車両の加速度を補正する加速度補正手段とを有することを特徴とする請求項5乃至7のいずれかに記載の車両方位補正システム。 Acceleration detecting means for detecting acceleration of the vehicle;
The correction value determined in accordance with the change in the angle of the vehicle detected by the angle change detection means and the change in the angle of the vehicle calculated by the angle change calculation means is used to detect the vehicle detected by the acceleration detection means. The vehicle orientation correction system according to any one of claims 5 to 7, further comprising acceleration correction means for correcting the acceleration.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006245704A JP4702802B2 (en) | 2006-09-11 | 2006-09-11 | Vehicle orientation correction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006245704A JP4702802B2 (en) | 2006-09-11 | 2006-09-11 | Vehicle orientation correction system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008064716A true JP2008064716A (en) | 2008-03-21 |
JP4702802B2 JP4702802B2 (en) | 2011-06-15 |
Family
ID=39287547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006245704A Expired - Fee Related JP4702802B2 (en) | 2006-09-11 | 2006-09-11 | Vehicle orientation correction system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4702802B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013531223A (en) * | 2010-05-07 | 2013-08-01 | クアルコム,インコーポレイテッド | Azimuth sensor calibration |
JP2015182729A (en) * | 2014-03-26 | 2015-10-22 | 株式会社デンソー | Seating detection device for vehicle |
WO2020032189A1 (en) * | 2018-08-09 | 2020-02-13 | パナソニックIpマネジメント株式会社 | Display system |
CN112379678A (en) * | 2020-12-18 | 2021-02-19 | 深圳市瑞芬科技有限公司 | Automatic driving agricultural machine based on double-gyroscope control |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1151650A (en) * | 1997-08-04 | 1999-02-26 | Fuji Heavy Ind Ltd | Three-dimensional self-position recognizing device for mobile body |
JP2002188931A (en) * | 2000-09-28 | 2002-07-05 | Denso Corp | On-vehicle processor |
-
2006
- 2006-09-11 JP JP2006245704A patent/JP4702802B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1151650A (en) * | 1997-08-04 | 1999-02-26 | Fuji Heavy Ind Ltd | Three-dimensional self-position recognizing device for mobile body |
JP2002188931A (en) * | 2000-09-28 | 2002-07-05 | Denso Corp | On-vehicle processor |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013531223A (en) * | 2010-05-07 | 2013-08-01 | クアルコム,インコーポレイテッド | Azimuth sensor calibration |
JP2015182729A (en) * | 2014-03-26 | 2015-10-22 | 株式会社デンソー | Seating detection device for vehicle |
WO2020032189A1 (en) * | 2018-08-09 | 2020-02-13 | パナソニックIpマネジメント株式会社 | Display system |
CN112379678A (en) * | 2020-12-18 | 2021-02-19 | 深圳市瑞芬科技有限公司 | Automatic driving agricultural machine based on double-gyroscope control |
Also Published As
Publication number | Publication date |
---|---|
JP4702802B2 (en) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (en) | Approaching object detection system | |
WO2010146695A1 (en) | Image processing device and image processing method | |
JP2002074339A (en) | On-vehicle image pickup unit | |
JP5950196B2 (en) | Imaging apparatus, and image analysis apparatus and moving apparatus using the same | |
JP2009288867A (en) | Lane marking detection device and lane marking detection method | |
JP2016030554A (en) | In-vehicle camera mounting attitude detection method and in-vehicle camera mounting attitude detection apparatus | |
JP6032034B2 (en) | Object detection device | |
JP2019191806A (en) | Abnormality detection device and abnormality detection method | |
JP2006339960A (en) | Device and method for object detection | |
JP6337504B2 (en) | Image processing apparatus, moving body, robot, device control method and program | |
JP4702802B2 (en) | Vehicle orientation correction system | |
JP6970568B2 (en) | Vehicle peripheral monitoring device and peripheral monitoring method | |
RU2700646C2 (en) | Traffic light detection device and traffic light detection method | |
JP2014106739A (en) | In-vehicle image processing device | |
US9827906B2 (en) | Image processing apparatus | |
JP4614826B2 (en) | Road marking line detection device | |
JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
JP5166111B2 (en) | Vehicle periphery monitoring device | |
JP2020166758A (en) | Image processing device and image processing method | |
JP5978866B2 (en) | Image capturing apparatus and image processing method for image capturing apparatus | |
JP2007317128A (en) | Device and method for detecting moving distance | |
JP2008042759A (en) | Image processing apparatus | |
JP2018097776A (en) | Obstacle detection device and obstacle detection method | |
JP5973843B2 (en) | Outside environment recognition device and outside environment recognition method | |
JP2012178639A (en) | Image processing device, parking control system, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4702802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |