JP2009264759A - Offset correction system and offset correction method - Google Patents
Offset correction system and offset correction method Download PDFInfo
- Publication number
- JP2009264759A JP2009264759A JP2008110978A JP2008110978A JP2009264759A JP 2009264759 A JP2009264759 A JP 2009264759A JP 2008110978 A JP2008110978 A JP 2008110978A JP 2008110978 A JP2008110978 A JP 2008110978A JP 2009264759 A JP2009264759 A JP 2009264759A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- similarity
- subject image
- unit
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Gyroscopes (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、オフセット補正装置およびオフセット補正方法に関し、例えば、車両に搭載される角速度センサのオフセット値を補正する技術に関する。 The present invention relates to an offset correction apparatus and an offset correction method, for example, a technique for correcting an offset value of an angular velocity sensor mounted on a vehicle.
一般に、車載用のナビゲーション装置では、自立航法センサやＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などを用いて車両の現在位置を検出し、その近傍の地図データを記録媒体から読み出して画面上に表示する。そして、画面上の所定箇所に自車位置を示す自車位置マークを重ね合わせて表示することにより、車両が現在どこを走行しているのかを一目で分かるようにしている。 In general, an in-vehicle navigation device detects the current position of a vehicle using a self-contained navigation sensor, a GPS (Global Positioning System) receiver, or the like, reads out map data in the vicinity thereof from a recording medium, and displays it on a screen. Then, the vehicle position mark indicating the vehicle position is superimposed and displayed at a predetermined location on the screen, so that it can be seen at a glance where the vehicle is currently traveling.
自立航法センサは、所定走行距離毎に１個のパルスを出力して車両の移動距離を検出する車速センサ（距離センサ）と、車両の回転角度（移動方位）を検出する振動ジャイロ等の角速度センサとを含んでいる。自立航法センサは、これらの車速センサおよび角速度センサによって車両の相対位置および相対方位を検出するようになっている。 The self-contained navigation sensor includes a vehicle speed sensor (distance sensor) that outputs a single pulse for each predetermined travel distance to detect the travel distance of the vehicle, and an angular velocity sensor such as a vibration gyro that detects the rotation angle (movement direction) of the vehicle. Including. The self-contained navigation sensor detects the relative position and relative direction of the vehicle by using these vehicle speed sensor and angular velocity sensor.
ここで、角速度センサは、車両の走行中および停止中を問わず、周辺温度の影響を受けて幾らかの出力（オフセット）が発生する。このオフセット出力は経時的に累積するという性質を有するため、角速度センサは、実際の角速度からずれた角速度を検出してしまうことになる。したがって、角速度センサの正確なオフセット値を常に求め、角速度センサの出力値を補正する必要がある。 Here, the angular velocity sensor generates some output (offset) under the influence of the ambient temperature regardless of whether the vehicle is running or stopped. Since this offset output has the property of accumulating with time, the angular velocity sensor detects an angular velocity that deviates from the actual angular velocity. Therefore, it is necessary to always obtain an accurate offset value of the angular velocity sensor and correct the output value of the angular velocity sensor.
そこで、一般的には、角速度センサは、車両が停止している状態（角速度センサの出力が理論上ゼロである状態）での出力値をオフセット値（基準電圧値）として算出し、角速度センサからの出力値とオフセット値との差分に基づき所定の演算を行うことによって車両の角速度を求めている。 Therefore, in general, the angular velocity sensor calculates an output value in a state where the vehicle is stopped (a state where the output of the angular velocity sensor is theoretically zero) as an offset value (reference voltage value), and from the angular velocity sensor The angular velocity of the vehicle is obtained by performing a predetermined calculation based on the difference between the output value and the offset value.
また、車両の走行中に角速度センサのオフセット値を補正できるようにした技術が提案されている（例えば、特許文献１を参照）。具体的には、ＧＰＳ受信機により絶対方位として得られるＧＰＳ方位と、角速度センサにより得られる角速度から計算されるジャイロ方位とを比較し、それらが一致するように角速度センサのオフセット値を求めている。
さらに、ＧＰＳ受信機に代えて地図データを利用して、車両の走行中に角速度センサのオフセット値を補正できるようにした技術も提案されている（例えば、特許文献２を参照）。具体的には、道路データを参照して車両が走行中である可能性が高いと推測された道路が所定の条件を満たした場合、車両が直進走行している状態（すなわち、角速度センサの出力が理論上ゼロである状態）と判断することにより、そのときの角速度センサの出力値をオフセット値として算出している。
しかしながら、特許文献１に記載の技術では、ＧＰＳ電波を受信できない場合や、測位環境が悪くマルチパスの影響がある場合などには、角速度センサのオフセット値を補正できないという問題があった。また、特許文献２に記載の技術では、地図データが存在しない場所（例えば、駐車場）を走行している場合などには、角速度センサのオフセット値を補正できないという問題があった。さらに、特許文献２の技術では、地図データが間違っている場合、地図データが合っていても車線変更や蛇行運転した場合には、角速度センサのオフセット値を誤って補正してしまうという問題があった。 However, the technique described in Patent Document 1 has a problem in that the offset value of the angular velocity sensor cannot be corrected when GPS radio waves cannot be received or when the positioning environment is poor and there is a multipath effect. Further, the technique described in Patent Document 2 has a problem that the offset value of the angular velocity sensor cannot be corrected when the vehicle is traveling in a place where no map data exists (for example, a parking lot). Furthermore, the technique of Patent Document 2 has a problem that if the map data is incorrect, the offset value of the angular velocity sensor is erroneously corrected when the lane change or meandering operation is performed even if the map data is correct. It was.
以上のように、オフセット値を補正できない時間が長時間に及ぶと、周囲温度の変化によりオフセット値の誤差が大きくなってしまう。また、オフセット値を誤って補正した場合も、オフセット値の誤差が大きくなる。角速度センサのオフセット値の誤差が大きくなると、自立航法の誤差が累積し、自立航法により計測される自車位置が本来の正しい自車位置から大きくずれてしまうことになる。 As described above, if the time during which the offset value cannot be corrected is extended for a long time, an error in the offset value increases due to a change in the ambient temperature. Further, even when the offset value is erroneously corrected, the error of the offset value becomes large. When the error of the offset value of the angular velocity sensor increases, the error of the self-contained navigation accumulates, and the own vehicle position measured by the independent navigation greatly deviates from the original correct own vehicle position.
本発明は、このような問題を解決するために成されたものであり、ＧＰＳや地図データに頼らなくても、車両の走行中に角速度センサのオフセット値を正しく補正することができるようにすることを目的とする。 The present invention has been made to solve such a problem, and makes it possible to correctly correct the offset value of the angular velocity sensor while the vehicle is running without relying on GPS or map data. For the purpose.
上記した課題を解決するために、本発明では、車載カメラにより複数回にわたって撮影される複数の車両周囲画像のそれぞれについて、直線状の被写体画像部分が含まれているか否かを判定し、含まれている場合には、当該複数の車両周囲画像に含まれている複数の直線状の被写体画像部分の類似度を算出する。そして、当該算出した類似度が所定値以上である場合、車両が直進走行していると判定し、角速度センサの出力を用いて当該角速度センサのオフセット値を補正するようにしている。 In order to solve the above-described problem, the present invention determines whether or not a linear subject image portion is included for each of a plurality of vehicle surrounding images captured a plurality of times by an in-vehicle camera. If so, the similarity of a plurality of linear subject image portions included in the plurality of vehicle surrounding images is calculated. If the calculated similarity is equal to or greater than a predetermined value, it is determined that the vehicle is traveling straight, and the offset value of the angular velocity sensor is corrected using the output of the angular velocity sensor.
上記のように構成した本発明によれば、複数の車両周囲画像に含まれる複数の直線状の被写体画像部分の類似度が算出され、当該類似度に基づいて車両が直進走行している（すなわち、角速度センサの出力が理論上ゼロである状態）か否かが判定されるため、ＧＰＳや地図データに頼らなくても車両が直進走行していることを検出することができる。これにより、例えばＧＰＳ測位環境が悪い場合や、地図データが存在しない場所を走行している場合などでも、車両の走行中に角速度センサのオフセット値を補正することができる。また、地図データが間違っている場合や、地図データが合っていても車線変更や蛇行運転した場合にも、角速度センサのオフセット値を誤って補正してしまうことをなくすことができる。よって、自立航法の測位精度ひいては自車位置の測位精度を向上させることができる。 According to the present invention configured as described above, the similarity of a plurality of linear subject image portions included in a plurality of vehicle surrounding images is calculated, and the vehicle is traveling straight ahead based on the similarity (that is, Therefore, it is possible to detect that the vehicle is traveling straight ahead without relying on GPS or map data. Thereby, for example, even when the GPS positioning environment is bad or when traveling in a place where no map data exists, the offset value of the angular velocity sensor can be corrected while the vehicle is traveling. Further, even when the map data is incorrect, or when the lane change or meandering operation is performed even if the map data is correct, the offset value of the angular velocity sensor can be prevented from being erroneously corrected. Therefore, it is possible to improve the positioning accuracy of the self-contained navigation and the positioning accuracy of the own vehicle position.
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態によるオフセット補正装置１００を備えた車載システム１２０の構成例を示すブロック図である。図１に示すように、車載システム１２０は、オフセット補正装置１００の他に、撮像部１４０および角速度センサ１６０を備えて構成されている。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, a first embodiment of the invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of an in-vehicle system 120 including an offset correction apparatus 100 according to the first embodiment. As shown in FIG. 1, the in-vehicle system 120 includes an imaging unit 140 and an angular velocity sensor 160 in addition to the offset correction device 100.
撮像部１４０は、車両の左に設置された１つの車載カメラ（魚眼レンズを用いたカメラ）からなる。具体的には、撮像部１４０は、車両の左側方を撮影するための左サイドカメラを備えて構成されている。なお、撮像部１４０の車載カメラで撮影したい範囲は、車両周辺の路面上の白線が写る範囲である。そのため、車載カメラは、その撮影範囲に路面上の白線が含まれるような姿勢で車両に設置される。撮像部１４０は、車両の左周辺を車両周囲画像（左サイドビュー画像）として所定のタイムインターバル（複数枚の画像を撮影する時間間隔）で撮影し、当該車両周囲画像を示す車両周囲画像データをオフセット補正装置１００に出力する。 The imaging unit 140 includes one in-vehicle camera (a camera using a fisheye lens) installed on the left side of the vehicle. Specifically, the imaging unit 140 includes a left side camera for photographing the left side of the vehicle. In addition, the range which wants to image | photograph with the vehicle-mounted camera of the imaging part 140 is a range where the white line on the road surface around a vehicle is reflected. Therefore, the in-vehicle camera is installed in the vehicle in such a posture that the white line on the road surface is included in the shooting range. The imaging unit 140 captures the left periphery of the vehicle as a vehicle surrounding image (left side view image) at a predetermined time interval (time interval for capturing a plurality of images), and generates vehicle surrounding image data indicating the vehicle surrounding image. Output to the offset correction apparatus 100.
角速度センサ１６０は、車両の走行に伴って変化する角速度を検出する。また、角速度センサ１６０は、検出した角速度を積分して一定時間ごとに車両の回転角度（移動方位）を出力する。 The angular velocity sensor 160 detects an angular velocity that changes as the vehicle travels. Further, the angular velocity sensor 160 integrates the detected angular velocities and outputs the rotation angle (movement direction) of the vehicle at regular intervals.
次に、オフセット補正装置１００の内部構成について説明する。オフセット補正装置１００は、撮像部１４０により撮影された車両周囲画像を用いて、車両に搭載される角速度センサ１６０のオフセット値を補正するものである。また、オフセット補正装置１００は、画像入力部２００、パターン記憶部２２０、直線判定部２４０、記憶制御部２６０、画像記憶部２８０、直進判定部３００、オフセット測定部３２０、補正部３４０およびオフセット情報記憶部３６０を備えて構成されている。 Next, the internal configuration of the offset correction apparatus 100 will be described. The offset correction apparatus 100 corrects the offset value of the angular velocity sensor 160 mounted on the vehicle using the vehicle surrounding image captured by the imaging unit 140. The offset correction apparatus 100 includes an image input unit 200, a pattern storage unit 220, a straight line determination unit 240, a storage control unit 260, an image storage unit 280, a straight travel determination unit 300, an offset measurement unit 320, a correction unit 340, and an offset information storage. A portion 360 is provided.
画像入力部２００は、撮像部１４０により所定のタイムインターバル毎に撮影された車両周囲画像データを逐次入力する。また、画像入力部２００は、入力した車両周囲画像データを直線判定部２４０に逐次出力する。また、画像入力部２００は、入力した車両周囲画像データを直進判定部３００に必要に応じて出力する。 The image input unit 200 sequentially inputs vehicle surrounding image data captured by the imaging unit 140 at predetermined time intervals. In addition, the image input unit 200 sequentially outputs the input vehicle surrounding image data to the straight line determination unit 240. Further, the image input unit 200 outputs the input vehicle surrounding image data to the straight traveling determination unit 300 as necessary.
パターン記憶部２２０は、直線状の被写体（本実施形態では、路面上の白線）を表した複数のパターンデータを記憶する記憶部である。具体的には、パターン記憶部２２０は、撮像部１４０を備えた車両と路面上の白線との所定距離毎（例えば、５０ｃｍ毎）に、車両が路面上の白線に対して平行に走行している場合に撮像部１４０が車両周辺を撮影したときに車両周囲画像に写るであろう白線を表したパターンデータ（撮像部１４０を構成するカメラの歪特性に考慮して生成されたデータ）を記憶している。 The pattern storage unit 220 is a storage unit that stores a plurality of pattern data representing a straight subject (in this embodiment, a white line on a road surface). Specifically, the pattern storage unit 220 runs parallel to the white line on the road surface at every predetermined distance (for example, every 50 cm) between the vehicle including the imaging unit 140 and the white line on the road surface. Pattern data (data generated in consideration of the distortion characteristics of the camera constituting the imaging unit 140) representing a white line that will appear in the vehicle surrounding image when the imaging unit 140 captures the vehicle periphery is doing.
直線判定部２４０は、画像入力部２００より逐次出力された車両周囲画像データのそれぞれについて、直線状の被写体画像部分が存在するか否かを画像認識処理により判定する。具体的には、直線判定部２４０は、第１類似度算出部４００および第１判定部４２０を備えて構成されている。 The straight line determination unit 240 determines whether or not a linear subject image portion exists for each of the vehicle surrounding image data sequentially output from the image input unit 200 by image recognition processing. Specifically, the straight line determination unit 240 includes a first similarity calculation unit 400 and a first determination unit 420.
第１類似度算出部４００は、画像入力部２００より出力された車両周囲画像データを入力する。また、第１類似度算出部４００は、入力した車両周囲画像データを構成する各画素の輝度値に基づいて、隣接する画素間の輝度差が所定値より大きくなるエッジを抽出する。ここで、車両周囲画像内の複数箇所にエッジが存在すれば、第１類似度算出部４００はそれら複数のエッジを抽出する。これらのエッジは、車両周囲画像内に写っている何らかの被写体画像部分に相当する。 The first similarity calculation unit 400 receives the vehicle surrounding image data output from the image input unit 200. Further, the first similarity calculation unit 400 extracts an edge where the luminance difference between adjacent pixels is larger than a predetermined value based on the luminance value of each pixel constituting the input vehicle surrounding image data. Here, if there are edges at a plurality of locations in the vehicle surrounding image, the first similarity calculation unit 400 extracts the plurality of edges. These edges correspond to some subject image portions that appear in the vehicle surrounding image.
また、第１類似度算出部４００は、抽出した各エッジの被写体画像部分とパターン記憶部２２０に記憶されている各種パターンデータとの類似度をそれぞれ算出する。具体的には、第１類似度算出部４００は、エッジとして抽出した被写体画像部分の形状とパターンデータの形状との一致度合いからそれらの類似度を算出する。 Further, the first similarity calculation unit 400 calculates the similarity between the extracted subject image portion of each edge and various pattern data stored in the pattern storage unit 220. Specifically, the first similarity calculation unit 400 calculates the degree of similarity from the degree of coincidence between the shape of the subject image portion extracted as an edge and the shape of the pattern data.
第１判定部４２０は、第１類似度算出部４００により算出された類似度が所定値以上となった被写体画像部分とパターンデータとの組み合わせが存在するか否かを判定し、存在すると判定した場合、撮像部１４０により撮影された車両周囲画像の中に直線状の被写体画像部分が存在すると判定する。ここで言う直線状の被写体画像部分とは、パターンデータと略一致する白線の画像部分である。また、第１判定部４２０は、第１類似度算出部４００により各エッジの被写体画像部分について算出された類似度が何れも所定値未満の場合、撮像部１４０により撮影された車両周囲画像の中に直線状の被写体画像部分が存在しないと判定する。 The first determination unit 420 determines whether or not there is a combination of the subject image portion and the pattern data in which the similarity calculated by the first similarity calculation unit 400 is equal to or greater than a predetermined value, and determines that it exists. In this case, it is determined that a linear subject image portion exists in the vehicle surrounding image captured by the imaging unit 140. The linear subject image portion referred to here is a white line image portion that substantially matches the pattern data. The first determination unit 420 also determines whether the first similarity calculation unit 400 calculates the degree of similarity between the vehicle image captured by the imaging unit 140 when the similarity calculated for the subject image portion of each edge is less than a predetermined value. It is determined that there is no straight subject image portion.
第１判定部４２０は、直線状の被写体画像部分（白線画像部分）が存在すると判定した場合、直線状の被写体画像部分が存在する旨を示す直線存在通知情報を記憶制御部２６０および直進判定部３００に出力する。この直線存在通知情報を受けて、記憶制御部２６０は、当該直線状の被写体画像部分を第１類似度算出部４００から取得し、基準画像データとして画像記憶部２８０に記憶させる。 When the first determination unit 420 determines that there is a straight subject image portion (white line image portion), the storage control unit 260 and the straight-ahead determination unit indicate linear presence notification information indicating that a straight subject image portion exists. Output to 300. Upon receiving this straight line presence notification information, the storage control unit 260 acquires the straight subject image portion from the first similarity calculation unit 400 and stores it in the image storage unit 280 as reference image data.
直進判定部３００は、第１判定部４２０から出力された直線存在通知情報を受けて、車両が直進走行しているか否かについて判定する。具体的には、直進判定部３００は、第２類似度算出部４４０および第２判定部４６０を備えて構成される。 The straight traveling determination unit 300 receives the straight line presence notification information output from the first determination unit 420 and determines whether or not the vehicle is traveling straight ahead. Specifically, the straight travel determination unit 300 includes a second similarity calculation unit 440 and a second determination unit 460.
第２類似度判定部４４０は、第１判定部４２０から直線存在通知情報を受けた後、画像入力部２００から車両周囲画像データを逐次入力する。ここで入力する車両周囲画像データは、直線判定部２４０が直線状の被写体画像部分の存在を確認した車両周囲画像の撮影タイミングよりも後のタイミングで撮像部１４０により撮影された画像データである。第２類似度算出部４４０は、入力した車両周囲画像データに対して、第１類似度算出部４００と同様のエッジ抽出処理を行う。 After receiving the straight line presence notification information from the first determination unit 420, the second similarity determination unit 440 sequentially inputs vehicle surrounding image data from the image input unit 200. The vehicle surrounding image data input here is image data photographed by the imaging unit 140 at a timing later than the photographing timing of the vehicle surrounding image in which the straight line determination unit 240 confirms the presence of the linear subject image portion. The second similarity calculation unit 440 performs the same edge extraction process as the first similarity calculation unit 400 on the input vehicle surrounding image data.
また、第２類似度算出部４４０は、抽出した各エッジの被写体画像部分と画像記憶部２８０に記憶されている基準画像データ（直線状の被写体画像部分）との類似度を算出する。具体的には、第２類似度算出部４４０は、エッジとして抽出した被写体画像部分の形状と基準画像データの形状との一致度合いから類似度を算出する。 Further, the second similarity calculation unit 440 calculates the similarity between the extracted subject image portion of each edge and the reference image data (linear subject image portion) stored in the image storage unit 280. Specifically, the second similarity calculation unit 440 calculates the similarity from the degree of coincidence between the shape of the subject image portion extracted as an edge and the shape of the reference image data.
第２判定部４６０は、第２類似度算出部４４０により算出された類似度が所定値以上となった被写体画像部分と基準画像データとの組み合わせが存在するか否かを判定し、存在すると判定した場合、車両が直進走行していると判定する。すなわち、前のタイミングで撮影した車両周囲画像から抽出して画像記憶部２８０に記憶した直線状の被写体画像部分と略一致する被写体画像部分が今回撮影した車両周囲画像にも含まれているということは、直線状の白線と車両との位置関係がほぼ変わっていないということなので、車両が直進走行していると判定できる。この場合、第２判定部４６０は、車両が直進走行している旨を示す直進判定通知情報をオフセット測定部３２０に出力する。一方、第２判定部４６０は、第２類似度算出部４４０により各エッジの被写体画像部分について算出された類似度が何れも所定値未満の場合、車両が直進走行していないと判定する。 The second determination unit 460 determines whether or not there is a combination of the subject image portion and the reference image data in which the similarity calculated by the second similarity calculation unit 440 is equal to or greater than a predetermined value, and determines that it exists If so, it is determined that the vehicle is traveling straight ahead. That is, the subject image portion that is substantially the same as the linear subject image portion extracted from the vehicle surrounding image taken at the previous timing and stored in the image storage unit 280 is also included in the vehicle surrounding image taken this time. Means that the positional relationship between the straight white line and the vehicle is not substantially changed, so that it can be determined that the vehicle is traveling straight. In this case, the second determination unit 460 outputs straight travel determination notification information indicating that the vehicle is traveling straight ahead to the offset measurement unit 320. On the other hand, the second determination unit 460 determines that the vehicle is not traveling straight when the similarity calculated for the subject image portion of each edge by the second similarity calculation unit 440 is less than a predetermined value.
なお、直線状の被写体画像部分（白線画像部分）を画像記憶部２８０に記憶するときに車両周囲画像内における白線画像部分の位置も記憶しておけば、第２類似度算出部４４０は、車両周囲画像の全領域ではなく、記憶しておいた位置を含む部分領域だけを対象としてエッジ抽出することができる。つまり、部分領域だけを対象として抽出したエッジと、画像記憶部２８０に記憶しておいた直線状の被写体画像部分との類似度だけ判定すれば良くなる。そして、第２判定部４６０は、第２類似度算出部４４０により算出された類似度が所定値以上となったか否かを判定し、所定値以上であると判定した場合、車両が直進走行していると判定する。 If the position of the white line image portion in the vehicle surrounding image is also stored when the linear subject image portion (white line image portion) is stored in the image storage unit 280, the second similarity calculation unit 440 Edge extraction can be performed only on a partial area including a stored position, not on the entire area of the surrounding image. That is, it is only necessary to determine the degree of similarity between the edge extracted only for the partial region and the linear subject image portion stored in the image storage unit 280. The second determination unit 460 determines whether or not the similarity calculated by the second similarity calculation unit 440 is equal to or greater than a predetermined value. If it is determined that the similarity is equal to or greater than the predetermined value, the vehicle travels straight ahead. It is determined that
オフセット測定部３２０は、第２判定部４６０から直進判定通知情報を入力した場合、角速度センサ１６０の出力値をオフセット値として測定する。また、オフセット測定部３２０は、測定した角速度センサ１６０のオフセット値をオフセット情報として補正部３４０に出力する。 When the straight measurement determination notification information is input from the second determination unit 460, the offset measurement unit 320 measures the output value of the angular velocity sensor 160 as an offset value. Further, the offset measurement unit 320 outputs the measured offset value of the angular velocity sensor 160 to the correction unit 340 as offset information.
補正部３４０は、オフセット測定部３２０により出力されたオフセット情報をそれまでオフセット情報記憶部３６０に記憶されていたオフセット情報に代えて記憶させる。なお、角速度センサ１６０は、角速度センサ１６０からの出力値とオフセット情報記憶部３６０に記憶されているオフセット情報により示されるオフセット値との差分に基づき所定の演算を行うことによって車両の角速度を求めている。 The correction unit 340 stores the offset information output from the offset measurement unit 320 in place of the offset information stored in the offset information storage unit 360 until then. The angular velocity sensor 160 obtains the angular velocity of the vehicle by performing a predetermined calculation based on the difference between the output value from the angular velocity sensor 160 and the offset value indicated by the offset information stored in the offset information storage unit 360. Yes.
次に、第１の実施形態によるオフセット補正装置１００が、車両に搭載される角速度センサ１６０のオフセット値を補正する様子を説明する。図２は、第１の実施形態によるオフセット補正装置１００が角速度センサ１６０のオフセット値を補正する様子を説明する図である。 Next, how the offset correction apparatus 100 according to the first embodiment corrects the offset value of the angular velocity sensor 160 mounted on the vehicle will be described. FIG. 2 is a diagram for explaining how the offset correction apparatus 100 according to the first embodiment corrects the offset value of the angular velocity sensor 160.
図２（ａ）に示すように、オフセット補正装置１００を備えた車両８００が道路５００を道路進行方向５２０に沿って走行している。このとき、車両８００が備える撮像部１４０（図２（ａ）では、左サイドカメラ）は、道路５００上の白線５６０を含む領域を車両周囲画像（左サイドビュー画像）として撮影し、当該車両周囲画像を示す車両周囲画像データをオフセット補正装置１００に出力する。オフセット補正装置１００の画像入力部２００は、撮像部１４０より出力された車両周囲画像データを入力する。 As shown in FIG. 2A, a vehicle 800 equipped with the offset correction device 100 is traveling on a road 500 along a road traveling direction 520. At this time, the imaging unit 140 (the left side camera in FIG. 2A) included in the vehicle 800 captures an area including the white line 560 on the road 500 as a vehicle surrounding image (left side view image), and The vehicle surrounding image data indicating the image is output to the offset correction apparatus 100. The image input unit 200 of the offset correction apparatus 100 inputs the vehicle surrounding image data output from the imaging unit 140.
図２（ｂ）は、画像入力部２００により入力された車両周囲画像データ５８０を示す図である。図２（ｂ）に示すように車両周囲画像データ５８０に写る白線５６０は、たる型に歪曲し、特にその中心部は歪みが著しい。この歪みは、撮像部１４０（左サイドカメラ）に設けられた魚眼レンズ等、撮像系の機構に起因して生ずる。 FIG. 2B is a diagram illustrating the vehicle surrounding image data 580 input by the image input unit 200. As shown in FIG. 2B, the white line 560 that appears in the vehicle surrounding image data 580 is distorted into a barrel shape, and particularly the central portion thereof is significantly distorted. This distortion is caused by an imaging system mechanism such as a fish-eye lens provided in the imaging unit 140 (left side camera).
次に、第１類似度算出部４００は、画像入力部２００により入力された車両周囲画像データ５８０に対して上述した画像認識処理（エッジ抽出処理）を行い、白線５６０を含む各エッジ（被写体画像部分）を検出する。なお、車両周囲画像データ５８０には白線５６０のエッジのみを図示しているが、これ以外の被写体画像部分として他のエッジが存在する場合もある。なお、図２（ｃ）は、パターン記憶部２２０に記憶されている複数のパターンデータのうち、第１類似度算出部４００により抽出された白線５６０のエッジ形状に近いパターンデータ６００を図示している。 Next, the first similarity calculation unit 400 performs the above-described image recognition processing (edge extraction processing) on the vehicle surrounding image data 580 input by the image input unit 200, and each edge (subject image) including the white line 560. Part). In addition, although only the edge of the white line 560 is illustrated in the vehicle surrounding image data 580, there may be other edges as other subject image portions. 2C illustrates pattern data 600 close to the edge shape of the white line 560 extracted by the first similarity calculation unit 400 among the plurality of pattern data stored in the pattern storage unit 220. Yes.
次に、第１類似度算出部４００は、図２（ｃ）に示すように、検出した各エッジ（被写体画像部分）の形状とパターン記憶部２２０に記憶されているパターンデータ６００の形状との一致度合いからそれらの類似度を算出する。 Next, as shown in FIG. 2C, the first similarity calculation unit 400 calculates the shape of each detected edge (subject image portion) and the shape of the pattern data 600 stored in the pattern storage unit 220. The degree of similarity is calculated from the degree of coincidence.
次に、第１判定部４２０は、第１類似度算出部４００により各被写体画像部分について算出された類似度の中に所定値以上のものがあるか否かを判定する。第１判定部４２０は、所定値以上のものがあると判定した場合、撮像部１４０により撮影された車両周囲画像５８０の中に直線状の被写体画像部分が存在すると判定する。図２の説明では、第１判定部４２０は、撮像部１４０により撮影された車両周囲画像５８０について直線状の被写体画像部分として白線５６０が存在すると判定する。このとき、第１判定部４２０は、直線存在通知情報を記憶制御部２６０および直進判定部３００に出力する。 Next, the first determination unit 420 determines whether or not the similarity calculated for each subject image portion by the first similarity calculation unit 400 is greater than or equal to a predetermined value. If the first determination unit 420 determines that there is a predetermined value or more, the first determination unit 420 determines that a linear subject image portion exists in the vehicle surrounding image 580 taken by the imaging unit 140. In the description of FIG. 2, the first determination unit 420 determines that the white line 560 exists as a linear subject image portion in the vehicle surrounding image 580 taken by the imaging unit 140. At this time, the first determination unit 420 outputs straight line presence notification information to the storage control unit 260 and the straight travel determination unit 300.
次に、記憶制御部２６０は、第１判定部４２０から出力された直線存在通知情報を受けて、直線状の被写体画像部分（白線５６０）を第１類似度算出部４００から取得し、基準画像データとして画像記憶部２８０に記憶させる。また、直進判定部３００は、第１判定部４２０から出力された直線存在通知情報を受けて、車両８００が直進走行しているか否かについての判定処理を開始する。 Next, the storage control unit 260 receives the straight line presence notification information output from the first determination unit 420, acquires a straight subject image portion (white line 560) from the first similarity calculation unit 400, and stores the reference image The data is stored in the image storage unit 280 as data. Further, the straight traveling determination unit 300 receives the straight line presence notification information output from the first determination unit 420 and starts a determination process as to whether or not the vehicle 800 is traveling straight ahead.
図２（ｄ）は、車両８００が、図２（ａ）における車両８００の位置から撮影のタイムインターバル後に所定距離（例えば、１０[ｍ]）だけ直進走行した様子を示している。このとき、車両８００が備える撮像部１４０（左サイドカメラ）は、道路５００上の白線６２０を含む領域を車両周囲画像（左サイドビュー画像）として撮影し、当該車両周囲画像を示す車両周囲画像データ６４０をオフセット補正装置１００に出力する。オフセット補正装置１００の画像入力部２００は、撮像部１４０より出力された車両周囲画像データ６４０を入力する。 FIG. 2D shows a state in which the vehicle 800 travels straight from the position of the vehicle 800 in FIG. 2A by a predetermined distance (for example, 10 [m]) after the shooting time interval. At this time, the imaging unit 140 (left side camera) included in the vehicle 800 captures an area including the white line 620 on the road 500 as a vehicle surrounding image (left side view image), and vehicle surrounding image data indicating the vehicle surrounding image. 640 is output to the offset correction apparatus 100. The image input unit 200 of the offset correction apparatus 100 inputs the vehicle surrounding image data 640 output from the imaging unit 140.
次に、直進判定部３００が備える第２類似度算出部４４０は、画像入力部２００により入力された車両周囲画像データ６４０に対して上述した画像認識処理（エッジ抽出処理）を行い、白線６２０を含む各エッジ（被写体画像部分）を検出する。次に、第２類似度算出部４４０は、検出した各エッジ（被写体画像部分）の形状と画像記憶部２８０に記憶されている基準画像データの形状との一致度合いからそれらの類似度を算出する。 Next, the second similarity calculation unit 440 included in the straight traveling determination unit 300 performs the above-described image recognition processing (edge extraction processing) on the vehicle surrounding image data 640 input by the image input unit 200, and generates a white line 620. Each edge (subject image portion) is detected. Next, the second similarity calculation unit 440 calculates the similarity based on the degree of coincidence between the detected shape of each edge (subject image portion) and the shape of the reference image data stored in the image storage unit 280. .
次に、第２判定部４６０は、第２類似度算出部４４０により各エッジの被写体画像部分について算出された類似度の中に所定値以上のものがあるか否かを判定する。あると判定した場合、車両８００が直進走行していると判定する。図２（ｄ）の説明では、車両周囲画像６４０における白線６２０の形状が画像記憶部２８０に記憶した基準画像データの形状、つまり図２（ｂ）の車両周囲画像５８０における白線５６０の形状とほぼ一致するため（すなわち、第２類似度算出部４４０により算出された類似度が所定値以上であるため）、第２判定部４６０は、車両８００が直進走行していると判定する。この場合に第２判定部４６０は、直進判定通知情報をオフセット測定部３２０に出力する。 Next, the second determination unit 460 determines whether the similarity calculated for the subject image portion of each edge by the second similarity calculation unit 440 is greater than or equal to a predetermined value. If it is determined that there is, it is determined that the vehicle 800 is traveling straight ahead. In the description of FIG. 2D, the shape of the white line 620 in the vehicle surrounding image 640 is substantially the same as the shape of the reference image data stored in the image storage unit 280, that is, the shape of the white line 560 in the vehicle surrounding image 580 in FIG. In order to match (that is, because the similarity calculated by the second similarity calculation unit 440 is greater than or equal to a predetermined value), the second determination unit 460 determines that the vehicle 800 is traveling straight ahead. In this case, the second determination unit 460 outputs straight travel determination notification information to the offset measurement unit 320.
次に、オフセット測定部３２０は、第２判定部４６０から出力される直進判定通知情報を受けて、角速度センサ１６０の出力値をオフセット値として測定し、当該オフセット値を示すオフセット情報を補正部３４０に出力する。最後に、補正部３４０は、オフセット測定部３２０により出力されたオフセット情報をそれまでオフセット情報記憶部３６０に記憶されていたオフセット情報に代えて記憶させる。 Next, the offset measurement unit 320 receives the straight travel determination notification information output from the second determination unit 460, measures the output value of the angular velocity sensor 160 as an offset value, and corrects the offset information indicating the offset value as a correction unit 340. Output to. Finally, the correction unit 340 stores the offset information output by the offset measurement unit 320 in place of the offset information stored in the offset information storage unit 360 until then.
なお、図２（ｄ）の後も、直進判定部３００は、所定のタイムインターバル後に撮像部１４０により撮影された車両周囲画像データを入力して、同様の直進判定処理を行う。このような直進判定処理を、車両が直進していないと判定するまで繰り返す。この一連の直進判定処理を行っている間、直線判定部２４０は直線判定処理を一時的に中止する。これにより、直進判定部３００が直進判定処理を行っている間は、画像記憶部２８０に記憶される基準画像データは、直線状の被写体画像部分を直線判定部２４０が最初に検出したときのもの（白線５６０）に固定されている。 Even after FIG. 2D, the straight traveling determination unit 300 inputs the vehicle surrounding image data captured by the imaging unit 140 after a predetermined time interval, and performs the similar straight traveling determination process. Such straight traveling determination processing is repeated until it is determined that the vehicle is not traveling straight. While performing this series of straight-ahead determination processing, the straight line determination unit 240 temporarily stops the straight line determination processing. Thus, while the straight-ahead determination unit 300 is performing the straight-ahead determination process, the reference image data stored in the image storage unit 280 is that when the straight line determination unit 240 first detects a straight subject image portion. (White line 560).
なお、直進判定部３００が一連の直進判定処理を行っている間も、直線判定部２４０の直線判定処理を行うようにしても良い。この場合は、画像記憶部２８０に記憶される基準画像データはその都度更新される。これにより、直進判定部３００は、常に今回撮影された車両周囲画像データと前回撮影された車両周囲画像データとで類似度を判定することになる。 Note that the straight line determination unit 240 may perform the straight line determination process while the straight line determination unit 300 performs a series of straight line determination processes. In this case, the reference image data stored in the image storage unit 280 is updated each time. Thus, the straight traveling determination unit 300 always determines the similarity between the vehicle surrounding image data captured this time and the vehicle surrounding image data captured last time.
図２（ｅ）は、車両８００が、図２（ａ）における車両８００の位置から撮影のタイムインターバル後に所定距離（例えば、１０[ｍ]）だけ進む間に車線変更（または蛇行）した様子を示している。このとき、車両８００が備える撮像部１４０（左サイドカメラ）は、道路５００上の白線６２０を含む領域を車両周囲画像（左サイドビュー画像）として撮影し、当該車両周囲画像を示す車両周囲画像データ６６０をオフセット補正装置１００に出力する。オフセット補正装置１００の画像入力部２００は、撮像部１４０より出力された車両周囲画像データ６６０を入力する。 FIG. 2E shows a state in which the vehicle 800 changes lanes (or meanders) while traveling by a predetermined distance (for example, 10 [m]) after the shooting time interval from the position of the vehicle 800 in FIG. Show. At this time, the imaging unit 140 (left side camera) included in the vehicle 800 captures an area including the white line 620 on the road 500 as a vehicle surrounding image (left side view image), and vehicle surrounding image data indicating the vehicle surrounding image. 660 is output to the offset correction apparatus 100. The image input unit 200 of the offset correction apparatus 100 inputs the vehicle surrounding image data 660 output from the imaging unit 140.
次に、直進判定部３００が備える第２類似度算出部４４０は、画像入力部２００により入力された車両周囲画像データ６６０に対して上述した画像認識処理（エッジ抽出処理）を行い、白線６２０を含む各エッジ（被写体画像部分）を検出する。次に、第２類似度算出部４４０は、検出した各エッジ（被写体画像部分）の形状と画像記憶部２８０に記憶されている基準画像データの形状との一致度合いからそれらの類似度を算出する。 Next, the second similarity calculation unit 440 included in the straight traveling determination unit 300 performs the above-described image recognition processing (edge extraction processing) on the vehicle surrounding image data 660 input by the image input unit 200, and generates a white line 620. Each edge (subject image portion) is detected. Next, the second similarity calculation unit 440 calculates the similarity based on the degree of coincidence between the detected shape of each edge (subject image portion) and the shape of the reference image data stored in the image storage unit 280. .
次に、第２判定部４６０は、第２類似度算出部４４０により各エッジの被写体画像部分について算出された類似度の中に所定値以上のものがあるか否かを判定する。あると判定した場合、車両８００が直進走行していると判定する。図２（ｅ）の説明では、車両周囲画像６６０における白線６２０の形状が画像記憶部２８０に記憶した基準画像データの形状、つまり図２（ｂ）の車両周囲画像５８０における白線５６０の形状と一致しないため（すなわち、第２類似度算出部４４０により算出された類似度が所定値未満であるため）、第２判定部４６０は、車両８００が直進走行していないと判定する。この場合、オフセット補正装置１００は、車両８００に搭載される角速度センサ１６０のオフセット値を補正しない。 Next, the second determination unit 460 determines whether the similarity calculated for the subject image portion of each edge by the second similarity calculation unit 440 is greater than or equal to a predetermined value. If it is determined that there is, it is determined that the vehicle 800 is traveling straight ahead. In the description of FIG. 2E, the shape of the white line 620 in the vehicle surrounding image 660 matches the shape of the reference image data stored in the image storage unit 280, that is, the shape of the white line 560 in the vehicle surrounding image 580 of FIG. Therefore, the second determination unit 460 determines that the vehicle 800 is not traveling straight ahead (ie, the similarity calculated by the second similarity calculation unit 440 is less than a predetermined value). In this case, the offset correction apparatus 100 does not correct the offset value of the angular velocity sensor 160 mounted on the vehicle 800.
図２（ｆ）は、車両８００が、図２（ａ）における車両８００の位置から撮影のタイムインターバル後に所定距離（例えば、１０[ｍ]）だけ進む間にカーブ区間に差しかかった様子を示している。このとき、車両８００が備える撮像部１４０（左サイドカメラ）は、道路５００上の白線６２０を含む領域を車両周囲画像（左サイドビュー画像）として撮影し、当該車両周囲画像を示す車両周囲画像データ６８０をオフセット補正装置１００に出力する。オフセット補正装置１００の画像入力部２００は、撮像部１４０より出力された車両周囲画像データ６８０を入力する。 FIG. 2F shows a state in which the vehicle 800 has entered a curve section while traveling by a predetermined distance (for example, 10 [m]) after the shooting time interval from the position of the vehicle 800 in FIG. ing. At this time, the imaging unit 140 (left side camera) included in the vehicle 800 captures an area including the white line 620 on the road 500 as a vehicle surrounding image (left side view image), and vehicle surrounding image data indicating the vehicle surrounding image. 680 is output to the offset correction apparatus 100. The image input unit 200 of the offset correction apparatus 100 inputs the vehicle surrounding image data 680 output from the imaging unit 140.
次に、直進判定部３００が備える第２類似度算出部４４０は、画像入力部２００により入力された車両周囲画像データ６８０に対して上述した画像認識処理（エッジ抽出処理）を行い、白線６２０を含む各エッジ（被写体画像部分）を検出する。次に、第２類似度算出部４４０は、検出した各エッジ（被写体画像部分）の形状と画像記憶部２８０に記憶されている基準画像データの形状との一致度合いからそれらの類似度を算出する。 Next, the second similarity calculation unit 440 included in the straight traveling determination unit 300 performs the above-described image recognition processing (edge extraction processing) on the vehicle surrounding image data 680 input by the image input unit 200, and generates a white line 620. Each edge (subject image portion) is detected. Next, the second similarity calculation unit 440 calculates the similarity based on the degree of coincidence between the detected shape of each edge (subject image portion) and the shape of the reference image data stored in the image storage unit 280. .
次に、第２判定部４６０は、第２類似度算出部４４０により各エッジの被写体画像部分について算出された類似度の中に所定値以上のものがあるか否かについて判定する。あると判定した場合、車両８００が直進走行していると判定する。図２（ｆ）の説明では、車両周囲画像６６０における白線６２０の形状が画像記憶部２８０に記憶した基準画像データの形状、つまり図２（ｂ）の車両周囲画像５８０における白線５６０の形状と一致しないため（すなわち、第２類似度算出部４４０により算出された類似度が所定値未満であるため）、第２判定部４６０は、車両８００が直進走行していないと判定する。この場合、オフセット補正装置１００は、車両８００に搭載される角速度センサ１６０のオフセット値を補正しない。 Next, the second determination unit 460 determines whether the similarity calculated for the subject image portion of each edge by the second similarity calculation unit 440 includes a predetermined value or more. If it is determined that there is, it is determined that the vehicle 800 is traveling straight ahead. In the description of FIG. 2F, the shape of the white line 620 in the vehicle surrounding image 660 matches the shape of the reference image data stored in the image storage unit 280, that is, the shape of the white line 560 in the vehicle surrounding image 580 of FIG. Therefore, the second determination unit 460 determines that the vehicle 800 is not traveling straight ahead (ie, the similarity calculated by the second similarity calculation unit 440 is less than a predetermined value). In this case, the offset correction apparatus 100 does not correct the offset value of the angular velocity sensor 160 mounted on the vehicle 800.
次に、第１の実施形態におけるオフセット補正装置１００の動作について説明する。図３は、第１の実施形態によるオフセット補正装置１００の動作例を示すフローチャート図である。図３におけるステップＳ１００の処理は、例えば、車両のイグニッションキー（図示せず）がユーザによって操作されてオフセット補正装置１００に電源が投入されることにより開始する。 Next, the operation of the offset correction apparatus 100 in the first embodiment will be described. FIG. 3 is a flowchart showing an operation example of the offset correction apparatus 100 according to the first embodiment. The process of step S100 in FIG. 3 is started when, for example, the ignition key (not shown) of the vehicle is operated by the user to turn on the offset correction apparatus 100.
まず、画像入力部２００は、撮像部１４０により撮影された車両周囲画像データを１枚入力する（ステップＳ１００）。次に、第１類似度算出部４００は、画像入力部２００により入力した車両周囲画像データに対して画像認識を行うことでエッジ（被写体画像部分）を検出し、当該検出した各エッジとパターン記憶部２２０に記憶されている各パターンデータとの類似度を算出する（ステップＳ１２０）。 First, the image input unit 200 inputs one piece of vehicle surrounding image data captured by the imaging unit 140 (step S100). Next, the first similarity calculation unit 400 detects an edge (subject image portion) by performing image recognition on the vehicle surrounding image data input by the image input unit 200, and stores each detected edge and pattern. The similarity with each pattern data memorize | stored in the part 220 is calculated (step S120).
次に、第１判定部４２０は、第１類似度算出部４００により算出された類似度が所定値以上の被写体画像部分が車両周囲画像内にあるか否かについて判定する（ステップＳ１４０）。もし、第１類似度算出部４００により算出された類似度が所定値以上の被写体画像部分が存在しないと第１判定部４２０にて判定した場合（ステップＳ１４０にてＮＯ）、オフセット補正装置１００は、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたか否かについて判定する（ステップＳ２６０）。 Next, the first determination unit 420 determines whether or not there is a subject image portion whose similarity calculated by the first similarity calculation unit 400 is equal to or greater than a predetermined value in the vehicle surrounding image (step S140). If the first determination unit 420 determines that there is no subject image portion whose similarity calculated by the first similarity calculation unit 400 is greater than or equal to a predetermined value (NO in step S140), the offset correction apparatus 100 Then, it is determined whether or not the ignition key of the vehicle is operated by the user and the power of the offset correction apparatus 100 is stopped (step S260).
もし、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたとオフセット補正装置１００にて判定した場合（ステップＳ２６０にてＹＥＳ）、オフセット補正装置１００は、図３における処理を終了する。一方、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されていないとオフセット補正装置１００にて判定した場合（ステップＳ２６０にてＮＯ）、処理はステップＳ１００に遷移する。 If the offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power supply of the offset correction apparatus 100 is stopped (YES in step S260), the offset correction apparatus 100 performs the processing in FIG. finish. On the other hand, when it is determined by offset correction device 100 that the ignition key of the vehicle is operated by the user and power supply of offset correction device 100 is not stopped (NO in step S260), the process transitions to step S100.
一方、第１類似度算出部４００により算出された類似度が所定値以上の被写体画像部分が存在すると第１判定部４２０にて判定した場合（ステップＳ１４０にてＹＥＳ）、記憶制御部２６０は、類似度が所定値以上になっている直線状の被写体画像部分を基準画像データとして画像記憶部２８０に記憶させる（ステップＳ１６０）。なお、ここでは、車両周囲画像データ内における直線状の被写体画像部分の位置情報もあわせて記憶するものとする。 On the other hand, when the first determination unit 420 determines that there is a subject image portion whose similarity calculated by the first similarity calculation unit 400 is equal to or greater than a predetermined value (YES in step S140), the storage control unit 260 A linear subject image portion whose similarity is equal to or higher than a predetermined value is stored in the image storage unit 280 as reference image data (step S160). Here, it is assumed that the position information of the linear subject image portion in the vehicle surrounding image data is also stored.
次に、画像入力部２００は、次のタイムインターバル後に撮像部１４０により撮影された車両周囲画像データを１枚入力する（ステップＳ１８０）。そして、第２類似度算出部４４０は、画像入力部２００により入力された車両周囲画像データに対して画像認識を行うことでエッジ（被写体画像部分）を検出し、当該検出したエッジと画像記憶部２８０に記憶されている基準画像データとの類似度を算出する（ステップＳ２００）。ここでは、第２類似度算出部４４０は、画像記憶部２８０に記憶されている位置情報をもとに、当該位置を含む部分領域のみからエッジを抽出し、基準画像データの類似度を算出する。 Next, the image input unit 200 inputs one piece of vehicle surrounding image data captured by the imaging unit 140 after the next time interval (step S180). Then, the second similarity calculation unit 440 detects an edge (subject image portion) by performing image recognition on the vehicle surrounding image data input by the image input unit 200, and the detected edge and the image storage unit The similarity with the reference image data stored in 280 is calculated (step S200). Here, based on the position information stored in image storage unit 280, second similarity calculation unit 440 extracts edges from only the partial region including the position, and calculates the similarity of the reference image data. .
次に、第２判定部４６０は、第２類似度算出部４４０により算出された類似度が所定値以上であるか否かについて判定する（ステップＳ２２０）。もし、第２類似度算出部４４０により算出された類似度が所定値以上でない（すなわち、車両が直進走行していない）と第２判定部４４０にて判定した場合（ステップＳ２２０にてＮＯ）、処理はステップＳ２６０に遷移する。 Next, the second determination unit 460 determines whether or not the similarity calculated by the second similarity calculation unit 440 is greater than or equal to a predetermined value (step S220). If the second determination unit 440 determines that the similarity calculated by the second similarity calculation unit 440 is not equal to or greater than a predetermined value (that is, the vehicle is not traveling straight ahead) (NO in step S220). The process transitions to step S260.
一方、第２類似度算出部４４０により算出された類似度が所定値以上である（すなわち、車両が直進走行している）と第２判定部４４０にて判定した場合（ステップＳ２２０にてＹＥＳ）、オフセット測定部３２０は、角速度センサ１６０の出力値をオフセット値として測定し、当該オフセット値を示すオフセット情報を補正部３４０に出力する。補正部３４０は、オフセット測定部３２０により出力されたオフセット情報をそれまでオフセット情報記憶部３６０に記憶されていたオフセット情報に代えて記憶させる（ステップＳ２４０）。 On the other hand, when the second determination unit 440 determines that the similarity calculated by the second similarity calculation unit 440 is equal to or greater than a predetermined value (that is, the vehicle is traveling straight ahead) (YES in step S220). The offset measurement unit 320 measures the output value of the angular velocity sensor 160 as an offset value, and outputs offset information indicating the offset value to the correction unit 340. The correction unit 340 stores the offset information output by the offset measurement unit 320 in place of the offset information that has been stored in the offset information storage unit 360 until then (step S240).
次に、オフセット補正装置１００は、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたか否かについて判定する（ステップＳ２８０）。もし、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されていないとオフセット補正装置１００にて判定した場合（ステップＳ２８０にてＮＯ）、処理はステップＳ１８０に遷移する。一方、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたとオフセット補正装置１００にて判定した場合（ステップＳ２８０にてＹＥＳ）、オフセット補正装置１００は、図３における処理を終了する。 Next, the offset correction apparatus 100 determines whether or not the ignition key of the vehicle is operated by the user and the power supply of the offset correction apparatus 100 is stopped (step S280). If the offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power of the offset correction apparatus 100 is not stopped (NO in step S280), the process transitions to step S180. On the other hand, when offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power supply of offset correction apparatus 100 is stopped (YES in step S280), offset correction apparatus 100 performs the processing in FIG. finish.
以上詳しく説明したように、第１の実施形態では、パターン記憶部２２０にあらかじめ記憶されているパターンデータを用いて、撮像部１４０により撮影された車両周囲画像内に直線状の被写体画像部分（白線）が存在するか否かを判定する。そして、存在すると判定した場合、その後に撮影される車両周囲画像に含まれる被写体画像部分（白線）と最初に検出した直線状の被写体画像部分との類似度を算出し、当該類似度に基づいて車両が直進走行している（すなわち、角速度センサ１６０の出力が理論上ゼロである状態）か否かを判定するようにしている。 As described above in detail, in the first embodiment, a linear subject image portion (white line) is included in a vehicle surrounding image captured by the imaging unit 140 using pattern data stored in advance in the pattern storage unit 220. ) Exists. Then, when it is determined that it exists, the similarity between the subject image portion (white line) included in the vehicle surrounding image captured after that and the linear subject image portion detected first is calculated, and based on the similarity It is determined whether or not the vehicle is traveling straight (that is, a state where the output of the angular velocity sensor 160 is theoretically zero).
これにより、例えばＧＰＳ測位環境が悪い場合や、地図データが存在しない場所を走行している場合などでも、車両の走行中に角速度センサ１６０のオフセット値を補正することができる。また、地図データが間違っている場合や地図データが合っていて車線変更や蛇行運転した場合にも、角速度センサ１６０のオフセット値を誤って補正してしまうことをなくすことができる。よって、自立航法の測位精度ひいては自車位置の測位精度を向上させることができる。 Thereby, for example, even when the GPS positioning environment is bad or when the vehicle is traveling in a place where no map data exists, the offset value of the angular velocity sensor 160 can be corrected while the vehicle is traveling. Further, even when the map data is wrong or the map data is correct and the lane change or meandering operation is performed, it is possible to prevent the offset value of the angular velocity sensor 160 from being erroneously corrected. Therefore, it is possible to improve the positioning accuracy of the self-contained navigation and the positioning accuracy of the own vehicle position.
また、第１の実施形態では、第２判定部４６０により車両が直進走行していると判定されている間は、角度センサ１６０のオフセット値を繰り返し補正している。車両の直進走行が検出されている間に例えば１回のみオフセット値を補正するようにしても良いが、繰り返し補正することにより、角速度センサ１６０のオフセット誤差が経時的に累積することを防止することができる。 In the first embodiment, the offset value of the angle sensor 160 is repeatedly corrected while the second determination unit 460 determines that the vehicle is traveling straight ahead. The offset value may be corrected only once, for example, while the vehicle is traveling straight, but by repeatedly correcting, the offset error of the angular velocity sensor 160 is prevented from accumulating over time. Can do.
また、第１の実施形態によれば、撮像部１４０（車載カメラ）により撮影される複数の車両周囲画像を用いて、車両が直進走行している状態を判定しているため、比較的大きな測位誤差を有するＧＰＳ受信機により絶対方位として得られるＧＰＳ方位から車両が直進走行している状態を判定する従来技術に比べて、当該判定の精度を良くすることができる。 Further, according to the first embodiment, since a state in which the vehicle is traveling straight is determined using a plurality of vehicle surrounding images captured by the imaging unit 140 (vehicle camera), relatively large positioning is performed. The accuracy of the determination can be improved as compared with the prior art that determines the state in which the vehicle is traveling straight from the GPS direction obtained as an absolute direction by the GPS receiver having an error.
なお、第１の実施形態では、第１判定部４２０により直線状の被写体画像部分が存在すると判定された場合、記憶制御部２６０が、当該直線状の被写体画像部分を基準画像データとして画像記憶部２８０に記憶させる例について説明したが、パターン記憶部２４０に記憶されている直線状の被写体を表したパターンデータを基準画像データとして画像記憶部２８０に記憶させても良い。この場合、第２類似度算出部４４０は、検出した被写体画像部分と画像記憶部２８０に記憶されている基準画像データ（パターンデータ）との類似度を算出する。 In the first embodiment, when the first determination unit 420 determines that there is a linear subject image portion, the storage control unit 260 uses the linear subject image portion as reference image data as an image storage unit. Although an example of storing in 280 has been described, pattern data representing a linear subject stored in the pattern storage unit 240 may be stored in the image storage unit 280 as reference image data. In this case, the second similarity calculation unit 440 calculates the similarity between the detected subject image portion and the reference image data (pattern data) stored in the image storage unit 280.
次に、本発明の第２の実施形態を図面に基づいて説明する。図４は、第２の実施形態によるオフセット補正装置１００を備えた車載システム１２０の構成例を示すブロック図である。なお、図４において、図１に示した符号と同一の符号を付した構成要素は同様の機能を有するものであるので、ここでは重複する説明を省略する。 Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 4 is a block diagram illustrating a configuration example of the in-vehicle system 120 including the offset correction apparatus 100 according to the second embodiment. In FIG. 4, components having the same reference numerals as those shown in FIG. 1 have the same functions, and thus redundant description is omitted here.
第２の実施形態においては、オフセット補正装置１００は、図１のパターン記憶部２２０の代わりにマッピングテーブル記憶部４８０を備えている。また、第２の実施形態においては、オフセット補正装置１００の直線判定部２４０は、第１類似度算出部４００、第１判定部４２０の代わりに歪補正部５００、直線検出部５２０を備えている。第２の実施形態は、撮像部１４０により撮影される車両周囲画像について、撮像部１４０のレンズ歪による画像のゆがみを補正し、当該補正された車両周囲画像について、直線状の被写体画像部分が存在するか否かを画像認識処理により判定する点に特徴がある。 In the second embodiment, the offset correction apparatus 100 includes a mapping table storage unit 480 instead of the pattern storage unit 220 of FIG. In the second embodiment, the straight line determination unit 240 of the offset correction apparatus 100 includes a distortion correction unit 500 and a straight line detection unit 520 instead of the first similarity calculation unit 400 and the first determination unit 420. . In the second embodiment, image distortion due to lens distortion of the imaging unit 140 is corrected for a vehicle surrounding image captured by the imaging unit 140, and a linear subject image portion exists for the corrected vehicle surrounding image. This is characterized in that it is determined whether or not to do so by image recognition processing.
マッピングテーブル記憶部４８０は、撮像部１４０により撮影される車両周囲画像について、撮像部１４０のレンズ歪による画像のゆがみを補正する際に用いられるマッピングテーブルを記憶する。マッピングテーブルは、撮像部１４０により撮影された車両周囲画像の画素位置と、レンズ歪による画像のゆがみが補正された車両周囲画像の画素位置との対応関係を記載したテーブルであり、撮影された車両周囲画像のある画素が補正後の車両周囲画像のどの画素に対応するかを示したものである。 The mapping table storage unit 480 stores a mapping table used when correcting image distortion due to lens distortion of the imaging unit 140 for the vehicle surrounding image captured by the imaging unit 140. The mapping table is a table that describes the correspondence between the pixel position of the vehicle surrounding image captured by the imaging unit 140 and the pixel position of the vehicle surrounding image in which image distortion due to lens distortion is corrected. It shows which pixel of a vehicle surrounding image after correction a certain pixel of the surrounding image corresponds to.
歪補正部５００は、画像入力部２００により出力された車両周囲画像データをメモリ（図示せず）に格納し、マッピングテーブル記憶部４８０に記憶されているマッピングテーブルを用いて、その車両周囲画像データ上の各画素の移動を行ってレンズ歪による影響を補正する。歪補正部５００は、歪補正した車両周囲画像データを直線検出部５２０に出力する。 The distortion correction unit 500 stores the vehicle surrounding image data output by the image input unit 200 in a memory (not shown), and uses the mapping table stored in the mapping table storage unit 480, and the vehicle surrounding image data. The influence of lens distortion is corrected by moving each pixel above. The distortion correction unit 500 outputs the vehicle surrounding image data subjected to distortion correction to the straight line detection unit 520.
直線検出部５２０は、歪補正部５００により出力された車両周囲画像データを入力する。また、直線検出部５２０は、入力した車両周囲画像データに対して、例えば、公知のＨｏｕｇｈ変換を行うことにより、歪補正した車両周囲画像データ内から直線状の被写体画像部分を検出する。 The straight line detection unit 520 inputs the vehicle surrounding image data output by the distortion correction unit 500. Further, the straight line detection unit 520 detects a linear subject image portion from the vehicle surrounding image data whose distortion has been corrected, for example, by performing a known Hough transform on the input vehicle surrounding image data.
なお、直線検出の手法としてＨｏｕｇｈ変換は単なる一例であり、これ以外の手法を用いても良い。例えば、直線検出部５２０は、歪補正部５００から入力した車両周囲画像データに対してエッジ抽出処理を行うことにより、車両周囲画像データ内からエッジを抽出する。そして、直線検出部５２０は、そのエッジを構成する画素が直線状に並んでいるか否かによって、そのエッジが直線状の被写体画像部分か否かを判定する。 Note that Hough conversion is merely an example of a straight line detection method, and other methods may be used. For example, the straight line detection unit 520 extracts an edge from the vehicle surrounding image data by performing an edge extraction process on the vehicle surrounding image data input from the distortion correction unit 500. The straight line detection unit 520 determines whether or not the edge is a straight subject image portion depending on whether or not the pixels constituting the edge are arranged in a straight line.
直線検出部５２０は、車両周囲画像から直線状の被写体画像部分を検出できた場合、直線状の被写体画像部分が存在する旨を示す直線存在通知情報を記憶制御部２６０および直進判定部３００に出力する。記憶制御部２６０は、直線検出部５２０から直線存在通知情報を受けた場合、当該直線状の被写体画像部分で歪補正が施される前の画像データを歪補正部５００のメモリから取得し、基準画像データとして画像記憶部２８０に記憶させる。 When the straight line subject image portion can be detected from the vehicle surrounding image, the straight line detection unit 520 outputs straight line presence notification information indicating that the straight subject image portion exists to the storage control unit 260 and the straight traveling determination unit 300. To do. When the storage control unit 260 receives the straight line presence notification information from the straight line detection unit 520, the storage control unit 260 acquires image data before distortion correction is performed on the straight subject image portion from the memory of the distortion correction unit 500, and The image data is stored in the image storage unit 280 as image data.
次に、第２の実施形態におけるオフセット補正装置１００の動作について説明する。図５は、第２の実施形態によるオフセット補正装置１００の動作例を示すフローチャート図である。図５におけるステップＳ４００の処理は、例えば、車両のイグニッションキー（図示せず）がユーザによって操作されてオフセット補正装置１００に電源が投入されることにより開始する。 Next, the operation of the offset correction apparatus 100 in the second embodiment will be described. FIG. 5 is a flowchart showing an operation example of the offset correction apparatus 100 according to the second embodiment. The process of step S400 in FIG. 5 is started when, for example, the ignition key (not shown) of the vehicle is operated by the user to turn on the offset correction apparatus 100.
まず、画像入力部２００は、撮像部１４０により撮影された車両周囲画像データを１枚入力する（ステップＳ４００）。次に、歪補正部５００は、画像入力部２００により入力した車両周囲画像データをメモリに格納し、マッピングテーブル記憶部４８０に記憶されているマッピングテーブルを用いて、その車両周囲画像データ上の各画素の移動を行ってレンズ歪による影響を補正する（ステップＳ４２０）。 First, the image input unit 200 inputs one piece of vehicle surrounding image data captured by the imaging unit 140 (step S400). Next, the distortion correction unit 500 stores the vehicle surrounding image data input by the image input unit 200 in a memory, and uses each mapping table stored in the mapping table storage unit 480 to store each vehicle surrounding image data on the vehicle surrounding image data. The influence of lens distortion is corrected by moving the pixels (step S420).
次に、直線検出部５２０は、歪補正部５００により歪補正された車両周囲画像データに対してＨｏｕｇｈ変換を行うことにより、歪補正した車両周囲画像データ内から直線状の被写体画像部分を検出する（ステップＳ４４０）。もし、歪補正した車両周囲画像データ内から直線状の被写体画像部分を直線検出部５２０にて検出できなかった場合（ステップＳ４４０にてＮＯ）、オフセット補正装置１００は、車両のイグニッションキー（図示せず）がユーザによって操作されてオフセット補正装置１００の電源が停止されたか否かについて判定する（ステップＳ５６０）。 Next, the straight line detection unit 520 performs a Hough transform on the vehicle surrounding image data whose distortion has been corrected by the distortion correction unit 500, thereby detecting a linear subject image portion from the vehicle surrounding image data whose distortion has been corrected. (Step S440). If the straight line object image portion 520 cannot be detected from the vehicle surrounding image data whose distortion has been corrected (NO in step S440), the offset correction device 100 uses the vehicle ignition key (not shown). ) Is operated by the user to determine whether the power of the offset correction apparatus 100 is stopped (step S560).
もし、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたとオフセット補正装置１００にて判定した場合（ステップＳ５６０にてＹＥＳ）、オフセット補正装置１００は、図５における処理を終了する。一方、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されていないとオフセット補正装置１００にて判定した場合（ステップＳ５６０にてＮＯ）、処理はステップＳ４００に遷移する。 If the offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power supply of the offset correction apparatus 100 is stopped (YES in step S560), the offset correction apparatus 100 performs the processing in FIG. finish. On the other hand, when it is determined by offset correction device 100 that the ignition key of the vehicle is operated by the user and the power supply of offset correction device 100 is not stopped (NO in step S560), the process transitions to step S400.
一方、歪補正した車両周囲画像内から直線状の被写体画像部分を直線検出部５２０にて検出できた場合（ステップＳ４４０にてＹＥＳ）、記憶制御部２６０は、当該直線状の被写体画像部分で歪補正が施される前の車両周囲画像データを歪補正部５００のメモリから取得し、基準画像データとして画像記憶部２８０に記憶させる（ステップＳ４６０）。なお、ここでは、歪補正が施される前の車両周囲画像データ内における直線状の被写体画像部分の位置情報もあわせて記憶するものとする。 On the other hand, when the straight line subject image portion can be detected by the straight line detection unit 520 from within the vehicle surrounding image subjected to distortion correction (YES in step S440), the storage control unit 260 distorts the straight line subject image portion. The vehicle surrounding image data before correction is obtained from the memory of the distortion correction unit 500 and stored in the image storage unit 280 as reference image data (step S460). Here, it is assumed that the position information of the linear subject image portion in the vehicle surrounding image data before distortion correction is also stored.
次に、画像入力部２００は、次のタイムインターバル後に撮像部１４０により撮影された車両周囲画像データを１枚入力する（ステップＳ４８０）。そして、第２類似度算出部４４０は、画像入力部２００により入力された車両周囲画像データに対して画像認識を行うことでエッジ（被写体画像部分）を検出し、当該検出したエッジと画像記憶部２８０に記憶されている基準画像データとの類似度を算出する（ステップＳ５００）。ここでは、第２類似度算出部４４０は、画像記憶部２８０に記憶されている位置情報をもとに、当該位置を含む部分領域のみからエッジを抽出し、基準画像データの類似度を算出する。 Next, the image input unit 200 inputs one piece of vehicle surrounding image data captured by the imaging unit 140 after the next time interval (step S480). The second similarity calculation unit 440 detects an edge (subject image portion) by performing image recognition on the vehicle surrounding image data input by the image input unit 200, and the detected edge and the image storage unit The similarity with the reference image data stored in 280 is calculated (step S500). Here, based on the position information stored in image storage unit 280, second similarity calculation unit 440 extracts edges from only the partial region including the position, and calculates the similarity of the reference image data. .
次に、第２判定部４６０は、第２類似度算出部４４０により算出された類似度が所定値以上であるか否かについて判定する（ステップＳ５２０）。もし、第２類似度算出部４４０により算出された類似度が所定値以上でない（すなわち、車両が直進走行していない）と第２判定部４４０にて判定した場合（ステップＳ５２０にてＮＯ）、処理はステップＳ５６０に遷移する。 Next, the second determination unit 460 determines whether or not the similarity calculated by the second similarity calculation unit 440 is greater than or equal to a predetermined value (step S520). If the second determination unit 440 determines that the similarity calculated by the second similarity calculation unit 440 is not equal to or greater than a predetermined value (that is, the vehicle is not traveling straight ahead) (NO in step S520), The process transitions to step S560.
一方、第２類似度算出部４４０により算出された類似度が所定値以上である（すなわち、車両が直進走行している）と第２判定部４４０にて判定した場合（ステップＳ５２０にてＹＥＳ）、オフセット測定部３２０は、角速度センサ１６０の出力値をオフセット値として測定し、当該オフセット値を示すオフセット情報を補正部３４０に出力する。補正部３４０は、オフセット測定部３２０により出力されたオフセット情報をそれまでオフセット情報記憶部３６０に記憶されていたオフセット情報に代えて記憶させる（ステップＳ５４０）。 On the other hand, when the second determination unit 440 determines that the similarity calculated by the second similarity calculation unit 440 is greater than or equal to a predetermined value (that is, the vehicle is traveling straight ahead) (YES in step S520). The offset measurement unit 320 measures the output value of the angular velocity sensor 160 as an offset value, and outputs offset information indicating the offset value to the correction unit 340. The correction unit 340 stores the offset information output by the offset measurement unit 320 in place of the offset information that has been stored in the offset information storage unit 360 until then (step S540).
次に、オフセット補正装置１００は、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたか否かについて判定する（ステップＳ５８０）。もし、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されていないとオフセット補正装置１００にて判定した場合（ステップＳ５８０にてＮＯ）、処理はステップＳ４８０に遷移する。一方、車両のイグニッションキーがユーザによって操作されてオフセット補正装置１００の電源が停止されたとオフセット補正装置１００にて判定した場合（ステップＳ５８０にてＹＥＳ）、オフセット補正装置１００は、図５における処理を終了する。 Next, the offset correction apparatus 100 determines whether or not the ignition key of the vehicle is operated by the user and the power supply of the offset correction apparatus 100 is stopped (step S580). If the offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power supply of the offset correction apparatus 100 is not stopped (NO in step S580), the process proceeds to step S480. On the other hand, when offset correction apparatus 100 determines that the ignition key of the vehicle is operated by the user and the power supply of offset correction apparatus 100 is stopped (YES in step S580), offset correction apparatus 100 performs the processing in FIG. finish.
以上詳しく説明したように、第２の実施形態においても、第１の実施形態と同様に、例えばＧＰＳ測位環境が悪い場合や、地図データが存在しない場所を走行している場合などでも、車両の走行中に角速度センサ１６０のオフセット値を補正することができる。また、地図データが間違っている場合や地図データが合っていて車線変更や蛇行運転した場合にも、角速度センサ１６０のオフセット値を誤って補正してしまうことをなくすことができる。よって、自立航法の測位精度ひいては自車位置の測位精度を向上させることができる。 As described above in detail, also in the second embodiment, as in the first embodiment, even when the GPS positioning environment is bad or the vehicle is traveling in a place where no map data exists, The offset value of the angular velocity sensor 160 can be corrected during traveling. Further, even when the map data is wrong or the map data is correct and the lane change or meandering operation is performed, it is possible to prevent the offset value of the angular velocity sensor 160 from being erroneously corrected. Therefore, it is possible to improve the positioning accuracy of the self-contained navigation and the positioning accuracy of the own vehicle position.
また、第２の実施形態では、撮像部１４０により撮影される車両周囲画像データのゆがみを補正して、その車両周囲画像データ自身を用いて、直線状の被写体画像部分が存在するか否かを判定している。ここで、撮像部１４０のレンズ歪による画像のゆがみを補正する際に用いられるマッピングテーブルは、撮像部１４０のレンズ歪の特性に対応したものが１つあれば十分である。 In the second embodiment, whether or not there is a linear subject image portion by correcting the distortion of the vehicle surrounding image data captured by the imaging unit 140 and using the vehicle surrounding image data itself. Judgment. Here, it is sufficient that the mapping table used when correcting the distortion of the image due to the lens distortion of the imaging unit 140 has only one mapping table corresponding to the lens distortion characteristic of the imaging unit 140.
これに対して、第１の実施形態では、直線状の被写体画像部分が存在するか否かを判定する際に用いるパターンデータは、撮像部１４０を備えた車両と路面上の白線との所定距離毎に複数必要である。つまり、第２の実施形態では、撮像部１４０により撮影される車両周囲画像について、直線状の被写体画像部分が存在するか否かを判定するために予め登録しておく必要のある情報の記憶容量を第１の実施形態より減らすことができる。 On the other hand, in the first embodiment, the pattern data used when determining whether or not there is a linear subject image portion is a predetermined distance between the vehicle including the imaging unit 140 and the white line on the road surface. Multiple are required for each. That is, in the second embodiment, the storage capacity of information that needs to be registered in advance to determine whether or not a linear subject image portion exists in the vehicle surrounding image captured by the imaging unit 140. Can be reduced as compared with the first embodiment.
なお、上記第１および第２の実施形態では、直線状の被写体画像部分が路面上の白線である例について説明したが、当該直線状の被写体画像部分は、直進走行している車両に平行な直線状のものであれば何でも良い。例えば、側溝、段差、ガードレールでも良い。この場合は、第１の実施形態では、これらのパターンデータを画像記憶部２８０に予め記憶しておく。 In the first and second embodiments, the example in which the linear subject image portion is a white line on the road surface has been described. However, the linear subject image portion is parallel to the vehicle traveling straight ahead. Anything can be used as long as it is linear. For example, a side groove, a step, or a guard rail may be used. In this case, in the first embodiment, these pattern data are stored in the image storage unit 280 in advance.
また、上記第１および第２の実施形態では、撮像部１４０が車両の左に設置された１つの車載カメラから構成される例について説明したが、撮像部１４０は、直線状の被写体画像部分を含む車両周囲画像を撮影することが可能な位置に設置された車載カメラから構成されれば良い。例えば、車両の前または後に設置された１つの車載カメラから構成されていても良い。 Further, in the first and second embodiments, the example in which the imaging unit 140 is configured by one in-vehicle camera installed on the left side of the vehicle has been described. However, the imaging unit 140 has a linear subject image portion. What is necessary is just to be comprised from the vehicle-mounted camera installed in the position which can image | photograph the vehicle surrounding image including. For example, you may be comprised from one vehicle-mounted camera installed before or after the vehicle.
その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the first and second embodiments described above is merely an example of a specific example for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. It will not be. In other words, the present invention can be implemented in various forms without departing from the spirit or main features thereof.
１００ オフセット補正装置
１４０ 撮像部
１６０ 角速度センサ
２２０ パターン記憶部
２４０ 直線判定部
２６０ 記憶制御部
２８０ 画像記憶部
３００ 直進判定部
３２０ オフセット測定部
３４０ 補正部
３６０ オフセット情報記憶部
４００ 第１類似度算出部
４２０ 第１判定部
４４０ 第２類似度判定部
４６０ 第２判定部
４８０ マッピングテーブル記憶部
５００ 歪補正部
５２０ 直線検出部
DESCRIPTION OF SYMBOLS 100 Offset correction apparatus 140 Imaging part 160 Angular velocity sensor 220 Pattern memory | storage part 240 Straight line determination part 260 Storage control part 280 Image memory | storage part 300 Straight advance determination part 320 Offset measurement part 340 Correction | amendment part 360 Offset information storage part 400 1st similarity calculation part 420 First determination unit 440 Second similarity determination unit 460 Second determination unit 480 Mapping table storage unit 500 Distortion correction unit 520 Straight line detection unit
Claims (5)
前記直線判定部により前記車両周囲画像内に前記直線状の被写体画像部分が存在すると判定された場合に、前記複数の車両周囲画像のそれぞれに含まれる複数の直線状の被写体画像部分の類似度を算出する類似度算出部と、
前記類似度算出部により算出された前記類似度が所定値以上である場合、車両が直進走行していると判定する判定部と、
前記判定部により前記車両が直進走行していると判定された場合、角速度センサの出力を用いて当該角速度センサのオフセット値を補正する補正部とを備えたことを特徴とするオフセット補正装置。 A straight line determination unit that determines whether or not a linear subject image portion exists for a plurality of vehicle surrounding images captured a plurality of times by an in-vehicle camera, and an image recognition process;
When the straight line determination unit determines that the linear subject image portion exists in the vehicle surrounding image, the similarity of the plurality of linear subject image portions included in each of the plurality of vehicle surrounding images is calculated. A similarity calculation unit to calculate,
A determination unit that determines that the vehicle is traveling straight when the similarity calculated by the similarity calculation unit is equal to or greater than a predetermined value;
An offset correction apparatus comprising: a correction unit that corrects an offset value of the angular velocity sensor using an output of the angular velocity sensor when the determination unit determines that the vehicle is traveling straight ahead.
前記直線判定部は、前記車両周囲画像内に含まれる被写体画像部分と前記直線状の被写体を表したパターンデータとの類似度を算出し、その類似度が所定値以上の場合には、前記直線状の被写体画像部分が存在すると判定し、
前記類似度算出部は、前記複数の直線状の被写体画像部分同士を比較することで当該複数の直線状の被写体画像部分の類似度を算出することを特徴とするオフセット補正装置。 The offset correction apparatus according to claim 1,
The straight line determination unit calculates a similarity between a subject image portion included in the vehicle surrounding image and pattern data representing the linear subject, and when the similarity is equal to or greater than a predetermined value, the straight line The subject image part is
The similarity calculating unit calculates the similarity of the plurality of linear subject image portions by comparing the plurality of linear subject image portions with each other.
前記直線判定部は、前記車両周囲画像内に含まれる被写体画像部分と前記直線状の被写体を表したパターンデータとの類似度を算出し、その類似度が所定値以上の場合には、前記直線状の被写体画像部分が存在すると判定し、
前記類似度算出部は、前記複数の直線状の被写体画像部分と前記パターンデータとの類似度を算出することで当該複数の直線状の被写体画像部分の類似度を算出することを特徴とするオフセット補正装置。 The offset correction apparatus according to claim 1,
The straight line determination unit calculates a similarity between a subject image portion included in the vehicle surrounding image and pattern data representing the linear subject, and when the similarity is equal to or greater than a predetermined value, the straight line The subject image part is
The similarity calculating unit calculates a similarity between the plurality of linear subject image portions and the pattern data, thereby calculating a similarity between the plurality of linear subject image portions. Correction device.
前記車両周囲画像に対して、前記車載カメラのレンズ歪による画像のゆがみを補正する歪補正部を更に備え、
前記直線判定部は、前記歪補正部により補正された前記車両周囲画像について、前記直線状の被写体画像部分が存在するか否かを画像認識処理により判定し、
前記類似度算出部は、前記複数の直線状の被写体画像部分同士を比較することで当該複数の直線状の被写体画像部分の類似度を算出することを特徴とするオフセット補正装置。 The offset correction apparatus according to claim 1,
A distortion correction unit that corrects distortion of the image due to lens distortion of the in-vehicle camera with respect to the vehicle surrounding image,
The straight line determination unit determines whether or not the linear subject image portion exists for the vehicle surrounding image corrected by the distortion correction unit by image recognition processing,
The similarity calculating unit calculates the similarity of the plurality of linear subject image portions by comparing the plurality of linear subject image portions with each other.
前記第１のステップにより前記車両周囲画像内に前記直線状の被写体画像部分が存在すると判定された場合に、前記複数の車両周囲画像のそれぞれに含まれる複数の直線状の被写体画像部分の類似度を算出する第２のステップと、
前記第２のステップにより算出された前記類似度が所定値以上である場合、車両が直進走行していると判定する第３のステップと、
前記第３のステップにより前記車両が直進走行していると判定された場合、角速度センサの出力を用いて当該角速度センサのオフセット値を補正する第４のステップとを備えたことを特徴とするオフセット補正方法。 A first step of determining whether or not there is a linear subject image portion for a plurality of vehicle surrounding images captured a plurality of times by an in-vehicle camera; and
When it is determined in the first step that the linear subject image portion exists in the vehicle surrounding image, the similarity between the plurality of linear subject image portions included in each of the plurality of vehicle surrounding images A second step of calculating
A third step of determining that the vehicle is traveling straight when the similarity calculated in the second step is equal to or greater than a predetermined value;
An offset comprising: a fourth step of correcting an offset value of the angular velocity sensor using an output of the angular velocity sensor when it is determined in the third step that the vehicle is traveling straight ahead. Correction method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008110978A JP5142801B2 (en) | 2008-04-22 | 2008-04-22 | Offset correction apparatus and offset correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008110978A JP5142801B2 (en) | 2008-04-22 | 2008-04-22 | Offset correction apparatus and offset correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009264759A true JP2009264759A (en) | 2009-11-12 |
| JP5142801B2 JP5142801B2 (en) | 2013-02-13 |
Family
ID=41390808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008110978A Active JP5142801B2 (en) | 2008-04-22 | 2008-04-22 | Offset correction apparatus and offset correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5142801B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014506318A (en) * | 2010-12-01 | 2014-03-13 | コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ | Trajectory estimation method and trajectory estimation device for moving element or moving body |
| US20140102168A1 (en) * | 2011-03-30 | 2014-04-17 | Oliver Kohn | Rotation rate sensor and method for calibrating a rotation rate sensor |
| CN103968837A (en) * | 2014-04-25 | 2014-08-06 | 惠州华阳通用电子有限公司 | Method and device for correcting calibration factor of gyroscope in inertial navigation system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
| JP2005267331A (en) * | 2004-03-19 | 2005-09-29 | Nissan Motor Co Ltd | Vehicle circumference monitoring device |
| JP2006199242A (en) * | 2005-01-24 | 2006-08-03 | Toyota Motor Corp | Behavior controller of vehicle |
| JP2007034989A (en) * | 2005-07-29 | 2007-02-08 | Nissan Motor Co Ltd | Slippage detection method and slippage correction method of imaging device, and imaging device |
| JP2007195061A (en) * | 2006-01-20 | 2007-08-02 | Toyota Motor Corp | Image processor |
| JP2008032632A (en) * | 2006-07-31 | 2008-02-14 | Denso Corp | Calibration device of angular velocity sensor, and angular velocity value identifying device |
| JP2008082932A (en) * | 2006-09-28 | 2008-04-10 | Clarion Co Ltd | Navigation device, its control method, and control program |
-
2008
- 2008-04-22 JP JP2008110978A patent/JP5142801B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001199296A (en) * | 2000-01-17 | 2001-07-24 | Matsushita Electric Ind Co Ltd | Warning device, driver's seat having vibrating body, and mobile body equipped with warning device on vehicle |
| JP2005267331A (en) * | 2004-03-19 | 2005-09-29 | Nissan Motor Co Ltd | Vehicle circumference monitoring device |
| JP2006199242A (en) * | 2005-01-24 | 2006-08-03 | Toyota Motor Corp | Behavior controller of vehicle |
| JP2007034989A (en) * | 2005-07-29 | 2007-02-08 | Nissan Motor Co Ltd | Slippage detection method and slippage correction method of imaging device, and imaging device |
| JP2007195061A (en) * | 2006-01-20 | 2007-08-02 | Toyota Motor Corp | Image processor |
| JP2008032632A (en) * | 2006-07-31 | 2008-02-14 | Denso Corp | Calibration device of angular velocity sensor, and angular velocity value identifying device |
| JP2008082932A (en) * | 2006-09-28 | 2008-04-10 | Clarion Co Ltd | Navigation device, its control method, and control program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014506318A (en) * | 2010-12-01 | 2014-03-13 | コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ | Trajectory estimation method and trajectory estimation device for moving element or moving body |
| US20140102168A1 (en) * | 2011-03-30 | 2014-04-17 | Oliver Kohn | Rotation rate sensor and method for calibrating a rotation rate sensor |
| US9372097B2 (en) * | 2011-03-30 | 2016-06-21 | Robert Bosch Gmbh | Rotation rate sensor and method for calibrating a rotation rate sensor |
| CN103968837A (en) * | 2014-04-25 | 2014-08-06 | 惠州华阳通用电子有限公司 | Method and device for correcting calibration factor of gyroscope in inertial navigation system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5142801B2 (en) | 2013-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6241422B2 (en) | Driving support device, driving support method, and recording medium for storing driving support program | |
| JP5747787B2 (en) | Lane recognition device | |
| JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| EP1901259A1 (en) | Vehicle and lane recognizing device | |
| WO2015029443A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
| JP4677981B2 (en) | Own vehicle position identification method and own vehicle position identification device | |
| JP2008247154A (en) | Train position detecting device and train control device | |
| JP7077910B2 (en) | Bound line detection device and lane marking method | |
| JP2009250718A (en) | Vehicle position detecting apparatus and vehicle position detection method | |
| JP4702149B2 (en) | Vehicle positioning device | |
| JP2010225075A (en) | Driving support device | |
| JP2014106739A (en) | In-vehicle image processing device | |
| JP5142801B2 (en) | Offset correction apparatus and offset correction method | |
| JP2008082932A (en) | Navigation device, its control method, and control program | |
| JP2014195170A (en) | Driving support device | |
| JP2004247979A (en) | On-vehicle camera apparatus | |
| JP2008082925A (en) | Navigation device, its control method, and control program | |
| JP2008241446A (en) | Navigator and control method therefor | |
| JP2020008462A (en) | Own vehicle location estimation device | |
| JP4702802B2 (en) | Vehicle orientation correction system | |
| JP2007018451A (en) | Road boundary line detecting device | |
| JP2006344133A (en) | Road division line detector | |
| CN113091756A (en) | Position estimation device and position estimation method | |
| JP2007267231A (en) | Optical axis offset detecting device of on-board camera and optical axis offset detecting method of the on-board camera | |
| JP6288204B1 (en) | Vehicle speed limit detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110404 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5142801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |