JP2007274564A - Calibration apparatus and calibration method - Google Patents

Calibration apparatus and calibration method Download PDF

Info

Publication number
JP2007274564A
JP2007274564A JP2006100094A JP2006100094A JP2007274564A JP 2007274564 A JP2007274564 A JP 2007274564A JP 2006100094 A JP2006100094 A JP 2006100094A JP 2006100094 A JP2006100094 A JP 2006100094A JP 2007274564 A JP2007274564 A JP 2007274564A
Authority
JP
Japan
Prior art keywords
marker
vehicle
data
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2006100094A
Other languages
Japanese (ja)
Inventor
Takamitsu Sakai
孝光 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2006100094A priority Critical patent/JP2007274564A/en
Publication of JP2007274564A publication Critical patent/JP2007274564A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily correct a mounting angle of an imaging unit and to improve correction accuracy. <P>SOLUTION: A calibration apparatus includes: a vehicle-mounted camera; a light emitting device which is mounted in the vehicle-mounted camera and irradiates the ground to form a marker on the ground; a marker photographing processing means for photographing the marker by means of the vehicle-mounted camera; an image recognition processing means for recognizing the marker from an image of the marker; and a mounting angle calculation processing means for calculating a mounting angle of the camera on the basis of the recognized marker. The ground is irradiated with the light emitting device to form the marker on the ground, the marker is photographed by the vehicle-mounted camera and the mounting angle of the camera is calculated on the basis of the recognized marker. Thus, it is not necessary to manually set a position to form the marker and not only operation can be simplified but also correction accuracy can be improved. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、キャリブレーション装置及びキャリブレーション方法に関するものである。   The present invention relates to a calibration apparatus and a calibration method.

従来、ナビゲーション装置においては、例えば、GPS(グローバルポジショニングシステム)によって車両の現在の位置、すなわち、現在地が検出され、データ記録部から地図データが読み出され、表示部に地図画面が形成され、該地図画面に、現在地を表す自車位置、自車位置の周辺の地図等が表示されるようになっている。したがって、操作者である運転者は、前記地図画面に表示された自車位置等に従って車両を走行させることができる。   Conventionally, in a navigation device, for example, the current position of a vehicle, that is, the current location, is detected by GPS (global positioning system), map data is read from a data recording unit, a map screen is formed on a display unit, The map screen displays a vehicle position indicating the current location, a map around the vehicle position, and the like. Therefore, the driver who is an operator can drive the vehicle according to the vehicle position displayed on the map screen.

また、運転者が目的地を入力し、探索条件を設定すると、該探索条件に基づいて、経路探索処理が行われ、前記地図データに従って現在地で表される出発地から目的地までの経路が探索される。そして、探索された経路、すなわち、探索経路は前記地図画面に自車位置と共に表示され、探索経路の案内、すなわち、経路案内が行われる。したがって、運転者は表示された探索経路に沿って車両を走行させることができる。   When the driver inputs a destination and sets search conditions, a route search process is performed based on the search conditions, and a route from the starting point represented by the current location to the destination is searched according to the map data. Is done. Then, the searched route, that is, the searched route is displayed on the map screen together with the vehicle position, and guidance for the searched route, that is, route guidance is performed. Therefore, the driver can drive the vehicle along the displayed search route.

ところで、例えば、車両の周囲を監視するために、撮像装置としてのカメラが光軸を斜め下方に向けて取り付けられ、地物、他の車両、道路脇の建造物、構造物等の被撮影物を撮影し、画像中の被撮影物を認識するようになっている(例えば、特許文献1参照。)。   By the way, for example, in order to monitor the surroundings of a vehicle, a camera as an imaging device is attached with the optical axis directed obliquely downward, and an object to be photographed such as a feature, another vehicle, a roadside structure, or a structure. And the object to be photographed in the image is recognized (see, for example, Patent Document 1).

そして、前記カメラを正確な取付角度で取り付けたり、取付角度を変更したりするために、路上の定位置にマーカを置いて、カメラでマーカを撮影しながら取付角度を補正するようにしている。
特開平8−16999号公報
In order to mount the camera at an accurate mounting angle or change the mounting angle, a marker is placed at a fixed position on the road, and the mounting angle is corrected while shooting the marker with the camera.
JP-A-8-16999

しかしながら、前記従来のカメラにおいては、マーカを置く位置を手動で設定する必要があり、操作が煩わしいだけでなく、補正の精度が低くなってしまう。   However, in the conventional camera, it is necessary to manually set the position where the marker is placed, which is not only troublesome but also reduces the accuracy of correction.

本発明は、前記従来のカメラの問題点を解決して、撮像装置の取付角度を容易に補正することができるとともに、補正の精度を高くすることができるキャリブレーション装置及びキャリブレーション方法を提供することを目的とする。   The present invention provides a calibration device and a calibration method that can solve the problems of the conventional camera and can easily correct the mounting angle of the imaging device and increase the accuracy of the correction. For the purpose.

そのために、本発明のキャリブレーション装置においては、車載カメラと、該車載カメラに取り付けられ、地面を照射して、地面にマーカを形成する発光装置と、前記マーカを車載カメラによって撮影するマーカ撮影処理手段と、前記マーカの画像からマーカを認識する画像認識処理手段と、認識されたマーカに基づいてカメラの取付角度を算出する取付角度算出処理手段とを有する。   Therefore, in the calibration device of the present invention, a vehicle-mounted camera, a light-emitting device that is attached to the vehicle-mounted camera and that irradiates the ground to form a marker on the ground, and a marker photographing process that photographs the marker with the vehicle-mounted camera Means, image recognition processing means for recognizing a marker from the image of the marker, and attachment angle calculation processing means for calculating a camera attachment angle based on the recognized marker.

本発明によれば、発光装置によって地面を照射して、地面にマーカを形成し、該マーカを車載カメラによって撮影し、マーカの画像からマーカを認識し、認識されたマーカに基づいてカメラの取付角度を算出するようになっているので、マーカを形成する位置を手動で設定する必要がなく、操作を簡素化することができるだけでなく、補正の精度を高くすることができる。   According to the present invention, the ground is irradiated by the light emitting device, the marker is formed on the ground, the marker is photographed by the in-vehicle camera, the marker is recognized from the marker image, and the camera is attached based on the recognized marker. Since the angle is calculated, it is not necessary to manually set the position where the marker is formed, and not only can the operation be simplified, but also the correction accuracy can be increased.

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の実施の形態におけるナビゲーションシステムを示す図である。   FIG. 1 is a diagram showing a navigation system according to an embodiment of the present invention.

図において、10はパワートレイン制御部としての自動変速機制御部であり、該自動変速機制御部10は、所定の変速比で変速を行うパワートレイン、例えば、自動変速機としての無段変速機(CVT)、有段変速機(オートマチックトランスミッション)、電動駆動装置等の制御を行う。   In the figure, reference numeral 10 denotes an automatic transmission control unit as a power train control unit. The automatic transmission control unit 10 is a power train that performs a shift at a predetermined gear ratio, for example, a continuously variable transmission as an automatic transmission. (CVT), stepped transmission (automatic transmission), electric drive device, etc. are controlled.

そして、14は情報端末、例えば、車両に搭載された車載装置としてのナビゲーション装置、63はネットワーク、51は情報提供者としての情報センタであり、前記自動変速機制御部10、ナビゲーション装置14、ネットワーク63、情報センタ51等によってナビゲーションシステムが構成される。   Reference numeral 14 is an information terminal, for example, a navigation device as an in-vehicle device mounted on a vehicle, 63 is a network, 51 is an information center as an information provider, and the automatic transmission control unit 10, the navigation device 14, the network 63, the information center 51 and the like constitute a navigation system.

前記ナビゲーション装置14は、GPS(グローバルポジショニングシステム)を構成し、自車の現在地を検出する現在地検出部としてのGPSセンサ15、地図データのほかに各種の情報が記録された情報記録部としてのデータ記録部16、入力された情報に基づいて、ナビゲーション処理等の各種の演算処理を行うナビゲーション処理部17、自車方位を検出する方位検出部としての方位センサ18、操作者である運転者が所定の入力を行うための第1の入力部としての操作部34、図示されない画面に表示された画像によって各種の表示を行い、運転者に通知するための第1の出力部としての表示部35、音声によって所定の入力を行うための第2の入力部としての音声入力部36、音声によって各種の表示を行い、運転者に通知するための第2の出力部としての音声出力部37、及び通信端末として機能する送受信部としての通信部38を備え、前記ナビゲーション処理部17に、GPSセンサ15、データ記録部16、方位センサ18、操作部34、表示部35、音声入力部36、音声出力部37及び通信部38が接続される。   The navigation device 14 constitutes a GPS (Global Positioning System), a GPS sensor 15 as a current location detection unit for detecting the current location of the vehicle, and data as an information recording unit in which various information is recorded in addition to map data. The recording unit 16, a navigation processing unit 17 that performs various arithmetic processing such as navigation processing based on the input information, a direction sensor 18 as a direction detection unit that detects the vehicle direction, and a driver who is an operator is predetermined. A display unit 35 as a first output unit for performing various displays by an image displayed on a screen (not shown) and notifying a driver, The voice input unit 36 as a second input unit for performing predetermined input by voice, various displays by voice, and notification to the driver A voice output unit 37 as a second output unit, and a communication unit 38 as a transmission / reception unit functioning as a communication terminal. The navigation processing unit 17 includes a GPS sensor 15, a data recording unit 16, an orientation sensor 18, An operation unit 34, a display unit 35, a voice input unit 36, a voice output unit 37, and a communication unit 38 are connected.

また、前記ナビゲーション処理部17には、前記自動変速機制御部10、車両の前端の所定の箇所に取り付けられ、車両の前方を監視する前方監視装置48、車両の後端の所定の箇所に取り付けられ、車両の後方を撮影する撮像装置としての、かつ、車載カメラとしてのバックカメラ(後方監視カメラ)49、運転者による図示されないアクセルペダルの操作をアクセル開度で検出するエンジン負荷検出部としてのアクセルセンサ42、運転者による図示されないブレーキペダルの操作をブレーキ踏込量で検出する制動検出部としてのブレーキセンサ43、車速を検出する車速検出部としての車速センサ44等が接続される。   The navigation processing unit 17 is attached to the automatic transmission control unit 10, a predetermined position at the front end of the vehicle, and a front monitoring device 48 for monitoring the front of the vehicle, and a predetermined position at the rear end of the vehicle. As an imaging device that captures the rear of the vehicle, a back camera (rear monitoring camera) 49 as an in-vehicle camera, and an engine load detection unit that detects an operation of an accelerator pedal (not shown) by a driver by an accelerator opening. An accelerator sensor 42, a brake sensor 43 as a brake detection unit that detects an operation of a brake pedal (not shown) by a driver by a brake depression amount, a vehicle speed sensor 44 as a vehicle speed detection unit that detects a vehicle speed, and the like are connected.

なお、アクセルセンサ42、ブレーキセンサ43等は運転者による車両の操作情報を検出するための操作情報検出部を構成する。また、撮像装置として、車両の前方を撮影するフロントカメラ(前方監視カメラ)、車両の側方を監視するためのサイドカメラ等の各種の車載カメラを使用することができる。さらに、バックカメラ49は取付角度を変更することができるように、角度調整機構を備える。   The accelerator sensor 42, the brake sensor 43, and the like constitute an operation information detection unit for detecting vehicle operation information by the driver. In addition, various in-vehicle cameras such as a front camera that captures the front of the vehicle (front monitoring camera) and a side camera that monitors the side of the vehicle can be used as the imaging device. Further, the back camera 49 includes an angle adjustment mechanism so that the attachment angle can be changed.

前記GPSセンサ15は、人工衛星によって発生させられた電波を受信することによって地球上における現在地を検出し、併せて時刻を検出する。本実施の形態においては、現在地検出部としてGPSセンサ15を使用するようになっているが、該GPSセンサ15に代えて、図示されない距離センサ、ステアリングセンサ、高度計等を単独で、又は組み合わせて使用することもできる。また、前記方位センサ18としてジャイロセンサ、地磁気センサ等を使用することができる。なお、本実施の形態においては、方位センサ18、車速センサ44等が配設されるようになっているが、自車方位、車速等を検出する機能を有するGPSセンサを使用する場合、方位センサ18、車速センサ44等は不要である。   The GPS sensor 15 detects the current location on the earth by receiving radio waves generated by an artificial satellite, and also detects the time. In the present embodiment, the GPS sensor 15 is used as the current position detection unit. However, in place of the GPS sensor 15, a distance sensor, a steering sensor, an altimeter, etc. (not shown) are used alone or in combination. You can also Further, a gyro sensor, a geomagnetic sensor, or the like can be used as the direction sensor 18. In the present embodiment, the azimuth sensor 18 and the vehicle speed sensor 44 are arranged. However, when a GPS sensor having a function of detecting the vehicle azimuth, the vehicle speed, etc. is used, the azimuth sensor 18. The vehicle speed sensor 44 and the like are not necessary.

前記データ記録部16は、地図データファイルから成る地図データベースを備え、該地図データベースに地図データが記録される。該地図データには、交差点に関する交差点データ、ノードに関するノードデータ、道路リンクに関する道路データ、探索用に加工された探索データ、施設に関する施設データ等が含まれるほか、道路上の地物に関する地物データが含まれる。   The data recording unit 16 includes a map database including map data files, and map data is recorded in the map database. The map data includes intersection data relating to intersections, node data relating to nodes, road data relating to road links, search data processed for searching, facility data relating to facilities, and feature data relating to features on the road. Is included.

前記地物は、運転者に各種の走行上の情報を提供したり、各種の走行上の案内を行ったりするために道路上に設置、又は形成された表示物であり、表示線、路上標識、横断歩道、マンホールの蓋(ふた)、信号機等から成る。前記表示線には、道路の車両を停止させるための停止線、各レーンを区分する車両通行帯境界線、駐車スペースを表す区画線等が含まれ、前記路上標識には、各レーン上に形成され、レーンにおける進行方向を矢印によって表す通行区分標識、「止まれ」等のように一時停止箇所(非優先道路から優先道路への進入箇所、踏切、赤信号が点滅する交差点等が含まれる。)を予告したり、各レーン上に形成され、レーンにおいて「○○方面」等のように方面案内をしたりする案内標識等が含まれる。前記車両通行帯境界線には、道路の路肩側及び反対車線側において実線で形成された道路境界線、及び各道路境界線によって挟まれた領域で、各レーン間において破線で形成されたレーン境界線が含まれる。   The feature is a display object that is installed or formed on a road in order to provide various driving information to the driver or to perform various driving guidance. , Crosswalks, manhole covers, traffic lights, etc. The display line includes a stop line for stopping a vehicle on the road, a vehicle lane boundary line that divides each lane, a partition line that indicates a parking space, and the road sign is formed on each lane. Traffic stop signs indicating the direction of travel in the lane with arrows, temporary stop points such as “stop” (including non-priority road entry to priority road, railroad crossings, intersections where a red light flashes, etc.) And a guidance sign that is formed on each lane and provides guidance in the direction of the lane, such as “direction XX”. The vehicle lane boundary line includes a road boundary line formed by a solid line on the shoulder side and the opposite lane side of the road, and a lane boundary formed by a broken line between each lane in a region sandwiched between the road boundary lines. Includes lines.

そして、前記地物データには、各地物の位置を座標等で表す位置情報、各地物をイメージで表す画像情報等が含まれる。なお、後述される電波ビーコン装置、光ビーコン装置等を地物としてとらえた場合、現況の交通情報は各レーンごとに異なる信号で車両に送られる。したがって、電波ビーコン装置、光ビーコン装置等から送られる信号も地物データに含まれる。   The feature data includes position information that represents the position of each feature by coordinates, image information that represents each feature by image, and the like. When a radio wave beacon device, an optical beacon device, etc., which will be described later, are regarded as features, the current traffic information is sent to the vehicle with a different signal for each lane. Therefore, a signal sent from a radio beacon device, an optical beacon device, or the like is also included in the feature data.

前記交差点データには、交差点の名称、案内交差点に進入する道路(以下「進入道路」という。)、案内交差点から退出する道路(以下「退出道路」という。)、信号機の有無、信号機の種類(例えば、感応式信号機)等のデータが含まれる。例えば、信号機が感応式信号機である場合、車両感知センサによる車両の検出領域である感知エリアの位置を表すデータが含まれる。   The intersection data includes the name of the intersection, the road entering the guidance intersection (hereinafter referred to as “entrance road”), the road exiting from the guidance intersection (hereinafter referred to as “exit road”), the presence / absence of a traffic signal, and the type of traffic signal ( For example, data such as a sensitive signal) is included. For example, when the traffic light is a sensitive traffic light, data indicating the position of a sensing area that is a vehicle detection area by the vehicle sensing sensor is included.

また、前記レーンに関する道路データには、道路の車線数を表すレーン数、道路上の各レーンごとに付与されたレーン番号、レーンの位置情報等から成るレーンデータ(レーン情報)が含まれる。   The road data relating to the lane includes lane data (lane information) including the number of lanes indicating the number of lanes of the road, the lane number assigned to each lane on the road, lane position information, and the like.

なお、前記データ記録部16には、所定の情報を音声出力部37によって出力するためのデータも記録される。   The data recording unit 16 also records data for outputting predetermined information by the audio output unit 37.

さらに、前記データ記録部16には、統計データファイルから成る統計データベース、走行履歴データファイルから成る走行履歴データベース等が形成され、前記統計データファイルに統計データが、前記走行履歴データファイルに走行履歴データが、いずれも実績データとして記録される。   Further, the data recording unit 16 includes a statistical database composed of statistical data files, a travel history database composed of travel history data files, and the like. Statistical data is stored in the statistical data file, and travel history data is stored in the travel history data file. However, both are recorded as performance data.

前記統計データは、過去に提供された交通情報の実績、すなわち、履歴を表す履歴情報であり、情報提供者としてのVICS(登録商標:Vehicle Information and Communication System)センタ等の図示されない道路交通情報センタ等によって過去に提供された交通情報、国土交通省によって提供された道路交通センサスによる交通量を表すデータである道路交通センサス情報、国土交通省によって提供された道路時刻表情報等を単独で、又は組み合わせて使用し、必要に応じて、加工し、統計処理を施すことによって作成される。なお、前記統計データに、渋滞状況を予測する渋滞予測情報等を加えることもできる。その場合、前記統計データを作成するに当たり、履歴情報に、日時、曜日、天候、各種イベント、季節、施設の情報(デパート、スーパーマーケット等の大型の施設の有無)等の詳細な条件が加えられる。   The statistical data is a history of traffic information provided in the past, that is, history information representing a history, and a road traffic information center (not shown) such as a VICS (registered trademark: Vehicle Information and Communication System) center as an information provider. Traffic information provided in the past, etc., road traffic census information that is data representing traffic volume by road traffic census provided by the Ministry of Land, Infrastructure, Transport and Tourism, road timetable information provided by the Ministry of Land, Infrastructure, Transport and Tourism alone, or It is created by using in combination, processing as needed, and applying statistical processing. It is possible to add traffic jam prediction information for predicting traffic jams to the statistical data. In that case, in creating the statistical data, detailed conditions such as date and time, day of the week, weather, various events, seasons, facility information (presence / absence of large facilities such as department stores and supermarkets) are added to the history information.

そして、前記統計データのデータ項目は、各道路リンクについてのリンク番号、走行方向を表す方向フラグ、情報の種類を表す情報種別、所定のタイミングごとの渋滞度、前記各道路リンクを走行したときの、所定のタイミングごとの所要時間を表すリンク所要時間、該リンク所要時間の各曜日ごとの平均的なデータ、例えば、曜日平均データ等から成る。   The data items of the statistical data include a link number for each road link, a direction flag that represents a traveling direction, an information type that represents a type of information, a degree of congestion at each predetermined timing, and a time when the road link is traveled. , A link required time representing a required time for each predetermined timing, and average data for each day of the link required time, for example, day average data.

また、前記走行履歴データは、情報センタ51によって複数の車両、すなわち、自車又は他車から収集され、各車両が走行した道路における車両の走行の実績、すなわち、走行実績を表す実績情報であり、走行データに基づいてプローブデータとして算出され、蓄積される。   Further, the travel history data is collected from a plurality of vehicles, that is, the own vehicle or other vehicles by the information center 51, and is a track record that represents the track record of the vehicle on the road on which each vehicle has traveled, that is, the track record. The probe data is calculated and accumulated based on the travel data.

前記走行履歴データのデータ項目は、各道路リンクを走行したときの、所定のタイミングごとのリンク所要時間、各道路リンクを走行したときの、所定のタイミングごとの渋滞度等から成る。なお、前記統計データに、走行履歴データを加えることができる。また、本実施の形態において、渋滞度は、渋滞の度合いを表す渋滞指標として使用され、渋滞、混雑及び非渋滞の別で表される。   The data items of the travel history data include a link required time at each predetermined timing when traveling on each road link, a degree of congestion at each predetermined timing when traveling on each road link, and the like. Note that travel history data can be added to the statistical data. Further, in the present embodiment, the congestion level is used as a congestion index that represents the degree of congestion, and is represented separately for congestion, congestion, and non-congestion.

前記データ記録部16は、前記各種のデータを記録するために、ハードディスク、CD、DVD、光ディスク等の図示されないディスクを備えるほかに、各種のデータを読み出したり、書き込んだりするための読出・書込ヘッド等の図示されないヘッドを備える。また、前記データ記録部16にメモリカード等を使用することができる。なお、前記各ディスク、メモリカード等によって外部記憶装置が構成される。   The data recording unit 16 includes a disk (not shown) such as a hard disk, a CD, a DVD, and an optical disk in order to record the various data, and also reads / writes for reading and writing various data. A head (not shown) such as a head is provided. Further, a memory card or the like can be used for the data recording unit 16. An external storage device is constituted by the disks, memory cards and the like.

本実施の形態においては、前記データ記録部16に、前記地図データベース、統計データベース、走行履歴データベース等が形成されるようになっているが、情報センタ51において、前記地図データベース、統計データベース、走行履歴データベース等を形成することもできる。   In the present embodiment, the map database, the statistical database, the travel history database, and the like are formed in the data recording unit 16, but in the information center 51, the map database, the statistical database, the travel history A database or the like can also be formed.

また、前記ナビゲーション処理部17は、ナビゲーション装置14の全体の制御を行う制御装置としての、かつ、演算装置としてのCPU31、該CPU31が各種の演算処理を行うに当たってワーキングメモリとして使用されるRAM32、制御用のプログラムのほか、目的地までの経路の探索、経路案内等を行うための各種のプログラムが記録されたROM33、各種のデータ、プログラム等を記録するために使用される図示されないフラッシュメモリを備える。なお、前記RAM32、ROM33、フラッシュメモリ等によって、内部記憶装置が構成される。   The navigation processing unit 17 is a control device that performs overall control of the navigation device 14 and a CPU 31 as an arithmetic device, a RAM 32 that is used as a working memory when the CPU 31 performs various arithmetic processes, In addition to the above program, a ROM 33 in which various programs for searching for a route to the destination, route guidance and the like are recorded, and a flash memory (not shown) used for recording various data, programs and the like are provided. . The RAM 32, ROM 33, flash memory, etc. constitute an internal storage device.

本実施の形態においては、前記ROM33に各種のプログラムを記録し、前記データ記録部16に各種のデータを記録することができるが、プログラム、データ等をディスク等に記録することもできる。この場合、ディスク等から前記プログラム、データ等を読み出してフラッシュメモリに書き込むことができる。したがって、ディスク等を交換することによって前記プログラム、データ等を更新することができる。また、前記自動変速機制御部10の制御用のプログラム、データ等も前記ディスク等に記録することができる。さらに、通信部38を介して前記プログラム、データ等を受信し、ナビゲーション処理部17のフラッシュメモリに書き込むこともできる。   In the present embodiment, various programs can be recorded in the ROM 33 and various data can be recorded in the data recording unit 16, but the programs, data, and the like can also be recorded on a disk or the like. In this case, the program, data, etc. can be read from a disk or the like and written to the flash memory. Therefore, the program, data, etc. can be updated by exchanging the disk or the like. Further, the control program, data, and the like of the automatic transmission control unit 10 can be recorded on the disk or the like. Further, the program, data, and the like can be received via the communication unit 38 and written into the flash memory of the navigation processing unit 17.

前記操作部34は、運転者が操作することによって、走行開始時の現在地を修正したり、出発地及び目的地を入力したり、通過点を入力したり、通信部38を作動させたりするためのものであり、前記操作部34として、表示部35とは独立に配設されたキーボード、マウス等を使用することができる。また、前記操作部34として、前記表示部35に形成された画面に画像で表示された各種のキー、スイッチ、ボタン等の画像操作部をタッチ又はクリックすることによって、所定の入力操作を行うことができるようにしたタッチパネルを使用することができる。   The operation unit 34 is operated by the driver to correct the current location at the start of traveling, to input a departure point and a destination, to input a passing point, and to activate the communication unit 38. As the operation unit 34, a keyboard, a mouse, or the like disposed independently of the display unit 35 can be used. Further, as the operation unit 34, a predetermined input operation is performed by touching or clicking an image operation unit such as various keys, switches, and buttons displayed as images on the screen formed in the display unit 35. It is possible to use a touch panel that can be used.

前記表示部35としてディスプレイが使用される。そして、表示部35に形成された各種の画面に、車両の現在地を自車位置として、車両の方位を自車方位として表示したり、地図、探索経路、該探索経路に沿った案内情報、交通情報等を表示したり、探索経路における次の交差点までの距離、次の交差点における進行方向を表示したりすることができるだけでなく、前記画像操作部、操作部34、音声入力部36等の操作案内、操作メニュー及びキーの案内等を表示したり、FM多重放送の番組等を表示したりすることができる。   A display is used as the display unit 35. Then, on various screens formed on the display unit 35, the current position of the vehicle is displayed as the vehicle position, the vehicle direction is displayed as the vehicle direction, a map, a search route, guidance information along the search route, traffic In addition to displaying information and the like, displaying the distance to the next intersection on the searched route, and the traveling direction at the next intersection, the operation of the image operation unit, operation unit 34, voice input unit 36, etc. It is possible to display guidance, operation menus and key guidance, and to display FM multiplex broadcast programs.

また、音声入力部36は、図示されないマイクロホン等によって構成され、音声によって必要な情報を入力することができる。さらに、音声出力部37は、図示されない音声合成装置及びスピーカを備え、音声出力部37から、前記探索経路、案内情報、交通情報等が、例えば、音声合成装置によって合成された音声で出力される。   The voice input unit 36 includes a microphone (not shown) and the like, and can input necessary information by voice. Further, the voice output unit 37 includes a voice synthesizer and a speaker (not shown), and the search route, guidance information, traffic information, and the like are output from the voice output unit 37, for example, as voice synthesized by the voice synthesizer. .

前記通信部38は、前記道路交通情報センタから送信された現況の交通情報、一般情報等の各種の情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するためのビーコンレシーバ、FM放送局を介してFM多重放送として受信するためのFM受信機等を備える。なお、前記交通情報には、渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況情報等が含まれ、一般情報には、ニュース、天気予報等が含まれる。また、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。   The communication unit 38 transmits various information such as current traffic information and general information transmitted from the road traffic information center to radio wave beacons via radio wave beacon devices, optical beacon devices and the like arranged along the road. A beacon receiver for receiving as an optical beacon, an FM receiver for receiving as an FM multiplex broadcast via an FM broadcast station, and the like. The traffic information includes traffic jam information, regulation information, parking lot information, traffic accident information, service area congestion status information, and the like, and general information includes news, weather forecasts, and the like. Further, the beacon receiver and the FM receiver are unitized and arranged as a VICS receiver, but can be arranged separately.

前記交通情報は、情報の種別を表す情報種別、メッシュを特定するためのメッシュ番号、二つの地点、例えば、交差点間を連結する道路リンクを特定し、かつ、上り/下りの別を表すリンク番号、該リンク番号に対応させて提供される情報の内容を表すリンク情報等を含み、例えば、交通情報が渋滞情報である場合、前記リンク情報は、前記道路リンクの始点から渋滞の先頭までの距離を表す渋滞先頭データ、渋滞度、渋滞区間を前記渋滞の先頭から渋滞の末尾までの距離を表す渋滞長、道路リンクを走行するのに必要な時間を表すリンク所要時間等から成る。   The traffic information includes an information type indicating a type of information, a mesh number for specifying a mesh, a link number that specifies two points, for example, a road link that connects between intersections, and indicates a link between uplink and downlink , Including link information representing the content of information provided in association with the link number, for example, when the traffic information is traffic jam information, the link information is a distance from the start point of the road link to the head of the traffic jam Congestion head data representing traffic congestion degree, congestion section, traffic jam length representing the distance from the beginning of the traffic jam to the end of the traffic jam, link required time representing the time required to travel on the road link, and the like.

そして、通信部38は、前記情報センタ51から、前記地図データ、統計データ、走行履歴データ等のデータのほか、交通情報、一般情報等の各種の情報をネットワーク63を介して受信することができる。   And the communication part 38 can receive various information, such as traffic information and general information other than data, such as the said map data, statistical data, and driving history data, from the said information center 51 via the network 63. .

そのために、前記情報センタ51は、サーバ53、該サーバ53に接続された通信部57及び情報記録部としてのデータベース(DB)58等を備え、前記サーバ53は、制御装置としての、かつ、演算装置としてのCPU54、RAM55、ROM56等を備える。また、前記データベース58に、前記データ記録部16に記録された各種のデータと同様のデータ、例えば、前記地図データ、統計データ、走行履歴データ等が記録される。さらに、情報センタ51は、前記道路交通情報センタから送信された現況の交通情報、一般情報等の各種の情報、及び複数の車両(自車又は他車)から収集した走行履歴データをリアルタイムに提供することができる。   For this purpose, the information center 51 includes a server 53, a communication unit 57 connected to the server 53, a database (DB) 58 as an information recording unit, and the like. A CPU 54, a RAM 55, a ROM 56, etc. are provided as devices. The database 58 records data similar to the various data recorded in the data recording unit 16, for example, the map data, statistical data, travel history data, and the like. Further, the information center 51 provides various information such as current traffic information and general information transmitted from the road traffic information center, and travel history data collected from a plurality of vehicles (own vehicle or other vehicles) in real time. can do.

そして、前記前方監視装置48は、レーザレーダ、ミリ波レーダ等のレーダ、超音波センサ等、又はそれらの組合せから成り、先行して走行している車両、すなわち、先行車両を監視したり、一時停止箇所、障害物等を監視したりする。また、前方監視装置48は、車両周辺情報として先行車両に対する相対的な車速を表す相対速度、一時停止箇所に対する接近速度、障害物に対する接近速度等を検出したり、車間距離、車間時間等を算出したりする。   The forward monitoring device 48 is composed of a radar such as a laser radar or a millimeter wave radar, an ultrasonic sensor, or a combination thereof, and monitors a vehicle traveling ahead, that is, a preceding vehicle, Monitor stop points and obstacles. Further, the front monitoring device 48 detects a relative speed indicating a relative vehicle speed with respect to the preceding vehicle, an approach speed with respect to a temporary stop position, an approach speed with respect to an obstacle, and the like, and calculates an inter-vehicle distance, an inter-vehicle time, etc. To do.

前記バックカメラ49は、CCD素子から成り、車両の後方を監視するために、光軸を斜め下方に向けて取り付けられ、前記地物のほかに、車両の後方を走行している車両である後方車両、道路脇の建造物、構造物等を被撮影物として撮影し、撮影された被撮影物の画像データを発生させ、CPU31に送る。該CPU31は、前記画像データを読み込み、画像データに対して画像処理を行うことによって、画像中の前記各被撮影物を認識対象物として認識する。本実施の形態においては、バックカメラ49としてCCD素子が使用されるが、C−MOS素子等を使用することができる。   The back camera 49 is composed of a CCD element and is mounted with the optical axis obliquely downward to monitor the rear of the vehicle. In addition to the features, the rear camera 49 is a vehicle traveling behind the vehicle. Vehicles, roadside buildings, structures, and the like are photographed as objects to be photographed, and image data of the photographed objects are generated and sent to the CPU 31. The CPU 31 reads the image data and performs image processing on the image data, thereby recognizing each object to be photographed in the image as a recognition object. In the present embodiment, a CCD element is used as the back camera 49, but a C-MOS element or the like can be used.

なお、前記ナビゲーションシステム、ナビゲーション処理部17、CPU31、54、サーバ53等は、単独で、又は二つ以上組み合わせることによってコンピュータとして機能し、各種のプログラム、データ等に基づいて演算処理を行う。また、データ記録部16、RAM32、55、ROM33、56、データベース58、フラッシュメモリ等によって記録媒体が構成される。そして、演算装置として、CPU31、54に代えてMPU等を使用することもできる。   The navigation system, the navigation processing unit 17, the CPUs 31, 54, the server 53, and the like function as a computer alone or in combination of two or more, and perform arithmetic processing based on various programs, data, and the like. The data recording unit 16, RAMs 32 and 55, ROMs 33 and 56, database 58, flash memory, and the like constitute a recording medium. An MPU or the like can be used instead of the CPUs 31 and 54 as the arithmetic unit.

次に、前記構成のナビゲーションシステムの基本動作について説明する。   Next, a basic operation of the navigation system having the above configuration will be described.

まず、運転者によって操作部34が操作され、ナビゲーション装置14が起動されると、CPU31の図示されないナビ初期化処理手段は、ナビ初期化処理を行い、GPSセンサ15によって検出された車両の現在地、方位センサ18によって検出された自車方位を読み込むとともに、各種のデータを初期化する。次に、前記CPU31の図示されないマッチング処理手段は、マッチング処理を行い、現在地を読み込み、読み込まれた現在地の軌跡、及び現在地の周辺の道路を構成する各道路リンクの形状、配列等に基づいて、現在地がいずれの道路リンク上に位置するかの判定を行うことによって、現在地を特定する。   First, when the operation unit 34 is operated by the driver and the navigation device 14 is activated, a navigation initialization processing unit (not shown) of the CPU 31 performs navigation initialization processing, and the current location of the vehicle detected by the GPS sensor 15, The vehicle direction detected by the direction sensor 18 is read, and various data are initialized. Next, the matching processing means (not shown) of the CPU 31 performs matching processing, reads the current location, and based on the trajectory of the read current location and the shape, arrangement, etc. of each road link constituting the road around the current location, The current location is identified by determining on which road link the current location is located.

また、本実施の形態において、前記マッチング処理手段は、さらに、バックカメラ49によって撮影された前記被撮影物である各地物の位置に基づいて現在地を特定する。なお、車両の前方を撮影するフロントカメラを備えた車両においては、フロントカメラによって、各地物の位置を算出することができる。   In the present embodiment, the matching processing unit further specifies the current location based on the position of each feature that is the subject to be photographed by the back camera 49. Note that in a vehicle including a front camera that captures the front of the vehicle, the position of each feature can be calculated by the front camera.

そのために、CPU31の図示されない画像認識処理手段は、画像認識処理を行い、バックカメラ49から画像データを読み込み、該画像データから成る画像中の地物を認識する。また、前記CPU31の図示されない距離算出処理手段は、距離算出処理を行い、画像中における地物の位置に基づいて、バックカメラ49から実際の地物までの距離を算出する。そして、前記マッチング処理手段の現在地特定処理手段は、現在地特定処理を行い、前記距離を読み込むとともに、データ記録部16から地物データを読み出して前記地物の座標を取得し、該座標及び前記距離に基づいて現在地を特定する。   For this purpose, image recognition processing means (not shown) of the CPU 31 performs image recognition processing, reads image data from the back camera 49, and recognizes a feature in the image composed of the image data. A distance calculation processing unit (not shown) of the CPU 31 performs a distance calculation process, and calculates a distance from the back camera 49 to the actual feature based on the position of the feature in the image. The current location specifying processing means of the matching processing means performs current location specifying processing, reads the distance, reads the feature data from the data recording unit 16 to acquire the coordinates of the feature, and the coordinates and the distance Based on the current location.

また、前記CPU31の図示されないレーン特定処理手段は、レーン特定処理を行い、レーンについての走行履歴、画像データに基づいて認識された地物等に基づいて、必要に応じて、地物とデータ記録部16から読み出された地物データとを照合したときの照合結果に基づいて、走行レーンを特定する。さらに、高精度のGPSセンサを使用し、現在地を精度よく検出し、検出結果に基づいて走行レーンを特定することもできる。   A lane identification processing unit (not shown) of the CPU 31 performs a lane identification process, and records features and data as necessary based on the travel history of the lane, the features recognized based on the image data, and the like. Based on the collation result when collating with the feature data read from the unit 16, the traveling lane is specified. Furthermore, a high-precision GPS sensor can be used to accurately detect the current location, and the traveling lane can be specified based on the detection result.

なお、地物がマンホールの蓋等のように鋼等の強磁性体から成る場合、前記レーン特定処理手段は、前記地磁気センサのセンサ出力を読み込み、該センサ出力に基づいてマンホールの蓋等があるかどうかを判断し、判断結果に基づいて走行レーンを特定することもできる。また、必要に応じて、表示線の画像データに対して画像処理を行うのと同時に、地磁気センサのセンサ出力、現在地等を組み合わせて、走行レーンを特定することができる。   When the feature is made of a ferromagnetic material such as steel such as a manhole cover, the lane identification processing unit reads the sensor output of the geomagnetic sensor, and there is a manhole cover or the like based on the sensor output. It is also possible to determine whether or not the vehicle lane is based on the determination result. Further, if necessary, it is possible to identify the traveling lane by combining the sensor output of the geomagnetic sensor, the current location, etc. simultaneously with performing image processing on the image data of the display lines.

続いて、CPU31の図示されない基本情報取得処理手段は、基本情報取得処理を行い、前記地図データを、データ記録部16から読み出して取得するか、又は通信部38を介して情報センタ51等から受信して取得する。なお、地図データを情報センタ51等から取得する場合、前記基本情報取得処理手段は、受信した地図データをフラッシュメモリにダウンロードする。   Subsequently, a basic information acquisition processing unit (not shown) of the CPU 31 performs a basic information acquisition process and acquires the map data by reading it from the data recording unit 16 or receiving it from the information center 51 or the like via the communication unit 38. And get. In addition, when acquiring map data from the information center 51 etc., the said basic information acquisition process means downloads the received map data to flash memory.

そして、前記CPU31の図示されない表示処理手段は、表示処理を行い、前記表示部35に各種の画面を形成する。例えば、表示処理手段の地図表示処理手段は、地図表示処理を行い、表示部35に地図画面を形成し、該地図画面に周囲の地図を表示するとともに、現在地を自車位置として、車両の方位を自車方位として表示する。   A display processing unit (not shown) of the CPU 31 performs display processing and forms various screens on the display unit 35. For example, the map display processing means of the display processing means performs a map display process, forms a map screen on the display unit 35, displays a surrounding map on the map screen, and sets the current position as the vehicle position and the direction of the vehicle. Is displayed as the vehicle direction.

したがって、運転者は、前記地図、自車位置及び自車方位に従って車両を走行させることができる。   Accordingly, the driver can drive the vehicle according to the map, the vehicle position, and the vehicle direction.

また、運転者が操作部34を操作して目的地を入力すると、CPU31の図示されない目的地設定処理手段は、目的地設定処理を行い、目的地を設定する。なお、必要に応じて出発地を入力し、設定することもできる。また、あらかじめ所定の地点を登録しておき、登録された地点を目的地として設定することができる。続いて、運転者が操作部34を操作して探索条件を入力すると、CPU31の図示されない探索条件設定処理手段は、探索条件設定処理を行い、探索条件を設定する。   Further, when the driver operates the operation unit 34 to input a destination, a destination setting processing unit (not shown) of the CPU 31 performs a destination setting process to set the destination. Note that the departure place can be input and set as necessary. Moreover, a predetermined point can be registered in advance, and the registered point can be set as a destination. Subsequently, when the driver operates the operation unit 34 to input a search condition, a search condition setting processing unit (not shown) of the CPU 31 performs a search condition setting process to set the search condition.

このようにして、目的地及び探索条件が設定されると、CPU31の図示されない経路探索処理手段は、経路探索処理を行い、前記現在地、目的地、探索条件等を読み込むともに、データ記録部16から探索データ等を読み出し、現在地、目的地及び探索データに基づいて、現在地で表される出発地から目的地までの経路を前記探索条件で探索し、探索経路を表す経路データを出力する。このとき、各道路リンクごとに付与されたリンクコストの合計が最も小さい経路が探索経路とされる。   When the destination and the search condition are set in this way, the route search processing unit (not shown) of the CPU 31 performs the route search process, reads the current location, the destination, the search condition, and the like from the data recording unit 16. Based on the current location, the destination, and the search data, a route from the departure point to the destination represented by the current location is searched based on the search condition, and route data representing the searched route is output. At this time, the route with the smallest total link cost assigned to each road link is set as the searched route.

また、道路に複数のレーンが形成されている場合で、かつ、走行レーンが特定されている場合、前記経路探索処理手段は、レーン単位で探索経路を探索する。その場合、前記経路データには走行レーンのレーン番号等も含まれる。   In addition, when a plurality of lanes are formed on the road and a traveling lane is specified, the route search processing unit searches for a searched route for each lane. In this case, the route data includes the lane number of the traveling lane.

なお、前記情報センタ51において経路探索処理を行うことができる。その場合、CPU31は現在地、目的地、探索条件等を情報センタ51に送信する。該情報センタ51は、現在地、目的地、探索条件等を受信すると、CPU54の図示されない経路探索処理手段は、CPU31と同様の経路探索処理を行い、データベース58から探索データ等を読み出し、現在地、目的地及び探索データに基づいて、出発地から目的地までの経路を前記探索条件で探索し、探索経路を表す経路データを出力する。次に、CPU54の図示されない送信処理手段は、送信処理を行い、前記経路データをナビゲーション装置14に送信する。   The information center 51 can perform a route search process. In that case, the CPU 31 transmits the current location, the destination, search conditions, and the like to the information center 51. When the information center 51 receives the current location, destination, search conditions, etc., the route search processing means (not shown) of the CPU 54 performs route search processing similar to that of the CPU 31 and reads the search data from the database 58 to obtain the current location, destination. Based on the location and the search data, a route from the departure point to the destination is searched under the search conditions, and route data representing the searched route is output. Next, a transmission processing unit (not shown) of the CPU 54 performs transmission processing and transmits the route data to the navigation device 14.

続いて、前記CPU31の図示されない案内処理手段は、案内処理を行い、経路案内を行う。そのために、前記案内処理手段の経路表示処理手段は、経路表示処理を行い、前記経路データを読み込み、該経路データに従って前記地図画面に探索経路を表示する。   Subsequently, a guidance processing means (not shown) of the CPU 31 performs guidance processing and provides route guidance. For this purpose, the route display processing means of the guidance processing means performs route display processing, reads the route data, and displays the searched route on the map screen according to the route data.

ところで、前記経路案内においては、所定の交差点で車両を右左折させる必要がある場合、前記交差点が案内点として、かつ、案内交差点として設定される。   By the way, in the route guidance, when the vehicle needs to turn right or left at a predetermined intersection, the intersection is set as a guidance point and a guidance intersection.

そのために、前記案内処理手段の案内交差点設定処理手段は、案内交差点設定処理を行い、経路データに従って、すなわち、前記探索経路に基づいて、車両を右左折させる必要がある交差点があるかどうかを判断し、車両を右左折させる必要がある交差点がある場合、該交差点を案内交差点として設定する。   For this purpose, the guidance intersection setting processing means of the guidance processing means performs guidance intersection setting processing and determines whether there is an intersection that requires the vehicle to turn left or right according to the route data, that is, based on the searched route. If there is an intersection that requires the vehicle to turn left or right, the intersection is set as a guide intersection.

また、前記レーン単位で探索経路が探索されている場合、前記案内処理手段の推奨レーン設定処理手段は、推奨レーン設定処理を行い、前述されたように、走行するのが推奨されるレーン、例えば、案内交差点を通過するに当たり、案内交差点に進入するのに適したレーン、案内交差点から退出するのに適したレーン等を推奨レーンとして選択し、設定する。そして、前記経路表示処理手段は、前記地図画面に探索経路を表示するとともに、地図画面の所定の領域に、車両が走行している道路の拡大図、すなわち、道路拡大図を表示し、道路拡大図によるレーン案内を行う。この場合、前記道路拡大図に、各レーン及び該各レーンのうちの推奨レーンが表示される。   In addition, when the searched route is searched for in each lane, the recommended lane setting processing unit of the guidance processing unit performs a recommended lane setting process and, as described above, a lane recommended to travel, for example, When passing through the guidance intersection, a lane suitable for entering the guidance intersection, a lane suitable for exiting the guidance intersection, and the like are selected and set as recommended lanes. The route display processing means displays the search route on the map screen, and displays an enlarged view of the road on which the vehicle is traveling, that is, an enlarged view of the road, in a predetermined area of the map screen. Lane guidance according to the figure. In this case, each lane and recommended lanes among the lanes are displayed on the enlarged road view.

続いて、案内処理手段の音声出力処理手段は、音声出力処理を行い、経路案内を音声出力部37から音声で出力する。そのために、案内処理手段の経路案内地点設定処理手段は、経路案内地点設定処理を行い、探索経路上の前記案内交差点より手前(自車側)の、あらかじめ各設定された距離だけ離れた箇所に、一つ以上の経路案内地点を設定する。また、案内処理手段の地点案内処理手段は、地点案内処理を行い、各経路案内地点に車両が到達すると、案内交差点について、経路案内地点ごとにあらかじめ設定された内容、例えば、自車位置から案内交差点までの距離、案内交差点における右左折等について経路案内を行う。また、推奨レーンが設定されている場合、前記地点案内処理手段のレーン案内処理手段は、レーン案内処理を行い、経路案内地点ごとにあらかじめ設定された内容、例えば、自車位置から案内交差点までの各推奨レーン、案内交差点の先の推奨レーン等について、音声フレーズによるレーン案内を行う。そして、走行レーンと推奨レーンとが異なる場合、前記レーン案内処理手段は、車両を走行レーンから推奨レーンに誘導する。したがって、運転者は車両を推奨レーンに沿って走行させることができる。   Subsequently, the voice output processing means of the guidance processing means performs voice output processing and outputs route guidance from the voice output unit 37 by voice. For this purpose, the route guidance point setting processing means of the guidance processing means performs route guidance point setting processing, at a location that is a predetermined distance away from the guidance intersection on the searched route (on the vehicle side). Set one or more route guidance points. Further, the point guidance processing means of the guidance processing means performs the point guidance processing, and when the vehicle reaches each route guidance point, the guidance intersection is preliminarily set for each route guidance point, for example, guidance from the own vehicle position. Route guidance is provided for distances to intersections, left and right turns at guidance intersections, etc. In addition, when a recommended lane is set, the lane guidance processing means of the point guidance processing means performs lane guidance processing, and contents set in advance for each route guidance point, for example, from the vehicle position to the guidance intersection For each recommended lane, the recommended lane ahead of the guidance intersection, etc., the lane guidance is provided by voice phrases. If the travel lane is different from the recommended lane, the lane guidance processing means guides the vehicle from the travel lane to the recommended lane. Therefore, the driver can drive the vehicle along the recommended lane.

また、前記案内処理手段の案内点拡大図表示処理手段は、案内点拡大図表示処理を行い、交差点データを読み出し、車両が案内交差点に到達する前に、地図画面の所定の領域に案内交差点の拡大図、すなわち、交差点拡大図を表示し、交差点拡大図による経路案内を行う。この場合、前記交差点拡大図に、案内交差点の周辺の地図、探索経路、案内交差点において目印になる施設等の陸標が表示される。また、進入道路又は退出道路に複数のレーンが形成されていて、レーン案内が行われている場合には、前記案内点拡大図表示処理手段は、交差点拡大図に推奨レーンを表示する。   Further, the guidance point enlarged map display processing means of the guidance processing means performs the guidance point enlarged map display processing, reads the intersection data, and before the vehicle reaches the guidance intersection, the guidance point enlarged map display process is performed in a predetermined area of the map screen. An enlarged view, that is, an enlarged view of the intersection is displayed, and route guidance based on the enlarged view of the intersection is performed. In this case, a map of the vicinity of the guidance intersection, a search route, and landmarks such as facilities that are landmarks at the guidance intersection are displayed on the enlarged intersection. When a plurality of lanes are formed on the approach road or the exit road and the lane guidance is performed, the guide point enlarged map display processing means displays the recommended lane on the intersection enlarged map.

ところで、前述されたように、例えば、自車の周囲を監視するために、バックカメラ49が光軸を斜め下方に向けて取り付けられ、地物、他の車両、道路脇の建造物、構造物等の被撮影物を撮影し、画像中の被撮影物を認識することができるようになっている。   By the way, as described above, for example, in order to monitor the surroundings of the own vehicle, the back camera 49 is mounted with the optical axis obliquely downward, and features, other vehicles, roadside structures, structures For example, a subject to be photographed in the image can be recognized.

ところが、前記バックカメラ49の取付角度が正確ではないと、被撮影物を精度よく認識することができなくなってしまう。   However, if the mounting angle of the back camera 49 is not accurate, the object to be photographed cannot be accurately recognized.

そこで、バックカメラ49の取付角度をキャリブレーション装置によって補正することができるようになっている。   Therefore, the mounting angle of the back camera 49 can be corrected by a calibration device.

図2は本発明の実施の形態におけるキャリブレーション装置の動作を示す図、図3は本発明の実施の形態におけるバックカメラの斜視図、図4は本発明の実施の形態におけるバックカメラによるマーカの撮影状態を示す図、図5は本発明の実施の形態における取付角度の補正方法を示す第1の図、図6は本発明の実施の形態における取付角度の補正方法を示す第2の図である。   2 is a diagram illustrating the operation of the calibration apparatus according to the embodiment of the present invention, FIG. 3 is a perspective view of the back camera according to the embodiment of the present invention, and FIG. 4 is a diagram of the marker by the back camera according to the embodiment of the present invention. FIG. 5 is a diagram illustrating a shooting state, FIG. 5 is a first diagram illustrating a method for correcting the mounting angle in the embodiment of the present invention, and FIG. 6 is a second diagram illustrating a method for correcting the mounting angle in the embodiment of the present invention. is there.

この場合、バックカメラ49は、レンズ71、該レンズ71を保持するフレーム72等を備え、該フレーム72の前端面73には、円周方向における複数箇所、本実施の形態においては、4箇所に、等ピッチで発光装置としてのレーザ式のポインタqi(i=1、2、…、4 )が取り付けられる。   In this case, the back camera 49 includes a lens 71, a frame 72 that holds the lens 71, and the like, and the front end surface 73 of the frame 72 has a plurality of locations in the circumferential direction, that is, four locations in the present embodiment. Laser pointers qi (i = 1, 2,..., 4) as light emitting devices are attached at equal pitches.

そして、前記CPU31の図示されないマーカ作成処理手段は、マーカ作成処理を行い、バックカメラ49を自車に搭載した状態で、前記各ポインタqiによってレーザ光を発生させ、地面Seを照射し、地面Se上に、各ポインタqiに対応する位置にマーカki(i=1、2、…、4 )を形成する。なお、前記ポインタqiは光源の部分で円形の形状を有するが、バックカメラ49は光軸を斜め下方に向けて取り付けられるので、各マーカkiは、形状が歪み、楕円形の形状を有するようになる。   Then, a marker creation processing unit (not shown) of the CPU 31 performs a marker creation process, generates a laser beam by each pointer qi with the back camera 49 mounted on the own vehicle, irradiates the ground Se, and ground Se. On the top, a marker ki (i = 1, 2,..., 4) is formed at a position corresponding to each pointer qi. Although the pointer qi has a circular shape at the light source portion, the back camera 49 is mounted with its optical axis obliquely downward, so that each marker ki has a shape that is distorted and has an elliptical shape. Become.

続いて、前記CPU31の図示されないマーカ撮影処理手段は、マーカ撮影処理を行い、各マーカkiをバックカメラ49によって撮影し、撮影されたマーカkiの画像データを発生させ、CPU31に送る。   Subsequently, a marker photographing processing unit (not shown) of the CPU 31 performs a marker photographing process, photographs each marker ki with the back camera 49, generates image data of the photographed marker ki, and sends the image data to the CPU 31.

そして、前記画像認識処理手段は、バックカメラ49から送られてきた画像データに対して画像処理を行い、画像中の各マーカkiを認識する。続いて、前記CPU31の図示されない取付角度算出処理手段は、取付角度算出処理を行い、認識された各マーカkiの寸法及び形状に基づいてバックカメラ49の取付角度を算出する。なお、前記キャリブレーション装置は、バックカメラ49、ポインタqi、CPU31等によって構成される。   The image recognition processing means performs image processing on the image data sent from the back camera 49 and recognizes each marker ki in the image. Subsequently, an attachment angle calculation processing unit (not shown) of the CPU 31 performs an attachment angle calculation process, and calculates the attachment angle of the back camera 49 based on the recognized size and shape of each marker ki. The calibration device includes a back camera 49, a pointer qi, a CPU 31, and the like.

各ポインタqiの縦方向の長さをε1とし、ポインタq1、q3間(ポインタq2、q4間)の縦方向の距離をε2とし、ポインタq1、q2間(ポインタq3、q4間)の横方向の距離をε3とし、また、図5に示されるように、各マーカkiの縦方向の長さをu1とし、マーカk1、k3間(マーカk2、k4間)の縦方向の距離をu2とし、マーカk1、k2間(マーカk3、k4間)の横方向の距離をu3としたとき、前記取付角度算出処理手段は、前記長さu1、ε1及び距離u2、u3、ε2、ε3に基づいてバックカメラ49の取付角度を算出する。   The vertical length of each pointer qi is ε1, the vertical distance between the pointers q1 and q3 (between the pointers q2 and q4) is ε2, and the horizontal length between the pointers q1 and q2 (between the pointers q3 and q4) is The distance is ε3, and as shown in FIG. 5, the vertical length of each marker ki is u1, the vertical distance between the markers k1 and k3 (between the markers k2 and k4) is u2, and the marker When the horizontal distance between k1 and k2 (between the markers k3 and k4) is u3, the mounting angle calculation processing means is a back camera based on the lengths u1, ε1 and the distances u2, u3, ε2, ε3. 49 is calculated.

バックカメラ49の取付角度は、バックカメラ49の光軸と、バックカメラ49から垂直方向下方に延びる線とが成す角度で表すことができ、取付角度をθ1とすると、例えば、距離u2、ε2から
θ1=cos- (ε2/u2)
となる。
The mounting angle of the back camera 49 can be expressed by an angle formed by the optical axis of the back camera 49 and a line extending vertically downward from the back camera 49. When the mounting angle is θ1, for example, from the distances u2 and ε2. θ1 = cos (ε2 / u2)
It becomes.

なお、例えば、バックカメラ49が正しい取付角度θ1で取り付けられている場合に、図5に示されるように、各マーカkiの縦方向の長さがu1になり、マーカk1、k3間(マーカk2、k4間)の縦方向の距離がu2になり、マーカk1、k2間(マーカk3、k4間)の横方向の距離がu13になるのに対して、取付角度が変化してθ2になると、例えば、図6に示されるように、各マーカkiの縦方向の長さがu11になり、マーカk1、k3間(マーカk2、k4間)の縦方向の距離がu12になり、マーカk1、k2間(マーカk3、k4間)の横方向の距離がu13になって変化する。したがって、前記取付角度算出処理手段は、前記長さu11及び距離u12、u13に基づいてバックカメラ49の取付角度θ2を算出する。   For example, when the back camera 49 is mounted at the correct mounting angle θ1, as shown in FIG. 5, the vertical length of each marker ki is u1, and the distance between the markers k1 and k3 (marker k2 , K4) in the vertical direction is u2, and the horizontal distance between the markers k1 and k2 (between the markers k3 and k4) is u13, whereas when the mounting angle is changed to θ2, For example, as shown in FIG. 6, the vertical length of each marker ki is u11, the vertical distance between the markers k1 and k3 (between the markers k2 and k4) is u12, and the markers k1 and k2 The horizontal distance between the markers (between markers k3 and k4) changes to u13. Therefore, the attachment angle calculation processing means calculates the attachment angle θ2 of the back camera 49 based on the length u11 and the distances u12 and u13.

続いて、CPU31の補正処理手段は、補正処理を行い、前記取付角度θ1、θ2を読み込み、差角度Δθ
Δθ=θ2−θ1
だけバックカメラ49の取付角度を変更する。そのために、CPU31の図示されない取付角度調整処理手段は、取付角度調整処理を行い、角度調整機構を作動させる。なお、角度調整機構は、車両の所定の箇所に配設され、所定のリンク、駆動部としてのモータ等から成り、モータを駆動することによってリンクを作動させ、バックカメラ49の取付角度を変更する。
Subsequently, the correction processing means of the CPU 31 performs correction processing, reads the mounting angles θ1, θ2, and calculates the difference angle Δθ.
Δθ = θ2-θ1
Only the mounting angle of the back camera 49 is changed. For this purpose, the attachment angle adjustment processing means (not shown) of the CPU 31 performs the attachment angle adjustment processing and operates the angle adjustment mechanism. The angle adjusting mechanism is disposed at a predetermined position of the vehicle, and includes a predetermined link, a motor as a drive unit, and the like. The link is operated by driving the motor, and the mounting angle of the back camera 49 is changed. .

このように、各ポインタqiによって地面Seに形成されたマーカkiに基づいて、バックカメラ49の取付角度θ1が検出され、補正されるので、マーカkiを形成する位置を手動で設定する必要がなく、操作を簡素化することができるだけでなく、補正の精度を高くすることができる。   In this way, the mounting angle θ1 of the back camera 49 is detected and corrected based on the marker ki formed on the ground Se by each pointer qi, so there is no need to manually set the position where the marker ki is formed. Not only can the operation be simplified, but also the accuracy of correction can be increased.

しかも,前記各ポインタqiがバックカメラ49のフレーム72に配設され、バックカメラ49の取付角度が変化すると、マーカkiの形状、位置等が比例して変化するので、取付角度θ1、θ2を容易に算出することができる。   In addition, the pointers qi are disposed on the frame 72 of the back camera 49, and when the mounting angle of the back camera 49 changes, the shape, position, etc. of the marker ki change proportionally, so the mounting angles θ1, θ2 can be easily set. Can be calculated.

次にフローチャートについて説明する。
ステップS1 レーザポインタで地面にマーカkiを作成する。
ステップS2 マーカkiをバックカメラ49で撮影する。
ステップS3 寸法及び形状によってバックカメラ49の取付角度θ1、θ2を算出する。
ステップS4 補正処理を行い、処理を終了する。
Next, a flowchart will be described.
Step S1: A marker ki is created on the ground with a laser pointer.
Step S2: The marker ki is photographed by the back camera 49.
Step S3 The mounting angles θ1 and θ2 of the back camera 49 are calculated according to the size and shape.
Step S4 A correction process is performed, and the process ends.

本実施の形態においては、複数のポインタqiを使用して複数のマーカkiを形成するようになっているが、マーカの寸法が大きい場合には、一つのポインタを使用して一つのマーカを形成し、該マーカの画像に基づいて取付角度算出処理を行うことができる。   In the present embodiment, a plurality of markers ki are formed using a plurality of pointers qi. However, when the marker size is large, one marker is formed using one pointer. And an attachment angle calculation process can be performed based on the image of this marker.

また、本実施の形態においては、補正処理手段によって取付角度を自動的に補正するようになっているが、手動で補正することができる。   In the present embodiment, the mounting angle is automatically corrected by the correction processing means, but can be manually corrected.

なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。   In addition, this invention is not limited to the said embodiment, It can change variously based on the meaning of this invention, and does not exclude them from the scope of the present invention.

本発明の実施の形態におけるナビゲーションシステムを示す図である。It is a figure which shows the navigation system in embodiment of this invention. 本発明の実施の形態におけるキャリブレーション装置の動作を示す図である。It is a figure which shows operation | movement of the calibration apparatus in embodiment of this invention. 本発明の実施の形態におけるバックカメラの斜視図である。It is a perspective view of the back camera in an embodiment of the invention. 本発明の実施の形態におけるバックカメラによるマーカの撮影状態を示す図である。It is a figure which shows the imaging | photography state of the marker by the back camera in embodiment of this invention. 本発明の実施の形態における取付角度の補正方法を示す第1の図である。It is a 1st figure which shows the correction method of the attachment angle in embodiment of this invention. 本発明の実施の形態における取付角度の補正方法を示す第2の図である。It is a 2nd figure which shows the correction method of the attachment angle in embodiment of this invention.

符号の説明Explanation of symbols

31 CPU
49 バックカメラ
k1〜k4 マーカ
q1〜q4 ポインタ
31 CPU
49 Back camera k1 to k4 Marker q1 to q4 Pointer

Claims (5)

車載カメラと、該車載カメラに取り付けられ、地面を照射して、地面にマーカを形成する発光装置と、前記マーカを車載カメラによって撮影するマーカ撮影処理手段と、前記マーカの画像からマーカを認識する画像認識処理手段と、認識されたマーカに基づいてカメラの取付角度を算出する取付角度算出処理手段とを有することを特徴とするキャリブレーション装置。   A vehicle-mounted camera, a light-emitting device that is attached to the vehicle-mounted camera and irradiates the ground to form a marker on the ground, marker imaging processing means that images the marker with the vehicle-mounted camera, and recognizes the marker from the image of the marker A calibration apparatus comprising: an image recognition processing means; and an attachment angle calculation processing means for calculating an attachment angle of the camera based on the recognized marker. 算出された取付角度に基づいて、車載カメラの取付角度を補正する補正処理手段を有する請求項1に記載のキャリブレーション装置。   The calibration apparatus according to claim 1, further comprising a correction processing unit that corrects the mounting angle of the in-vehicle camera based on the calculated mounting angle. 前記発光装置は、前記車載カメラに複数取り付けられる請求項1に記載のキャリブレーション装置。   The calibration device according to claim 1, wherein a plurality of the light emitting devices are attached to the in-vehicle camera. 前記取付角度算出処理手段は、前記マーカの寸法及び形状に基づいて取付角度を算出する請求項1に記載のキャリブレーション装置。   The calibration apparatus according to claim 1, wherein the attachment angle calculation processing unit calculates an attachment angle based on a size and shape of the marker. 車載カメラに取り付けられた発光装置によって地面を照射して、地面にマーカを形成し、該マーカを車載カメラによって撮影し、前記マーカの画像からマーカを認識し、認識されたマーカに基づいてカメラの取付角度を算出することを特徴とするキャリブレーション方法。
The light emitting device attached to the in-vehicle camera irradiates the ground, forms a marker on the ground, images the marker with the in-vehicle camera, recognizes the marker from the image of the marker, and based on the recognized marker, A calibration method characterized by calculating an attachment angle.
JP2006100094A 2006-03-31 2006-03-31 Calibration apparatus and calibration method Abandoned JP2007274564A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006100094A JP2007274564A (en) 2006-03-31 2006-03-31 Calibration apparatus and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006100094A JP2007274564A (en) 2006-03-31 2006-03-31 Calibration apparatus and calibration method

Publications (1)

Publication Number Publication Date
JP2007274564A true JP2007274564A (en) 2007-10-18

Family

ID=38676856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006100094A Abandoned JP2007274564A (en) 2006-03-31 2006-03-31 Calibration apparatus and calibration method

Country Status (1)

Country Link
JP (1) JP2007274564A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199791A (en) * 2010-03-23 2011-10-06 Fujifilm Corp Imaging apparatus
US8243138B2 (en) 2009-04-14 2012-08-14 Denso Corporation Display system for shooting and displaying image around vehicle
KR101427181B1 (en) 2013-01-09 2014-08-07 아진산업(주) Calibration indicator used for calibration of onboard camera using variable ellipse pattern and calibration method of onboard camera using calibration indicator
JPWO2015129280A1 (en) * 2014-02-26 2017-03-30 京セラ株式会社 Image processing apparatus and image processing method
JP6214717B1 (en) * 2016-05-24 2017-10-18 三菱電機株式会社 In-vehicle camera calibration assist device
WO2019176220A1 (en) * 2018-03-15 2019-09-19 本田技研工業株式会社 Camera optical axis inspection method, camera optical axis inspection line, and camera optical axis inspection system
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN112913229A (en) * 2018-09-10 2021-06-04 三菱电机株式会社 Camera setting assistance device and method, setting angle calculation method, program, and recording medium
US11629835B2 (en) 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
DE112022000991T5 (en) 2021-09-14 2023-12-14 Hitachi Astemo, Ltd. CALIBRATION DEVICE FOR AN IN-VEHICLE CAMERA, CONTROL DEVICE AND PATTERN WITH BAKE

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243138B2 (en) 2009-04-14 2012-08-14 Denso Corporation Display system for shooting and displaying image around vehicle
JP2011199791A (en) * 2010-03-23 2011-10-06 Fujifilm Corp Imaging apparatus
KR101427181B1 (en) 2013-01-09 2014-08-07 아진산업(주) Calibration indicator used for calibration of onboard camera using variable ellipse pattern and calibration method of onboard camera using calibration indicator
JPWO2015129280A1 (en) * 2014-02-26 2017-03-30 京セラ株式会社 Image processing apparatus and image processing method
US9902341B2 (en) 2014-02-26 2018-02-27 Kyocera Corporation Image processing apparatus and image processing method including area setting and perspective conversion
JP6214717B1 (en) * 2016-05-24 2017-10-18 三菱電機株式会社 In-vehicle camera calibration assist device
JP2017211222A (en) * 2016-05-24 2017-11-30 三菱電機株式会社 On-vehicle camera calibration auxiliary device
JP2019161519A (en) * 2018-03-15 2019-09-19 本田技研工業株式会社 Camera optical axis inspection method and camera optical axis inspection line
WO2019176220A1 (en) * 2018-03-15 2019-09-19 本田技研工業株式会社 Camera optical axis inspection method, camera optical axis inspection line, and camera optical axis inspection system
JP7066462B2 (en) 2018-03-15 2022-05-13 本田技研工業株式会社 Camera optical axis inspection method
US10769813B2 (en) 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN112913229A (en) * 2018-09-10 2021-06-04 三菱电机株式会社 Camera setting assistance device and method, setting angle calculation method, program, and recording medium
US11259013B2 (en) 2018-09-10 2022-02-22 Mitsubishi Electric Corporation Camera installation assistance device and method, and installation angle calculation method, and program and recording medium
CN112913229B (en) * 2018-09-10 2023-04-21 三菱电机株式会社 Camera setting support apparatus and method, setting angle calculation method, and recording medium
US11629835B2 (en) 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
DE112022000991T5 (en) 2021-09-14 2023-12-14 Hitachi Astemo, Ltd. CALIBRATION DEVICE FOR AN IN-VEHICLE CAMERA, CONTROL DEVICE AND PATTERN WITH BAKE

Similar Documents

Publication Publication Date Title
JP4513740B2 (en) Route guidance system and route guidance method
JP4771365B2 (en) Route guidance system, route guidance method and program
JP4501840B2 (en) Route guidance system and route guidance method
JP4470873B2 (en) Route guidance system and route guidance method
JP4729905B2 (en) Vehicle notification device and program
JP4600478B2 (en) Route guidance system and route guidance method
JP2007155352A (en) Route guide system and method
JP2007127419A (en) System and method for route guidance
JP2007274564A (en) Calibration apparatus and calibration method
JP4591311B2 (en) Route guidance system and route guidance method
JP2006327314A (en) Light distribution control system and method
JP2007178358A (en) System and method for route guidance
JP2007147577A (en) Route guidance system and route guidance method
JP2006277546A (en) Information providing system and information providing method
JP4613738B2 (en) Intersection recognition system and intersection recognition method
JP4687244B2 (en) Image processing system and image processing method
JP4581674B2 (en) Route guidance system and route guidance method
JP4710604B2 (en) Route guidance system and route guidance method
JP2007271344A (en) Route information preparation system and route information preparation method
JP2007178359A (en) System and method for route guidance
JP4572823B2 (en) Route guidance system and route guidance method
JP4572822B2 (en) Route guidance system and route guidance method
JP2007271518A (en) Route guide system and route guide method
JP4591073B2 (en) Route guidance system
JP2006331058A (en) Image correction device, and feature recognition device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090604