JP2012052852A - Image display device and navigation device - Google Patents

Image display device and navigation device Download PDF

Info

Publication number
JP2012052852A
JP2012052852A JP2010194006A JP2010194006A JP2012052852A JP 2012052852 A JP2012052852 A JP 2012052852A JP 2010194006 A JP2010194006 A JP 2010194006A JP 2010194006 A JP2010194006 A JP 2010194006A JP 2012052852 A JP2012052852 A JP 2012052852A
Authority
JP
Japan
Prior art keywords
image
reference position
image display
navigation device
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010194006A
Other languages
Japanese (ja)
Inventor
Kazuhiro Kato
和広 加藤
Keiko Kuno
敬子 久野
Yuji Kawahara
裕司 河原
Keisuke Yamane
啓介 山根
Kosaku Nomura
幸作 野村
Daisuke Hirata
大輔 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Sanyo Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, Sanyo Consumer Electronics Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2010194006A priority Critical patent/JP2012052852A/en
Publication of JP2012052852A publication Critical patent/JP2012052852A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image display device that extracts an image of a moving body in a direction of travel from a picked-up image and displays the image with a simple configuration, and a navigation device.SOLUTION: An image display device of the present invention includes: image pickup means that is provided on a moving body and picks up images including an image of the moving body in a direction of travel; reference position specifying means that specifies a reference position that indicates the direction of travel in the picked-up image; image extracting means that extracts an image in a predetermined range with the reference position as a reference; and image display means that displays the extracted image.

Description

本発明は、画像表示装置およびナビゲーション装置に関し、特に、移動体に備えられた撮像手段により移動体の進行方向の画像を含む画像を撮像し、前記画像から進行方向の所定範囲の画像を抽出して表示する画像表示装置およびナビゲーション装置に関する。   The present invention relates to an image display device and a navigation device, and in particular, an image including an image in a traveling direction of a moving body is captured by an imaging unit provided in the moving body, and an image in a predetermined range in the traveling direction is extracted from the image. The present invention relates to an image display device and a navigation device.

移動体、例えば、車両に撮像手段を搭載し、その撮像手段を用いて車外の画像を撮像し、その画像を処理して車内のモニタに表示させ、車両の走行を支援する装置が種々提案されている。例えば、車両の前方に配置した撮像手段により前方の赤外線画像を撮像してモニタに表示させ、夜間走行の際にユーザが視認しづらい歩行者の位置等を確認可能とした装置、車両の後方に配置した撮像手段により撮像した後方画像をモニタに表示させ、バックする際の後方確認を支援する装置、車両の左右のフロントフェンダに配置した撮像手段により左右の画像を撮像し、その画像をモニタに表示させ、交差点での左右確認を支援する装置等が実用化されている。   Various devices have been proposed in which an imaging unit is mounted on a moving body, for example, a vehicle, an image outside the vehicle is captured using the imaging unit, the image is processed and displayed on a monitor inside the vehicle, and the vehicle is supported. ing. For example, an imaging device disposed in front of the vehicle picks up an infrared image in front and displays it on a monitor so that the user can check the position of a pedestrian that is difficult for the user to see when traveling at night. The rear image captured by the disposed image capturing means is displayed on the monitor, the device that supports the rearward confirmation when backing, the left and right images are captured by the image capturing means disposed on the left and right front fenders of the vehicle, and the image is displayed on the monitor Devices that display and support left-right confirmation at intersections have been put into practical use.

一方、車両の走行を支援するものとして、GPS(Global Positioning System)に代表される全世界航法衛星システム(GNSS:Global Navigation Satellite Systems)を利用して車両の現在位置を検出し、地図情報とともにモニタに表示させ、また、現在位置または出発地から目的地までの経路を探索してモニタに表示させ、ユーザを目的地まで案内するナビゲーション装置が知られている。   On the other hand, as a means of supporting vehicle travel, the current position of the vehicle is detected using a Global Navigation Satellite Systems (GNSS) represented by GPS (Global Positioning System) and monitored together with map information. In addition, a navigation device is known that guides the user to the destination by searching for the route from the current position or the departure point to the destination and displaying it on a monitor.

そこで、上述した各支援装置に用いられる撮像手段とナビゲーション装置とを連結し、撮像手段により撮像した進行方向の画像に対して、ナビゲーション装置により探索した経路を重ね合わせてモニタに表示させるようにすれば、実際の画像に基づいて、より分かり易い経路案内を行うことが可能となる。   Therefore, the image pickup means and the navigation device used in each of the above-described support devices are connected, and the route searched by the navigation device is superimposed on the image in the traveling direction picked up by the image pickup means and displayed on the monitor. For example, route guidance that is easier to understand can be performed based on an actual image.

ところで、ナビゲーション装置には、いわゆる「ポータブルナビゲーション装置」と称される、移動体に対して着脱自在に構成された可搬型の装置がある。このようなポータブルナビゲーション装置の場合、予め車両に搭載されている撮像手段から画像情報を取得するには、ポータブルナビゲーション装置と撮像手段との間で信号処理が必要となるため、配線や信号の送受信手段等の構成が複雑化する欠点がある。そこで、ポータブルナビゲーション装置に撮像手段を搭載して一体化すれば、上記の問題を解消することができる。   By the way, the navigation device includes a portable device called a “portable navigation device” which is configured to be detachable from a moving body. In the case of such a portable navigation device, signal processing is required between the portable navigation device and the image pickup means in order to acquire image information from the image pickup means previously mounted on the vehicle. There is a drawback that the configuration of the means and the like is complicated. Therefore, if the image pickup means is mounted and integrated in the portable navigation device, the above problem can be solved.

しかしながら、ポータブルナビゲーション装置は、例えば、モニタをドライバの方に向ける等、車両に対して任意の角度で取り付けることがあるため、ポータブルナビゲーション装置に撮像手段を一体化させた場合、撮像範囲が左右または上下にずれてしまい、進行方向の画像を正しく撮像できないおそれがある。   However, since the portable navigation device may be attached to the vehicle at an arbitrary angle, for example, by directing the monitor toward the driver, when the imaging means is integrated with the portable navigation device, the imaging range is left or right or There is a risk that the image in the traveling direction cannot be captured correctly due to the vertical displacement.

この場合、ポータブルナビゲーション装置に対して撮像手段を可動に構成したり、モニタの向きに依存しないように、撮像手段をポータブルナビゲーション装置から分離して構成することも可能であるが、構成が複雑となり、費用が大幅に増加する不具合がある。また、撮像手段に広角レンズを装着し、ポータブルナビゲーション装置の取付位置に係わらず、前方の広い範囲の画像を撮像するように構成することも考えられる。しかしながら、画角を広げると、必要な前方画像だけでなく、例えば、車両のダッシュボードやサイドミラー等の不要部分の画像が多く含まれてしまうため、進行方向の画像を表示して経路案内を支援する、という本来の目的には適さないものになってしまう。   In this case, the imaging means can be configured to be movable with respect to the portable navigation device, or the imaging means can be configured separately from the portable navigation device so as not to depend on the orientation of the monitor, but the configuration becomes complicated. There is a problem that the cost is greatly increased. It is also conceivable that a wide-angle lens is attached to the imaging means so that a wide range of images in the front can be captured regardless of the mounting position of the portable navigation device. However, if the angle of view is widened, not only the necessary forward image but also many unnecessary parts such as the dashboard of the vehicle and the side mirror will be included. It is not suitable for the original purpose of supporting.

これらの課題を解決するために利用可能な技術として、下記特許文献1(特開2003−179915号公報)に開示された「車両周辺視認装置」がある。この装置は、車両の左右のフロントフェンダに配置した広角レンズを有する撮像手段により左右方向の画像を撮像し、各画像からセンタラインや路側に対応する複数の直線を抽出して、これらの直線の交点である消失点を求め、消失点を中心とする所定範囲の領域を画像から抽出して拡大表示することにより、車両の走向路と交差する左右の道路状況を把握可能としたものである。   As a technique that can be used to solve these problems, there is a “vehicle periphery visual recognition device” disclosed in the following Patent Document 1 (Japanese Patent Laid-Open No. 2003-179915). This device captures images in the left-right direction by imaging means having wide-angle lenses disposed on the left and right front fenders of the vehicle, extracts a plurality of straight lines corresponding to the center line and roadside from each image, and extracts these straight lines. A vanishing point that is an intersection is obtained, and a region in a predetermined range centered on the vanishing point is extracted from the image and enlarged to display the left and right road conditions intersecting with the vehicle's runway.

また、前記課題を解決するために利用可能な他の技術として、下記特許文献2(特開2008−257378号公報)に開示された「物体検出装置」がある。この装置は、車両に搭載した撮像手段により車両周辺の時系列画像を撮像し、各画像から静止物体の移動ベクトルを求め、静止物体の移動ベクトルからその発生点である消失点を算出し、消失点に基づいて自車両以外の移動物体である障害物が存在する可能性のある注意領域を設定し、注意領域内の移動ベクトルに基づいて障害物の有無を検出するようにしたものである。   In addition, as another technique that can be used to solve the above problem, there is an “object detection device” disclosed in Patent Document 2 (Japanese Patent Laid-Open No. 2008-257378). This device captures a time-series image around the vehicle by an imaging means mounted on the vehicle, obtains a moving vector of a stationary object from each image, calculates a vanishing point that is a generation point from the moving vector of the stationary object, and A caution area in which an obstacle that is a moving object other than the host vehicle may exist is set based on the points, and the presence or absence of the obstacle is detected based on a movement vector in the caution area.

特開2003−179915号公報(段落[0012]〜[0014]、[0022]〜[0025])JP 2003-179915 A (paragraphs [0012] to [0014], [0022] to [0025]) 特開2008−257378号公報(段落[0023]、[0038]、[0042]、[0061])JP 2008-257378 A (paragraphs [0023], [0038], [0042], [0061])

しかしながら、上記特許文献1は、交差点における左右の道路の画像を抽出するものであり、車両の進行方向の画像を抽出するものではない。また、画像内に直線を構成するセンタラインや路側が存在していないと、消失点を求めることができない。   However, the above-mentioned patent document 1 extracts the images of the left and right roads at the intersection, and does not extract the image of the traveling direction of the vehicle. Also, the vanishing point cannot be obtained if there is no center line or road side that forms a straight line in the image.

一方、上記特許文献2では、画像内にセンタライン等が存在していない場合であっても、進行方向の消失点を求めることができる。しかしながら、特許文献2は、消失点を基準に注意領域を設定し、注意領域における障害物の有無を検出するものであって、進行方向の画像を撮像された画像から切り出して表示するようにしたものではない。特許文献2の場合、表示された画像内にダッシュボードや車両のサイドミラー等の余分なものが表示されるため、これらの画像を用いて分かり易い経路案内を行うことは困難である。   On the other hand, in Patent Document 2, the vanishing point in the traveling direction can be obtained even when there is no center line or the like in the image. However, Patent Document 2 sets a caution area on the basis of the vanishing point, detects the presence or absence of an obstacle in the caution area, and cuts and displays an image in the traveling direction from the captured image. It is not a thing. In the case of Patent Document 2, since extra items such as a dashboard and a vehicle side mirror are displayed in the displayed image, it is difficult to provide easy-to-understand route guidance using these images.

本発明は、上記の問題点を解消することを課題とするものであり、移動体に備えられた撮像手段の方向を調整することがなく、簡易な構成で、撮像した画像から移動体の進行方向の画像を含む画像を抽出して表示することのできる画像表示装置を提供することを目的とする。   An object of the present invention is to solve the above-mentioned problems, and without moving the direction of the image pickup means provided in the moving body, the moving body advances from the captured image with a simple configuration. An object of the present invention is to provide an image display device capable of extracting and displaying an image including a direction image.

また、本発明は、撮像した画像から移動体の進行方向の画像を抽出して表示し、分かり易い経路案内を行うことのできるナビゲーション装置を提供することを目的とするものである。   It is another object of the present invention to provide a navigation device that can extract and display an image in the traveling direction of a moving body from a captured image and perform easy-to-understand route guidance.

前記課題を解決するために、本願の請求項1にかかる発明は、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備えることを特徴とする。   In order to solve the above-mentioned problem, the invention according to claim 1 of the present application is provided in a moving body, and includes an imaging unit that captures an image including an image in a traveling direction of the moving body, and the image in the captured image. Reference position specifying means for specifying a reference position representing the traveling direction, image extracting means for extracting an image of a predetermined range based on the reference position from the captured image, and an image for displaying the extracted image And a display means.

また、本願の請求項2にかかる発明は、請求項1記載の画像表示装置において、前記撮像手段は、時系列の画像を撮像し、前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする。   The invention according to claim 2 of the present application is the image display device according to claim 1, wherein the imaging unit captures a time-series image, and the reference position specifying unit includes the captured time-series image. The movement vector is calculated based on the movement vector, and the reference position is specified from the movement vector.

また、本願の請求項3にかかる発明は、請求項1記載の画像表示装置において、前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする。   The invention according to claim 3 of the present application is the image display device according to claim 1, further comprising an attachment angle detection unit that detects an attachment angle of the image display device with respect to the moving body, and the reference position specifying unit includes: The reference position is specified from the detected mounting angle.

また、本願の請求項4にかかる発明は、請求項1〜3のいずれか1項に記載の画像表示装置において、前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする。   According to a fourth aspect of the present invention, in the image display device according to any one of the first to third aspects, the imaging unit is configured integrally with the image display device, and the image display device is It is characterized by being installed detachably with respect to the moving body.

また、本願の請求項5にかかる発明は、請求項1〜4のいずれか1項に記載の画像表示装置において、前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする。   The invention according to claim 5 of the present application is the image display device according to any one of claims 1 to 4, wherein the image display means displays the extracted image in an enlarged manner. And

本願の請求項6にかかる発明は、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備えることを特徴とする。   The invention according to claim 6 of the present application is a route search means for searching for a route to a destination based on map information, and an image pickup means for picking up an image including an image of the moving direction of the mobile object provided in the mobile object. And a reference position specifying means for specifying a reference position representing the traveling direction in the captured image, and an image extracting means for extracting an image in a predetermined range based on the reference position from the captured image. And an image display means for displaying the extracted image together with the route.

また、本願の請求項7にかかる発明は、請求項6に記載の画像表示装置を用いたナビゲーション装置において、前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする。   The invention according to claim 7 of the present application is the navigation device using the image display device according to claim 6, wherein the imaging means is configured integrally with the navigation device, and the navigation device is the moving body. It is characterized in that it is installed detachably with respect to.

請求項1にかかる発明においては、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備える。   In the invention according to claim 1, an imaging unit that is provided in the moving body and that captures an image including an image in the traveling direction of the moving body, and a reference position that represents the traveling direction in the captured image are specified. Reference position specifying means, image extraction means for extracting an image of a predetermined range based on the reference position from the captured image, and image display means for displaying the extracted image.

このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出して表示することができる。撮像手段の位置の調整機構が不要であるため、簡易な構成で廉価な画像表示装置を提供することができる。   With this configuration, it is not necessary to adjust the direction of the imaging means installed on the moving body, and an image in the traveling direction of the moving body can be extracted from the captured image and displayed. Since an adjustment mechanism for the position of the imaging means is not required, an inexpensive image display apparatus can be provided with a simple configuration.

請求項2にかかる発明においては、請求項1にかかる発明において、撮像手段により撮像した時系列の画像から移動ベクトルを算出し、この移動ベクトルから基準位置を特定することができる。   In the invention according to claim 2, in the invention according to claim 1, it is possible to calculate a movement vector from a time-series image picked up by the image pickup means, and to specify a reference position from this movement vector.

請求項3にかかる発明においては、請求項1にかかる発明において、移動体に対する画像表示装置の取付角度を取付角度検出手段により検出して基準位置を特定することができる。   In the invention according to claim 3, in the invention according to claim 1, the reference position can be specified by detecting the attachment angle of the image display device with respect to the moving body by the attachment angle detection means.

請求項4にかかる発明においては、請求項1〜3のいずれか1項に記載の発明において、画像表示装置と一体に構成される撮像手段を備える画像表示装置は、移動体に対して着脱自在とすることができる。   According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the image display device including an image pickup unit configured integrally with the image display device is detachable from the moving body. It can be.

請求項5にかかる発明においては、請求項1〜4のいずれか1項に記載の発明において、抽出された進行方向の画像は、拡大して画像表示手段に表示させることができる。   In the invention concerning Claim 5, in the invention of any one of Claims 1-4, the extracted image of the advancing direction can be expanded and displayed on an image display means.

請求項6にかかる発明においては、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備える。   In the invention concerning Claim 6, based on map information, the route search means which searches for the route to the destination, The imaging means with which the moving body is provided, and the image containing the image of the advancing direction of the said moving body is imaged A reference position specifying means for specifying a reference position representing the traveling direction in the imaged image, and an image extracting means for extracting an image in a predetermined range based on the reference position from the imaged image. Image display means for displaying the extracted image together with the route.

このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出し、探索された経路を重ね合わせた状態で画像表示手段に表示し、分かり易い経路案内を行うことができる。従って、ユーザは、表示された進行方向の画像と経路とに基づき、容易に目的地に向かって移動することができる。   By configuring in this way, it is not necessary to adjust the direction of the imaging means installed on the moving body, and the moving direction of the moving body is extracted from the captured image and the searched paths are superimposed Can be displayed on the image display means to provide easy-to-understand route guidance. Therefore, the user can easily move toward the destination based on the displayed image of the traveling direction and the route.

請求項7にかかる発明においては、請求項6に記載の発明において、ナビゲーション装置と撮像手段は一体に構成され、ナビゲーション装置は移動体に対して着脱自在とすることができる。   In the invention according to claim 7, in the invention according to claim 6, the navigation device and the image pickup means are integrally formed, and the navigation device can be attached to and detached from the moving body.

本発明の実施例1にかかるナビゲーション装置が搭載された移動体の説明図である。It is explanatory drawing of the mobile body by which the navigation apparatus concerning Example 1 of this invention is mounted. 本発明の実施例1にかかるナビゲーション装置のブロック図である。It is a block diagram of the navigation apparatus concerning Example 1 of the present invention. 図2に示すナビゲーション装置の処理フローチャートである。It is a process flowchart of the navigation apparatus shown in FIG. 図2に示すナビゲーション装置が備える撮像手段により撮像された移動体の進行方向の画像を含む撮像画像の説明図である。It is explanatory drawing of the captured image containing the image of the advancing direction of the moving body imaged with the imaging means with which the navigation apparatus shown in FIG. 2 is provided. 図4に示す画像から抽出された移動体の進行方向の画像を含む所定範囲の画像の説明図である。It is explanatory drawing of the image of the predetermined range containing the image of the advancing direction of the moving body extracted from the image shown in FIG. 本発明の実施例2にかかるナビゲーション装置のブロック図である。It is a block diagram of the navigation apparatus concerning Example 2 of this invention.

以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するための画像表示装置およびそれを用いたナビゲーション装置を例示して説明するものであって、本発明をこの画像表示装置およびそれを用いたナビゲーション装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他の画像表示装置およびそれを用いたナビゲーション装置にも等しく適用し得るものである。   Hereinafter, specific examples of the present invention will be described in detail with reference to examples and drawings. However, the embodiments described below are described by exemplifying an image display device for embodying the technical idea of the present invention and a navigation device using the image display device. The present invention is not intended to be specified as a navigation device using the above-described technology, and can be equally applied to other image display devices and navigation devices using the same without departing from the technical idea shown in the claims. .

図1は、本発明の実施例1にかかるナビゲーション装置が搭載された移動体である車両2の説明図である。   FIG. 1 is an explanatory diagram of a vehicle 2 that is a moving body on which the navigation device according to the first embodiment of the present invention is mounted.

進行方向4に向かって走行する車両2には、車両2の現在位置および目的地までの経路を案内するとともに、車両2の進行方向4の方向の画像を表示するためのナビゲーション装置10が設置される。   The vehicle 2 traveling in the traveling direction 4 is provided with a navigation device 10 for guiding the current position of the vehicle 2 and the route to the destination and displaying an image in the direction of the traveling direction 4 of the vehicle 2. The

ナビゲーション装置10は、車両2に対して着脱自在に構成される、いわゆるポータブルナビゲーション装置であり、進行方向4の方向の画像を含む画像を撮像する後述するCCDカメラ等の撮像手段を備える。撮像手段による進行方向4の方向を含む画像の撮像方向6は、車両2に対するナビゲーション装置10の設置状態に応じた角度θだけ進行方向4からずれているものとする。なお、進行方向4の方向の画像とは、後述する基準位置を基準とした所定範囲の画像である。また、以下の説明では、進行方向4の方向の画像を含む画像を、進行方向4を含む画像と表現する。   The navigation device 10 is a so-called portable navigation device configured to be detachable from the vehicle 2, and includes an imaging unit such as a CCD camera described later that captures an image including an image in the direction of travel 4. The imaging direction 6 of the image including the direction of the traveling direction 4 by the imaging unit is assumed to deviate from the traveling direction 4 by an angle θ corresponding to the installation state of the navigation device 10 with respect to the vehicle 2. The image in the direction of travel 4 is an image in a predetermined range with reference to a reference position described later. In the following description, an image including an image in the direction of the traveling direction 4 is expressed as an image including the traveling direction 4.

図2は、実施例1のナビゲーション装置10のブロック図である。ナビゲーション装置10は、制御手段12、現在位置検出手段20、経路探索手段22、地図情報記憶手段24、撮像手段26、基準位置特定手段28、画像抽出手段30、入力手段32および出力手段34を備えて構成される。   FIG. 2 is a block diagram of the navigation device 10 according to the first embodiment. The navigation apparatus 10 includes a control unit 12, a current position detection unit 20, a route search unit 22, a map information storage unit 24, an imaging unit 26, a reference position specifying unit 28, an image extraction unit 30, an input unit 32, and an output unit 34. Configured.

制御手段12は、CPU14、ROM16、RAM18を備えて構成されており、ROM16および/またはRAM18に記憶された制御プログラムをCPU14が実行することにより、下記に説明する各部の動作を制御・統括する。   The control unit 12 includes a CPU 14, a ROM 16, and a RAM 18. The CPU 14 executes a control program stored in the ROM 16 and / or the RAM 18, thereby controlling and supervising the operation of each unit described below.

現在位置検出手段20は、地球上空を周回している複数のGPS衛星からの信号を所定の時間間隔で受信し、この信号に含まれている時刻情報および衛星位置情報に基づいて車両2の現在位置を算出する。また、現在位置検出手段20は、車両2に搭載されている速度センサ、加速度センサ、ジャイロスコープ等の自律航法センサにより検出した速度情報、加速度情報、角速度情報等に従い、車両2の現在位置を算出するものであってもよい。   The current position detection means 20 receives signals from a plurality of GPS satellites orbiting over the earth at predetermined time intervals, and based on time information and satellite position information included in the signals, the current position of the vehicle 2 is detected. Calculate the position. The current position detection means 20 calculates the current position of the vehicle 2 according to speed information, acceleration information, angular velocity information, etc. detected by an autonomous navigation sensor such as a speed sensor, an acceleration sensor, or a gyroscope mounted on the vehicle 2. You may do.

自律航法センサを備えることで、GPS衛星信号を受信できないトンネルや地下街、地下駐車場、建物内の駐車場、または、高層ビル街等、GPS衛星信号の反射によるマルチパスの影響を受ける場所でも、ジャイロスコープや加速度センサからの出力によりナビゲーション装置10の現在位置を算出することができる。なお、これらの自律航法センサは、現在位置検出手段20がGPS衛星から受信した信号に基づいて算出した現在位置を補正するためにも利用可能である。   By providing an autonomous navigation sensor, even in places that are affected by multipath due to reflection of GPS satellite signals, such as tunnels and underground malls that can not receive GPS satellite signals, underground parking lots, parking lots in buildings, or high-rise buildings, The current position of the navigation device 10 can be calculated from the output from the gyroscope or acceleration sensor. These autonomous navigation sensors can also be used to correct the current position calculated based on the signal received from the GPS satellite by the current position detection means 20.

経路探索手段22は、後述する入力手段32を用いてユーザが入力した経路探索条件に従い、後述する地図情報記憶手段24に記憶されている地図情報を参照して最適な経路(案内経路)を探索するものである。経路探索手段22は、出発地または現在位置に対応する道路のノードから目的地に対応するノードに至るまでのリンクをダイクストラ法等の手法によって探索し、リンク長(リンクコスト)や所要時間を累積し、総リンク長(走行距離)または総所要時間が最短となる経路を案内経路として探索する。   The route search means 22 searches for an optimum route (guide route) by referring to map information stored in a map information storage means 24 described later according to the route search conditions input by the user using the input means 32 described later. To do. The route search means 22 searches for a link from the road node corresponding to the starting point or the current position to the node corresponding to the destination by a method such as the Dijkstra method, and accumulates the link length (link cost) and the required time. Then, a route having the shortest total link length (travel distance) or total required time is searched as a guide route.

地図情報記憶手段24は、道路データ、建物データ、背景データ、テキストデータから構成される地図情報を保持する。道路データは、道路をその屈曲点、分岐点等の結節点をノードとするノードデータと、それぞれのノード間を結ぶ経路をリンクとしたリンクデータとから構成される。ノードデータは、ノード番号、ノードの位置座標(緯度・経度)、交差点情報や交差点名称を示す情報等のノード属性、さらに接続リンク本数、接続リンク番号のデータを含んで構成される。また、リンクデータは、リンクの始点および終点となるノード番号、高速道路や一般道や街路等を区別するための道路種別、それぞれの道路の本線や連結路、分岐路を区別するための道路種別、距離および/または所要時間、国道○号線のような道路名称、進行方向のデータを含んで構成される。リンクデータには、上記に加えて、リンク属性として橋、トンネル、踏切、料金所等のデータが付与される。   The map information storage means 24 holds map information composed of road data, building data, background data, and text data. The road data is composed of node data in which roads are nodes such as inflection points and branch points, and link data in which routes connecting the respective nodes are links. The node data includes node attributes such as node numbers, node position coordinates (latitude / longitude), intersection information and information indicating intersection names, and the number of connection links and connection link numbers. The link data includes the node numbers that are the starting and ending points of the link, the road type for distinguishing between highways, ordinary roads, streets, etc., and the road type for distinguishing the main line, connecting road, and branch road of each road. , Distance and / or required time, road name such as National Route ○, and data on the direction of travel. In addition to the above, the link data includes data such as bridges, tunnels, railroad crossings, and tollgates as link attributes.

建物データは、建物の少なくとも3点からなる位置座標(緯度・経度)、駅、ビル、民家等の建物の種別、表示色のデータを含んで構成される。また背景データは、海岸線、湖沼、河川形状、山林等の背景画像データとなる少なくとも3点からなる位置座標(緯度・経度)、表示色のデータを含んで構成される。テキストデータは、それぞれの地名や河川名等の文字(名称)、およびその座標(緯度・経度)のデータを含んで構成される。   The building data includes position coordinates (latitude / longitude) including at least three points of the building, types of buildings such as stations, buildings, and private houses, and display color data. Further, the background data is configured to include position coordinates (latitude / longitude) composed of at least three points serving as background image data such as a coastline, a lake, a river shape, a forest, and display color data. The text data includes characters (names) such as place names and river names, and data of their coordinates (latitude / longitude).

なお、ナビゲーション装置10は、地図情報をナビゲーション装置10に内蔵したスタンドアロン型のものとしているが、本発明はこれに限定されることはない。例えば、ナビゲーション装置10に通信手段(図示せず)を設け、ナビゲーション装置10の外部の情報提供サーバ(図示せず)に接続して通信を行い、情報提供サーバに備えられた地図データベースから案内経路に関連付けられた地図情報を取得するようにしてもよい。   In addition, although the navigation apparatus 10 is a stand-alone type in which the map information is built in the navigation apparatus 10, the present invention is not limited to this. For example, the navigation device 10 is provided with communication means (not shown), connected to an information providing server (not shown) outside the navigation device 10 for communication, and a guide route from a map database provided in the information providing server. You may make it acquire the map information linked | related to.

その場合、ナビゲーション装置10は出発地または現在位置と目的地とを指定し、これを経路探索条件として情報提供サーバに送信し、経路探索を依頼する。情報提供サーバは、経路探索手段を備え、ナビゲーション装置10から受信した出発地または現在位置と目的地とを経路探索条件として経路探索を行い、探索結果と探索結果に関連付けられた地図情報をナビゲーション装置10へ送信する。   In that case, the navigation apparatus 10 designates the departure point or the current position and the destination, transmits this to the information providing server as a route search condition, and requests the route search. The information providing server includes route search means, performs a route search using the departure point or current position received from the navigation device 10 and the destination as a route search condition, and displays the map information associated with the search result and the search result as a navigation device. 10 to send.

撮像手段26は、車両2の進行方向4の画像を撮像するものであり、CCDカメラ等により構成することができる。撮像手段26は、車両2に対して着脱自在であるナビゲーション装置10に一体構成される(固定される)ものであり、進行方向4の画像を含む広範囲の画像を撮像するため、広角レンズを備える。また、広角レンズを備える代わりに、複数台の撮像手段26をナビゲーション装置10に配置し、撮像した複数の画像を合成することにより、広範囲の画像を生成するように構成してもよい。   The image pickup means 26 picks up an image in the traveling direction 4 of the vehicle 2 and can be constituted by a CCD camera or the like. The imaging means 26 is configured (fixed) integrally with the navigation device 10 that is detachable from the vehicle 2 and includes a wide-angle lens to capture a wide range of images including images in the traveling direction 4. . Further, instead of providing a wide-angle lens, a plurality of imaging means 26 may be arranged in the navigation device 10 and a plurality of captured images may be combined to generate a wide range of images.

広角レンズ、あるいは、複数台の撮像手段26を用いることで、ナビゲーション装置10に一体構成された撮像手段26の撮像方向6が車両2の進行方向4と異なる方向であっても(図1参照)、進行方向4を含む画像を撮像することができる。   By using a wide-angle lens or a plurality of image pickup means 26, the image pickup direction 6 of the image pickup means 26 integrated with the navigation apparatus 10 is different from the traveling direction 4 of the vehicle 2 (see FIG. 1). An image including the traveling direction 4 can be taken.

基準位置特定手段28は、撮像手段26が撮像した進行方向4を含む時系列画像から、静止物体の複数の移動ベクトル(オプティカルフロー)を算出し、移動ベクトルの延長上の交点である消失点を求め、この消失点を進行方向4をあらわす基準位置として特定するものである。なお、基準位置は、消失点から予め設定した距離だけ離間した点であってもよい。   The reference position specifying unit 28 calculates a plurality of movement vectors (optical flows) of the stationary object from the time-series image including the traveling direction 4 imaged by the imaging unit 26, and determines a vanishing point that is an intersection point on the extension of the movement vector. The vanishing point is obtained as a reference position representing the traveling direction 4. The reference position may be a point separated from the vanishing point by a preset distance.

画像抽出手段30は、基準位置特定手段28で特定された基準位置を基準として、撮像手段26が撮像した画像の上下、左右の所定範囲の画像を抽出するものである。   The image extraction unit 30 extracts a predetermined range of images in the vertical and horizontal directions of the image captured by the imaging unit 26 with the reference position specified by the reference position specifying unit 28 as a reference.

入力手段32は、経路探索を行うために、ユーザが出発地、目的地等の経路探索条件をナビゲーション装置10に入力するためのキーやタッチパネルから構成される。また、入力手段32は、後述する出力手段に表示させる画像を選択指示する手段とすることもできる。なお、出力手段34に選択的に表示させる画像としては、例えば、地図情報記憶手段24から読み込んだ地図情報に基づく地図画像、経路探索手段22により探索した案内経路、撮像手段26が撮像した車両2の進行方向4の撮像画像(動画、静止画を含む。)等を挙げることができる。   The input unit 32 includes a key and a touch panel for the user to input route search conditions such as a departure place and a destination to the navigation device 10 in order to perform a route search. The input means 32 can also be a means for instructing selection of an image to be displayed on an output means described later. Examples of the image that is selectively displayed on the output unit 34 include a map image based on the map information read from the map information storage unit 24, a guide route searched by the route search unit 22, and the vehicle 2 captured by the imaging unit 26. And a captured image (including moving images and still images) in the traveling direction 4.

出力手段34(画像表示手段)は、車両2の現在位置、地図画像、案内経路、撮像手段26による撮像画像等を表示する液晶表示パネルと、ユーザに対して音声で必要な情報を提供するスピーカとから構成される。なお、出力手段34は、撮像手段26と一体となってナビゲーション装置10に搭載されており、車両2にナビゲーション装置10を設置した際の出力手段34(液晶表示パネル)の向きと、撮像手段26の撮像方向とは、相対的な関係、例えば、180度異なる向きにある。なお、これに限ることはなく、例えば、出力手段34(液晶表示パネル)の向きに対して90度の方向が撮像方向であってもよい。   The output means 34 (image display means) includes a liquid crystal display panel that displays the current position of the vehicle 2, a map image, a guide route, a captured image by the imaging means 26, and a speaker that provides necessary information to the user by voice. It consists of. The output unit 34 is mounted on the navigation device 10 integrally with the imaging unit 26. The orientation of the output unit 34 (liquid crystal display panel) when the navigation device 10 is installed in the vehicle 2 and the imaging unit 26. Are in a relative relationship, for example, 180 degrees different from each other. However, the present invention is not limited to this. For example, a direction of 90 degrees with respect to the direction of the output unit 34 (liquid crystal display panel) may be the imaging direction.

次に、以上のように構成されるナビゲーション装置10の処理動作につき、図3に示すフローチャートに従って説明する。   Next, the processing operation of the navigation device 10 configured as described above will be described with reference to the flowchart shown in FIG.

まず、準備段階として、車両2の所定位置にナビゲーション装置10を設置する。この場合、ナビゲーション装置10は、ユーザであるドライバが出力手段34の画像を視認し易い方向となるように、ある程度自由に設置することができる。従って、出力手段34と一体に構成される撮像手段26による撮像方向6は、図1に示すように、出力手段34の向きに応じて、車両2の進行方向4に対して角度θだけ異なる方向となる場合がある。   First, as a preparation stage, the navigation device 10 is installed at a predetermined position of the vehicle 2. In this case, the navigation device 10 can be freely installed to some extent so that the driver as a user can easily view the image of the output means 34. Accordingly, the imaging direction 6 by the imaging unit 26 configured integrally with the output unit 34 is different from the traveling direction 4 of the vehicle 2 by an angle θ, as shown in FIG. It may become.

ナビゲーション装置10を車両2に設置した後、ユーザは、ナビゲーション装置10の入力手段32を用いて、案内経路を探索するための探索条件、例えば、出発地、目的地、経由地等を入力する(ステップS101)。   After installing the navigation device 10 in the vehicle 2, the user inputs search conditions for searching for a guidance route, for example, a departure point, a destination, a waypoint, and the like using the input unit 32 of the navigation device 10 ( Step S101).

探索条件が入力されると、経路探索手段22は、地図情報記憶手段24に記憶されている地図情報を参照して、出発地から目的地までの最適な経路を探索する(ステップS102)。最適な経路は、出発地に対応する道路のノードから目的地に対応する道路のノードに至るまでのリンクをダイクストラ法等の手法によって探索し、時間、距離等のリンクコストの累積値が最小となる案内経路として探索することができる。   When the search condition is input, the route search unit 22 refers to the map information stored in the map information storage unit 24 and searches for the optimal route from the departure point to the destination (step S102). The optimal route is to search the link from the road node corresponding to the starting point to the road node corresponding to the destination by a method such as Dijkstra method, and the cumulative value of link cost such as time and distance is the smallest. Can be searched as a guide route.

探索された案内経路は、制御手段12により地図情報記憶手段24から読み出した地図情報に基づく地図画像とともに、ナビゲーション装置10の液晶表示パネル等の出力手段34に表示される(ステップS103)。また、現在位置検出手段20は、GPS衛星から時刻情報および衛星位置情報を含む信号を受信し、これらの情報に基づいて車両2の現在位置を算出し、制御手段12により地図画像および案内経路とともに出力手段34に表示される。ユーザは、出力手段34に表示された地図画像、現在位置および案内経路に従い、所望の目的地までの走行を開始する(ステップS104)。   The searched guidance route is displayed on the output means 34 such as a liquid crystal display panel of the navigation apparatus 10 together with the map image based on the map information read from the map information storage means 24 by the control means 12 (step S103). The current position detection means 20 receives a signal including time information and satellite position information from a GPS satellite, calculates the current position of the vehicle 2 based on these information, and the control means 12 together with a map image and a guide route. It is displayed on the output means 34. The user starts traveling to a desired destination according to the map image, current position, and guidance route displayed on the output means 34 (step S104).

一方、車両2の走行が開始されると、撮像手段26は、車両2の進行方向4の画像を含む画像の撮像を開始する(ステップS105)。画像の撮像は、予め設定された所定の時間間隔で行われる。撮像された各時刻の画像は、制御手段12のRAM18に一時的に記憶される。   On the other hand, when the traveling of the vehicle 2 is started, the imaging unit 26 starts capturing an image including an image in the traveling direction 4 of the vehicle 2 (step S105). Images are taken at predetermined time intervals set in advance. The captured images at the respective times are temporarily stored in the RAM 18 of the control means 12.

次に、制御手段12は、撮像手段26によって撮像された画像の出力手段34への表示要求があるか否かを判定する(ステップS106)。この表示要求は、ユーザが入力手段32を用いてナビゲーション装置10に任意のタイミングで要求してもよいが、現在位置検出手段20により検出された車両2の現在位置が、例えば、案内経路上の交差点やその他の分岐地点に近づいたときに、表示要求信号を自動生成して制御手段12に通知するようにしてもよい。すなわち、制御手段12が地図情報、案内経路および現在位置などに基づき、出力手段34に、撮像された画像を表示させるべきか否かを自己判断してもよい。   Next, the control unit 12 determines whether or not there is a display request to the output unit 34 for the image captured by the imaging unit 26 (step S106). This display request may be requested by the user to the navigation device 10 at any timing using the input means 32. However, the current position of the vehicle 2 detected by the current position detecting means 20 is, for example, on the guidance route. When approaching an intersection or other branch point, a display request signal may be automatically generated and notified to the control means 12. That is, the control means 12 may make a self-determination based on the map information, the guidance route, the current position, and the like as to whether or not the captured image should be displayed on the output means 34.

表示要求が無い場合(ステップS106、NO)、出力手段34は、地図画像、案内経路および現在位置を表示する一方、撮像手段26は、進行方向4を含む画像の撮像を継続する。ユーザは、出力手段34に表示されている地図画像および案内経路に従い、目的地に向かって走行する。   When there is no display request (step S106, NO), the output unit 34 displays the map image, the guide route, and the current position, while the imaging unit 26 continues to capture the image including the traveling direction 4. The user travels toward the destination according to the map image and the guidance route displayed on the output means 34.

一方、制御手段12が表示要求有りと判定すると(ステップS106、YES)、基準位置特定手段28は、撮像された画像を処理して車両2の進行方向4をあらわす基準位置を特定する処理を行う。   On the other hand, when the control means 12 determines that there is a display request (step S106, YES), the reference position specifying means 28 performs processing for processing the captured image and specifying the reference position representing the traveling direction 4 of the vehicle 2. .

そこで、基準位置特定手段28は、時刻tに撮像した画像と、時刻tよりも所定時間前の時刻t′に撮像した画像とをRAM18から読み込み(ステップS107)、これらの画像を用いて、画像内の静止物体の移動ベクトル(オプティカルフロー)を算出する(ステップS108)。この場合、移動ベクトルは、時間的に連続する2つの画像間において、同一物体の輝度変化が小さいことを条件として、同程度の輝度を有する点の移動として算出することができる。   Therefore, the reference position specifying unit 28 reads an image captured at time t and an image captured at time t ′ a predetermined time before time t from the RAM 18 (step S107), and uses these images to generate an image. A motion vector (optical flow) of the stationary object is calculated (step S108). In this case, the movement vector can be calculated as a movement of a point having the same level of brightness on the condition that the brightness change of the same object is small between two temporally continuous images.

図4は、撮像手段26により撮像された画像35内の静止物体36a〜36cの任意の点38a〜38cを通る移動ベクトルVa〜Vcの説明図である。これらの移動ベクトルVa〜Vcの延長線は、車両2が進行方向4に走行するとき、画像の消失点40で交差する。この消失点40は、車両2の進行方向4の延長線上に有る。そこで、算出された複数の移動ベクトルの交点として、消失点40を算出する(ステップS109)。   FIG. 4 is an explanatory diagram of the movement vectors Va to Vc passing through arbitrary points 38 a to 38 c of the stationary objects 36 a to 36 c in the image 35 captured by the imaging unit 26. The extension lines of these movement vectors Va to Vc intersect at the vanishing point 40 of the image when the vehicle 2 travels in the traveling direction 4. The vanishing point 40 is on an extension line in the traveling direction 4 of the vehicle 2. Therefore, the vanishing point 40 is calculated as the intersection of the calculated plurality of movement vectors (step S109).

ここで、例えば、図1に示すように、車両2に設置したナビゲーション装置10に搭載されている撮像手段26の撮像方向6が、車両2の進行方向4に対して左側に角度θだけずれている場合、図4に示すように、撮像画像35は、車両2の進行方向4の画像を含む画像が角度θに相当する分だけ右側にずれて撮像されることになる。   Here, for example, as shown in FIG. 1, the imaging direction 6 of the imaging means 26 mounted on the navigation device 10 installed in the vehicle 2 is shifted to the left by the angle θ with respect to the traveling direction 4 of the vehicle 2. 4, the captured image 35 is captured while the image including the image in the traveling direction 4 of the vehicle 2 is shifted to the right by an amount corresponding to the angle θ.

そこで、撮像画像35のずれを考慮して、画像抽出手段30は、算出した消失点40を基準位置とする所定範囲の画像領域42を撮像画像35に設定し、この画像領域42の画像を撮像画像35から抽出する(ステップS110)。なお、所定範囲の画像領域42は、例えば、消失点40を中心とする上下左右の所定のピクセル数の画像として抽出することができる。出力手段34は、図5に示すように、画像抽出手段30によって抽出された撮像画像44を表示するとともに、経路探索手段22によって探索された案内経路46を撮像画像44に重ね合わせて表示する(ステップS111)。なお、撮像画像44は、出力手段34に拡大して表示させるようにしてもよい。   Therefore, in consideration of the deviation of the captured image 35, the image extraction means 30 sets a predetermined range of the image region 42 with the calculated vanishing point 40 as a reference position as the captured image 35, and captures an image of the image region 42. Extracted from the image 35 (step S110). Note that the image area 42 in the predetermined range can be extracted as an image having a predetermined number of pixels in the vertical and horizontal directions with the vanishing point 40 as the center. As shown in FIG. 5, the output unit 34 displays the captured image 44 extracted by the image extraction unit 30 and displays the guide route 46 searched by the route search unit 22 in a superimposed manner on the captured image 44 ( Step S111). Note that the captured image 44 may be enlarged and displayed on the output unit 34.

ステップS105〜S111の処理は、経路案内が終了し、車両2が目的地に到達するまで継続される(ステップS112)。   The processes in steps S105 to S111 are continued until the route guidance is completed and the vehicle 2 reaches the destination (step S112).

このように、出力手段34には、車両2の走行に関係しない、むしろ、判断の邪魔となる可能性のある余分な画像(図4に示す画像領域42以外の画像)が除去された撮像画像44が表示されるとともに、案内経路46が撮像画像44に重ね合わせて表示されるため、例えば、多数の建物等があるような複雑な交差点であっても、ユーザは、案内経路46に従って容易に所望の方向に走行することができる。   In this way, the output means 34 is a captured image from which an extra image (an image other than the image area 42 shown in FIG. 4) that is not related to the traveling of the vehicle 2 and that may interfere with the determination is removed. 44, and the guide route 46 is displayed so as to be superimposed on the captured image 44, so that the user can easily follow the guide route 46 even at a complicated intersection such as a large number of buildings. It is possible to travel in a desired direction.

図6は、実施例2のナビゲーション装置50のブロック図である。実施例1のナビゲーション装置10との相違点は、ナビゲーション装置50が取付角度検出手段27を備える点である。その他の構成については、ナビゲーション装置10と略同じであるため、同一の構成要素に同一の参照符号を付し、詳細な説明は省略する。   FIG. 6 is a block diagram of the navigation device 50 according to the second embodiment. The difference from the navigation device 10 of the first embodiment is that the navigation device 50 includes the attachment angle detection means 27. Since other configurations are substantially the same as those of the navigation apparatus 10, the same reference numerals are assigned to the same components, and detailed descriptions thereof are omitted.

取付角度検出手段27は、例えば、車両2またはナビゲーション装置50に搭載されている自律航法センサを構成する加速度センサや、車両2に対するナビゲーション装置50の取付角度を直接計測する角度検出手段とすることができる。   The attachment angle detection means 27 may be, for example, an acceleration sensor that constitutes an autonomous navigation sensor mounted on the vehicle 2 or the navigation device 50, or an angle detection means that directly measures the attachment angle of the navigation device 50 with respect to the vehicle 2. it can.

実施例1のステップS101〜S106の処理と同様にして、探索した案内経路に従って走行しながら撮像手段26により画像を撮像する。撮像画像の表示要求があると、取付角度検出手段27は、ナビゲーション装置50の車両2に対する取付角度を求める。基準位置特定手段28は、求められたナビゲーション装置50の取付角度に基づき、撮像画像35における画像領域42(図4)を切り取るための基準位置を算出する。次いで、画像抽出手段30は、算出された基準位置に従い、撮像画像35から画像領域42を抽出する。抽出された画像領域42の撮像画像44は、実施例1と同様にして、案内経路46とともに出力手段34に表示される。なお、ナビゲーション装置50の車両2に対する取付角度は、従来から知られている種々の方法を用いることで算出可能である。   In the same manner as the processing in steps S101 to S106 of the first embodiment, an image is captured by the imaging unit 26 while traveling according to the searched guide route. When there is a request for displaying a captured image, the attachment angle detection unit 27 obtains the attachment angle of the navigation device 50 with respect to the vehicle 2. The reference position specifying unit 28 calculates a reference position for cutting out the image region 42 (FIG. 4) in the captured image 35 based on the obtained attachment angle of the navigation device 50. Next, the image extraction unit 30 extracts the image area 42 from the captured image 35 in accordance with the calculated reference position. The extracted captured image 44 of the image area 42 is displayed on the output unit 34 together with the guide route 46 as in the first embodiment. In addition, the attachment angle with respect to the vehicle 2 of the navigation apparatus 50 can be calculated by using various conventionally known methods.

例えば、撮像手段26で撮像される画像は、撮像方向6を中心として左右に+45°〜−45°の範囲が撮像でき、撮像方向6を中心として上下に+30°〜−30°の範囲が撮像できるものとすると、進行方向4(車両2)に対して、ナビゲーション装置50の取り付け角度が、左に15°、下に5°であれば、撮像された画像の中心から、撮影された画像の左右の幅の1/6(15°/90°)の距離を右に移動させ、さらに、移動させた位置から撮影された画像の上下の幅の1/12(5°/60°)の距離を上に移動させた位置を基準位置として算出することができる。   For example, an image picked up by the image pickup means 26 can pick up a range of + 45 ° to −45 ° left and right around the image pickup direction 6, and pick up an image of + 30 ° to −30 ° up and down around the image pickup direction 6. Assuming that the navigation apparatus 50 can be attached 15 ° to the left and 5 ° downward with respect to the traveling direction 4 (vehicle 2), the captured image can be viewed from the center of the captured image. A distance of 1/6 (15 ° / 90 °) of the left and right width is moved to the right, and further, a distance of 1/12 (5 ° / 60 °) of the vertical width of the image taken from the moved position. It is possible to calculate the reference position by moving the position up to the reference position.

なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で変更することが可能である。   In addition, this invention is not limited to the Example mentioned above, It can change in the range which does not deviate from the summary of this invention.

例えば、撮像手段26を有するナビゲーション装置10、50は、車両2に予め固定されたものであってもよい。この場合、車両2に対する撮像手段26の取付位置に誤差がある場合、あるいは、ナビゲーション装置10の向きを変更することで、撮像方向6が進行方向4と異なる方向となる場合において、撮像画像35から進行方向4を含む画像領域42の撮像画像44を抽出して出力手段34に表示させることができる。   For example, the navigation devices 10 and 50 having the imaging unit 26 may be fixed to the vehicle 2 in advance. In this case, when there is an error in the mounting position of the imaging unit 26 with respect to the vehicle 2 or when the imaging direction 6 is different from the traveling direction 4 by changing the direction of the navigation device 10, A captured image 44 of the image area 42 including the traveling direction 4 can be extracted and displayed on the output unit 34.

また、進行方向4の基準位置を特定する方法として、特許文献1の場合と同様に、道路のセンタラインや路側のラインに基づいて特定するようにしてもよい。なお、センタライン等に基づいて基準位置を特定する場合、車両2は、進行方向4に走行している必要はない。   Further, as a method of specifying the reference position in the traveling direction 4, as in the case of Patent Document 1, the reference position may be specified based on a road center line or a road-side line. When the reference position is specified based on the center line or the like, the vehicle 2 does not need to travel in the traveling direction 4.

また、撮像手段26により撮像され出力手段34に表示させる撮像画像44は、連続的に撮像された画像に基づく動画であることが望ましいが、ナビゲーション装置10、50の処理能力によっては、所定のタイミングで撮像された静止画を逐次表示するものであってもよい。   The captured image 44 captured by the imaging unit 26 and displayed on the output unit 34 is preferably a moving image based on continuously captured images. However, depending on the processing capabilities of the navigation devices 10 and 50, a predetermined timing may be used. The still images captured in step 1 may be displayed sequentially.

また、出力手段34に地図画像および案内経路を表示させて走行し、撮像画像の表示要求があった場合に、撮像手段26により撮像した画像に表示を切り替えることとしたが、地図画像に代えて、基準位置を基準とする所定範囲の撮像画像を案内経路とともに常時表示させるようにしてもよい。   In addition, when the map is displayed with the map image and the guidance route displayed on the output unit 34 and the display of the captured image is requested, the display is switched to the image captured by the image capturing unit 26. In addition, a captured image in a predetermined range based on the reference position may be always displayed together with the guide route.

さらに、本発明の画像表示装置及びそれを用いたナビゲーション装置が適用される移動体には、車両2以外の移動体、例えば、ナビゲーション装置10、50を所持して移動する歩行者を含めることも可能である。   Furthermore, the moving body to which the image display device of the present invention and the navigation device using the image display device are applied may include a moving body other than the vehicle 2, for example, a pedestrian who carries the navigation devices 10 and 50 and moves. Is possible.

2・・・車両
4・・・進行方向
6・・・撮像方向
10、50・・・ナビゲーション装置
12・・・制御手段
20・・・現在位置検出手段
22・・・経路探索手段
24・・・地図情報記憶手段
26・・・撮像手段
27・・・取付角度検出手段
28・・・基準位置特定手段
30・・・画像抽出手段
32・・・入力手段
34・・・出力手段
35、44・・・撮像画像
36a〜36c・・・静止物体
38a〜38c・・・点
40・・・消失点
42・・・画像領域
46・・・案内経路
2 ... Vehicle 4 ... Traveling direction 6 ... Imaging direction 10, 50 ... Navigation device 12 ... Control means 20 ... Current position detection means 22 ... Route search means 24 ... Map information storage means 26 ... imaging means 27 ... attachment angle detection means 28 ... reference position specifying means 30 ... image extraction means 32 ... input means 34 ... output means 35, 44, ... Captured images 36a to 36c ... stationary objects 38a to 38c ... point 40 ... vanishing point 42 ... image region 46 ... guide route

Claims (7)

移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を表示する画像表示手段と、
を備えることを特徴とする画像表示装置。
An imaging means provided in a moving body for capturing an image including an image in a traveling direction of the moving body;
Reference position specifying means for specifying a reference position representing the traveling direction in the imaged image;
Image extracting means for extracting an image of a predetermined range based on the reference position from the captured image;
Image display means for displaying the extracted image;
An image display device comprising:
前記撮像手段は、時系列の画像を撮像し、
前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする請求項1に記載の画像表示装置。
The imaging means captures time-series images,
The image display apparatus according to claim 1, wherein the reference position specifying unit calculates a movement vector based on the captured time-series image, and specifies the reference position from the movement vector.
前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、
前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする請求項1に記載の画像表示装置。
An attachment angle detecting means for detecting an attachment angle of the image display device with respect to the moving body;
The image display device according to claim 1, wherein the reference position specifying unit specifies the reference position from the detected attachment angle.
前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項1〜3のいずれか1項に記載の画像表示装置。   The said imaging means is comprised integrally with the said image display apparatus, and the said image display apparatus is detachably installed with respect to the said mobile body, The any one of Claims 1-3 characterized by the above-mentioned. Image display device. 前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする請求項1〜4のいずれか1項に記載の画像表示装置。   The image display device according to claim 1, wherein the image display unit displays the extracted image in an enlarged manner. 地図情報に基づき、目的地までの経路を探索する経路探索手段と、
移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を、前記経路とともに表示する画像表示手段と、
を備えることを特徴とするナビゲーション装置。
A route search means for searching for a route to the destination based on the map information;
An imaging means provided in a moving body for capturing an image including an image in a traveling direction of the moving body;
Reference position specifying means for specifying a reference position representing the traveling direction in the imaged image;
Image extracting means for extracting an image of a predetermined range based on the reference position from the captured image;
Image display means for displaying the extracted image together with the route;
A navigation device comprising:
前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項6に記載のナビゲーション装置。   The navigation device according to claim 6, wherein the imaging unit is configured integrally with the navigation device, and the navigation device is detachably attached to the moving body.
JP2010194006A 2010-08-31 2010-08-31 Image display device and navigation device Pending JP2012052852A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010194006A JP2012052852A (en) 2010-08-31 2010-08-31 Image display device and navigation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010194006A JP2012052852A (en) 2010-08-31 2010-08-31 Image display device and navigation device

Publications (1)

Publication Number Publication Date
JP2012052852A true JP2012052852A (en) 2012-03-15

Family

ID=45906342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010194006A Pending JP2012052852A (en) 2010-08-31 2010-08-31 Image display device and navigation device

Country Status (1)

Country Link
JP (1) JP2012052852A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092691A (en) * 2014-11-07 2016-05-23 キヤノン株式会社 Image processing device, method for controlling the same, program, and storage medium
CN111007851A (en) * 2019-12-10 2020-04-14 武汉星巡智能科技有限公司 Robot cleaning path planning method, device, equipment and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092691A (en) * 2014-11-07 2016-05-23 キヤノン株式会社 Image processing device, method for controlling the same, program, and storage medium
US10200606B2 (en) 2014-11-07 2019-02-05 Canon Kabushiki Kaisha Image processing apparatus and control method of the same
CN111007851A (en) * 2019-12-10 2020-04-14 武汉星巡智能科技有限公司 Robot cleaning path planning method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
US20230029160A1 (en) Apparatus and Methods of Displaying Navigation Instructions
EP2881710B1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
JP4293917B2 (en) Navigation device and intersection guide method
US20100253775A1 (en) Navigation device
JP4848893B2 (en) Intersection information providing system and driving support system
JP2022518911A (en) Generate structured map data from vehicle sensors and camera arrays
WO2007129382A1 (en) Navigation device and method
JP2021115983A (en) Automated driving device
WO2007119472A1 (en) Navigation apparatus
US9423267B2 (en) Navigation device and display control method
KR101281629B1 (en) Driving guidance system using sensors
JP2016060336A (en) Automatic driving support system, automatic driving support method and computer program
JP2023126340A (en) Information processing device, information processing method, program for information processing, and recording medium
JP2013036930A (en) Navigation device and navigation system comprising the same
JP2007206014A (en) Navigation device
JP2011174748A (en) Device, method and program for map display
JP2012032253A (en) Navigation device for vehicle
JP2012052852A (en) Image display device and navigation device
JP2007140992A (en) Method and device for supporting driving at intersection
JP2006164197A (en) Running support system
JP2008040780A (en) Apparatus for monitoring circumference vehicle
JP2007233430A (en) Driving support method and driving support device
JP2012112889A (en) In-vehicle navigation device
KR102600313B1 (en) Method for analyzing information of vehicle path of intersection
JP2012247396A (en) Speed detection apparatus and method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120528

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20130628