JP2021105986A - Display device, moving entity, display method, and program - Google Patents
Display device, moving entity, display method, and program Download PDFInfo
- Publication number
- JP2021105986A JP2021105986A JP2020203002A JP2020203002A JP2021105986A JP 2021105986 A JP2021105986 A JP 2021105986A JP 2020203002 A JP2020203002 A JP 2020203002A JP 2020203002 A JP2020203002 A JP 2020203002A JP 2021105986 A JP2021105986 A JP 2021105986A
- Authority
- JP
- Japan
- Prior art keywords
- image
- traffic sign
- sign
- virtual
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000010763 heavy fuel oil Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、表示装置、移動体、表示方法及びプログラムに関する。 The present invention relates to a display device, a moving body, a display method and a program.
従来、車両のフロントウインドシールド等に各種情報を含む被投射画像の虚像を車両の前景に重畳表示し、車両の運転者に視認させるヘッドアップディスプレイ等の表示装置が知られている。 Conventionally, a display device such as a head-up display has been known in which a virtual image of a projected image including various information is superimposed and displayed on the foreground of the vehicle on the front windshield of the vehicle or the like so that the driver of the vehicle can visually recognize the virtual image.
また、車両に取り付けられたカメラで取得される車両の前方画像に基づき車両前方にある道路標識や路面標示等の交通標識を認識し、前景で視認される道路の位置に仮想標識画像の虚像を重畳表示することで、交通標識が適用される道路を車両の運転者に指示する技術が開示されている(例えば、特許文献1参照)。 In addition, it recognizes traffic signs such as road signs and road surface signs in front of the vehicle based on the front image of the vehicle acquired by the camera attached to the vehicle, and displays a virtual image of the virtual sign image at the position of the road visible in the foreground. A technique for instructing a vehicle driver on a road to which a traffic sign is applied by superimposing a display is disclosed (see, for example, Patent Document 1).
しかしながら、特許文献1の技術では、交通標識が適用される道路等の経路又は交通標識が前景の端部付近等で視認される場合には、前景における交通標識の位置に仮想標識画像等の所定画像の虚像を重畳表示するために、表示装置に広角の投射画角が求められ、表示装置のサイズやコストが増大する場合がある。
However, in the technique of
本発明は、狭い投射画角でも、交通標識が適用される経路又は交通標識を示すことを課題とする。 An object of the present invention is to show a route or a traffic sign to which a traffic sign is applied even with a narrow projection angle of view.
本発明の一態様に係る表示装置は、被投射画像の虚像を表示する表示装置であって、交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備える。 The display device according to one aspect of the present invention is a display device that displays a virtual image of a projected image, and includes an image generation unit that generates the projected image including a predetermined image acquired based on a traffic sign, and the above. Based on the position of the traffic sign and the position of the route in front of the moving body, the existence direction in which either the target route to which the traffic sign is applied or the traffic sign exists is output, and the existence direction is determined. It includes a direction indicating unit that causes the image generation unit to generate the projected image including the image.
狭い投射画角でも、交通標識が適用される経路又は交通標識を示すことができる。 Even with a narrow projection angle of view, it is possible to indicate the route or traffic sign to which the traffic sign is applied.
以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成の部分には同一符号を付し、重複した説明を省略する場合がある。 Hereinafter, modes for carrying out the invention will be described with reference to the drawings. In each drawing, parts having the same configuration may be designated by the same reference numerals, and duplicate description may be omitted.
実施形態に表示装置は、フロントウインドシールド(フロントガラス)等に各種情報を含む被投射画像の虚像を重畳表示し、車両等の移動体の運転者に視認させるものである。 In the embodiment, the display device superimposes and displays a virtual image of a projected image including various information on a front windshield (windshield) or the like, and makes it visible to a driver of a moving body such as a vehicle.
また、交通標識に基づいて取得される仮想標識画像等の所定画像を含む被投射画像を生成し、交通標識の位置と移動体の前方にある経路の位置とに基づき、交通標識が適用される対象経路又は交通標識の何れか一方が存在する存在方向を、運転者に示す。 In addition, a projected image including a predetermined image such as a virtual sign image acquired based on the traffic sign is generated, and the traffic sign is applied based on the position of the traffic sign and the position of the route in front of the moving body. Show the driver the direction in which either the target route or the traffic sign is present.
方向を示すことにより、前景で視認される対象経路の位置に、仮想標識画像等の所定画像の虚像を重畳表示するための投射画角の広角化を不要にする。これにより表示装置の投射画角が狭くても、対象経路又は交通標識の何れか一方を示すことを可能にする。 By indicating the direction, it is not necessary to widen the projection angle of view for superimposing and displaying a virtual image of a predetermined image such as a virtual sign image on the position of the target path visually recognized in the foreground. This makes it possible to show either the target route or the traffic sign even if the projection angle of view of the display device is narrow.
<実施形態における用語について>
(画像)
静止画像と動画像の両方を含み、映像も画像に含まれるものとする。
<Terms in the embodiment>
(image)
Both still images and moving images are included, and video is also included in the image.
(前景)
移動体の運転者が視認する移動体の前方の風景をいう。例えば、車両のフロントウインドシールドを通じて運転者が視認する前方の風景が前景に該当する。
(foreground)
The scenery in front of the moving body that the driver of the moving body sees. For example, the foreground is the scenery in front of the driver as seen through the front windshield of the vehicle.
(運転者)
移動体を運転又は操縦する者のことをいう。例えば、車両のドライバ等が挙げられる。
(driver)
A person who drives or steers a moving body. For example, a vehicle driver and the like can be mentioned.
(交通標識)
交通を利用する者に必要な情報を提供する物をいう。例えば交通標識は、情報を表示する部材である表示部材、情報を表示する画像、又は情報を表示するペイント等を含む。より具体的には、交通標識は、道路標識又は路面標示等を含む。道路標識とは、道路の近傍又は上空に設けられ、車両の運転者等の道路を利用する者に必要な情報を提供する表示板をいう。路面標示とは、交通を整理、誘導又は規制を目的とした情報提供のために道路の路面に設けられたペイントをいう。交通標識は、提供する情報に応じて予め定められた図形や記号、文字等を標示する。
(Traffic sign)
A product that provides necessary information to those who use transportation. For example, a traffic sign includes a display member which is a member for displaying information, an image for displaying information, a paint for displaying information, and the like. More specifically, the traffic sign includes a road sign, a road marking, and the like. A road sign is a display board provided near or above the road and providing necessary information to a person who uses the road, such as a vehicle driver. Road markings are paints on the road surface to provide information for the purpose of organizing, guiding or regulating traffic. Traffic signs indicate predetermined figures, symbols, characters, etc. according to the information to be provided.
(移動体)
移動可能な物体をいう。例えば移動体は、自動車、車両、電車、汽車又はフォークリフト等の陸上を移動可能な陸上移動体を含み、飛行機、気球又はドローン等の空中を移動可能な空中移動体を含み、船、船舶、汽船又はボート等の水上を移動可能な水上移動体を含む。
(Mobile)
A movable object. For example, moving objects include land-movable land-moving bodies such as automobiles, vehicles, trains, trains or forklifts, and air-moving aerial-moving bodies such as airplanes, balloons or drones, including ships, ships and steamers. Alternatively, it includes a water-moving body such as a boat that can move on the water.
(経路)
移動体が移動する道、路、途又は方向をいう。例えば経路は、交通路、進行方向又は走行方向等を含み、陸上移動体が移動する道路、通路、通行路、走行路又は線路等を含み、空中移動体が移動する空路又は航空路等を含み、水上移動体が移動する水路、海路又は航路等を含む。
(route)
A road, road, way or direction in which a moving body moves. For example, the route includes a traffic route, a traveling direction, a traveling direction, etc., includes a road, a passage, a passage, a traveling route, a railroad, etc. , Includes waterways, sea routes, sea routes, etc. to which water moving objects move.
(仮想標識画像)
仮想的な交通標識の画像をいい、交通標識が表示する図形に対応する図形、又は交通標識が表示する文字に対応する文字の少なくとも一方を表示する画像をいう。例えば交通標識が「進入禁止」の道路標識である場合には、「進入禁止」の道路標識が表示するパターンと同じパターンの画像が仮想標識画像に該当する。
(Virtual sign image)
An image of a virtual traffic sign, which means a figure corresponding to a figure displayed by a traffic sign or an image displaying at least one of characters corresponding to a character displayed by a traffic sign. For example, when the traffic sign is a "no entry" road sign, an image having the same pattern as the pattern displayed by the "no entry" road sign corresponds to the virtual sign image.
(被投射画像)
運転者に視認させるために投射される画像をいう。被投射画像は、車両の走行速度情報や仮想標識画像等の運転者に提供する情報等を含む。
(Projected image)
An image projected for the driver to see. The projected image includes information to be provided to the driver, such as vehicle traveling speed information and virtual sign images.
(所定画像)
上記の被投射画像に含まれる画像をいう。例えば上記の仮想標識画像や交通標識を言葉に置き換えた文字を標示する文字画像等が所定画像に該当する。
(Predetermined image)
An image included in the above-mentioned projected image. For example, the above-mentioned virtual sign image, a character image indicating a character in which a traffic sign is replaced with a word, or the like corresponds to a predetermined image.
(所定位置)
移動体が移動することで交通標識が前景から外れ、交通標識の情報が取得されなくなった場合に、被投射画像内で上記の所定画像を配置する位置をいう。
(Predetermined position)
It refers to the position where the above-mentioned predetermined image is placed in the projected image when the traffic sign is removed from the foreground due to the movement of the moving body and the traffic sign information is no longer acquired.
(対象経路)
交通標識が標示する情報が適用される経路をいう。例えば自動車が移動する経路である道路に60km/hの速度制限が適用されることを交通標識が標示する場合は、この60km/h速度制限が適用される道路が対象経路に該当する。この場合の道路を対象道路という。対象道路は対象経路の一例である。
(Target route)
The route to which the information indicated by the traffic sign is applied. For example, when a traffic sign indicates that a speed limit of 60 km / h is applied to a road on which an automobile travels, the road to which the speed limit of 60 km / h is applied corresponds to the target route. The road in this case is called the target road. The target road is an example of the target route.
(存在方向)
運転者から見て、対象経路又は交通標識の何れか一方が存在する方向をいう。
(Direction of existence)
The direction in which either the target route or the traffic sign exists when viewed from the driver.
以下、道路を移動可能な車両に搭載されるヘッドアップディスプレイ(HUD;Head Up Display)を一例として、実施形態を説明する。ここで、道路は経路の一例であり、車両は移動体の一例であり、HUDは表示装置の一例である。 Hereinafter, embodiments will be described using a head-up display (HUD) mounted on a vehicle that can move on the road as an example. Here, the road is an example of a route, the vehicle is an example of a moving body, and the HUD is an example of a display device.
<構成例>
図1は、実施形態に係る表示装置1が車両8に搭載された構成の一例を示す図である。図1に示すように、表示装置1は制御部20と投射部10を備えている。
<Configuration example>
FIG. 1 is a diagram showing an example of a configuration in which the
表示装置1は車両8に設けられたダッシュボードの内部に埋め込まれており、表示装置1の上面に設けられた射出窓3からフロントウインドシールド71に向けて画像を投射する。投射された画像はフロントウインドシールド71よりも正のY方向に虚像Iとして表示され、車両8の運転者Vにより視認される。運転者Vは、虚像Iを視認することで、車両8の正のY方向にある他の車両や路面等に視線を保ったまま、少ない視線移動で運転のために有用な情報を取得できる。
The
なお、表示装置1はフロントウインドシールド71に画像を投射できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。
The
図1に示すように、表示装置1は、主要な構成要素として、投射部10と、制御部20とを備えている。投射部10の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを2次元走査デバイスで走査し中間像(後述するスクリーンに投射される実像)を形成する方式である。パネル方式は、液晶パネル、DMD(Digital Micro-mirror Device)パネル、蛍光表示管(VFD;Vacuum Fluorescent Display)等のイメージングデバイスで中間像を形成する方式である。被投射画像は、レーザ走査方式により投射されるものと、パネル方式により投射されるものの両方を含む。
As shown in FIG. 1, the
レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光/非発光を割り当てることができるため、一般に高コントラストの画像を形成できる点で好適である。高コントラストであることで視認性が向上するため、パネル方式のHUDよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。 The laser scanning method is different from the panel method in which an image is formed by emitting light from the entire screen and partially blocking light, and since it is possible to assign light emission / non-light emission to each pixel, a high-contrast image is generally obtained. It is suitable in that it can be formed. Since the high contrast improves the visibility, it has been clarified that the occupants of the vehicle can visually recognize the information with less attention resources than the panel type HUD.
特に、パネル方式では情報がない領域でも遮光しきれない光が投射され、HUDが画像を表示できる範囲に表示枠が投射されてしまう(この現象をポストカードという)。レーザ走査方式ではこのような現象がなく、コンテンツのみを投影できる。特に、AR(Augmented Reality)において、実在する風景に生成した画像を重ねて表示する際のリアリティが向上する。 In particular, in the panel method, light that cannot be completely blocked is projected even in an area where there is no information, and the display frame is projected in a range where the HUD can display an image (this phenomenon is called a postcard). The laser scanning method does not have such a phenomenon and can project only the content. In particular, in AR (Augmented Reality), the reality when the generated image is superimposed and displayed on the actual landscape is improved.
なお、ARとは、「拡張現実」と訳され、実在する風景に実在しないオブジェクトの画像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術をいう。但し、パネル方式のHUDであってもより少ない注意資源で視認できる(疲れにくい)態様で情報を表示できるHUDであればよい。 Note that AR is translated as "augmented reality" and refers to a technology that virtually expands the world in front of you by superimposing images of non-existent objects on an existing landscape. However, even if it is a panel-type HUD, it may be a HUD that can display information in a manner that can be visually recognized (less tired) with less attention resources.
図2は、投射部10の構成の一例を示す図である。投射部10は、主に、光源部101と、光偏向器102と、ミラー103と、スクリーン104と、凹面ミラー105とを備えている。なお、図2は主要な構成要素を示したに過ぎず、図示する以外の構成要素を備えてもよいし、図示する構成要素の一部を備えていなくてもよい。
FIG. 2 is a diagram showing an example of the configuration of the
光源部101は、Red(R)、Green(G)及びBlue(B)に対応した3つのレーザ光源(以下、LD:レーザダイオードとする)、カップリングレンズ、アパーチャ、合成素子及びレンズ等を備えており、3つのLDから出射されたレーザビームを合成して光偏向器102の反射面に向かって導く。光偏向器102の反射面に導かれたレーザビームは、光偏向器102により2次元的に偏向される。
The
光偏向器102としては、直交する2軸に対して揺動する1つの微小なミラーや、1軸に揺動又は回動する2つの微小なミラー等を用いることができる。光偏向器102は、半導体プロセス等で作製されたMEMS(Micro Electro Mechanical Systems)ミラーとすることができる。光偏向器102は、圧電素子の変形力を駆動力とするアクチュエータにより駆動できる。但し、光偏向器102として、ガルバノミラーやポリゴンミラー等を用いてもよい。
As the
光偏向器102により2次元的に偏向されたレーザビームはミラー103に入射し、ミラー103により折り返され、スクリーン104の表面(被走査面)上に2次元の画像(中間像)を描画する。ミラー103としては、凹面鏡等を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器102とミラー103でレーザビームの方向を偏向することで、投射部10の小型化又は構成要素の配置を柔軟に変更できる。
The laser beam two-dimensionally deflected by the
スクリーン104としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。一般に光源部101からスクリーン104まではHUD装置と呼ばれる。但し、この他の部品を含んでもよい。
As the
スクリーン104から射出されたレーザビームは、凹面ミラー105で反射され、フロントウインドシールド71に投影される。凹面ミラー105はレンズと似た働きを備え、所定の焦点距離に像を結像させる機能を備える。このため、凹面ミラー105がレンズであるとすると物体に相当するスクリーン104上の像は凹面ミラー105の焦点距離によって定まる距離R2の位置に結像する。従って、車両8の運転者V等の乗員から見た場合、フロントウインドシールド71から距離R1+R2の位置に虚像Iが表示される。車両8の運転者Vからフロントウインドシールド71までの距離をR3とすると、図2では車両8の運転者Vの視点Eから距離R(=R1+R2+R3)の位置に虚像Iが表示される(結像する)。
The laser beam emitted from the
フロントウインドシールド71への光束の少なくとも一部は車両8の運転者Vの視点Eに向けて反射される。この結果、車両8の運転者Vはフロントウインドシールド71を介してスクリーン104の中間像が拡大された虚像Iを視認可能となる。換言すると、車両8の運転者Vから見て、フロントウインドシールド71越しに中間像が拡大表示された虚像Iが表示される。
At least a part of the light flux to the
なお、一般にフロントウインドシールド71は平面ではなく僅かに湾曲している。このため、凹面ミラー105の焦点距離だけでなくフロントウインドシールド71の曲面によっても虚像Iの結像位置が決定されるが、距離Rは上述したようにほぼ距離R1+R2によって定まる。視線移動が少なくて済むように虚像Iを遠方に結像させるには、距離R1又はR2を長くする。距離R1を長くする方法としてはミラーで光路を折り返す方法があり、距離R2を長くする方法としては凹面ミラー105の焦点距離を調整する方法がある。
In general, the
なお、フロントウインドシールド71の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー103及び凹面ミラー105の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。
Since the
また、フロントウインドシールド71よりも視点E側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー105からの光を照射するようにしても、フロントウインドシールド71に凹面ミラー105からの光を照射した場合と同様に、虚像Iとして情報を提示することができる。
Further, a combiner may be arranged as a transmission reflection member on the viewpoint E side of the
<表示装置1が搭載される車載システム2の構成例>
次に、表示装置1が車両8に搭載された車載システム2を、図3を参照して説明する。図3は、表示装置1が車両8に搭載された車載システム2の構成の一例を示すブロック図である。
<Configuration example of in-
Next, an in-
車載システム2はCAN(Controller Area Network)バス等の車載ネットワークNWを介して通信するカーナビゲーションシステム11と、エンジンECU(Electronic Control Unit)12と、表示装置1と、ブレーキECU13と、ステアリングECU14と、画像処理装置15と、検出装置16とを備えている。
The in-
カーナビゲーションシステム11は、GPS(Global Positioning System)に代表されるGNSS(Global Navigation Satellite System)を備え、車両8の現在地を検出して電子地図上に車両8の位置を表示する。
The
また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両8の乗員に進行方向を音声、文字(ディスプレイに表示される)、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム11は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両8に送信したり経路検索を行ったりすることができる。
In addition, it accepts input of the departure point and the destination, searches for the route from the departure point to the destination, displays the route on the electronic map, and gives the occupant of the
エンジンECU12は、各センサからの情報と車両8の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構等の制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照する等して変速の必要性を判断する。エンジンECU12はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。
The
ブレーキECU13は、ABS(Antilock Braking System)制御、先行車への追従走行時の制動制御、障害物とのTTC(Time To Collision)に基づく自動制動、坂道発進時の停止状態維持制御など、車両8の運転者Vによるブレーキペダルの操作がなくても車両8の車輪ごとに制動力を制御する。
The
ステアリングECU14は、車両8の運転者Vによるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は障害物との接近を回避する方向に、車両8の運転者Vによるハンドル操作がなくても操舵する。
The steering
検出装置16は前方カメラ164等の各種のセンサを備えており、車両8の前方画像の撮像等の各種検出を行うことができる。ここで、前方カメラ164は、運転者Vがフロントウインドシールド71を通して視認される前景に前方画像が対応するように位置及び傾きが調整され、車両8に取り付けられている。
The
画像処理装置15は、前方カメラ164により撮像された車両8の前方画像に対して画像処理を実行し、被投射画像の生成で使用される情報を取得して表示装置1に出力する。
The
<検出装置16の構成例>
次に、検出装置16の構成を、図4を参照して説明する。図4は、検出装置16の構成の一例を示すブロック図である。検出装置16は、表示装置1が表示する車速を検出する車速センサ161、表示装置1が表示する車両情報を取得する車両情報センサ162、障害物を検出するレーダセンサ163と前方カメラ164、乗員に関する情報である乗員状態情報を取得する乗員状態情報センサ165、外部から渋滞情報などを受信するVICS受信装置166(登録商標。VICS:Vehicle Information and Communication System Center)、及びインターネットなどに接続する外部通信装置167等を備えている。
<Configuration example of
Next, the configuration of the
なお、検出装置16が備える各センサは検出装置16にまとまって存在する必要はなく、車載されていればよい。
It should be noted that the sensors included in the
車速センサ161は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。
The
車両情報センサ162は、車速センサ161以外の車両情報を検出する1つ以上のセンサを備えている。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び水温センサ等である。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。
The
シフトレバー位置センサは車両8の運転者Vが操作したシフトレバー位置を検出する。オドメータは車両8の走行距離を累積して総走行距離を提供する。トリップメータは車両8の運転者Vが初期化してから現在までの区間走行距離を提供する。
The shift lever position sensor detects the shift lever position operated by the driver V of the
ウィンカセンサは車両8の運転者Vが操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、車両8から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量等も取得できる。
The winker sensor detects the direction of the winker operated by the driver V of the
前方カメラ164は車両8の前方(図1の正のY方向に対応する方向)を撮像する撮像装置である。前方カメラ164は、例えばルームミラーの裏側やその近くに取り付けられる。
The
前方カメラ164は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ163がなくてもよい。しかし、距離情報を取得できる前方カメラ164に加え、レーダセンサ163があることで、前方カメラ164の距離情報とレーダセンサ163の距離情報をフュージョンし(統合し),互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ163と前方カメラ164の他にソニックセンサ(超音波センサ)等を備えていてもよい。
The
レーダセンサ163は車両8の前方、側方、後方など車両8の周囲にレーダを送信し、物体で反射して戻ってくるレーダを受信する。配置場所は車両8の周囲の障害物を検出できる場所であればよい。レーダセンサ163は送信から受信までの時間により物体までの距離を検出すると共に、レーダの照射方向により物体の方向を検出するTOF方式(Time Of Fright)がある。
The
TOF方式のレーダセンサとしてLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)が知られている。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するFMCW方式(Frequency Modulation Continuous Wave)がある。FMCW方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。 LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) is known as a TOF type radar sensor. In addition, the FMCW method (Frequency Modulation Continuous Wave) that generates a mixed wave of the received wave and the transmitted wave while continuously increasing the frequency of the transmitted wave and converts the humming frequency of the mixed wave generated by the slightly different frequencies into a distance. ). In the FMCW method, the direction of an object is estimated by detecting the phase shift of the received wave with a plurality of receiving antennas.
乗員状態情報センサ165は車両8の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。代表的なものに顔カメラがある。顔カメラは車両8の乗員の顔を撮像して顔認証を行い、車両8の乗員を特定又は識別する。また、顔画像から顔向きや視線方向を検出することが可能になる。
The occupant
この他、乗員状態情報センサ165は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサ等でもよい。乗員状態情報センサ165としては例えば、腕時計型のウェアラブル端末(スマートウォッチ)を車両の乗員が装着する形態がある。
In addition, the occupant
VICS受信装置166はVICSが配信する電波を受信する。なお、VICSは渋滞や交通規制等の道路交通情報を、FM多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置167は3G、4G、5G、LTE及び無線LAN等のネットワークを介してインターネット等に接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。
The
また、ニュース、音楽、動画等を受信してもよい。また、外部通信装置167は、例えば信号機の状態情報と信号が変わるまでの時間等を取得できる。このように、VICS受信装置166と外部通信装置167は路車間通信を行う場合がある。この他、外部通信装置167は車間通信で他車両6が検出した情報を取得してもよい。
You may also receive news, music, videos and the like. Further, the
なお、先進運転システム(ADAS)では情報を表示して警告するだけでなく、車両8の制御を行う場合もある。この場合、ECUはレーダセンサ163又は前方カメラ164の少なくとも一方が検出する障害物の距離情報に基づいてエンジンECU12、ブレーキECU13及びステアリングECU14と連携して各種の運転支援を行う。例えば、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、障害物の回避操舵等を行う。このような制御のために、前方カメラ164が撮像した画像から、ECUが白線等の道路ペイント等を認識する。
In addition, the advanced driver assistance system (ADAS) not only displays information and warns, but also controls the
追従走行時の加減速制御では、ECUは車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、TTCに応じて、警告、ブレーキペダルの押下を促す表示、及び衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ECU36は撮像された画像から白線(走行区分線)を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。 In acceleration / deceleration control during follow-up travel, the ECU controls power and braking force so as to maintain a target distance according to the vehicle speed. In automatic braking, a warning, a display prompting the brake pedal to be pressed, a seatbelt winding and collision avoidance braking when there is a high possibility of a collision, and the like are performed according to the TTC. In avoiding deviation from the traveling lane, the driving support ECU 36 recognizes a white line (traveling division line) from the captured image and applies steering torque in a direction opposite to the direction deviating from the traveling lane.
また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。障害物の回避操舵では、制動では衝突を回避できないと判断した場合に、障害物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。 Further, in lane-keeping driving, the center of the traveling lane is set as the target traveling line, and steering torque proportional to the deviation from the target traveling line is added in the direction opposite to the deviation. In obstacle avoidance steering, when it is determined that a collision cannot be avoided by braking, a traveling line for avoiding obstacles is determined, and steering torque traveling on this traveling line is added.
また、例えば車線変更時にレーダセンサ163又は前方カメラ164により、隣の車線のドアミラーに映らない領域(死角領域)を併走する車両を検知した場合に、乗員に警告する。このような支援をブラインドスポットモニタという。
Further, for example, when the
<画像処理装置15の機能構成例>
次に、画像処理装置15の機能構成を説明する。画像処理装置15は、車両8の前方における道路及び交通標識の位置情報等を算出して取得し、表示装置1に出力する処理を実行する。
<Example of functional configuration of
Next, the functional configuration of the
図5は画像処理装置15の機能構成の一例を示すブロック図である。図5に示すように、画像処理装置15は、標識領域抽出部151と、道路領域抽出部152と、標識位置取得部153と、道路位置取得部154とを備えている。
FIG. 5 is a block diagram showing an example of the functional configuration of the
標識領域抽出部151は、車両8の前方画像内で交通標識を含む画像領域を標識画像として抽出し、標識画像を標識位置取得部153に出力する。また道路領域抽出部152は、車両8の前方画像内で道路を含む画像領域を道路画像として抽出し、道路画像を道路位置取得部154に出力する。標識画像及び道路画像の抽出には、パターンマッチングやエッジ検出等の画像処理を適用できる。前方画像内に複数の道路と複数の標識が含まれる場合には、複数の標識及び複数の道路毎に標識画像及び道路画像が抽出される。なお、標識画像は前方画像内での標識画像の位置を表す座標情報を含み、道路画像は、前方画像内での道路画像の位置を表す座標情報を含んでいる。
The sign
また、標識領域抽出部151及び道路領域抽出部152が画像領域を抽出する方法の1つとして、機械学習を用いた画像認識方法も適用できる。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。
Further, as one of the methods for the sign
機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがある。 The learning method for machine learning may be any of supervised learning, unsupervised learning, semi-supervised learning, intensive learning, and deep learning, and may be a learning method that combines these learning methods. Machine learning It doesn't matter how you learn for. Machine learning methods include perceptrons, deep learning, support vector machines, logistic regression, naive bays, decision trees, and random forests.
標識位置取得部153は、標識画像に基づき、車両8の前方画像内での交通標識の位置情報を座標情報として取得する。道路位置取得部154は、道路画像に基づき、車両8の前方画像内での道路の位置情報を座標情報として取得する。前方画像内に複数の道路と複数の標識が含まれる場合は、複数の道路及び複数の標識毎に位置情報が取得される。
The sign
画像処理装置15は、標識領域抽出部151が抽出した標識画像、標識位置取得部153が取得した交通標識の位置情報、道路位置取得部154が取得した道路の位置情報を、表示装置1に出力する。
The
なお、画像処理装置15は、前方画像内に交通標識が含まれない場合には、標識位置の情報として座標(0、0)等のその旨を示すための標識無情報を出力する。また前方画像内に道路が含まれなくなった場合に道路無情報を出力するようにしてもよい。
When the traffic sign is not included in the front image, the
<制御部20のハードウェア構成例>
次に、制御部20のハードウェア構成を、図6を参照して説明する。図6は、制御部20のハードウェア構成の一例を示す図である。図6に示すように、制御部20は、FPGA(Field-Programmable Gate Array)201と、CPU(Central Processing Unit)202と、ROM(Read Only Memory)203と、RAM(Random Access Memory)204と、I/F(Interface)205と、バスライン206と、LDドライバ207と、MEMSコントローラ208と、HDD(Hard Disk Drive)210とを備えている。FPGA201、CPU202、ROM203、RAM204、I/F205及びHDD210は、バスライン206を介して相互に電気的に接続されている。
<Hardware configuration example of
Next, the hardware configuration of the
CPU202は、制御部20の各機能を制御する。ROM203は、CPU202が、制御部20の各機能を制御するために実行するプログラム203pを記憶している。RAM204にはプログラム203pが展開され、CPU202がプログラム203pを実行するためのワークエリアとして使用される。また、RAM204は画像メモリ209を有している。
The
画像メモリ209は虚像Iとして投影される画像の生成に使用される。I/F205は、画像処理装置15や検出装置16と通信するためのインターフェイスであり、例えば車両8のCAN(Controller Area Network)バス又はイーサネット(登録商標)等に接続される。
The
HDD210は、制御部20による処理を実行するプログラムや交通標識の画像データ等の各種データが記憶された不揮発性メモリであり、大容量記憶装置である。なお、HDDはSSD(Solid State Drive)等であってもよい。
The
FPGA201は、CPU202が生成した画像に基づいてLDドライバ207を制御する。LDドライバ207は投射部10の光源部101のLDを駆動させることで、画像に応じたLDの発光を制御する。FPGA201は、画像の画素位置に応じた方向にレーザビームが偏向されるようにMEMSコントローラ208を介して投射部10の光偏向器102を動作させる。
The
[第1実施形態]
<制御部20の機能構成例>
次に、第1実施形態に係る制御部20の機能構成を、図7を参照して説明する。図7は、制御部20の機能構成の一例を示すブロック図である。図7に示すように、制御部20は画像格納部21と、識別部22と、方向対象決定部23と、方向テーブル格納部24と、方向指示部25と、画像生成部26と、出力部27とを備えている。
[First Embodiment]
<Example of functional configuration of
Next, the functional configuration of the
これらのうち、識別部22、方向対象決定部23、方向指示部25及び画像生成部26のそれぞれの機能はCPU202が所定のプログラムを実行すること等で実現される。また画像格納部21及び方向テーブル格納部24のそれぞれの機能はHDD210等により実現され、出力部27の機能はI/F205等により実現される。
Of these, the functions of the
画像格納部21は、交通標識に対応する仮想標識画像を格納するデータベースである。また格納されている交通標識の画像のそれぞれには、交通標識を識別するための識別情報が付与されている。仮想標識画像は、被投射画像内に配置されて被投射画像の虚像を運転者Vに視認させた際に運転者Vが視認可能な範囲で、小さいサイズの画像であってよい。
The
画像格納部21は、その時点の道路交通で使用されている全ての交通標識の画像を格納していることが好ましいが、これに限定されるものではなく、使用される頻度が高いもの等の一部のものを格納していてもよい。また交通標識の変更や新規の交通標識の追加に対応させるために、格納されている画像が定期的に更新されることが好ましい。
The
この更新作業は、外部通信装置167を介してインターネット等から最新のデータがダウンロードされること等により行われる。定期的に自動で更新が行われてもよいし、車両8の運転者Vが車載システム2を操作して手動で更新作業を行ってもよい。
This update work is performed by downloading the latest data from the Internet or the like via the
識別部22は画像処理装置15から入力される標識画像に基づき、画像格納部21を参照して、標識画像が示す交通標識に対応する仮想標識画像及び識別情報を取得する。一例として、入力された標識画像と、画像格納部21に予め格納されている1つ1つの交通標識の画像とをパターンマッチング処理し、類似度が予め定められた閾値以上になる画像を仮想標識画像として取得する。また取得された仮想標識画像に付与された識別情報を取得できる。
Based on the sign image input from the
識別部22は、取得した仮想標識画像を画像生成部26に出力し、また識別情報を方向対象決定部23に出力する。
The
方向対象決定部23は、識別部22から入力した交通標識の識別情報に基づき、運転者Vに示す存在方向として、対象道路が存在する方向か、又は交通標識が存在する方向の何れか一方を決定する。換言すると、存在方向の対象として、対象道路、又は交通標識の何れか一方を決定する。そして、決定した存在方向の対象を示す情報を方向指示部25に出力する。
Based on the traffic sign identification information input from the
具体的には、方向対象決定部23は、識別部22から入力した交通標識の識別情報に基づき、予め定められた識別情報と存在方向との対応関係を示す対応テーブルを格納する方向テーブル格納部24を参照して上記の決定を行う。
Specifically, the direction
例えば進入禁止や一時停止等の道路に適用される交通標識の場合は、対象道路が存在方向の対象となる。一方、近隣に学校があることや横断歩道が近いこと等の道路の周辺環境に応じて注意を促し、交通規則を補助する交通標識の場合は、交通標識が存在方向の対象となる。なお、速度制限の交通標識等は、対象道路、又は交通標識の何れを存在方向の対象としてもよく、どちらにするかを表示装置1の製造者、車両8の製造者、又は表示装置1のユーザ等の設定により予め定めておくと好適である。
For example, in the case of a traffic sign applied to a road such as no entry or temporary stop, the target road is the target in the direction of existence. On the other hand, in the case of a traffic sign that calls attention according to the surrounding environment of the road such as a school nearby or a pedestrian crossing nearby and assists traffic rules, the traffic sign is the target of the direction of existence. As for the speed limit traffic sign or the like, either the target road or the traffic sign may be the target in the existing direction, and the manufacturer of the
方向指示部25は、交通標識の位置と車両8の前方にある道路の位置とに基づき、交通標識が適用される対象道路又は交通標識の何れか一方が存在する方向である存在方向、を運転者Vに示す機能を備える。
The
具体的には、方向指示部25は、画像処理装置15から交通標識及び道路のそれぞれの位置情報を入力し、また方向対象決定部23から存在方向の対象情報を入力する。
Specifically, the
存在方向の対象が対象道路である場合には、方向指示部25は、交通標識の位置と車両8の前方にある道路の位置とに基づき、交通標識が適用される道路を対象道路として決定する。そして、予め定めた基準位置と対象道路の座標情報とを用い、基準位置に対して対象道路の存在する方向を存在方向θとして算出して取得する。
When the target in the existing direction is the target road, the
一方、存在方向の対象が交通標識である場合には、方向指示部25は、基準位置と交通標識の座標情報とを用い、基準位置に対する交通標識の方向を存在方向θとして算出して取得する。
On the other hand, when the target of the existence direction is a traffic sign, the
ここで、上記の基準位置には運転者Vの視点(眼)、又は視点に対応する位置を用いることができる。この場合は、運転者Vから見て対象道路又は交通標識の存在する方向が存在方向に該当する。 Here, the viewpoint (eye) of the driver V or the position corresponding to the viewpoint can be used as the reference position. In this case, the direction in which the target road or the traffic sign is present corresponds to the existing direction when viewed from the driver V.
方向指示部25は、存在方向θを画像生成部26に出力し、画像生成部26に存在方向θを含む被投射画像を生成させることで、運転者Vに存在方向θを示す。
The
画像生成部26は、仮想標識画像が画像内に配置された被投射画像を生成する機能を備える。具体的には、画像生成部26は、前方画像に対して基準位置を合わせた所定の画像サイズの被投射画像であって、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。この所定の画像サイズは、投射部10によるフロントウインドシールド71への投射画角を狭くするために、被投射画像の虚像の大きさが前景より小さくなる画像サイズであることが好ましい。
The
被投射画像内への仮想標識画像の配置は、基準位置から存在方向θの方向の画像領域を仮想標識画像に置き換えることで実行される。また画像生成部26は、車速表示等の他の情報を被投射画像内に配置することもできる。さらに画像生成部26は、前方画像内に交通標識が含まれない場合には、仮想標識画像が含まれない被投射画像を生成する。
The placement of the virtual sign image in the projected image is executed by replacing the image area in the direction of the existence direction θ from the reference position with the virtual sign image. The
出力部27は、画像生成部26が生成した被投射画像の画像データを投射部10に出力する。すなわち、LDドライバ207及びMEMSコントローラ208を制御して、画像生成部26が生成した被投射画像を投射部10に投射させて虚像として表示させる。
The
<制御部20による処理例>
次に、制御部20による処理の流れを、図8を参照して説明する。図8は、制御部20による処理の一例を示すフローチャートである。
<Processing example by
Next, the flow of processing by the
まず、ステップS81において、識別部22は、画像処理装置15から標識画像を入力する。
First, in step S81, the
続いて、ステップS82において、識別部22は、標識画像に基づき、画像格納部21を参照して、標識画像が示す交通標識に対応する仮想標識画像及び識別情報を取得する。そして、取得した仮想標識画像を画像生成部26に出力し、また識別情報を方向対象決定部23に出力する。
Subsequently, in step S82, the
続いて、ステップS83において、方向対象決定部23は、識別部22から入力した交通標識の識別情報に基づき、運転者Vに示す存在方向の対象として対象道路又は交通標識の何れか一方を決定する。そして、決定した存在方向の対象を示す情報を方向指示部25に出力する。
Subsequently, in step S83, the direction
続いて、ステップS84において、方向指示部25は、画像処理装置15から交通標識及び道路のそれぞれの位置情報を入力する。なお、このステップS84は、上述したステップS81〜S83までの間の任意のタイミングで行われてよい。
Subsequently, in step S84, the
続いて、ステップS85において、交通標識が適用される対象道路又は交通標識の何れか一方が存在する存在方向を取得する。存在方向の対象が対象道路である場合には、方向指示部25は、交通標識の位置と車両8の前方にある道路の位置とに基づき、交通標識が適用される道路を対象道路として決定する。そして、予め定めた基準位置と対象道路の座標情報とを用い、基準位置に対して対象道路の存在する方向を存在方向θとして算出して取得する。
Subsequently, in step S85, the existence direction in which either the target road to which the traffic sign is applied or the traffic sign exists is acquired. When the target in the existing direction is the target road, the
一方、存在方向の対象が交通標識である場合には、方向指示部25は、基準位置と交通標識の座標情報とを用い、基準位置に対する交通標識の方向を存在方向θとして算出して取得する。
On the other hand, when the target of the existence direction is a traffic sign, the
その後、方向指示部25は、存在方向θを画像生成部26に出力する。
After that, the
続いて、ステップS86において、画像生成部26は、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。
Subsequently, in step S86, the
続いて、ステップS87において、出力部27は、画像生成部26が生成した被投射画像の画像データを投射部10に出力する。
Subsequently, in step S87, the
このようにして、表示装置1は、交通標識が適用される対象道路又は交通標識の何れか一方が存在する存在方向を運転者に示すための被投射画像を生成できる。そして、投射部10による被投射画像の虚像を表示できる。
In this way, the
車両8の移動により変化する前方画像に応じて、被投射画像は随時更新され、更新された被投射画像の虚像が前景に重畳表示する。また、前方画像内に交通標識が含まれなくなった場合には、仮想標識画像が含まれない被投射画像の虚像が前景に重畳表示される。
The projected image is updated at any time according to the front image that changes due to the movement of the
<第1実施形態の適用例>
次に、前方画像、被投射画像、及び被投射画像を重畳表示した前景のそれぞれの具体例を用いて、表示装置1の適用例を説明する。
<Application example of the first embodiment>
Next, an application example of the
図9は前方カメラ164で撮像される前方画像80の一例を示す図である。前方画像80は、先行車両81と、交通標識82及び83と、道路84及び85とを含んでいる。交通標識82は道路84に適用される道路標識であり、交通標識83は道路85に適用される道路標識である。
FIG. 9 is a diagram showing an example of a
画像処理装置15における標識領域抽出部151は、前方画像80内で交通標識82が含まれる標識画像82aと、交通標識83が含まれる標識画像83aとを抽出し、それぞれを標識位置取得部153に出力する。また道路領域抽出部152は前方画像80内で道路84が含まれる道路画像84aと、道路85が含まれる道路画像85aとを抽出し、それぞれを道路位置取得部154に出力する。
The sign
標識位置取得部153は、標識画像82a内における交通標識82の位置である標識位置82bの座標情報を取得する。また標識画像83a内における交通標識83の位置である標識位置83bの座標情報を取得する。このような標識位置は、一例として標識画像内で交通標識を構成する画素のうち、最も正のX方向側で且つ最も負のY方向側の画素の位置である。どの画素の位置を標識位置とするかは予め定められている。
The sign
同様に、道路位置取得部154は、道路画像84a内における道路84の位置である道路位置84bの座標情報を取得する。また道路画像85a内における道路85の位置である道路位置85bの座標情報を取得する。このような道路位置は、一例として道路画像の重心に該当する位置である。どの画素の位置を道路位置とするかは予め定められている。
Similarly, the road
識別部22は、パターンマッチング処理を実行しやすいように、標識画像82aと標識画像83aを画像回転等の前処理で適宜補正する。その後、標識画像82a及び83aに基づき、画像格納部21を参照して仮想標識画像と識別情報を取得する。
The
図9の例では、交通標識82及び83は、それぞれ一方通行を標示する交通標識であるため、識別部22は交通標識82及び83のそれぞれに対応する仮想標識画像として、一方通行の仮想標識画像を取得する。或いは一方通行に対応する仮想標識画像として、一方通行のため道路に進入できないことを示す進入禁止の仮想標識画像を取得してもよい。このような仮想標識画像の取得ルールは予め定められている。
In the example of FIG. 9, since the
一方通行の交通標識は、道路に適用される交通規則であるため、方向対象決定部23は、識別部22から入力した交通標識82及び83のそれぞれの識別情報に基づき、交通標識82及び83のそれぞれの存在方向の対象として、対象道路を決定する。
Since the one-way traffic sign is a traffic rule applied to the road, the direction
方向指示部25は、前方画像80内において、標識位置82bに対する距離が最も近い道路84を交通標識82の対象道路として決定し、また標識位置83bに対する距離が最も近い道路84を交通標識83の対象道路として決定する。図9の例では、標識位置82bに対して道路84と道路85は同程度の距離にあるが、交通標識83の対象道路との重複が考慮され、道路84が対象道路として決定される。
In the
図9における基準位置VCは運転者Vの視点(眼)に対応する位置である。道路位置84bの座標(X1、Y1)、道路位置85bの座標を(X2、Y2)、基準位置VCの座標(XC、YC)とすると、方向指示部25は道路84の存在方向θ1と道路85の存在方向θ2を、それぞれ次の(1)式、(2)式を用いて算出する。
θ1=arctan{(Y1−YC)/(X1−XC)} ・・・(1)
θ2=arctan{(Y2−YC)/(X2−XC)} ・・・(2)
図10は、画像生成部26が生成した被投射画像90の一例を示す図である。被投射画像90は、交通標識82が適用される道路84の存在方向θ1に配置された仮想標識画像91と、図形画像92と、所定位置に配置された車速画像93とを画像内に含んで構成されている。ここで、仮想標識画像91は所定画像の一例である。
Reference position V C in FIG. 9 is a position corresponding to the viewpoint of the driver V (eye). The coordinates of the road location 84b (X 1, Y 1) , the coordinates of the road position 85b (X 2, Y 2) , the reference position V C of coordinates (X C, Y C) When the
θ 1 = arctan {(Y 1- Y C ) / (X 1- X C )} ... (1)
θ 2 = arctan {(Y 2- Y C ) / (X 2- X C )} ... (2)
FIG. 10 is a diagram showing an example of the projected
仮想標識画像91は、一方通行であるため進入できないことを標示する進入禁止の道路標識を仮想表示するものである。図形画像92は存在方向θ1を示す図形画像である。車速画像93は車速センサ161により検出された車両8の車速を示す文字画像である。車速画像93は、所定位置に固定され、車両8が移動して前方画像が変化しても位置が変化しない。このような車速画像93は固定画像の一例である。
The
なお、本実施形態では、図形画像92は、矢印及び立体的な円錐状の図形を表示して方向を示す方法を例示するが、方向を示すことができればこれら以外の如何なる方法を用いてもよい。例えば、「右」、「左前方」等の言語を表示して方向を示す文字画像を表示することもできる。この場合には、例えば表示装置1は、矢印及び立体的な円錐状の図形に代えて、或いは矢印及び立体的な円錐状の図形とともに「右前方」、「Right front」、或いは「水平から右側に角度θ1度の方向」等の文字又は言語である文字画像を表示することができる。図10で「右前方」という文字を表示する文字画像94は、このような文字画像の一例である。
In the present embodiment, the
次に、図11は、本実施形態における車両8の前景100の一例を示す図である。前景100は、表示装置1がフロントウインドシールド71に被投射画像90を投射することで、被投射画像90の虚像90'が重畳表示され、運転者Vにより視認される像である。図11に示すように、虚像90'のサイズは前景100より小さくなっている。
Next, FIG. 11 is a diagram showing an example of the
交通標識82が適用される対象道路である道路84の存在方向θ1に沿う方向に、仮想標識画像91の虚像である仮想標識虚像91'と、図形画像92の虚像である図形虚像92'が表示されている。また所定位置に車速画像93の虚像である車速虚像93'が表示されている。
A virtual sign virtual image 91'which is a virtual image of the
交通標識82に対応する仮想標識虚像91'が存在方向θ1に沿う方向に表示されることで、運転者Vは視線を移動させることなく、交通標識82を認識できるとともに、交通標識82が適用される道路84を認識できる。
By displaying the virtual sign virtual image 91'corresponding to the
但し、仮想標識虚像91'は、存在方向θ1に沿う方向に厳密に表示しなくてもよく、運転者Vが対象道路や交通標識の存在する方向を認識できれば、存在方向θ1から多少ずれた方向に表示されてもよい。 However, the virtual sign virtual image 91'does not have to be displayed exactly in the direction along the existence direction θ 1 , and if the driver V can recognize the direction in which the target road or the traffic sign exists, the virtual sign is slightly deviated from the existence direction θ 1. It may be displayed in the same direction.
ここで、例えば、前景100内で道路84に重畳させて、仮想標識虚像91'又は図形虚像92'を表示させようとすると、虚像90'より大きい虚像が求められ、投射部10による投射画角に広角化が求められる。
Here, for example, when an attempt is made to display a virtual sign virtual image 91'or a graphic virtual image 92'by superimposing it on a
これに対し、実施形態では、道路84の存在方向θ1を示すことで、前景100内で道路84が視認される位置に、仮想標識虚像91'又は図形虚像92'を重畳表示しなくても、運転者Vに交通標識82が適用される道路84を認識させられるようになっている。
On the other hand, in the embodiment, by indicating the existing direction θ 1 of the
図12は、図11の状態から車両8が移動した後の前景100の一例を示す図である。車両8の移動に応じて前景100が変化し、運転者Vから見た道路84の存在方向もθ1からθ11に変化している。存在方向の変化に応じて仮想標識虚像91'が表示された位置が変化している。
FIG. 12 is a diagram showing an example of the
また図形虚像92'は、存在方向の変化に応じて位置が変化するとともに、形状も変化している。図形虚像92'の立体的な円錐状の形状が変化することで、単なる矢印等で方向を示す場合と比較して、リアリティをより向上させて方向を示せる。車速虚像93'は車両8の移動によらず位置が固定され、車速を示す数値のみが変化する。
Further, the position of the virtual image 92'changes according to the change in the direction of existence, and the shape also changes. By changing the three-dimensional conical shape of the graphic
仮想標識虚像91'と図形虚像92'は、基準位置Vcと道路位置84bとを結ぶ線上で車速虚像93'の周囲に配置され、存在方向に応じて車速虚像93'の周囲の円周上で位置が変化する。
The virtual sign virtual image 91'and the graphic virtual image 92'are arranged around the vehicle speed virtual image 93'on the line connecting the reference position Vc and the
なお、図9及び図10では、交通標識82が適用される道路84の存在方向θ1のみを示す例を示したが、交通標識83が適用される道路85の存在方向θ2も同様に示すことができる。
Although FIGS. 9 and 10 show an example showing only the existence direction θ 1 of the
<表示装置1の作用効果>
次に、表示装置1の作用効果について説明する。
<Operation and effect of
Next, the operation and effect of the
ヘッドアップディスプレイ等の表示装置では、車両に取り付けられたカメラで取得される車両前方画像に基づき車両前方にある道路標識や路面標示等の交通標識を認識し、前景で視認される道路の位置に仮想標識画像を重畳表示するものがある。 Display devices such as head-up displays recognize traffic signs such as road signs and road markings in front of the vehicle based on the vehicle front image acquired by the camera attached to the vehicle, and position the road so that it can be seen in the foreground. Some virtual sign images are superimposed and displayed.
しかし、このような装置では、交通標識が適用される道路又は交通標識が前景の端部付近等で視認される場合には、前景における交通標識の位置に仮想標識画像の虚像を重畳表示することが求められる。例えば、図10における被投射画像の虚像90'よりサイズが大きい虚像を重畳表示することが要求される。 However, in such a device, when the road to which the traffic sign is applied or the traffic sign is visually recognized near the edge of the foreground, a virtual image of the virtual sign image is superimposed and displayed on the position of the traffic sign in the foreground. Is required. For example, it is required to superimpose and display a virtual image having a size larger than the virtual image 90'of the projected image in FIG.
ここで、図13は投射部10の広角化を説明する図である。図13に示すように、虚像Iよりサイズが大きい虚像I'を運転者Vに視認させようとすると、虚像Iのための投射画角φより広角の投射画角φ'が必要になる。投射画角を広角化すると、表示装置が大きくなったり、虚像の品質を確保するために複雑で高価な投射レンズが必要になったりする場合がある。
Here, FIG. 13 is a diagram for explaining the widening of the
これに対し、本実施形態では、対象道路又は交通標識の何れか一方が存在する存在方向を運転者Vに示す。例えば、存在方向に沿って仮想標識画像が画像内に配置され、また存在方向を示す図形が画像内に含まれる被投射画像を画像生成部26に生成させ、この被投射画像の虚像を表示させることで、存在方向を示す。
On the other hand, in the present embodiment, the driver V is shown the direction in which either the target road or the traffic sign exists. For example, a virtual marker image is arranged in the image along the existence direction, and a projected image in which the figure indicating the existence direction is included in the image is generated by the
方向を示すことで、前景で視認される対象道路の位置に、仮想標識画像等の所定画像の虚像を重畳表示しなくてもよくなり、投射画角の広角化が不要になる。これにより、図13の投射画角φ等の狭い投射画角であっても、対象道路又は交通標識の何れか一方を示すことができる。 By indicating the direction, it is not necessary to superimpose a virtual image of a predetermined image such as a virtual sign image on the position of the target road visually recognized in the foreground, and it is not necessary to widen the projected angle of view. As a result, even if the projection angle of view is narrow, such as the projection angle of view φ in FIG. 13, either the target road or the traffic sign can be indicated.
一方、交通標識には進入禁止や一時停止等の道路に適用されるものと、近隣に学校があることや横断歩道が近いこと等の道路の周辺環境に応じて注意を促す補助的なもの等がある。道路に適用される交通標識の場合は、対象道路を認識できたほうがよいが、補助的な交通標識の場合は、対象道路よりも交通標識自体を認識できたほうがよい。 On the other hand, traffic signs are applied to roads such as prohibition of entry and temporary stop, and auxiliary ones that call attention according to the surrounding environment of the road such as having a school nearby and a pedestrian crossing nearby. There is. In the case of a traffic sign applied to a road, it is better to be able to recognize the target road, but in the case of an auxiliary traffic sign, it is better to be able to recognize the traffic sign itself rather than the target road.
これに対し、本実施形態では、交通標識に基づき、対象道路又は交通標識の何れか一方を存在方向の対象として決定する方向対象決定部を備える。これにより、道路に適用される場合には対象道路の存在方向を示し、補助的な交通標識の場合には交通標識の存在方向を示すことができ、交通標識に応じて適切な情報を運転者Vに提供できる。 On the other hand, the present embodiment includes a direction target determination unit that determines either the target road or the traffic sign as the target of the existing direction based on the traffic sign. This makes it possible to indicate the direction of existence of the target road when applied to a road, and to indicate the direction of existence of a traffic sign in the case of an auxiliary traffic sign, and the driver can provide appropriate information according to the traffic sign. Can be provided to V.
また本実施形態では、車両8の移動に応じて変化する存在方向を示す。これにより、車両8の移動による状況の変化に応じて適切な情報を運転者Vに提供できる。
Further, in the present embodiment, the existence direction that changes according to the movement of the
また本実施形態では、被投射画像内に固定して配置された車速画像93等の固定画像の周囲に、存在方向に沿って仮想標識画像91を配置して存在方向を示す。固定画像は運転者Vが視認する機会が多く、また見やすい位置に固定される場合が多い。このような固定画像の周囲に仮想標識画像91を配置することで、運転者Vに見やすいように存在方向を示せる。
Further, in the present embodiment, the
なお、本実施形態では、所定画像として仮想標識画像91と図形画像92を併せて表示させる例を示したが、何れか一方を表示させてもよい。また図形画像92は単なる矢印の図形画像や角度表示等の存在方向を示す文字画像であってもよい。また存在方向を示すために存在方向に沿って仮想標識画像91の位置を変化させる例を示したが、位置を変化させることなく、仮想標識画像91の回転のみで存在方向を示してもよい。
In the present embodiment, an example in which the
また、本実施形態では、前方カメラ164が撮像した画像に基づき、画像処理装置15が交通標識及び道路の位置情報を取得する例を示したが、これに限定されるものではない。カーナビゲーションシステム11から入力される情報を利用して、車両8の前方における道路及び交通標識の位置情報を取得してもよい。また車両の姿勢を検出するジャイロセンサを車両8が備え、このジャイロセンサの検出値を利用してもよい。
Further, in the present embodiment, an example in which the
また画像格納部21が仮想標識画像を格納する例を示したが、これに限定されるものではない。交通標識が標示する情報を文字で表現した文字画像を格納してもよいし、交通標識を簡略化して表示する図形画像を格納してもよい。
Further, although an example in which the
さらに、識別部22が画像格納部21を参照して仮想標識画像と識別情報を取得し、また方向対象決定部23が方向テーブル格納部24を参照して存在方向の対象を決定する例を示したが、これに限定されるものではない。上述した機械学習を用いる方法により、識別部22と方向対象決定部23が機能を実現してもよい。
Further, an example is shown in which the
また、本実施形態では、単眼の前方カメラ164により撮像される画像を用いて2次元的な画像処理で存在方向θを取得する例を示したが、これに限定されるものではない。前方カメラ164としてのステレオカメラ等により検出される対象道路又は交通標識の少なくとも一方までの距離情報と、車両8と運転者Vとの既知の位置関係を用いて、射影関係に基づく3次元的な画像処理によって存在方向θを取得してもよい。このようにすることで、より高いリアリティで所定画像の虚像を運転者Vに視認させ、存在方向を示すことができる。
Further, in the present embodiment, an example in which the existence direction θ is acquired by two-dimensional image processing using an image captured by the monocular
[第2実施形態]
次に、第2実施形態に係る表示装置1aについて説明する。
[Second Embodiment]
Next, the display device 1a according to the second embodiment will be described.
車両8が移動すると、交通標識が車両8の前景に含まれなくなり、前方カメラ164により交通標識の情報が取得されなくなる場合がある。この場合、情報が取得されなくなった交通標識に対応する仮想標識画像を非表示にしてもよいが、制限速度等の道路の一定区間に適用される交通標識の場合は、情報が取得されなくなった後も、仮想標識画像の虚像を運転者Vに視認可能にしたほうが好ましい場合がある。
When the
本実施形態では、車両8の移動により前方カメラ164により交通標識の情報が取得されなくなった場合に、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。これにより、情報が取得されなくなった場合にも、仮想標識画像の虚像を運転者Vが視認できるようにする。
In the present embodiment, when the traffic sign information is no longer acquired by the
また、交通標識に応じて、仮想標識画像が画像内の所定位置に固定された被投射画像を生成するか、または仮想標識画像が含まれない被投射画像を生成するかの何れか一方を選択する。これにより、情報が取得されなくなった場合に、仮想標識画像の虚像を表示するか、又は仮想標識画像を非表示にするかの何れか一方を、交通標識に応じて選択可能にする。 Further, depending on the traffic sign, either a projected image in which the virtual sign image is fixed at a predetermined position in the image is generated, or a projected image that does not include the virtual sign image is selected. do. As a result, when the information is no longer acquired, either the virtual image of the virtual sign image or the hidden virtual sign image can be selected according to the traffic sign.
<制御部20の機能構成例>
図14は、表示装置1aの備える制御部20aの機能構成の一例を示すブロック図である。図14に示すように、制御部20aは、継続テーブル格納部28と、情報保持部29と、方向指示部25aと、画像生成部26aとを備えている。また方向指示部25aは、判定部241と、選択部242とを備えている。
<Example of functional configuration of
FIG. 14 is a block diagram showing an example of the functional configuration of the
これらのうち、継続テーブル格納部28の機能はHDD210等により実現され、情報保持部29の機能はRAM204等により実現される。
Of these, the function of the continuation
継続テーブル格納部28は、予め定められた識別情報と表示継続情報との対応関係を示す対応テーブルを格納する。ここで、表示継続情報とは、仮想標識画像を所定位置に固定するか、または仮想標識画像を非表示にするかの何れか一方を示す情報をいう。例えば仮想標識画像を固定する場合は、表示継続情報を1とし、非表示にする場合は表示継続情報を0とする。
The continuation
情報保持部29は、車両8の移動前における交通標識の識別情報を一時的に保持する。車両8は走行中には常時移動しているため、車両8の移動前における交通標識の識別情報を、前方カメラ164の撮像周期における所定の時点の1周期前の識別情報にすると、移動直前の識別情報を取得できるため好適である。
The
方向指示部25aは、方向対象決定部23から識別情報を入力する。そして、交通標識の情報が取得された場合には、その識別情報を情報保持部29に出力して保持させる。一方、交通標識の情報が取得されなくなった場合には、表示継続情報を画像生成部26aに出力する。なお、方向指示部25aは、これ以外に方向指示部25と同様の機能を備えている。
The
方向指示部25aにおける判定部241は、画像処理装置15から入力される標識位置情報に基づき、交通標識の情報が取得されたか否かを判定し、判定結果を選択部242に出力する。
The
具体的には、交通標識が車両8の前景に含まれず、前方カメラ164により交通標識の情報が取得されなくなると、図5で説明したように、画像処理装置15は標識無情報を出力する。判定部241は、標識無情報を入力した場合に、交通標識の情報が取得されなかったと判定する。
Specifically, when the traffic sign is not included in the foreground of the
選択部242は、交通標識の情報が取得されなかった場合に、交通標識に基づき、仮想標識画像を所定位置に固定するか、又は仮想標識画像を非表示にするかの何れか一方を選択し、選択結果を画像生成部26に出力する。
When the traffic sign information is not acquired, the
具体的には、選択部242は、交通標識の情報が取得されなかったと判定された場合に、情報保持部29にアクセスして情報保持部29が一時保持している交通標識の識別情報を取得する。そして、この識別情報に基づき継続テーブル格納部28を参照して表示継続情報を取得する。この表示継続情報が上記の選択結果に対応する。
Specifically, when it is determined that the traffic sign information has not been acquired, the
画像生成部26aは、仮想標識画像を所定位置に固定することを示す表示継続情報(例えば1)が入力された場合は、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。また仮想標識画像を非表示にすることを示す表示継続情報(例えば0)が入力された場合は、仮想標識画像が含まれない被投射画像を生成する。一方、交通標識の情報が取得された場合(標識位置の情報が標識無情報でない場合)は、基準位置から存在方向θの方向に仮想標識画像が配置された被投射画像を生成する。
When the display continuation information (for example, 1) indicating that the virtual sign image is fixed at a predetermined position is input, the
<制御部20aによる処理例>
次に、制御部20aによる処理の流れを、図15を参照して説明する。図15は、制御部20aによる処理の一例を示すフローチャートである。図15におけるステップS151〜S154までの処理は、図8におけるステップS81〜S84までの処理と同様であるため、ここでは重複する説明を省略する。また上記ステップ以外にも、図8における説明と重複する部分は、適宜説明を省略する。
<Processing example by
Next, the flow of processing by the
ステップS155において、判定部241は、画像処理装置15から入力される標識位置情報に基づき、交通標識の情報が取得されたか否かを判定する。
In step S155, the
ステップS155で、取得されたと判定された場合は(ステップS155、Yes)、ステップS156において、方向指示部25aは、交通標識の識別情報を情報保持部29に出力して保持させる。
If it is determined in step S155 that the information has been acquired (step S155, Yes), in step S156, the
続いて、ステップS157において、方向指示部25aは、対象道路又は交通標識の何れか一方が存在する存在方向θを取得し、これを画像生成部26aに出力する。
Subsequently, in step S157, the
続いて、ステップS158において、画像生成部26aは、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。その後、処理はステップS163に移行する。
Subsequently, in step S158, the
一方、ステップS155で、交通標識の情報が取得されなかったと判定された場合は(ステップS155、No)、ステップS159において、選択部242は、情報保持部29にアクセスして情報保持部29が一時保持している交通標識の識別情報を取得する。
On the other hand, if it is determined in step S155 that the traffic sign information has not been acquired (step S155, No), in step S159, the
続いて、ステップS160において、選択部242は、識別情報に基づき継続テーブル格納部28を参照して表示継続情報を取得する。
Subsequently, in step S160, the
続いて、ステップS161において、画像生成部26aは表示継続情報に基づき、交通標識を継続表示するか否かを判定する。
Subsequently, in step S161, the
ステップS161で、継続表示すると判定された場合は(ステップS161、Yes)、ステップS162において、画像生成部26aは、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。一方、継続表示しないと判定された場合は(ステップS161、No)、ステップS163において、画像生成部26aは、仮想標識画像が含まれない被投射画像を生成する。
If it is determined in step S161 that continuous display is performed (step S161, Yes), in step S162, the
続いて、ステップS164において、出力部27は、画像生成部26aが生成した被投射画像を投射部10に出力する。
Subsequently, in step S164, the
このようにして、表示装置1aは、車両8の移動により前方カメラ164により交通標識の情報が取得されなくなった場合に、交通標識に応じて、仮想標識画像が画像内の所定位置に固定された被投射画像、または仮想標識画像が含まれない被投射画像の何れか一方を生成できる。そして投射部10による被投射画像の虚像を表示できる。
In this way, in the display device 1a, when the traffic sign information is no longer acquired by the
なお、所定位置に固定された仮想標識画像は、車両8の移動により前方画像で新たに交通標識の情報が取得されたタイミング等で、画像生成部26aにより非表示にすることができる。
The virtual sign image fixed at a predetermined position can be hidden by the
<第2実施形態の適用例>
次に、前方画像、被投射画像、及び被投射画像を重畳表示した前景のそれぞれの具体例を用いて、表示装置1aの適用例を説明する。
<Application example of the second embodiment>
Next, an application example of the display device 1a will be described with reference to specific examples of the front image, the projected image, and the foreground in which the projected image is superimposed and displayed.
まず、図16は、本実施形態における車両8の前景100の一例を示す図である。前景160は、表示装置1aがフロントウインドシールド71に画像を投射することで、被投射画像の虚像171が重畳表示され、運転者Vにより視認される像である。前景160には、虚像171の他、交通標識172と、仮想標識虚像173と、図形虚像174と、車速虚像175とを含んでいる。
First, FIG. 16 is a diagram showing an example of the
図16の例では、交通標識が存在方向の対象と定められており、交通標識172の存在方向θ12に沿って仮想標識虚像173と図形虚像174が表示されている。また車速虚像175は所定位置に固定して表示されている。
In the example of FIG. 16, the traffic sign is defined as the target of the existence direction, and the virtual sign
次に、図17は、図16の状態から車両8が移動した後の前景160の一例を示す図である。車両8の移動に応じて前景160が変化し、図16における交通標識172が含まれなくなっている。つまり、交通標識の情報が取得されない状態になっている。
Next, FIG. 17 is a diagram showing an example of the
図17に示す例では、交通標識は制限速度の道路標識であり、道路の一定の区間に適用されるものであるため、交通標識の情報が取得されなくなった後も継続的に表示させることが好ましい。そのため、制限速度の道路標識を継続表示させるように継続テーブル格納部28の対応テーブルで定められている。表示装置1aは、この対応テーブルに基づき、仮想標識虚像183を車速虚像182の横に固定して継続表示している。車速虚像182の横に表示させると、運転者Vが車両8の車速と速度制限とを比較しやすくなって好適である。
In the example shown in FIG. 17, since the traffic sign is a speed limit road sign and is applied to a certain section of the road, it can be continuously displayed even after the traffic sign information is no longer acquired. preferable. Therefore, it is defined in the corresponding table of the continuation
なお、図17では、車速虚像182の横に仮想標識虚像183を固定して表示する例を示したが、仮想標識虚像183を表示位置はこれに限定されるものではなく、任意の位置でよい。運転者Vが見みやすい位置が好適である。
Although FIG. 17 shows an example in which the virtual sign
<表示装置1aの作用効果>
以上説明したように、本実施形態では、車両8の移動により交通標識の情報が取得されなくなった場合に、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。これにより、交通標識の情報が取得されなくなった場合にも、仮想標識画像の虚像を運転者Vに継続して視認させることができる。
<Action and effect of display device 1a>
As described above, in the present embodiment, when the traffic sign information is no longer acquired due to the movement of the
また、本実施形態では、交通標識に応じて、仮想標識画像を所定位置に固定するか、または仮想標識画像を非表示にするかの何れか一方を選択する。これにより、交通標識の情報が取得されなくなった場合に、運転者Vに、所定位置に固定された仮想標識画像の虚像を表示するか、又は仮想標識画像を非表示にするかの何れか一方を、交通標識に応じて選択できる。そして、交通標識に応じて適切な情報を運転者Vに提供できる。 Further, in the present embodiment, either the virtual sign image is fixed at a predetermined position or the virtual sign image is hidden according to the traffic sign. As a result, when the traffic sign information is no longer acquired, either the virtual image of the virtual sign image fixed at a predetermined position is displayed on the driver V, or the virtual sign image is hidden. Can be selected according to the traffic sign. Then, appropriate information can be provided to the driver V according to the traffic sign.
<その他の好適例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other preferred examples>
Although the best mode for carrying out the present invention has been described above with reference to examples, the present invention is not limited to these examples, and various modifications and modifications and variations and within a range not deviating from the gist of the present invention are made. Substitutions can be added.
なお、上述した実施形態において、画像処理装置15の備える機能の一部、又は全部を制御部20が備える構成にしてもよい。また、制御部20の備える機能の一部を画像処理装置15やエンジンECU12、検出装置16等の他の構成要素が備える構成にしてもよい。また、画像格納部21や方向テーブル格納部24等が格納する情報を外部サーバが格納し、ネットワークを介して外部サーバにアクセスすることで格納情報を参照できるように構成することもできる。
In the above-described embodiment, the
また、実施形態では、道路を経路の一例とし、車両を移動体の一例とし、HUDを表示装置の一例として説明したが、これらに限定されるものではない。道路以外の経路、車両以外の移動体、及びHUD以外の表示装置に対しても、実施形態を適用可能である。 Further, in the embodiment, the road is an example of a route, the vehicle is an example of a moving body, and the HUD is an example of a display device, but the present invention is not limited thereto. The embodiment can also be applied to routes other than roads, moving objects other than vehicles, and display devices other than HUDs.
また、実施形態は表示方法も含む。例えば、表示方法は、被投射画像の虚像を移動体の運転者に視認させる表示装置による表示方法であって、道路標識又は路面標示の少なくとも一方である交通標識に基づいて取得される所定画像を含む前記被投射画像を画像生成部が生成する工程と、前記交通標識の位置と、移動体の前方にある道路の位置と、に基づき、前記交通標識が適用される対象道路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる工程と、を行う。このような表示方法により、上述した表示装置と同様の効果を得ることができる。 The embodiment also includes a display method. For example, the display method is a display method using a display device that allows a moving body driver to visually recognize a virtual image of a projected image, and displays a predetermined image acquired based on a traffic sign that is at least one of a road sign or a road marking. Based on the step of generating the projected image including the projected image by the image generation unit, the position of the traffic sign, and the position of the road in front of the moving body, the target road to which the traffic sign is applied or the traffic sign A step of outputting the existence direction in which either one exists and causing the image generation unit to generate the projected image including the existence direction is performed. By such a display method, the same effect as that of the display device described above can be obtained.
また、実施形態はプログラムも含む。例えば、プログラムは、道路標識又は路面標示の少なくとも一方である交通標識に基づいて取得される所定画像を含む被投射画像を画像生成部が生成し、前記交通標識の位置と、移動体の前方にある道路の位置と、に基づき、前記交通標識が適用される対象道路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる処理をコンピュータに実行させる。このようなプログラムにより、上述した表示装置と同様の効果を得ることができる。 The embodiment also includes a program. For example, in a program, an image generator generates a projected image including a predetermined image acquired based on a traffic sign which is at least one of a road sign or a road marking, and the position of the traffic sign and the front of a moving body are generated. Based on the position of a certain road, the existing direction in which either the target road to which the traffic sign is applied or the traffic sign exists is output, and the projected image including the existing direction is sent to the image generation unit. Have the computer execute the process to be generated. With such a program, the same effect as that of the display device described above can be obtained.
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiment described above can be realized by one or more processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.
1 表示装置
2 車載システム
8 車両(移動体の一例)
10 投射部
15 画像処理装置
151 標識領域抽出部
152 道路領域抽出部
153 標識位置取得部
154 道路位置取得部
16 検出装置
164 前方カメラ
20 制御部
21 画像格納部
22 識別部
23 方向対象決定部
24 方向テーブル格納部
25 方向指示部
26 画像生成部
27 出力部
28 継続テーブル格納部
29 情報保持部
71 フロントウインドシールド
80 前方画像
82 交通標識
84 道路(経路の一例)
90 被投射画像
90' 虚像
91 仮想標識画像(所定画像の一例)
91' 仮想標識虚像
92 図形画像
92' 図形虚像
93 車速画像
93' 車速虚像
100 前景
210 HDD
Vc 基準位置
θ、θ1、θ2、θ11、θ12 存在方向
φ 投射画角
1
10
90 Projected
91'Virtual sign
Vc Reference position θ, θ 1 , θ 2 , θ 11 , θ 12 Existence direction φ Projection angle of view
Claims (14)
交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備える
表示装置。 A display device that displays a virtual image of a projected image.
An image generation unit that generates the projected image including a predetermined image acquired based on a traffic sign, and an image generation unit.
Based on the position of the traffic sign and the position of the route in front of the moving body, the existence direction in which either the target route to which the traffic sign is applied or the traffic sign exists is output, and the existence direction is output. A display device including a direction indicating unit that causes the image generation unit to generate the projected image including the above.
請求項1に記載の表示装置。 The display device according to claim 1, wherein the presence direction is a direction in which either the target route or the traffic sign is present when viewed from the driver of the moving body.
請求項1、又は2に記載の表示装置。 The display device according to claim 1 or 2, wherein the predetermined image is a virtual sign image showing at least one of a figure or a character corresponding to the traffic sign.
請求項1乃至3の何れか1項に記載の表示装置。 The display device according to any one of claims 1 to 3, further comprising an identification unit for identifying the traffic sign.
請求項1乃至4の何れか1項に記載の表示装置。 The display device according to any one of claims 1 to 4, further comprising a direction target determination unit that determines either one of the target route or the traffic sign as a target in the existing direction based on the traffic sign.
請求項1乃至5の何れか1項に記載の表示装置。 The display device according to any one of claims 1 to 5, wherein the direction indicating unit indicates the existing direction that changes according to the movement of the moving body.
請求項1乃至6の何れか1項に記載の表示装置。 The direction indicating unit according to any one of claims 1 to 6, wherein the image generation unit generates the projected image including the graphic image or the character image indicating the existing direction. Display device.
請求項1乃至7の何れか1項に記載の表示装置。 The direction indicating unit is any one of claims 1 to 7 indicating the existing direction by causing the image generation unit to generate the projected image in which the predetermined image is arranged in the image along the existing direction. The display device according to item 1.
請求項1乃至8の何れか1項に記載の表示装置。 The direction indicating unit causes the projected image in which the predetermined image is arranged in the image along the existing direction to the image generation unit around the fixed image fixedly arranged in the projected image. The display device according to any one of claims 1 to 8, which indicates the direction of existence by generating the display device.
前記移動体の移動により前記交通標識の情報が取得されなくなった場合に、前記所定画像が画像内の所定位置に固定された前記被投射画像を生成する
請求項8、又は9に記載の表示装置。 The image generation unit
The display device according to claim 8 or 9, wherein when the information of the traffic sign is not acquired due to the movement of the moving body, the predetermined image is fixed at a predetermined position in the image to generate the projected image. ..
前記移動体の移動により前記交通標識の情報が取得されなくなった場合に、前記交通標識に基づき、前記所定画像が画像内の所定位置に固定された前記被投射画像、又は前記所定画像が含まれない前記被投射画像の何れか一方を生成する
請求項8、又は9に記載の表示装置。 The image generation unit
When the information of the traffic sign is not acquired due to the movement of the moving body, the projected image in which the predetermined image is fixed at a predetermined position in the image based on the traffic sign, or the predetermined image is included. The display device according to claim 8 or 9, which generates any one of the projected images.
交通標識に基づいて取得される所定画像を含む前記被投射画像を画像生成部が生成する工程と、
前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる工程と、を行う
表示方法。 It is a display method using a display device that displays a virtual image of the projected image.
A step of generating the projected image including a predetermined image acquired based on a traffic sign, and a step of generating the projected image.
Based on the position of the traffic sign and the position of the route in front of the moving body, the existence direction in which either the target route to which the traffic sign is applied or the traffic sign exists is output, and the existence direction is output. A display method for causing the image generation unit to generate the projected image including the above.
前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる
処理をコンピュータに実行させるプログラム。 The image generation unit generates a projected image including a predetermined image acquired based on the traffic sign, and the image generation unit generates the projected image.
Based on the position of the traffic sign and the position of the route in front of the moving body, the existence direction in which either the target route to which the traffic sign is applied or the traffic sign exists is output, and the existence direction is output. A program that causes a computer to execute a process of causing the image generation unit to generate the projected image including the above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20842333.5A EP4081421A1 (en) | 2019-12-26 | 2020-12-23 | Display apparatus, moving body, display method, and program |
PCT/JP2020/048309 WO2021132408A1 (en) | 2019-12-26 | 2020-12-23 | Display apparatus, moving body, display method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019237140 | 2019-12-26 | ||
JP2019237140 | 2019-12-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021105986A true JP2021105986A (en) | 2021-07-26 |
Family
ID=76918914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020203002A Pending JP2021105986A (en) | 2019-12-26 | 2020-12-07 | Display device, moving entity, display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021105986A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116844359A (en) * | 2023-06-27 | 2023-10-03 | 宁波四维尔工业有限责任公司 | Road sign projection method, system, storage medium and intelligent terminal |
-
2020
- 2020-12-07 JP JP2020203002A patent/JP2021105986A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116844359A (en) * | 2023-06-27 | 2023-10-03 | 宁波四维尔工业有限责任公司 | Road sign projection method, system, storage medium and intelligent terminal |
CN116844359B (en) * | 2023-06-27 | 2024-03-19 | 宁波四维尔工业有限责任公司 | Road sign projection method, system, storage medium and intelligent terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10005391B2 (en) | Information presentation system | |
US10254539B2 (en) | On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium | |
JP7222285B2 (en) | DISPLAY CONTROL DEVICE, DISPLAY DEVICE, DISPLAY SYSTEM, MOBILE OBJECT, PROGRAM, IMAGE GENERATION METHOD | |
JP7464096B2 (en) | Display control device and display control program | |
US20210016793A1 (en) | Control apparatus, display apparatus, movable body, and image display method | |
CN111279689B (en) | Display system, display method, and storage medium | |
WO2020208989A1 (en) | Display control device and display control program | |
WO2019003929A1 (en) | Display system, information presentation system, method for controlling display system, program and recording medium for display system, and mobile body device | |
JP2017166913A (en) | Display controller and display control method | |
WO2019189515A1 (en) | Control apparatus, display apparatus, movable body, and image display method | |
CN113646201A (en) | Display control device for vehicle, display control method for vehicle, and display control program for vehicle | |
JP2021105986A (en) | Display device, moving entity, display method, and program | |
WO2021132259A1 (en) | Display apparatus, display method, and program | |
JP2021020519A (en) | Display control device for vehicle and display control method for vehicle | |
JP2021117089A (en) | Display device and method for display | |
JP2021117704A (en) | Display device and method for display | |
JP7111121B2 (en) | Display control device and display control program | |
WO2021132408A1 (en) | Display apparatus, moving body, display method, and program | |
JP7318431B2 (en) | Display control device and display control program | |
JP2021117220A (en) | Display device, mobile body, method for display, and program | |
JP2021104803A (en) | Display device, display method and program | |
JP2020138609A (en) | Display control device for vehicle, display control method for vehicle, and display control program for vehicle | |
WO2021149740A1 (en) | Display apparatus, movable body, display method, program, and non-transitory recording medium | |
JP2021109555A (en) | Display control device, system, display system and information display method | |
JP7088152B2 (en) | Display control device and display control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240828 |