JP2010173520A - Device and method for transmitting vehicular behavior - Google Patents
Device and method for transmitting vehicular behavior Download PDFInfo
- Publication number
- JP2010173520A JP2010173520A JP2009019490A JP2009019490A JP2010173520A JP 2010173520 A JP2010173520 A JP 2010173520A JP 2009019490 A JP2009019490 A JP 2009019490A JP 2009019490 A JP2009019490 A JP 2009019490A JP 2010173520 A JP2010173520 A JP 2010173520A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- virtual
- vehicle behavior
- transmission device
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims description 26
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Abstract
Description
本発明は、自動車等の車両の挙動を運転者に視覚を介して伝達する車両挙動伝達装置および車両挙動伝達方法に関する。 The present invention relates to a vehicle behavior transmission device and a vehicle behavior transmission method for transmitting the behavior of a vehicle such as an automobile to a driver through vision.
車速に応じて動く縞パターンを３つの楕円領域に表示し、３つの楕円領域の配列の仕方で車両の挙動を表示するものが知られている（例えば、特許文献１参照）。 It is known that a stripe pattern that moves in accordance with the vehicle speed is displayed in three elliptical areas, and the behavior of the vehicle is displayed in an arrangement manner of the three elliptical areas (see, for example, Patent Document 1).
しかしながら、上記の従来技術では、楕円領域の長軸と縞パターンの向きが常に直交しているため、運転者には３つの縞パターンが独立したものと認識され、車両の挙動を直感的に認識できないおそれがあった。 However, in the above prior art, since the major axis of the elliptical area and the direction of the stripe pattern are always orthogonal, the driver recognizes that the three stripe patterns are independent and intuitively recognizes the behavior of the vehicle. There was a risk of not being able to.
本発明が解決しようとする課題は、運転者が車両の挙動を直接的に認識することができる車両挙動伝達装置および車両挙動伝達方法を提供することである。 The problem to be solved by the present invention is to provide a vehicle behavior transmission device and a vehicle behavior transmission method that allow the driver to directly recognize the behavior of the vehicle.
本発明では、仮想視点から仮想地表面を仮想視線角度で見た三次元画像を、車両の速度及び姿勢に応じて変化させ、その三次元画像を運転者の視野周辺部に表示することで上記課題を解決する。 In the present invention, the three-dimensional image obtained by viewing the virtual ground surface from the virtual viewpoint at the virtual line-of-sight angle is changed according to the speed and posture of the vehicle, and the three-dimensional image is displayed on the periphery of the visual field of the driver. Solve the problem.
本発明では、運転者の視野周辺部に、車両の挙動に応じた地表面の見えの変化を模擬した三次元画像を表示する。このため、車両挙動に伴って変化するオプティック・フローが前後左右に広がる面として表現されるので、運転者が車両の挙動を直感的に認識することができる。 In the present invention, a three-dimensional image simulating the change in the appearance of the ground surface according to the behavior of the vehicle is displayed around the driver's visual field. For this reason, the optic flow that changes in accordance with the vehicle behavior is expressed as a plane that spreads forward, backward, left, and right, so that the driver can intuitively recognize the behavior of the vehicle.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は本実施形態における車両挙動伝達装置の全体構成を示すブロック図、図２は本実施形態における三次元画像の一例を示す図、図３〜図７は本実施形態におけるテクスチャの例を示す図、図８は仮想三次元空間における仮想視点、仮想注視点および仮想視線角度の関係を示す概略図、図９は実際の運転者と外界との関係を示す概略図、図１０〜図１２は車両の挙動に応じた三次元画像の変化を示す図、図１３及び図１４は必要に応じて設定を変更した場合の三次元画像を示す図、及び、図１５は本実施形態における運転席周りの側面図である。 FIG. 1 is a block diagram showing the overall configuration of the vehicle behavior transmission device in the present embodiment, FIG. 2 is a diagram showing an example of a three-dimensional image in the present embodiment, and FIGS. 3 to 7 show examples of textures in the present embodiment. 8 is a schematic diagram showing the relationship between a virtual viewpoint, a virtual gazing point and a virtual gaze angle in a virtual three-dimensional space, FIG. 9 is a schematic diagram showing the relationship between an actual driver and the outside world, and FIGS. FIG. 13 is a diagram showing changes in a three-dimensional image according to the behavior of the vehicle, FIG. 13 and FIG. 14 are diagrams showing three-dimensional images when the setting is changed as necessary, and FIG. FIG.
本実施形態における車両挙動伝達装置１０は、現実の車両の挙動に伴う外界のオプティック・フローを模擬した地表面の画像を表示する装置である。この車両挙動伝達装置１０は、図１に示すように、車両の挙動を検出する車両挙動検出装置２０と、車両１の挙動に伴って生じる外界のオプティック・フローを模擬した三次元画像５０を生成する表示画像制御装置３０と、表示画像制御装置３０から出力された三次元画像５０を表示する表示ディスプレイ４０と、を備えている。 The vehicle behavior transmission device 10 in the present embodiment is a device that displays an image of the ground surface that simulates an external optic flow associated with actual vehicle behavior. As shown in FIG. 1, the vehicle behavior transmission device 10 generates a vehicle behavior detection device 20 that detects the behavior of the vehicle, and a three-dimensional image 50 that simulates an external optic flow caused by the behavior of the vehicle 1. A display image control device 30 that displays the three-dimensional image 50 output from the display image control device 30.
車両挙動検出装置２０は、車両１の速度を検出する車速検出部２１と、車両１のピッチ角、ロール角、およびヨー角を検出する姿勢検出部２２と、を備えている。この車両挙動検出装置２０は表示画像制御装置３０に接続されており、それぞれの検出結果を表示画像制御装置３０に出力することが可能となっている。 The vehicle behavior detection device 20 includes a vehicle speed detection unit 21 that detects the speed of the vehicle 1 and a posture detection unit 22 that detects the pitch angle, roll angle, and yaw angle of the vehicle 1. The vehicle behavior detection device 20 is connected to the display image control device 30, and each detection result can be output to the display image control device 30.
表示画像制御装置３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータから構成されており、車両１の挙動に応じて変化した三次元画像５０を生成して表示ディスプレイ４０に出力する。この表示画像制御装置３０は、機能的には、三次元画像５０を生成するための設定や計算を行う画像制御部３１と、画像制御部３１の計算結果に基づいて三次元画像５０を生成する画像生成部３２と、を備えている。 The display image control device 30 is composed of, for example, a computer including a CPU, a ROM, a RAM, and the like. The display image control device 30 generates a three-dimensional image 50 that changes in accordance with the behavior of the vehicle 1 and outputs it to the display display 40. Functionally, the display image control device 30 generates an image control unit 31 that performs settings and calculations for generating the three-dimensional image 50, and generates the three-dimensional image 50 based on the calculation result of the image control unit 31. And an image generation unit 32.
画像制御部３１は、先ず、仮想三次元空間における仮想地表面５１や外界との対応を定義して、図２に示すように、仮想地表面５１としてテクスチャ６０Ａを貼り付ける。 First, the image control unit 31 defines the correspondence with the virtual ground surface 51 and the outside world in the virtual three-dimensional space, and pastes the texture 60 </ b> A as the virtual ground surface 51 as shown in FIG. 2.
本実施形態におけるテクスチャ６０Ａは、同図に示すように、ランダムな方向を向いた複数の短い線分パターン６１をランダムな間隔で配置した二次元画像である。なお、線分パターン６１に代えて、例えば、真円又は楕円状のガウシアンブロブを用いてもよい。 The texture 60A in this embodiment is a two-dimensional image in which a plurality of short line segment patterns 61 oriented in a random direction are arranged at random intervals, as shown in FIG. Instead of the line segment pattern 61, for example, a perfect circle or an elliptical Gaussian blob may be used.
このテクスチャ６０Ａは、４．５［ｃｐｄ］以上の空間周波数成分がカットされた画像である。そのため、運転者７０の視界において離心角３度以上の範囲（以下、単に視野周辺部と称する。）においても運転者７０はテクスチャ６０Ａを視認することができる。 This texture 60A is an image in which a spatial frequency component of 4.5 [cpd] or more is cut. Therefore, the driver 70 can visually recognize the texture 60 </ b> A even in the range of the eccentric angle of 3 degrees or more (hereinafter simply referred to as the visual field peripheral portion) in the field of view of the driver 70.
また、例えば、視力が０．７の運転者の視野周辺部では４．５［ｃｐｄ］以上の空間周波数成分を視認することができない。これに対し、本実施形態では、テクスチャ６０Ａは、視野中央部でしか視認できない高空間周波数成分を含んでおらず、輝度エッジのない滑らかな輝度変化からなる（即ち、ぼやけた）画像である。そのため、本実施形態では、表示ディスプレイ４０への運転者の中心視線の誘導を抑制することができる。なお、以下に説明する図３〜図７に示すテクスチャ６０Ｂ〜６０Ｆも、４．５［ｃｐｄ］以上の空間周波数成分がカットされた画像である。 Further, for example, a spatial frequency component of 4.5 [cpd] or more cannot be visually recognized in the peripheral portion of the visual field of the driver whose visual acuity is 0.7. On the other hand, in the present embodiment, the texture 60A is an image that does not include a high spatial frequency component that can be seen only in the center of the visual field and includes a smooth luminance change without a luminance edge (that is, a blurred image). Therefore, in this embodiment, the guidance of the driver's central line of sight to the display display 40 can be suppressed. Note that textures 60B to 60F shown in FIGS. 3 to 7 described below are also images in which a spatial frequency component of 4.5 [cpd] or more is cut.
また、テクスチャ６０Ａでは線分パターン６１がランダムに配置されているので、車両１の挙動に伴って生じる全方向のオプティック・フローを表現することができる。なお、ランダム配置のテクスチャ６０Ａに代えて、図３に示す複数のガウシアンブロブ６２をＸＹ方向に整列したテクスチャ６０Ｂや、図４に示すＸＹ方向に沿った格子パターン６３から構成されるテクスチャ６０Ｃを用いてもよい。テクスチャ６０Ｂ，６０Ｃのような所定パターンをＸＹ方向に沿って二次元に配列したテクスチャを採用することで、ランダム配置のテクスチャ６０Ａと同様に、車両の挙動に伴って生じる全方向のオプティック・フローを表現することができる。なお、図２に示すランダム配置のテクスチャ６０Ａの方が、図３や図４に示す周期的な二次元配列のテクスチャ６０Ｂ、６０Ｃよりも、表現可能な速度範囲を広げることができる。 Further, since the line segment pattern 61 is randomly arranged in the texture 60 </ b> A, it is possible to express an omnidirectional optic flow generated in accordance with the behavior of the vehicle 1. Instead of the randomly arranged texture 60A, a texture 60B in which a plurality of Gaussian blobs 62 shown in FIG. 3 are aligned in the XY direction, or a texture 60C composed of a lattice pattern 63 along the XY direction shown in FIG. 4 is used. May be. By adopting a texture in which predetermined patterns such as the textures 60B and 60C are arranged two-dimensionally along the XY direction, the optic flow in all directions caused by the behavior of the vehicle can be obtained in the same manner as the texture 60A in the random arrangement. Can be expressed. Note that the randomly arranged texture 60A shown in FIG. 2 can expand the expressible speed range more than the periodic two-dimensional textures 60B and 60C shown in FIG. 3 and FIG.
また、仮想地表面５１を表現する二次元画像として、図５や図６に示すような縞パターン６４，６５のみから構成されるテクスチャ６０Ｄ，６０Ｅを採用してもよい。 Further, as the two-dimensional image representing the virtual ground surface 51, textures 60D and 60E composed only of the stripe patterns 64 and 65 as shown in FIGS. 5 and 6 may be adopted.
図５に示すＹ方向に沿った縞パターン６４から構成されるテクスチャ６０Ｄによって仮想地表面５１を表現すると、Ｙ方向の挙動を伝達することはできないが、Ｘ方向の挙動を運転者に強調して伝達することができる。このため、このテクスチャ６０Ｄは、運転者に車両の左右の挙動を強調して伝達することができるので、例えば高速道路の走行時などに有効である。 If the virtual ground surface 51 is expressed by the texture 60D composed of the stripe pattern 64 along the Y direction shown in FIG. 5, the behavior in the Y direction cannot be transmitted, but the behavior in the X direction is emphasized to the driver. Can communicate. For this reason, this texture 60D can be transmitted to the driver with emphasis on the left and right behavior of the vehicle, and is thus effective, for example, when traveling on a highway.
一方、図６に示すＸ方向に沿った縞パターン６５から構成されるテクスチャ６０Ｅによって仮想地表面５１を表現すると、Ｘ方向の挙動を伝達することができないが、Ｙ方向の挙動を運転者に強調して伝達することができる。このため、このテクスチャ６０Ｅは、運転者に速度感を強調して伝達することができるので、例えば山道の走行時などに有効である。 On the other hand, if the virtual ground surface 51 is expressed by the texture 60E composed of the stripe pattern 65 along the X direction shown in FIG. 6, the behavior in the X direction cannot be transmitted, but the behavior in the Y direction is emphasized to the driver. Can be transmitted. For this reason, the texture 60E can be transmitted to the driver with a sense of speed being emphasized, and thus is effective when traveling on a mountain road, for example.
なお、車両に装備されているナビゲーションシステム等と連動して、走行状況に応じて、仮想地表面５１を表現するテクスチャを切り換えてもよい。具体的には、通常走行時は図２に示すランダム配置のテクスチャ６０Ａを使用する。そして、高速道路を走行時には図５に示すＹ方向縞パターン６４のテクスチャ６０Ｄに切り換え、山道走行時には図６に示すＸ方向縞パターン６５のテクスチャ６０Ｅに切り替えてもよい。或いは、車速に応じて、高速走行時には、図５に示すＹ方向縞パターン６４のテクスチャ６０Ｄに切り替え、低速時には、図４に示す格子パターン６３のテクスチャ６０Ｃに切り換え、それ以外は図２に示すランダム配置のテクスチャ６０Ａを使用してもよい。 Note that the texture representing the virtual ground surface 51 may be switched according to the traveling state in conjunction with a navigation system or the like equipped on the vehicle. Specifically, the texture 60A having a random arrangement shown in FIG. 2 is used during normal running. Then, it may be switched to the texture 60D of the Y-direction stripe pattern 64 shown in FIG. 5 when traveling on the highway, and may be switched to the texture 60E of the X-direction stripe pattern 65 shown in FIG. Alternatively, depending on the vehicle speed, when the vehicle is traveling at high speed, the texture is switched to the texture 60D of the Y-direction stripe pattern 64 shown in FIG. 5, and at low speed, the texture 60C is switched to the texture 60C of the lattice pattern 63 shown in FIG. An arrangement texture 60A may be used.
また、以上のテクスチャ６０Ａ〜６０Ｅでは背景に対するパターン６１〜６５のコントラストが一定であるが、図７に示すように、テクスチャ６０Ｆを構成するパターン６６のコントラストを異ならせてもよい。図７に示すテクスチャ６０Ｆは、数段階のコントラストが設定されたガウシアンブロブ６６を有しており、コントラストが高いものほど画面上に現れる数が少なくなる（すなわち分布密度が低くなる）ように設定されている。 In the textures 60A to 60E described above, the contrast of the patterns 61 to 65 with respect to the background is constant. However, as shown in FIG. 7, the contrast of the pattern 66 constituting the texture 60F may be different. The texture 60F shown in FIG. 7 has a Gaussian blob 66 in which several levels of contrast are set, and is set so that the higher the contrast, the smaller the number that appears on the screen (that is, the lower the distribution density). ing.
一般的に、オプティック・フローが高速になると、視覚の時空間的荷重特性によって平均化されテクスチャが見えなくなる現象が生じる。これに対し、本実施形態におけるテクスチャ６０Ｆでは、コントラストの高いパターンを疎に分布している。このため、相対的に低い空間周波数成分のパワーを上げることができ、運転者７０にとってはテクスチャ６０Ｆが見え易くなるので、上記のような現象を抑制することができる。 In general, when the optic flow speeds up, a phenomenon occurs in which the texture becomes invisible due to the averaging of visual spatiotemporal load characteristics. On the other hand, in the texture 60F in the present embodiment, patterns with high contrast are sparsely distributed. For this reason, the power of a relatively low spatial frequency component can be increased and the texture 60F can be easily seen by the driver 70, so that the above phenomenon can be suppressed.
次いで、画像制御部３１は、図８に示すように、仮想三次元空間において仮想視点５２及び仮想視線角度θｖを設定する。 Next, as illustrated in FIG. 8, the image control unit 31 sets a virtual viewpoint 52 and a virtual viewing angle θ v in the virtual three-dimensional space.
この際、仮想視点５２の仮想地表面５１からの高さｈｖ、及び、仮想視点５２から仮想注視点５３までの水平方向の距離ｄｖの関係（図８参照）と、実際の運転者７０の視点７１の地表面からの高さｈｒ、及び、視点７１から注視点７２までの水平方向の距離ｄｒの関係（図９参照）とは相似関係となっている。また、図８に示す仮想視線角度θｖは、図９に示す運転者７０の実際の視線角度θｒと実質的に同一となっている。 In this case, the height h v from the virtual ground surface 51 of the virtual viewpoint 52, and the relationship between the horizontal distance d v from the virtual viewpoint 52 to the virtual gaze point 53 (see FIG. 8), the actual driver 70 the height h r of the ground surface of the viewpoint 71, and has become a similar relationship with relation horizontal distance d r from the viewpoint 71 to the fixation point 72 (see FIG. 9). The virtual viewing angle theta v shown in FIG. 8, are substantially identical to the actual line of sight angle theta r of the driver 70 shown in FIG.
次いで、画像制御部３１は、車両挙動検出装置２０が検出した車速及び車両１の姿勢に基づいて、仮想視点５１の移動方向や移動量、仮想地表面５１に対する視体積の姿勢等の三次元グラフィックスに必要な変数を計算する。すなわち、画像制御部３１は、車速及び車両１の姿勢に応じて、仮想視点５１、仮想注視点５３及び仮想視線角度θｖを変化させ、結果的に表示ディスプレイ４０に表示する三次元画像５０を変化させる。 Next, the image control unit 31 is based on the vehicle speed detected by the vehicle behavior detection device 20 and the attitude of the vehicle 1, and the three-dimensional graphics such as the movement direction and movement amount of the virtual viewpoint 51 and the attitude of the visual volume with respect to the virtual ground surface 51. Calculate the variables required for the process. That is, the image control unit 31, according to the vehicle speed and the posture of the vehicle 1, the virtual viewpoint 51, to change the virtual gazing point 53 and the virtual line-of-sight angle theta v, a three-dimensional image 50 to be displayed on the result displaying display 40 Change.
具体的には、図１０に示すように、たとえば車両１が前進している場合には、画像制御部３１は、仮想地表面５１を画面手前側（−Ｙ方向）に向かってスクロールさせる。この際、車両１の速度が速いほど仮想地表面５１の移動速度を速くし、車両１の速度が遅いほど仮想地表面５１の移動速度を遅くする。また、本実施形態では三次元的に表現するため、画像制御部３１は、Ｙ方向においては仮想視点５１に近づくほど移動速度を速くし、またＸ方向においても仮想視点５１から離れるほど移動速度を速くする。運転者７０は、こうした仮想地表面５１の移動を通じて、車両１の速度感を直感的に認識することができる。 Specifically, as shown in FIG. 10, for example, when the vehicle 1 is moving forward, the image control unit 31 scrolls the virtual ground surface 51 toward the front side of the screen (−Y direction). At this time, the moving speed of the virtual ground surface 51 is increased as the speed of the vehicle 1 is increased, and the moving speed of the virtual ground surface 51 is decreased as the speed of the vehicle 1 is decreased. In the present embodiment, the image control unit 31 increases the moving speed as it approaches the virtual viewpoint 51 in the Y direction, and increases the moving speed as it moves away from the virtual viewpoint 51 in the X direction. Make it faster. The driver 70 can intuitively recognize the sense of speed of the vehicle 1 through such movement of the virtual ground surface 51.
また、たとえば車両１が加速をしている場合には、画像制御部３１は、図１１に示すように、車両１のピッチ角の変化に応じて仮想地平線５４を下げる。一方、特に図示しないが、車両１が減速している場合には、画像制御部３１は、車両１のピッチ角の変化に応じて仮想地平線５４を上げる。運転者７０は、こうした仮想地平線５４の上下動を通じて、車両１のピッチ角の変化を直感的に認識することができる。なお、特に図１１には図示しないが、車両１が加減速している場合は車両１は当然走行しているので、図１０の場合と同様に、仮想地表面５１が画面手前側に向かってスクロールしている。 For example, when the vehicle 1 is accelerating, the image control unit 31 lowers the virtual horizon 54 according to the change in the pitch angle of the vehicle 1 as shown in FIG. On the other hand, although not particularly illustrated, when the vehicle 1 is decelerating, the image control unit 31 raises the virtual horizon 54 according to a change in the pitch angle of the vehicle 1. The driver 70 can intuitively recognize the change in the pitch angle of the vehicle 1 through the vertical movement of the virtual horizon 54. Although not particularly shown in FIG. 11, when the vehicle 1 is accelerating or decelerating, the vehicle 1 naturally travels, so that the virtual ground surface 51 is directed toward the front side of the screen as in the case of FIG. Scrolling.
また、たとえば車両１が右方向に旋回している場合には、画像制御部３１は、図１２に示すように、ロール角の変化に応じて仮想地平線５４を左側に傾斜させると共に、ヨー角の変化に応じて仮想地表面５１を反時計回りに回転させる。この際、本実施形態では三次元的に表現するため、仮想地平線５４に近づくほど仮想地表面５１のＸ方向の移動成分を強くし、仮想視点５２に近づくほどＹ方向の移動成分を強くする。また、ヨー角が大きいほど仮想地表面５１の回転半径を小さくし、ヨー角が小さいほど仮想地表面５１の回転半径を大きくする。 For example, when the vehicle 1 is turning in the right direction, the image control unit 31 inclines the virtual horizon 54 to the left in accordance with the change in the roll angle as shown in FIG. The virtual ground surface 51 is rotated counterclockwise according to the change. At this time, in the present embodiment, since the three-dimensional representation is performed, the moving component in the X direction of the virtual ground surface 51 is strengthened as it approaches the virtual horizon 54, and the moving component in the Y direction is strengthened as it approaches the virtual viewpoint 52. Further, the rotation radius of the virtual ground surface 51 is decreased as the yaw angle is increased, and the rotation radius of the virtual ground surface 51 is increased as the yaw angle is decreased.
一方、特に図示しないが、車両１が左方向に旋回している場合には、画像制御部３１は、車両１のロール角及びヨー角に応じて、仮想地平線５４を右側に傾斜させると共に仮想地表面５１を時計回りに回転させる。 On the other hand, although not particularly illustrated, when the vehicle 1 is turning leftward, the image control unit 31 inclines the virtual horizon 54 to the right side according to the roll angle and yaw angle of the vehicle 1 and The surface 51 is rotated clockwise.
運転者７０は、こうした仮想地平線５４の傾斜や仮想地表面５１の回転を通じて、車両１のロール角やヨー角の変化を直感的に認識することができる。なお、ヨー角に代えて、ステアリングの操舵角を用いてもよい。 The driver 70 can intuitively recognize changes in the roll angle and yaw angle of the vehicle 1 through the inclination of the virtual horizon 54 and the rotation of the virtual ground surface 51. Note that the steering angle of the steering may be used instead of the yaw angle.
また、本実施形態における画像制御部３１は、必要に応じて、仮想視点５２の高さｈｖ及び仮想視線角度θｖを変更することが可能となっている。なお、本発明においては、仮想視点５２の高さｈｖ又は仮想視線角度θｖの少なくとも一方を変更可能であればよい。 Further, the image control unit 31 in the present embodiment, if necessary, it is possible to change the height h v and virtual viewing angle theta v of the virtual viewpoint 52. In the present invention, it may be any possible change at least one of the height h v or virtual viewing angle theta v of the virtual viewpoint 52.
たとえば、ＲＶ（Recreational Vehicle）車のように車高が高い車両の場合には、仮想視点５２の高さＨｖを低くすると共に仮想視線角度θｖを小さくすることで、図１３に示すように、三次元画像５０によって表現される速度を速くすることができる。これにより、運転者７０は実走速度に近い速度感を得ることができる。 For example, when the vehicle height is high as RV (Recreational Vehicle) cars, by reducing the virtual line-of-sight angle theta v while reducing the height H v of the virtual viewpoint 52, as shown in FIG. 13 The speed expressed by the three-dimensional image 50 can be increased. As a result, the driver 70 can obtain a feeling of speed close to the actual running speed.
また、たとえば、低速走行時には、仮想視線角度θｖを大きくすることで、図１４に示すように、仮想視線５２に近い仮想地表面５１を見えやすくすることができる。これにより、運転者７０は車両１の挙動を詳細に認識することができる。 Further, for example, during low-speed running, by increasing the virtual line-of-sight angle theta v, as shown in FIG. 14, it is possible to more visible a virtual ground surface 51 close to the virtual line of sight 52. Thereby, the driver 70 can recognize the behavior of the vehicle 1 in detail.
また、仮想地表面５１上に仮想の自車両を配置して、運転者７０に自車両の位置や進行方向等を告知してもよい。さらに、三次元画像５０において仮想光源により仮想地表面５１をスポットライト状に照らすことで、他車両、二輪車、歩行者等の運動対象物、ガードレール等の静止障害物、スクールゾーンや追越禁止ゾーン等の道路区間、車線範囲、路肩線、カーブ形状等の道路特性を示し、これらの存在等を運転者７０に報知してもよい。仮想光源に代えて、仮想地表面５１上に仮想対象物を配置したり、仮想地表面５１の一部の領域の輝度、輝度コントラスト或いは色等を変化させてもよい。なお、運転者７０の視線誘導を抑制するために、仮想自車両、スポットライトおよび仮想対象物は、低空間周波数成分のみで構成することが好ましい。 Further, a virtual host vehicle may be arranged on the virtual ground surface 51 to notify the driver 70 of the position, traveling direction, etc. of the host vehicle. Furthermore, by illuminating the virtual ground surface 51 with a virtual light source in the 3D image 50 in the form of a spotlight, other vehicles, motorcycles, moving objects such as pedestrians, stationary obstacles such as guardrails, school zones and overtaking prohibition zones The road characteristics such as road sections, lane ranges, shoulder lines, curve shapes, and the like may be shown, and the presence of these may be notified to the driver 70. Instead of the virtual light source, a virtual object may be arranged on the virtual ground surface 51, or the luminance, luminance contrast, color, or the like of a part of the virtual ground surface 51 may be changed. In addition, in order to suppress the driver | operator's 70 eyes | visual_axis guidance, it is preferable to comprise a virtual own vehicle, a spotlight, and a virtual target object only with a low spatial frequency component.
画像生成部３２は、画像制御部３１の計算結果に従って仮想三次元空間における地表面の見え（Appearance）を表す三次元画像５０を生成して、当該三次元画像５０を表示ディスプレイ４０に出力する。本実施形態では、この画像生成部３２は、特に図示しないが、三次元画像５０の縁部において仮想地表面５１の輝度と輝度コントラスト（背景との輝度差）が徐々に低下するように、三次元画像５０を生成する。このため、仮想地表面５１が突然変化したり高速にスクロールしても、表示ディスプレイ４０の表示画面縁部における目障りな明暗変化が低減される。なお、本発明においては、三次元画像の縁部において仮想地表面の輝度又は輝度コントラストの少なくとも一方を漸次的に低下すればよい。 The image generation unit 32 generates a three-dimensional image 50 representing the appearance of the ground surface in the virtual three-dimensional space according to the calculation result of the image control unit 31, and outputs the three-dimensional image 50 to the display display 40. In the present embodiment, although not particularly illustrated, the image generation unit 32 performs the third order so that the luminance and the luminance contrast (luminance difference from the background) of the virtual ground surface 51 gradually decrease at the edge of the three-dimensional image 50. An original image 50 is generated. For this reason, even if the virtual ground surface 51 suddenly changes or scrolls at a high speed, an unpleasant change in brightness at the edge of the display screen of the display 40 is reduced. In the present invention, at least one of the luminance or the luminance contrast of the virtual ground surface may be gradually reduced at the edge of the three-dimensional image.
表示ディスプレイ４０は、たとえば液晶ディスプレイで構成されており、表示画像制御装置３０から出力された三次元画像５０を運転者７０に表示する。この表示ディスプレイ４０は、図１５に示すように、運転者７０の方を向くようにダッシュボード２上に置かれており、前方を向いている標準的な姿勢の運転者７０の視野において離心角３度以上の領域に配置されている。このように、本実施形態では、運転者７０の視野周辺部に表示ディスプレイ４０を配置するので、運転者７０の前方視認に影響を与えることはない。 The display display 40 is composed of, for example, a liquid crystal display, and displays a three-dimensional image 50 output from the display image control device 30 to the driver 70. As shown in FIG. 15, the display 40 is placed on the dashboard 2 so as to face the driver 70, and the eccentricity is in the visual field of the driver 70 in a standard posture facing forward. It is arranged in an area of 3 degrees or more. Thus, in this embodiment, since the display display 40 is arrange | positioned in the visual field periphery part of the driver | operator 70, it does not affect the driver | operator's 70 visual recognition.
なお、本実施形態における標準姿勢とは、腰及び背中とシートとの間に隙間がないように深く座り、ブレーキペダルをいっぱいに踏み込んだ状態で、膝が伸び切らずに少し余裕のある位置でシートを合わせ、さらに、背中をシートにつけたままの状態で、ハンドル上部を握った両腕の肘に少し余裕がある角度で背もたれを合わせた姿勢である。 Note that the standard posture in this embodiment is a position where the knees are not fully extended and the knees are not fully extended while sitting deeply so that there are no gaps between the waist and back and the seat and the brake pedal is fully depressed. The seats are in the same position, and the backs are placed at an angle that allows the elbows of both arms that hold the upper part of the handlebars with a slight margin, with the backs on the seats.
この表示ディスプレイ４０は、図１０〜図１２に示すように、車両１の挙動に応じて変化する三次元画像５０を表示する。こうした三次元画像５０を通じて、運転者７０は、走行環境や天候、時刻などに関わらず、オプティック・フロー情報を安定して取得することができる。ここで得られるオプティック・フロー情報とは、距離と方位によって異なる速度ベクトルの二次元分布の時間的な変化のことである。 As shown in FIGS. 10 to 12, the display 40 displays a three-dimensional image 50 that changes according to the behavior of the vehicle 1. Through the three-dimensional image 50, the driver 70 can stably acquire the optic flow information regardless of the driving environment, the weather, the time, and the like. The optic flow information obtained here is a temporal change in the two-dimensional distribution of velocity vectors that varies depending on the distance and direction.
以上のように、本実施形態では、運転者７０の視野周辺部に、仮想視点５２から仮想地表面５１を仮想視線角度θｖで見た三次元画像５０を表示し、車両の挙動に応じてその三次元画像５０を変化させる。このため、車両挙動に伴って変化するオプティック・フローが前後左右に広がる面として表現されるので、運転者７０は車両１の挙動を直感的に認識することができる。 As described above, in this embodiment, the visual field periphery of the driver 70, to display a three-dimensional image 50 obtained by viewing the virtual ground surface 51 in a virtual viewing angle theta v from the virtual viewpoint 52, in accordance with a behavior of a vehicle The three-dimensional image 50 is changed. For this reason, the optic flow that changes in accordance with the vehicle behavior is expressed as a plane that spreads forward, backward, left, and right, so that the driver 70 can intuitively recognize the behavior of the vehicle 1.
また、本実施形態では、仮想地表面５１を表現するテクスチャ６０Ａ〜６０Ｆが、４．５［ｃｐｄ］以下の低空間周波数成分のみから構成されているので、視野周辺部において運転者７０により視認可能であると共に、運転者７０の中心視線の誘導を抑制することができる。 In the present embodiment, the textures 60A to 60F representing the virtual ground surface 51 are composed of only a low spatial frequency component of 4.5 [cpd] or less, so that the driver 70 can visually recognize the peripheral portion of the visual field. In addition, the guidance of the center line of sight of the driver 70 can be suppressed.
また、本実施形態では、三次元画像５０における仮想視線角度θｖが、運転者７０の実際の視線角度θｒと実質的に同一であるため、仮想地表面５１の見え方が外界の地表面の見え方と基本的に同じであるため、運転者７０は新たな解釈を要求されない。 Further, in the present embodiment, the virtual line-of-sight angle theta v in the three-dimensional image 50, since it is substantially the same as the actual line of sight angle theta r of the driver 70, the ground surface appearance is outside of the virtual ground surface 51 The driver 70 is not required to make a new interpretation.
また、本実施形態では、必要に応じて、仮想視点５２の高さＨｖや仮想視線角度θｖの少なくとも一方を変更することができるので、特定の変化を強調することができる。 Further, in the present embodiment, if necessary, it is possible to change at least one of a height H v and virtual viewing angle theta v of the virtual viewpoint 52, it is possible to emphasize certain changes.
また、本実施形態では、三次元画像５０の縁部において、仮想地表面５１の輝度又は輝度コントラストの少なくとも一方を漸次的に低減させるので、表示ディスプレイ４０の表示画面縁部における目障りな明暗変化を低減することができる。 Further, in the present embodiment, at least one of the luminance or the luminance contrast of the virtual ground surface 51 is gradually reduced at the edge of the three-dimensional image 50, so that an obtrusive change in brightness at the display screen edge of the display 40 is caused. Can be reduced.
また、本実施形態では、仮想地表面５１を表現する二次元画像として、所定パターン６１をランダムに配置したテクスチャ６０Ａや、所定パターンを相互に直交する２方向に沿って配列したテクスチャ６０Ｂ，６０Ｃを採用することで、車両の挙動に伴って生じる全方向のオプティック・フローを表現することができる。 In the present embodiment, as a two-dimensional image representing the virtual ground surface 51, texture 60A in which the predetermined pattern 61 is randomly arranged, and textures 60B and 60C in which the predetermined pattern is arranged along two directions orthogonal to each other are used. By adopting it, it is possible to express the optic flow in all directions that accompanies the behavior of the vehicle.
また、本実施形態では、仮想地表面５１を表現する二次元画像として、特定方向を向いた複数の線分パターンを実質的に平行に並べたテクスチャ６０Ｄ，６０Ｅを採用することで、特定方向の挙動に応じた仮想地表面５１の動きのみを表示するため、運転場面に応じた情報を提供することができる。 In the present embodiment, as the two-dimensional image representing the virtual ground surface 51, the textures 60D and 60E in which a plurality of line segment patterns facing a specific direction are arranged substantially in parallel are employed, so that Since only the movement of the virtual ground surface 51 according to the behavior is displayed, information according to the driving scene can be provided.
また、本実施形態では、仮想地表面５１を表現する二次元画像として、コントラストが異なる複数種のパターン６６を有し、コントラストが高いパターンほど分布密度を低くしたテクスチャ６０Ｆを採用することで、オプティック・フローの高速化に伴ってテクスチャが見え難くなる現象を抑制することができ、表現可能な速度範囲を広げることができる。 In the present embodiment, as a two-dimensional image representing the virtual ground surface 51, a texture 60F having a plurality of types of patterns 66 having different contrasts and having a lower distribution density for a pattern having a higher contrast is used. -It is possible to suppress the phenomenon that the texture becomes difficult to see with the increase in the flow speed, and the expressible speed range can be expanded.
本実施形態における車速検出部２１が本発明における車速検出手段の一例に相当し、本実施形態における姿勢検出部２２が本発明における姿勢検出手段の一例に相当し、本実施形態における表示画像制御装置３０が本発明における表示画像制御手段の一例に相当し、本実施形態における表示ディスプレイ４０が本発明における表示手段の一例に相当する。 The vehicle speed detection unit 21 in the present embodiment corresponds to an example of a vehicle speed detection unit in the present invention, the posture detection unit 22 in the present embodiment corresponds to an example of a posture detection unit in the present invention, and the display image control device in the present embodiment. 30 corresponds to an example of the display image control means in the present invention, and the display display 40 in the present embodiment corresponds to an example of the display means in the present invention.
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
１…車両
２…ダッシュボード
１０…車両挙動伝達装置
２０…車両挙動検出部
２１…車速検出部
２２…姿勢角検出部
３０…表示画像制御装置
３１…画像制御部
３２…画像生成部
４０…表示ディスプレイ
５０…三次元画像
５１…仮想地表面
５２…仮想視点
５３…仮想注視点
５４…仮想地平線
θｖ…仮想視線角度
ｈｖ…仮想高さ
ｄｖ…仮想距離
６０Ａ〜６０Ｆ…テクスチャ
６１…線分パターン
６２…ガウシアンブロブ
６３…格子パターン
６４…Ｙ方向縞パターン
６５…Ｘ方向縞パターン
６６…ガウシアンブロブ
７０…運転者
７１…実際の視点
７２…注視点
ｈｒ…実際の視点の高さ
ｄｒ…実際の視点から注視点までの距離
θｒ…実際の視線角度
DESCRIPTION OF SYMBOLS 1 ... Vehicle 2 ... Dashboard 10 ... Vehicle behavior transmission apparatus 20 ... Vehicle behavior detection part 21 ... Vehicle speed detection part 22 ... Attitude angle detection part 30 ... Display image control apparatus 31 ... Image control part 32 ... Image generation part 40 ... Display display 50 ... three-dimensional image 51 ... virtual ground surface 52 ... virtual viewpoint 53 ... gaze virtual gazing point 54 ... virtual horizon line theta v ... virtual angle h v ... virtual height d v ... virtual distance 60a-60f ... texture 61 ... line pattern 62 ... Gaussian blob 63 ... Lattice pattern 64 ... Y-direction stripe pattern 65 ... X-direction stripe pattern 66 ... Gaussian blob 70 ... Driver 71 ... Actual viewpoint 72 ... Gaze point h r ... Actual viewpoint height d r ... Actual Distance from the viewpoint to the gazing point θ r ... Actual line-of-sight angle
Claims (10)
前記車両の速度を検出する車速検出手段と、
前記車両の姿勢を検出する姿勢検出手段と、
仮想視点から仮想地表面を仮想視線角度で見た三次元画像を、前記車両の速度及び姿勢に応じて変化させる表示画像制御手段と、
前記三次元画像を前記運転者の視野周辺部に表示する表示手段と、を備えたことを特徴とする車両挙動伝達装置。 A vehicle behavior transmission device that transmits a vehicle behavior to a driver through vision,
Vehicle speed detection means for detecting the speed of the vehicle;
Attitude detecting means for detecting the attitude of the vehicle;
Display image control means for changing a three-dimensional image of a virtual ground surface viewed from a virtual viewpoint at a virtual line-of-sight angle according to the speed and posture of the vehicle;
A vehicle behavior transmission device comprising: display means for displaying the three-dimensional image in a peripheral portion of the driver's visual field.
前記仮想地表面を表現する二次元画像は、低空間周波数成分から構成される画像であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to claim 1,
The vehicle behavior transmission device, wherein the two-dimensional image representing the virtual ground surface is an image composed of low spatial frequency components.
前記仮想視線角度は、前記運転者の実際の視線角度と実質的に同一であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to claim 1 or 2,
The vehicle behavior transmission device, wherein the virtual line-of-sight angle is substantially the same as an actual line-of-sight angle of the driver.
前記表示画像制御手段は、前記仮想地表面に対する前記仮想視点の高さ又は前記仮想視線角度の少なくとも一方を変更可能であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 3,
The vehicle behavior transmission device, wherein the display image control means is capable of changing at least one of a height of the virtual viewpoint with respect to the virtual ground surface and the virtual viewing angle.
前記三次元画像の縁部において、前記仮想地表面の輝度又は輝度コントラストの少なくとも一方が、漸次的に低下していることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 4,
At least one of the luminance or luminance contrast of the virtual ground surface gradually decreases at the edge of the three-dimensional image.
前記仮想地表面を表現する二次元画像は、所定パターンをランダムに配置した画像であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 5,
The vehicle behavior transmission device, wherein the two-dimensional image representing the virtual ground surface is an image in which predetermined patterns are randomly arranged.
前記仮想地表面を表現する二次元画像は、所定パターンを相互に直交する２方向に沿って配列した画像であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 5,
The two-dimensional image representing the virtual ground surface is an image in which predetermined patterns are arranged along two directions orthogonal to each other.
前記仮想地表面を表現する二次元画像は、特定方向を向いた複数の線分パターンを実質的に平行に並べた画像であることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 5,
The two-dimensional image representing the virtual ground surface is an image in which a plurality of line segment patterns facing a specific direction are arranged substantially in parallel.
前記仮想地表面を表現する二次元画像は、コントラストが異なる複数種のパターンを有する画像であり、
コントラストが高いパターンほど、前記二次元画像において分布密度が低くなっていることを特徴とする車両挙動伝達装置。 The vehicle behavior transmission device according to any one of claims 1 to 5,
The two-dimensional image representing the virtual ground surface is an image having a plurality of types of patterns with different contrasts,
The vehicle behavior transmission device, wherein a pattern having a higher contrast has a lower distribution density in the two-dimensional image.
仮想視点から仮想地表面を仮想視線角度で見た三次元画像を、前記車両の速度及び姿勢に応じて変化させ、前記三次元画像を前記運転者の視野周辺部に表示することを特徴とする車両挙動伝達方法。 A vehicle behavior transmission method for transmitting a vehicle behavior to a driver visually.
A three-dimensional image obtained by viewing a virtual ground surface from a virtual viewpoint at a virtual line-of-sight angle is changed according to the speed and posture of the vehicle, and the three-dimensional image is displayed on the periphery of the driver's visual field. Vehicle behavior transmission method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009019490A JP5257103B2 (en) | 2009-01-30 | 2009-01-30 | Vehicle behavior transmission device and vehicle behavior transmission method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009019490A JP5257103B2 (en) | 2009-01-30 | 2009-01-30 | Vehicle behavior transmission device and vehicle behavior transmission method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010173520A true JP2010173520A (en) | 2010-08-12 |
| JP5257103B2 JP5257103B2 (en) | 2013-08-07 |
Family
ID=42704898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009019490A Expired - Fee Related JP5257103B2 (en) | 2009-01-30 | 2009-01-30 | Vehicle behavior transmission device and vehicle behavior transmission method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5257103B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005145434A (en) * | 2003-10-21 | 2005-06-09 | Nippon Seiki Co Ltd | Vehicular display device |
| JP2006069522A (en) * | 2004-08-02 | 2006-03-16 | Nissan Motor Co Ltd | Drive sense adjusting device and drive sense adjusting method |
| JP2006142982A (en) * | 2004-11-19 | 2006-06-08 | Denso Corp | Vehicle body behavior informing system |
| JP2007210587A (en) * | 2006-01-10 | 2007-08-23 | Nissan Motor Co Ltd | Vehicle behavior display |
-
2009
- 2009-01-30 JP JP2009019490A patent/JP5257103B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005145434A (en) * | 2003-10-21 | 2005-06-09 | Nippon Seiki Co Ltd | Vehicular display device |
| JP2006069522A (en) * | 2004-08-02 | 2006-03-16 | Nissan Motor Co Ltd | Drive sense adjusting device and drive sense adjusting method |
| JP2006142982A (en) * | 2004-11-19 | 2006-06-08 | Denso Corp | Vehicle body behavior informing system |
| JP2007210587A (en) * | 2006-01-10 | 2007-08-23 | Nissan Motor Co Ltd | Vehicle behavior display |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5257103B2 (en) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6608146B2 (en) | Virtually transparent instrument cluster with live video | |
| CN110168581B (en) | Maintaining awareness of occupants in a vehicle | |
| JP4978721B2 (en) | Driving assistance device | |
| US10513218B2 (en) | Method for direction-adaptive signaling | |
| WO2011070783A1 (en) | Information display apparatus and information display method | |
| JP7048358B2 (en) | Vehicle display projection device | |
| CN107284379A (en) | AR optical projection systems and projecting method for vehicle safe driving | |
| JPWO2017138409A1 (en) | Information display device | |
| JP6191241B2 (en) | Information processing apparatus, information processing method, and program | |
| JP7041851B2 (en) | Head-up display device | |
| JP7309724B2 (en) | Vehicle display system and vehicle | |
| US10611297B2 (en) | Method for direction dependent signaling | |
| Haeuslschmid et al. | Contact-analog warnings on windshield displays promote monitoring the road scene | |
| WO2022080146A1 (en) | Display device for virtual image and display system | |
| JP4682664B2 (en) | Perimeter monitoring system | |
| JP5282589B2 (en) | Vehicle speed transmission device and vehicle speed transmission method | |
| JP2006088722A (en) | Display device and method for vehicle | |
| JP5257103B2 (en) | Vehicle behavior transmission device and vehicle behavior transmission method | |
| KR20200001584A (en) | Method, apparatus and computer readable storage medium having instructions for controlling the display of a augmented reality head-up display device | |
| EP3888966B1 (en) | Vehicle display device | |
| JP2019083385A (en) | Head-up display unit | |
| JP2022066149A (en) | Virtual image display device and display system | |
| US10543871B2 (en) | Drive assist device and drive assist method | |
| Deng et al. | Research on interface design of full windshield head-up display based on user experience | |
| US10449858B2 (en) | Device for displaying information in motor vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5257103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |