JP2010032906A - Video display device - Google Patents

Video display device Download PDF

Info

Publication number
JP2010032906A
JP2010032906A JP2008196679A JP2008196679A JP2010032906A JP 2010032906 A JP2010032906 A JP 2010032906A JP 2008196679 A JP2008196679 A JP 2008196679A JP 2008196679 A JP2008196679 A JP 2008196679A JP 2010032906 A JP2010032906 A JP 2010032906A
Authority
JP
Japan
Prior art keywords
mirror
swing angle
optical system
image
imaging optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008196679A
Other languages
Japanese (ja)
Other versions
JP5338176B2 (en
Inventor
Isao Aoyanagi
勲 青柳
Kanae Murata
香苗 村田
Tokuo Fujitsuka
徳夫 藤塚
Chie Nagashima
千恵 長嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2008196679A priority Critical patent/JP5338176B2/en
Publication of JP2010032906A publication Critical patent/JP2010032906A/en
Application granted granted Critical
Publication of JP5338176B2 publication Critical patent/JP5338176B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0011Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor with light guides for distributing the light between several lighting or signalling devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a more preferable video display device that effectively utilizes rays reflected by a mirror at a second swing angle. <P>SOLUTION: The video display device displays two videos with reversed lighting and includes a light source, a reflection direction switching device, a first imaging optical system, a second imaging optical system, and a control device. The reflection direction switching device includes: (1) a plurality of regularly arranged mirrors and actuators each provided to the corresponding mirror; (2) each mirror can swing between a first swing angle where a beam incident from the light source is reflected to the first imaging optical system and a second swing angle where a beam incident from the light source is reflected to the second imaging optical system; (3) each actuator is mechanically linked to one mirror corresponding to the actuator; and (4) each actuator switches the swing angle of the corresponding mirror between the first swing angle and the second swing angle without being restricted by other actuators. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、個々に反射方向を制御可能な複数のミラーを備え、ミラー群が反射した光を結像して映像を表示する映像表示装置に関する。   The present invention relates to a video display device that includes a plurality of mirrors whose reflection directions can be individually controlled, and that displays an image by forming an image of light reflected by the mirror group.

特許文献1に、映像表示装置が開示されている。この映像表示装置は、光源と、反射方向切換装置と、結像光学系と、制御装置を備えている。光源は、反射方向切換装置を照射する光を発生する。反射方向切換装置は、複数のミラーと、ミラー毎に設けられたアクチュエータを備えている。各ミラーは、光源から入射した光線を結像光学系に向けて反射する第1揺動角と、光源から入射した光線を結像光学系に入射しない向きに反射する第2揺動角との間で揺動可能とされている。各アクチュエータは、対応するミラーの揺動角を第1揺動角と第2揺動角の間で切換える。制御装置は、各アクチュエータを制御することによって、各ミラーの揺動角を制御する。
ミラーが第1揺動角にあると、そのミラーは結像光学系に向けて光線を反射する。したがって、結像光学系の結像面上では、第1揺動角にあるミラーに対応する位置が明部となる。ミラーが第2揺動角にあると、そのミラーの反射光線は結像光学系に入射しない。したがって、結像光学系の結像面上では、第2揺動角にあるミラーに対応する位置が暗部となる。制御装置が各ミラーの揺動角を制御することによって、明部と暗部からなる映像が結像される。
Patent Document 1 discloses a video display device. The video display device includes a light source, a reflection direction switching device, an imaging optical system, and a control device. The light source generates light that irradiates the reflection direction switching device. The reflection direction switching device includes a plurality of mirrors and an actuator provided for each mirror. Each mirror has a first swing angle that reflects light incident from the light source toward the imaging optical system, and a second swing angle that reflects light incident from the light source in a direction not incident on the imaging optical system. It can swing between. Each actuator switches the swing angle of the corresponding mirror between the first swing angle and the second swing angle. The control device controls the swing angle of each mirror by controlling each actuator.
When the mirror is at the first swing angle, the mirror reflects the light beam toward the imaging optical system. Therefore, on the imaging plane of the imaging optical system, the position corresponding to the mirror at the first swing angle is the bright portion. When the mirror is at the second swing angle, the reflected light from the mirror does not enter the imaging optical system. Therefore, on the imaging plane of the imaging optical system, the position corresponding to the mirror at the second swing angle is the dark portion. The control device controls the swing angle of each mirror to form an image composed of a bright part and a dark part.

特開2004−210130号公報JP 2004-210130 A

上述した映像表示装置では、第2揺動角にあるミラーによって反射された光線を、アブソーバに照射して吸収する。したがって、第2揺動角にあるミラーによって反射された光線を有効に活用しているとはいえなかった。本発明は、第2揺動角にあるミラーによって反射された光線を有効に活用する映像表示装置を提供することを目的とする。   In the video display device described above, the light beam reflected by the mirror at the second swing angle is irradiated to the absorber and absorbed. Therefore, it cannot be said that the light beam reflected by the mirror at the second swing angle is effectively utilized. An object of the present invention is to provide an image display device that effectively utilizes light rays reflected by a mirror at a second swing angle.

本発明は、明暗が反転した2つの映像を表示する映像表示装置を提供する。この映像表示装置は、光源と反射方向切換装置と第1結像光学系と第2結像光学系と制御装置を備えている。光源は反射方向切換装置を照射する光を発生する。反射方向切換装置は、以下のように構成されている。
(1)規則的に配置された複数のミラーと、ミラー毎に設けられたアクチュエータを備えている。
(2)各々のミラーは、光源から入射した光線を第1結像光学系に向けて反射する第1揺動角と、光源から入射した光線を第2結像光学系に向けて反射する第2揺動角の間で揺動可能である。
(3)各々のアクチュエータは、各々のアクチュエータに対応する1つのミラーに機械的に連携している。
(4)各々のアクチュエータは、他のアクチュエータに拘束されることなく、対応するミラーの揺動角を第1揺動角と第2揺動角の間で切換えるものである。
また、制御装置は、以下のように構成されている。
(1)第1結像光学系で得られる映像において明部となる位置に結像するミラーに対応するアクチュエータを制御して対応するミラーの揺動角を第1揺動角に切換える。
(2)第1結像光学系で得られる映像において暗部となる位置に結像するミラーに対応するアクチュエータを制御して対応するミラーの揺動角を第2揺動角に切換える。
The present invention provides an image display device that displays two images with light and darkness reversed. The video display device includes a light source, a reflection direction switching device, a first imaging optical system, a second imaging optical system, and a control device. The light source generates light that irradiates the reflection direction switching device. The reflection direction switching device is configured as follows.
(1) It has a plurality of regularly arranged mirrors and an actuator provided for each mirror.
(2) Each mirror reflects a first swing angle that reflects the light beam incident from the light source toward the first imaging optical system, and a first mirror that reflects the light beam incident from the light source toward the second imaging optical system. It can swing between two swing angles.
(3) Each actuator is mechanically linked to one mirror corresponding to each actuator.
(4) Each actuator switches the swing angle of the corresponding mirror between the first swing angle and the second swing angle without being restricted by other actuators.
The control device is configured as follows.
(1) The actuator corresponding to the mirror that forms an image at a bright position in the image obtained by the first imaging optical system is controlled to switch the swing angle of the corresponding mirror to the first swing angle.
(2) The actuator corresponding to the mirror that forms an image in a dark position in the image obtained by the first imaging optical system is controlled to switch the swing angle of the corresponding mirror to the second swing angle.

この映像表示装置では、第1揺動角にあるミラーによって反射された光線は、第1結像光学系によって結像される。また、第2揺動角にあるミラーによって反射された光線は、第2結像光学系によって結像される。したがって、第1結像光学系は、第1揺動角にあるミラーに対応する位置が明部となり、第2揺動角にあるミラーに対応する位置が暗部となる映像を結像する。一方、第2結像光学系は、第1揺動角にあるミラーに対応する位置が暗部となり、第2揺動角にあるミラーに対応する位置が明部となる映像を結像する。すなわち、第2結像光学系は、第1結像光学系により結像される映像とは明部と暗部が反転した映像を結像する。この映像表示装置は、明部と暗部が反転した2つの映像を同時に表示することができる。
以上のように、この映像表示装置は、第1揺動角にあるミラーによる反射光線と、第2揺動角にあるミラーによる反射光線のそれぞれを、異なる結像光学系で結像することにより、2つの映像を同時に表示する。
In this video display device, the light beam reflected by the mirror at the first swing angle is imaged by the first imaging optical system. The light beam reflected by the mirror at the second swing angle is imaged by the second imaging optical system. Therefore, the first imaging optical system forms an image in which the position corresponding to the mirror at the first swing angle is a bright portion and the position corresponding to the mirror at the second swing angle is a dark portion. On the other hand, the second imaging optical system forms an image in which the position corresponding to the mirror at the first swing angle is a dark portion and the position corresponding to the mirror at the second swing angle is a bright portion. That is, the second imaging optical system forms an image in which the bright part and the dark part are reversed from the image formed by the first imaging optical system. This video display device can simultaneously display two videos in which the bright part and the dark part are inverted.
As described above, this image display device forms an image of the reflected light beam from the mirror at the first swing angle and the reflected light beam from the mirror at the second swing angle by different imaging optical systems. Two images are displayed simultaneously.

上述した映像表示装置は、車載されている車載式映像表示装置として用いることができる。この場合、第1結像光学系が車両の前方に結像し、第2結像光学系が車室内に結像することが好ましい。
このような構成によれば、車両前方(例えば、路面等)に結像した映像によってドライバと歩行者等への注意喚起を行うことができるとともに、車室内に結像した映像によってドライバへの注意喚起効果をより向上させることができる。
The above-described video display device can be used as a vehicle-mounted video display device mounted on a vehicle. In this case, it is preferable that the first imaging optical system forms an image in front of the vehicle and the second imaging optical system forms an image in the vehicle interior.
According to such a configuration, the driver and the pedestrian can be alerted by the image formed in front of the vehicle (for example, the road surface, etc.), and the driver is alerted by the image formed in the passenger compartment. The arousal effect can be further improved.

上述した車載式映像表示装置は、第2結像光学系が光ファイバアレイと終端結像装置を備えており、第2揺動角に調整されたミラーの反射光が光ファイバアレイの入射面に入射し、光ファイバアレイの射出面の先に終端結像装置が位置する位置関係に配置されていることが好ましい。
このような構成によれば、車室内の任意の位置に容易に映像を表示することができる。
In the vehicle-mounted image display device described above, the second imaging optical system includes the optical fiber array and the terminal imaging device, and the reflected light of the mirror adjusted to the second swing angle is incident on the incident surface of the optical fiber array. It is preferable to be arranged in a positional relationship where it enters and the terminal imaging device is positioned ahead of the exit surface of the optical fiber array.
According to such a configuration, an image can be easily displayed at an arbitrary position in the vehicle interior.

上述した車載式映像表示装置は、終端結像装置が、車両前方の景色に結像映像を重畳させるコンバイナを備えていることが好ましい。
このような構成によれば、ドライバに認識し易い態様で映像を表示することができる。
In the vehicle-mounted video display device described above, the terminal imaging device preferably includes a combiner that superimposes the imaging image on the scenery in front of the vehicle.
According to such a configuration, an image can be displayed in a manner that is easily recognized by the driver.

本発明の映像表示装置によれば、第1揺動角にあるミラーと第2揺動角にあるミラーの双方の反射光線を用いることによって、2つの映像を表示することができる。第1揺動角にあるミラーと第2揺動角にあるミラーの双方の反射光線が無駄となることが無く、高効率で2つの映像を表示することができる。   According to the image display device of the present invention, two images can be displayed by using the reflected light rays of both the mirror at the first swing angle and the mirror at the second swing angle. Reflected light from both the mirror at the first swing angle and the mirror at the second swing angle is not wasted, and two images can be displayed with high efficiency.

次に説明する実施例の特徴を列記する。
(特徴1)反射方向切換装置は、規則的に配置された複数のミラーと、ミラー毎に設けられたアクチュエータを備えている。なお、複数のミラーの配置は、縦横に配列させる等、種々の配置を採用することができる。
(特徴2)各々のミラーは、光源から入射した光線を第1結像光学系に向けて反射する第1揺動角と、光源から入射した光線を第2結像光学系に向けて反射する第2揺動角の間で揺動可能である。なお、第1揺動角と第2揺動角の間で揺動するとは、少なくとも第1揺動角と第2揺動角の間で揺動することを意味し、それ以上の範囲で揺動可能であってもかまわない。
The features of the embodiments described below are listed.
(Feature 1) The reflection direction switching device includes a plurality of regularly arranged mirrors and an actuator provided for each mirror. In addition, various arrangement | positioning can be employ | adopted for arrangement | positioning of a some mirror, such as arranging vertically and horizontally.
(Characteristic 2) Each mirror reflects a light beam incident from the light source toward the first imaging optical system and a light beam incident from the light source toward the second imaging optical system. It can swing between the second swing angles. Note that swinging between the first swing angle and the second swing angle means swinging at least between the first swing angle and the second swing angle, and swinging within a range beyond that. It may be movable.

(第1実施例)
本発明の実施例に係る車載式映像表示装置について、図面を参照しながら説明する。第1実施例では、車載式映像表示装置を、ドライバに歩行者等の存在を報知する報知システムに組み込んだ構成について説明する。図1は、自車両100に搭載されている報知システム90の構成を示している。図1に示すように、報知システム90は、車載式映像表示装置10と、カメラ12と、カーナビゲーションシステム13(以下、カーナビ13という)と、距離計測装置14と、速度センサ16と、操舵角センサ18と、記憶装置22と、演算装置24を備えている。
(First embodiment)
An in-vehicle video display apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the first embodiment, a configuration in which an in-vehicle video display device is incorporated in a notification system that notifies the driver of the presence of a pedestrian or the like will be described. FIG. 1 shows a configuration of a notification system 90 mounted on the host vehicle 100. As shown in FIG. 1, the notification system 90 includes an in-vehicle video display device 10, a camera 12, a car navigation system 13 (hereinafter referred to as a car navigation system 13), a distance measurement device 14, a speed sensor 16, and a steering angle. The sensor 18, the storage device 22, and the arithmetic device 24 are provided.

(車載式映像表示装置10の構成)
最初に、車載式映像表示装置10の構成について説明する。
車載式映像表示装置10は、演算装置24に接続されている。車載式映像表示装置10は、演算装置24からの命令に応じて、自車両100の前方の路面上と、自車両100の車室内のそれぞれに映像を表示する。
(Configuration of in-vehicle video display device 10)
First, the configuration of the in-vehicle video display device 10 will be described.
The vehicle-mounted video display device 10 is connected to the arithmetic device 24. The vehicle-mounted image display device 10 displays images on the road surface in front of the host vehicle 100 and in the passenger compartment of the host vehicle 100 in response to a command from the arithmetic device 24.

図2は、車載式映像表示装置10の概略構成を示している。図2に示すように、車載式映像表示装置10は、光源30と、リフレクタ32と、反射方向切換装置34と、第1結像光学系40と、第2結像光学系42を備えている。   FIG. 2 shows a schematic configuration of the in-vehicle video display device 10. As shown in FIG. 2, the vehicle-mounted image display device 10 includes a light source 30, a reflector 32, a reflection direction switching device 34, a first imaging optical system 40, and a second imaging optical system 42. .

光源30は、高圧水銀ランプである。なお、光源30には、高圧水銀ランプの他に、ハロゲンランプやLED等、種々の発光素子を用いることができる。   The light source 30 is a high pressure mercury lamp. In addition to the high pressure mercury lamp, various light emitting elements such as a halogen lamp and an LED can be used for the light source 30.

リフレクタ32は、光源30から照射される光線の一部を、反射方向切換装置34に向けて反射する。したがって、反射方向切換装置34には、光源30からの直接光線と、リフレクタ32からの反射光線とが照射される。   The reflector 32 reflects a part of the light beam emitted from the light source 30 toward the reflection direction switching device 34. Therefore, the reflection direction switching device 34 is irradiated with the direct light from the light source 30 and the reflected light from the reflector 32.

反射方向切換装置34は、光源30及びリフレクタ32から照射される光線を、第1結像光学系40と第2結像光学系42に向けて反射する。図3は、反射方向切換装置34の概略構成を示す平面図である。図3に示すように、反射方向切換装置34は、半導体基板35と、半導体基板35上に形成されている複数のマイクロメカニカル構造体36を備えている。マイクロメカニカル構造体36は、半導体基板35上に、縦横にマトリクス状に配置されている。また、半導体基板35の縁部近傍には、駆動回路35dが形成されている。なお、図3は、説明のために簡略化して記載しており、実際には半導体基板35上にはより多数のマイクロメカニカル構造体36が形成されている。   The reflection direction switching device 34 reflects the light emitted from the light source 30 and the reflector 32 toward the first imaging optical system 40 and the second imaging optical system 42. FIG. 3 is a plan view showing a schematic configuration of the reflection direction switching device 34. As shown in FIG. 3, the reflection direction switching device 34 includes a semiconductor substrate 35 and a plurality of micromechanical structures 36 formed on the semiconductor substrate 35. The micromechanical structures 36 are arranged in a matrix on the semiconductor substrate 35 in the vertical and horizontal directions. A drive circuit 35 d is formed near the edge of the semiconductor substrate 35. Note that FIG. 3 is simplified for the sake of explanation, and in actuality, a larger number of micromechanical structures 36 are formed on the semiconductor substrate 35.

図4は、1つのマイクロメカニカル構造体36を拡大視した平面図を示している。また、図5は図4のV−V線断面図を示しており、図6は図4のVI−VI線断面図を示している。図4〜6に示すように、マイクロメカニカル構造体36は、固定部36aと、捩れ梁36bと、ミラー部36cを備えている。   FIG. 4 shows a plan view in which one micromechanical structure 36 is enlarged. 5 shows a cross-sectional view taken along line VV in FIG. 4, and FIG. 6 shows a cross-sectional view taken along line VI-VI in FIG. As shown in FIGS. 4 to 6, the micromechanical structure 36 includes a fixed portion 36a, a torsion beam 36b, and a mirror portion 36c.

図5、6に示すように、半導体基板35の表面には、絶縁膜35aが形成されている。
固定部36aは、半導体基板35上(絶縁膜35a上)に立設されている。図4に示すように、固定部36aは、半導体基板35の表面上を正方形の辺に沿って伸びている。
図4に示すように、ミラー部36cは、正方形の辺に沿って伸びる固定部36aの内側(正方形の内側)に配置されている。ミラー部36cは、一対の捩れ梁36bによって固定部36aに接続されている。図5に示すように、ミラー部36cと捩れ梁36bは、半導体基板35から間隔を置いた位置に配置されている。すなわち、ミラー部36cと捩れ梁36bは、固定部36aで支持されており、半導体基板35から浮いた状態となっている。図4に示すように、一対の捩れ梁36bは、双方の延長線が一致するように形成されている。また、捩れ梁36bは幅が細いため、しなやかに捩れることができる。したがって、ミラー部36cは、図6の矢印101に示すように、2つの捩れ梁36bを繋ぐ軸線を中心に揺動することができる。ミラー部36cの上面は鏡面となっており、光を反射する。ミラー部36cが揺動すると、ミラー部36cの光の反射方向が変化する。
As shown in FIGS. 5 and 6, an insulating film 35 a is formed on the surface of the semiconductor substrate 35.
The fixing part 36a is erected on the semiconductor substrate 35 (on the insulating film 35a). As shown in FIG. 4, the fixing portion 36 a extends along the square side on the surface of the semiconductor substrate 35.
As shown in FIG. 4, the mirror part 36 c is arranged inside the fixed part 36 a extending along the square side (inside the square). The mirror part 36c is connected to the fixed part 36a by a pair of torsion beams 36b. As shown in FIG. 5, the mirror part 36 c and the torsion beam 36 b are arranged at a position spaced from the semiconductor substrate 35. In other words, the mirror part 36 c and the torsion beam 36 b are supported by the fixed part 36 a and are in a state of floating from the semiconductor substrate 35. As shown in FIG. 4, the pair of torsion beams 36b are formed so that the extension lines of both coincide with each other. Further, since the torsion beam 36b has a narrow width, it can be flexibly twisted. Therefore, as shown by the arrow 101 in FIG. 6, the mirror part 36c can swing around the axis connecting the two torsion beams 36b. The upper surface of the mirror part 36c is a mirror surface and reflects light. When the mirror portion 36c swings, the light reflection direction of the mirror portion 36c changes.

図5、6に示すように、ミラー部36cと捩れ梁36bは積層構造を備えており、そのうちの1つの層36eは不純物を多量に含む半導体により形成されている。したがって、層36e(以下、電極層という)は電気抵抗が低い。電極層36eは、ミラー部36cと捩れ梁36bの全域に亘って形成されている。
固定部36aは、不純物を多量に含む半導体により形成されており、その電気抵抗は低い。固定部36aは、スルーホール36fによって電極層36eと電気的に接続されている。
図4、5に示すように、固定部36aの下部の半導体基板35には、不純物注入により形成した低抵抗領域35bが形成されている。低抵抗領域35bは、絶縁膜35aに形成されているスルーホール35cにより、固定部36aと電気的に接続されている。また、低抵抗領域35bは、図示しない位置まで延出されており、そこで駆動回路35dと電気的に接続されている。したがって、駆動回路35dによって、電極層36eの電位を制御可能となっている。
As shown in FIGS. 5 and 6, the mirror portion 36c and the torsion beam 36b have a laminated structure, and one of the layers 36e is formed of a semiconductor containing a large amount of impurities. Therefore, the layer 36e (hereinafter referred to as an electrode layer) has a low electrical resistance. The electrode layer 36e is formed over the entire area of the mirror portion 36c and the torsion beam 36b.
The fixed part 36a is formed of a semiconductor containing a large amount of impurities, and its electric resistance is low. The fixing portion 36a is electrically connected to the electrode layer 36e through a through hole 36f.
As shown in FIGS. 4 and 5, a low resistance region 35b formed by impurity implantation is formed in the semiconductor substrate 35 below the fixed portion 36a. The low resistance region 35b is electrically connected to the fixed portion 36a through a through hole 35c formed in the insulating film 35a. The low resistance region 35b extends to a position (not shown) and is electrically connected to the drive circuit 35d there. Therefore, the potential of the electrode layer 36e can be controlled by the drive circuit 35d.

図4、6に示すように、ミラー部36cの下部の半導体基板35には、不純物注入により形成した低抵抗領域35g、35h(以下では、電極35g、35hという)が形成されている。電極35gは、一対の捩れ梁36bを結ぶ線分よりも図4において下側の位置に配置されている。電極35hは、一対の捩れ梁36bを結ぶ線分よりも図4において上側の位置に配置されている。電極35gと電極35hは、それぞれ図示しない位置まで延出されており、そこで駆動回路35dと電気的に接続されている。したがって、駆動回路35dによって、電極35gと電極35hのそれぞれの電位を制御可能となっている。   As shown in FIGS. 4 and 6, low resistance regions 35g and 35h (hereinafter referred to as electrodes 35g and 35h) formed by impurity implantation are formed in the semiconductor substrate 35 below the mirror portion 36c. The electrode 35g is disposed at a lower position in FIG. 4 than a line segment connecting the pair of torsion beams 36b. The electrode 35h is arranged at a position above the line segment connecting the pair of torsion beams 36b in FIG. The electrode 35g and the electrode 35h are each extended to a position not shown, and are electrically connected therewith to the drive circuit 35d. Therefore, each potential of the electrode 35g and the electrode 35h can be controlled by the drive circuit 35d.

ミラー部36cは、電極35g、35hのそれぞれと対向している。電極層36eと電極35gの間に電圧を印加すると、両者間に吸引力が生じ、ミラー部36cは図6の姿勢から左回りに揺動する。また、電極層36eと電極35hの間に電圧を印加すると、両者間に吸引力が生じ、ミラー部36cは図6の姿勢から右回りに揺動する。したがって、これらの電圧を制御することによって、ミラー部36cの揺動角を制御することができる。すなわち、電極層36eと、電極35g、35hは、ミラー部36cの揺動角を制御するアクチュエータとして機能する。
駆動回路35dは、これらの電圧を制御することによって、ミラー部36cの姿勢を制御する。駆動回路35dは、ミラー部36cの姿勢を、図6の姿勢から所定角度左回りに揺動した姿勢(以下では、このときの揺動角を第1揺動角という)と図6の姿勢から所定角度右回りに揺動した姿勢(以下では、このときの揺動角を第2揺動角という)の何れかに切り換える。
なお、図3に示す各マイクロメカニカル構造体36は、それぞれが駆動回路35dに接続されている。駆動回路35dは、各ミラー部36cの揺動角を独立に制御することができる。
The mirror part 36c is opposed to each of the electrodes 35g and 35h. When a voltage is applied between the electrode layer 36e and the electrode 35g, an attractive force is generated between them, and the mirror portion 36c swings counterclockwise from the posture of FIG. Further, when a voltage is applied between the electrode layer 36e and the electrode 35h, an attractive force is generated between them, and the mirror portion 36c swings clockwise from the posture of FIG. Therefore, the swing angle of the mirror portion 36c can be controlled by controlling these voltages. That is, the electrode layer 36e and the electrodes 35g and 35h function as an actuator that controls the swing angle of the mirror portion 36c.
The drive circuit 35d controls the attitude of the mirror unit 36c by controlling these voltages. The drive circuit 35d determines that the posture of the mirror unit 36c is swung from the posture of FIG. 6 counterclockwise by a predetermined angle (hereinafter, the swing angle at this time is referred to as a first swing angle) and the posture of FIG. The posture is switched to one of the postures that swing clockwise by a predetermined angle (hereinafter, the swing angle at this time is referred to as a second swing angle).
Each micro mechanical structure 36 shown in FIG. 3 is connected to the drive circuit 35d. The drive circuit 35d can independently control the swing angle of each mirror portion 36c.

以上に説明したように、反射方向切換装置34は、複数のミラー部36cを有しており、各ミラー部36cの揺動角は、第1揺動角と第2揺動角の何れかに制御される。光源30及びリフレクタ32から反射方向切換装置34に照射される光線は、各ミラー部36cによって反射される。第1揺動角にあるミラー部36cに反射された光線は、第1結像光学系40に入射する。第2揺動角にあるミラー部36cに反射された光線は、第2結像光学系42に入射する。   As described above, the reflection direction switching device 34 has a plurality of mirror portions 36c, and the swing angle of each mirror portion 36c is either the first swing angle or the second swing angle. Be controlled. Light rays irradiated from the light source 30 and the reflector 32 to the reflection direction switching device 34 are reflected by the mirror portions 36c. The light beam reflected by the mirror portion 36 c at the first swing angle enters the first imaging optical system 40. The light beam reflected by the mirror portion 36c at the second swing angle enters the second imaging optical system 42.

第1結像光学系40は、反射方向切換装置34から入射する光線を、自車両100の前方の路面上に結像する。上述したように、第1結像光学系40には、第1揺動角にあるミラー部36cで反射された光線が入射する。したがって、路面上には、第1揺動角にあるミラー部36cに対応する位置が明部となり、第2揺動角にあるミラー部36cに対応する位置が暗部となる映像が結像される。   The first imaging optical system 40 forms an image of the light beam incident from the reflection direction switching device 34 on the road surface in front of the host vehicle 100. As described above, the light beam reflected by the mirror portion 36c at the first swing angle is incident on the first imaging optical system 40. Accordingly, an image is formed on the road surface in which the position corresponding to the mirror portion 36c at the first swing angle is a bright portion and the position corresponding to the mirror portion 36c at the second swing angle is a dark portion. .

第2結像光学系42は、始端側結像レンズ42a、光ファイバアレイ42b、終端側結像レンズ42c、及び、コンバイナ42dを備えている。
始端側結像レンズ42aは、反射方向切換装置34から入射する光線を結像する。
光ファイバアレイ42bは、多数の光ファイバを束ねたものである。光ファイバアレイ42bの入射面(一方の端部)は、始端側結像レンズ42aの結像位置に配置されている。光ファイバアレイ42bの射出面(他方の端部)は、自車両100の車室内に引き込まれている。光ファイバアレイ42bの入射面に入射した光線は、射出面から射出される。
終端側結像レンズ42cは、光ファイバアレイ42bの射出面に対向する位置に配置されている。終端側結像レンズ42cは、光ファイバアレイ42bの射出面から射出された光線を結像する。
図2に示すように、コンバイナ42dは、自車両100のフロントガラス44の内側の表面に設置されている。コンバイナ42dは、ハーフミラーにより構成されている(但し、ホログラムにより構成されていてもよい)。したがって、ドライバは、コンバイナ42dを通して自車両100の前方の景色を視認することができる。また、コンバイナ42dには、終端側結像レンズ42cから光線が照射される。コンバイナ42dは、終端側結像レンズ42cからの光線をドライバに向けて反射する。したがって、ドライバは、終端側結像レンズ42cによる結像映像を、フロントガラス44より自車両100の前方側に表示される虚像として視認することができる。このように、コンバイナ42dは、自車両100前方の景色に結像映像を重畳して表示する。すなわち、第2結像光学系42は、いわゆるヘッドアップディスプレイである。
上述したように、第2結像光学系42には、第2揺動角にあるミラー部36cで反射された光線が入射する。したがって、第2結像光学系42によって、第2揺動角にあるミラー部36cに対応する位置が明部となり、第1揺動角にあるミラー部36cに対応する位置が暗部となる映像が表示される。すなわち、第2結像光学系42は、第1結像光学系40が路面上に表示する映像とは明部と暗部が反転した映像を表示する。
The second imaging optical system 42 includes a start-side imaging lens 42a, an optical fiber array 42b, a termination-side imaging lens 42c, and a combiner 42d.
The start-side imaging lens 42a forms an image of the light ray incident from the reflection direction switching device 34.
The optical fiber array 42b is a bundle of many optical fibers. The incident surface (one end portion) of the optical fiber array 42b is disposed at the imaging position of the start-side imaging lens 42a. The exit surface (the other end) of the optical fiber array 42b is drawn into the passenger compartment of the host vehicle 100. The light beam incident on the incident surface of the optical fiber array 42b is emitted from the emission surface.
The terminal-side imaging lens 42c is disposed at a position facing the exit surface of the optical fiber array 42b. The terminal-side imaging lens 42c forms an image of the light beam emitted from the exit surface of the optical fiber array 42b.
As shown in FIG. 2, the combiner 42 d is installed on the inner surface of the windshield 44 of the host vehicle 100. The combiner 42d is configured by a half mirror (however, it may be configured by a hologram). Therefore, the driver can visually recognize the scenery in front of the host vehicle 100 through the combiner 42d. The combiner 42d is irradiated with light from the terminal-side imaging lens 42c. The combiner 42d reflects the light beam from the terminal-side imaging lens 42c toward the driver. Therefore, the driver can visually recognize the image formed by the terminal-side imaging lens 42 c as a virtual image displayed on the front side of the host vehicle 100 from the windshield 44. As described above, the combiner 42d displays the superimposed image on the scenery in front of the host vehicle 100. That is, the second imaging optical system 42 is a so-called head-up display.
As described above, the light beam reflected by the mirror portion 36c at the second swing angle is incident on the second imaging optical system 42. Therefore, the second imaging optical system 42 can display an image in which the position corresponding to the mirror portion 36c at the second swing angle is a bright portion and the position corresponding to the mirror portion 36c at the first swing angle is a dark portion. Is displayed. That is, the second imaging optical system 42 displays an image in which the bright part and the dark part are reversed from the image displayed on the road surface by the first imaging optical system 40.

以上に説明したように、車載式映像表示装置10は、第1揺動角にあるミラー部36cによる反射光線により路面上に映像を表示し、第2揺動角にあるミラー部36cによる反射光により車室内に映像を表示する。すなわち、第1揺動角にあるミラー部36cによる反射光線と第2揺動角にあるミラー部36cによる反射光線を有効に活用して、2つの映像の表示を可能としている。反射光線を無駄にすることがないので、高効率で2つの映像を表示することができる。また、これらの映像は、明部と暗部が反転した映像であるが、実質的には同一の情報を伝達することができる。
また、従来技術のように一方の反射光線をアブソーバ等に吸収させる方式では、車載式映像表示装置10内で熱が発生する。本実施例の車載式映像表示装置10によれば、車載式映像表示装置10内で光線を吸収しないので、発熱を抑えることができる。これにより、車載式映像表示装置10の信頼性や寿命の向上が実現されている。
As described above, the vehicle-mounted image display device 10 displays an image on the road surface by the reflected light from the mirror unit 36c at the first swing angle, and the reflected light from the mirror unit 36c at the second swing angle. To display the video in the passenger compartment. That is, two images can be displayed by effectively utilizing the reflected light beam from the mirror portion 36c at the first swing angle and the reflected light beam from the mirror portion 36c at the second swing angle. Since the reflected light is not wasted, two images can be displayed with high efficiency. In addition, these images are images in which the bright part and the dark part are inverted, but substantially the same information can be transmitted.
Further, in a method in which one reflected light beam is absorbed by an absorber or the like as in the prior art, heat is generated in the vehicle-mounted image display device 10. According to the vehicle-mounted image display apparatus 10 of the present embodiment, since light is not absorbed in the vehicle-mounted image display apparatus 10, heat generation can be suppressed. Thereby, the reliability and lifetime improvement of the vehicle-mounted image display device 10 are realized.

(報知システム90の構成)
次に、図1に示す報知システム90の、車載式映像表示装置10以外の部分について説明する。
(Configuration of notification system 90)
Next, parts other than the vehicle-mounted video display device 10 of the notification system 90 shown in FIG. 1 will be described.

カメラ12は、自車両100の前方を撮影可能な位置に設置されている。カメラ12は、自車両100の前方の画像をリアルタイムで撮影する。カメラ12は、演算装置24に接続されている。カメラ12で撮影された画像データは、演算装置24に入力される。   The camera 12 is installed at a position where the front of the host vehicle 100 can be photographed. The camera 12 captures an image in front of the host vehicle 100 in real time. The camera 12 is connected to the arithmetic device 24. Image data captured by the camera 12 is input to the arithmetic device 24.

カーナビ13は、GPSを用いて、自車両100と周辺のマップデータとの位置関係を特定して表示する。   The car navigation system 13 specifies and displays the positional relationship between the host vehicle 100 and surrounding map data using GPS.

距離計測装置14は、車両前方の物体までの距離と方向を計測する。これによって、車両前方の物体の位置が特定される。本実施例では、距離計測装置14にミリ波レーダを用いている。但し、距離計測装置14には、レーザレーダ等を用いることもできる。また、複数のカメラにより車両前方の画像を撮影し、それらの画像から物体の位置を特定するシステム(いわゆる、ステレオカメラシステム)を用いることもできる。距離計測装置14は、演算装置24に接続されている。距離計測装置14が計測したデータは、演算装置24に入力される。   The distance measuring device 14 measures the distance and direction to an object in front of the vehicle. Thereby, the position of the object ahead of the vehicle is specified. In this embodiment, a millimeter wave radar is used for the distance measuring device 14. However, a laser radar or the like can be used for the distance measuring device 14. Also, a system (so-called stereo camera system) that captures images ahead of the vehicle with a plurality of cameras and identifies the position of the object from these images can be used. The distance measuring device 14 is connected to the arithmetic device 24. Data measured by the distance measuring device 14 is input to the arithmetic device 24.

速度センサ16は、自車両100の走行速度を検出する。速度センサ16は、演算装置24に接続されている。速度センサ16が検出した走行速度データは、演算装置24に入力される。   The speed sensor 16 detects the traveling speed of the host vehicle 100. The speed sensor 16 is connected to the arithmetic device 24. The traveling speed data detected by the speed sensor 16 is input to the arithmetic device 24.

操舵角センサ18は、自車両100のハンドルの操舵角を検出する。操舵角センサ18は、演算装置24に接続されている。操舵角センサ18が検出した操舵角データは、演算装置24に入力される。   The steering angle sensor 18 detects the steering angle of the steering wheel of the host vehicle 100. The steering angle sensor 18 is connected to the calculation device 24. The steering angle data detected by the steering angle sensor 18 is input to the arithmetic unit 24.

記憶装置22は、ROMやRAM等のメモリ装置により構成されている。記憶装置22は、車載式映像表示装置10に表示させる画像データ等の種々のデータを記憶している。記憶装置22が記憶している各データは、必要に応じて演算装置24に読み取られる。   The storage device 22 is configured by a memory device such as a ROM or a RAM. The storage device 22 stores various data such as image data to be displayed on the vehicle-mounted video display device 10. Each data stored in the storage device 22 is read by the arithmetic device 24 as necessary.

演算装置24は、CPU等を備えたマイクロコンピュータである。演算装置24は、カメラ12、カーナビ13、距離計測装置14、速度センサ16、及び、操舵角センサ18から入力される各データ等に基づいて、自車両100の前方の状況を特定する。そして、特定した自車両100の前方の状況に応じて、車載式映像表示装置10に映像を表示させる。   The arithmetic device 24 is a microcomputer provided with a CPU and the like. The computing device 24 identifies the situation ahead of the host vehicle 100 based on the data input from the camera 12, the car navigation system 13, the distance measuring device 14, the speed sensor 16, and the steering angle sensor 18. And according to the situation ahead of the specified own vehicle 100, a video is displayed on the vehicle-mounted video display device 10.

(報知システム90の動作)
次に、報知システム90の動作について説明する。図7は、演算装置24が実行する動作を示すフローチャートである。
(Operation of Notification System 90)
Next, the operation of the notification system 90 will be described. FIG. 7 is a flowchart showing an operation executed by the arithmetic device 24.

ステップS2では、演算装置24は、自車両100の前方に存在する注意対象を特定する。なお、注意対象とは、運転時にドライバが注意を要する対象物である。具体的には、注意対象には、歩行者、他車両、障害物、交差点等が含まれる。
ステップS2の処理では、演算装置24は、カメラ12が取得する画像データから、歩行者、他車両、路面上の障害物等を形状認識により特定する。そして、これらの位置を、距離計測装置14により計測する。また、歩行者、他車両については、距離計測装置14による過去の計測結果に基づいて、その移動速度を算出する。そして、算出した移動速度と、速度センサ16で検出される自車両100の走行速度と、操舵角センサ18で検出される操舵角から、各歩行者及び各他車両が、自車両100の進路付近に進入する可能性があるか否かを判定する。進入可能性がある歩行者と、進入可能性がある他車両と、路面上の障害物は、注意対象として特定される。なお、複数の歩行者が接近して存在している場合には、それらの歩行者の移動速度が等しいか否かによって、それらの歩行者が同行体であるか否かについても判定する。同行体である複数の歩行者は、1つの注意対象として特定する。
また、演算装置24は、カーナビ13のマップデータから、自車両100の進路上に存在する交差点を特定する。交差点も、注意対象として特定される。
In step S <b> 2, the arithmetic device 24 specifies an attention object existing in front of the host vehicle 100. Note that the attention object is an object that requires the driver's attention during driving. Specifically, caution objects include pedestrians, other vehicles, obstacles, intersections, and the like.
In the process of step S <b> 2, the arithmetic device 24 identifies pedestrians, other vehicles, obstacles on the road surface, and the like from the image data acquired by the camera 12 by shape recognition. These positions are measured by the distance measuring device 14. For pedestrians and other vehicles, the moving speed is calculated based on the past measurement results by the distance measuring device 14. Then, from the calculated moving speed, the traveling speed of the own vehicle 100 detected by the speed sensor 16, and the steering angle detected by the steering angle sensor 18, each pedestrian and each other vehicle are near the course of the own vehicle 100. It is determined whether or not there is a possibility of entering. Pedestrians that may enter, other vehicles that may enter, and obstacles on the road surface are identified as objects of caution. In addition, when several pedestrians approach and exist, it is also determined whether those pedestrians are accompanying bodies by whether the moving speed of those pedestrians is equal. A plurality of pedestrians who are accompanying persons are specified as one attention object.
In addition, the arithmetic device 24 specifies an intersection existing on the course of the host vehicle 100 from the map data of the car navigation 13. An intersection is also identified as a target of attention.

ステップS4では、演算装置24は、自車両100が各注意対象を安全に通過できるか否かを判定する。
すなわち、演算装置24は、まず、ステップS2で特定した注意対象の数が所定数以上であるか否かを判定する。そして、注意対象の数が所定数以上である場合には、自車両100の走行速度と、各注意対象の位置及び移動速度に基づいて、各注意対象を通過するときの時間間隔を算出する。算出された各時間間隔の何れかが所定間隔より短いときには、演算装置24は、ステップS4でNOと判定する。一方、全ての時間間隔が所定時間より長いとき、及び、注意対象の数が少ないときは、ステップS4でYESと判定する。
In step S4, the arithmetic unit 24 determines whether or not the host vehicle 100 can safely pass each cautionary object.
That is, the arithmetic unit 24 first determines whether or not the number of attention objects specified in step S2 is a predetermined number or more. When the number of attention objects is equal to or greater than the predetermined number, the time interval when passing through each attention object is calculated based on the traveling speed of the host vehicle 100 and the position and movement speed of each attention object. When any of the calculated time intervals is shorter than the predetermined interval, the arithmetic unit 24 determines NO in step S4. On the other hand, when all the time intervals are longer than the predetermined time and when the number of attention objects is small, YES is determined in step S4.

ステップS6では、演算装置24は、上記の時間間隔が所定間隔以上となるように、自車両100の適切な走行速度を算出する。   In step S6, the arithmetic unit 24 calculates an appropriate traveling speed of the host vehicle 100 such that the time interval is equal to or greater than a predetermined interval.

ステップS8では、演算装置24は、ステップS6で算出した走行速度を表示するように、車載式映像表示装置10に指令を送る。すると、指令に応じて光源30が点灯されるとともに、反射方向切換装置34の駆動回路35dが、各ミラー部36cの揺動角を、指令された映像に応じて制御する(既に光源30が転倒している場合には、各ミラー部36cの揺動角のみが制御される)。これによって、車載式映像表示装置10によって、自車両100の前方の路面上と、車室内に、適切な走行速度が表示される。
例えば、自車両100の前方の路面上には、図8に示すように適切な走行速度を示す映像が表示される。また、車室内には、図9に示すように、自車両100の前方の景色と重畳させて適切な走行速度を示す映像が表示される。なお、図8に示す映像と図9に示す映像は、明部と暗部が反転した映像となる。
このように、路面上に情報を表示することで、ドライバは視点をあまり動かすことなく情報を読み取ることができる。また、雨天の場合や路面に凹凸がある場合等には、路面上に適切に映像を表示できない場合がある。この場合には、ドライバは、コンバイナ42dにより表示される映像により情報を読み取ることができる。特に、コンバイナ42dによれば、フロントガラス44よりも前方に虚像が表示されるので、ドライバは眼の焦点をあまり動かすことなく映像を確認することができる。
In step S8, the arithmetic unit 24 sends a command to the vehicle-mounted video display device 10 so as to display the traveling speed calculated in step S6. Then, the light source 30 is turned on according to the command, and the drive circuit 35d of the reflection direction switching device 34 controls the swing angle of each mirror portion 36c according to the commanded image (the light source 30 has already fallen down). In this case, only the swing angle of each mirror portion 36c is controlled). As a result, the vehicle-mounted video display device 10 displays an appropriate traveling speed on the road surface ahead of the host vehicle 100 and in the passenger compartment.
For example, an image showing an appropriate traveling speed is displayed on the road surface ahead of the host vehicle 100 as shown in FIG. In addition, as shown in FIG. 9, an image showing an appropriate traveling speed is displayed in the passenger compartment so as to be superimposed on the scenery in front of the host vehicle 100. The video shown in FIG. 8 and the video shown in FIG. 9 are videos in which the bright part and the dark part are reversed.
Thus, by displaying information on the road surface, the driver can read the information without moving the viewpoint much. In addition, when it is raining or when the road surface is uneven, an image may not be displayed properly on the road surface. In this case, the driver can read information from the video displayed by the combiner 42d. In particular, according to the combiner 42d, a virtual image is displayed in front of the windshield 44, so that the driver can check the image without moving the focus of the eyes too much.

ステップS4でYESと判定した場合は、演算装置24が、ステップS10でナビ情報(カーナビ13がドライバに案内する情報)の有無を判断する。
カーナビ13から提供されるナビ情報があれば(ステップS10でYES)、演算装置24は、そのナビ情報を表示するように、車載式映像表示装置10に指令を送る(ステップS12)。この場合、例えば、図10に示すように、「20m先左折」等の情報が路面上に表示される。また、車室内にも同様の映像(明部と暗部を反転させた映像)が表示される。
また、カーナビ13から提供されるナビ情報がなければ(ステップS10でNO)、演算装置24は、車載式映像表示装置10に表示をOFFするように指令を送る(ステップS14)。これによって、車載式映像表示装置10は、表示をOFFする(既にOFFしている場合には、OFFの状態が維持される)。
When it determines with YES by step S4, the arithmetic unit 24 judges the presence or absence of navigation information (information which the car navigation system 13 guides a driver) at step S10.
If there is navigation information provided from the car navigation system 13 (YES in step S10), the computing device 24 sends a command to the in-vehicle video display device 10 to display the navigation information (step S12). In this case, for example, as shown in FIG. 10, information such as “20 m ahead left turn” is displayed on the road surface. In addition, a similar image (image in which the bright part and the dark part are reversed) is also displayed in the passenger compartment.
If there is no navigation information provided from the car navigation system 13 (NO in step S10), the arithmetic unit 24 sends a command to the vehicle-mounted video display device 10 to turn off the display (step S14). Thereby, the vehicle-mounted video display device 10 turns off the display (if it is already off, the off state is maintained).

演算装置24は、図7のフローチャートに示す処理を繰り返し実行する。したがって、注意が必要なとき、及び、ナビ情報が提供されているときに、適切に映像が表示される。   The arithmetic unit 24 repeatedly executes the process shown in the flowchart of FIG. Therefore, when attention is required and navigation information is provided, the video is appropriately displayed.

(第2実施例)
次に、第2実施例の車載式映像表示装置10について説明する。第2実施例の車載式映像表示装置10の第1結像光学系40は、夜間等において自動車のヘッドライトとして使用される。したがって、第2実施例の車載式映像表示装置10は、第1結像光学系40が、自車両100の前方の広い範囲に光線を照射するように構成されている。第2実施例の車載式映像表示装置10は、第1実施例と略同様の報知システム90に組み込まれている。
(Second embodiment)
Next, the vehicle-mounted image display device 10 according to the second embodiment will be described. The first imaging optical system 40 of the vehicle-mounted image display device 10 of the second embodiment is used as a headlight of an automobile at night or the like. Therefore, the vehicle-mounted image display apparatus 10 according to the second embodiment is configured such that the first imaging optical system 40 irradiates light over a wide range in front of the host vehicle 100. The vehicle-mounted video display device 10 of the second embodiment is incorporated in a notification system 90 that is substantially the same as that of the first embodiment.

図11のフローチャートは、第2実施例の報知システム90において、演算装置24が実行する処理を示している。   The flowchart of FIG. 11 shows processing executed by the arithmetic device 24 in the notification system 90 of the second embodiment.

ステップS22では、演算装置24は、自車両100の前方に存在する人物(歩行者、他車両のドライバ等)を特定する。この特定は、図7のステップS2と同様に、カメラ12が取得する画像データに基づいて行う。また、画像データ上において、特定した人物の眼を含む一定範囲を画定する。   In step S <b> 22, the arithmetic device 24 identifies a person (pedestrian, driver of another vehicle, etc.) existing in front of the host vehicle 100. This specification is performed based on the image data acquired by the camera 12 as in step S2 of FIG. Further, a certain range including the eyes of the specified person is defined on the image data.

ステップS24では、演算装置24は、映像を表示するように車載式映像表示装置10に指令を送る。このとき、演算装置24は、ステップS22において画像データ上で画定した範囲(眼を含む範囲)に対応する領域を暗部とし、その他の領域を明部とする映像を、第1結像光学系40によって表示するように指令を送る。
すると、図12に示すように、車載式映像表示装置10によって、自車両100の前方に光線が照射される。但し、人物の眼を含む範囲には光線が照射されない(図12の参照番号80は、暗部を示している)。したがって、光線の照射によりドライバは人物を容易に視認可能であり、また、人物は自車両100からの光を眩しいと感じることなく自車両100を視認することができる。したがって、従来のヘッドライトのようにハイビームとロービームを使い分ける必要がなくなり、広い範囲への光照射が可能となる。これにより、夜間運転時の安全性が向上する。
In step S24, the arithmetic unit 24 sends a command to the vehicle-mounted video display device 10 to display the video. At this time, the arithmetic unit 24 uses the first imaging optical system 40 to display an image in which the region corresponding to the range (the range including the eye) defined on the image data in step S22 is a dark portion and the other region is a bright portion. Send a command to display.
Then, as shown in FIG. 12, the vehicle-mounted video display device 10 irradiates light in front of the host vehicle 100. However, no light is irradiated to a range including the human eye (reference number 80 in FIG. 12 indicates a dark part). Therefore, the driver can easily recognize the person by the irradiation of the light beam, and the person can visually recognize the own vehicle 100 without feeling that the light from the own vehicle 100 is dazzling. Therefore, it is not necessary to use a high beam and a low beam separately as in a conventional headlight, and light irradiation over a wide range is possible. This improves safety during night driving.

演算装置24は、図11のフローチャートに示す処理を繰り返し実行する。したがって、自車両100と人物との相対位置の変化に応じて、暗部(第1結像光学系40における暗部)の位置が変更され、適切に光線が照射される。   The arithmetic device 24 repeatedly executes the processing shown in the flowchart of FIG. Therefore, the position of the dark part (the dark part in the first imaging optical system 40) is changed according to the change in the relative position between the host vehicle 100 and the person, and light is appropriately irradiated.

以上の第1実施例及び第2実施例に説明したように、本発明の車載式映像表示装置10は、第1揺動角にあるミラー部36cによる反射光線により第1の映像を表示し、第2揺動角にあるミラー部36cによる反射光線により第1の映像と明部と暗部が反転した第2の映像を表示する。1つの映像表示装置で、2つの映像を表示できる。これらの2つの映像を、路面上と車室内とにそれぞれ表示することで、自車両100の走行時の安全性の向上が実現される。   As described in the first embodiment and the second embodiment, the vehicle-mounted image display device 10 of the present invention displays the first image by the reflected light from the mirror portion 36c at the first swing angle, The first image, the second image in which the bright portion and the dark portion are inverted are displayed by the light beam reflected by the mirror portion 36c at the second swing angle. One video display device can display two videos. By displaying these two images on the road surface and in the passenger compartment, the safety of the vehicle 100 when traveling can be improved.

なお、上述した車載式映像表示装置10では、反射方向切換装置34に電極35gと電極35hが形成されていた。そして、電極層36eと電極35gの間の印加電圧と、電極層36eと電極35hの間の印加電圧によって、ミラー部36cの揺動角を制御していた。しかしながら、電極35gのみを形成しておき、電極層36eと電極35gの間の印加電圧のみによってミラー部36cの揺動角を制御することもできる。すなわち、電極層36eと電極35gの間に電圧を印加すると、ミラー部36cが揺動する。電圧をオフすると、捩れ梁36bの復元力によってミラー部36cは元の角度(半導体基板35と平行な角度)に戻る。したがって、電極層36eと電極35gの間の印加電圧によって、ミラー部36cの揺動角を制御できる。この場合、揺動しているミラー部36cの反射光線と、揺動していないミラー部36cの反射光線とをそれぞれ異なる結像光学系に入射させることで、2つの映像の表示が可能となる。   In the vehicle-mounted video display device 10 described above, the electrode 35g and the electrode 35h are formed on the reflection direction switching device 34. The swing angle of the mirror portion 36c is controlled by the applied voltage between the electrode layer 36e and the electrode 35g and the applied voltage between the electrode layer 36e and the electrode 35h. However, only the electrode 35g can be formed, and the swing angle of the mirror portion 36c can be controlled only by the applied voltage between the electrode layer 36e and the electrode 35g. That is, when a voltage is applied between the electrode layer 36e and the electrode 35g, the mirror portion 36c swings. When the voltage is turned off, the mirror portion 36c returns to the original angle (an angle parallel to the semiconductor substrate 35) by the restoring force of the torsion beam 36b. Therefore, the swing angle of the mirror portion 36c can be controlled by the applied voltage between the electrode layer 36e and the electrode 35g. In this case, two images can be displayed by causing the reflected light beam of the oscillating mirror part 36c and the reflected light beam of the non-oscillating mirror part 36c to enter different imaging optical systems. .

また、2つの車載式映像表示装置10を車載することもできる。この場合、第1の車載式映像表示装置10からの映像(第2結像光学系42による映像)をドライバの一方の眼に入射させ、第2の車載式映像表示装置10からの映像(第2結像光学系42による映像)をドライバの他方の眼に入射させることができる。このような構成によれば、それぞれの眼への光線の入射角度を適切な角度に調整しておくことで、ドライバに対して、自車両100の前方の所定距離の位置(上述した実施例よりも遠方の位置)に映像(虚像)を表示させることができる。このような構成によれば、ドライバは眼の焦点をほとんど動かすことなく第2結像光学系42による映像を視認することが可能となる。   Two on-vehicle video display devices 10 can also be mounted on the vehicle. In this case, an image from the first in-vehicle image display device 10 (an image by the second imaging optical system 42) is incident on one eye of the driver, and an image from the second in-vehicle image display device 10 (first image 2) can be made incident on the other eye of the driver. According to such a configuration, by adjusting the incident angle of the light beam to each eye to an appropriate angle, the position of a predetermined distance in front of the host vehicle 100 with respect to the driver (from the above-described embodiment). Video (virtual image) can be displayed at a remote position. According to such a configuration, the driver can visually recognize the image by the second imaging optical system 42 without moving the focal point of the eyes.

また、上述したように、路面上に表示する映像は、路面の状態によってはうまく表示できない場合がある。したがって、上述した報知システム90は、映像を表示する前に、路面上にテストパターンを表示し、表示したテストパターンをカメラ12で撮影し、撮影したテストパターンによって映像の表示位置を変更するようにしてもよい。
すなわち、速度情報やナビ情報の映像を表示する直前に、車載式映像表示装置10によって路面上にテストパターンを表示する。テストパターンは、例えば、格子状の映像等を用いることができる。テストパターンを路面上に表示するのと同時に、カメラ12によって路面上に表示されたテストパターンを撮影する。路面上に部分的に水溜りや凹凸があれば、その部分ではテストパターンが適切に表示されない。したがって、カメラ12で撮影したテストパターンから、映像を適切に表示できない路面上の領域を特定することができる。領域を特定したら、車載式映像表示装置10にその領域以外に速度情報やナビ情報の映像を表示するように指令を送る。これによって、路面上に必要な情報を確実に表示することが可能となる。
なお、テストパターンは、人が認識できないように、高速で点滅させて表示させたり、ごく短時間だけ表示させてもよい。この場合には、カメラ12に高速カメラを採用し、高速カメラによってテストパターンを撮影する。また、テストパターンは、人が認識できないように、近赤外線を照射することによって表示してもよい。近赤外線を用いる場合には、カメラ12に近赤外線を撮影可能なカメラを採用する。
Further, as described above, the video displayed on the road surface may not be displayed well depending on the road surface state. Therefore, the notification system 90 described above displays a test pattern on the road surface before displaying the video, captures the displayed test pattern with the camera 12, and changes the display position of the video according to the captured test pattern. May be.
That is, the test pattern is displayed on the road surface by the in-vehicle video display device 10 immediately before displaying the video of the speed information and the navigation information. As the test pattern, for example, a lattice-shaped image can be used. At the same time that the test pattern is displayed on the road surface, the test pattern displayed on the road surface is photographed by the camera 12. If there is a puddle or unevenness partially on the road surface, the test pattern is not properly displayed on that portion. Therefore, it is possible to specify an area on the road surface where the video cannot be properly displayed from the test pattern photographed by the camera 12. When the area is specified, a command is sent to the vehicle-mounted video display device 10 to display the video of speed information and navigation information in addition to the area. This makes it possible to reliably display necessary information on the road surface.
The test pattern may be displayed blinking at high speed or displayed for a very short time so that it cannot be recognized by a person. In this case, a high-speed camera is adopted as the camera 12, and a test pattern is photographed by the high-speed camera. Moreover, you may display a test pattern by irradiating near infrared rays so that a person cannot recognize. When using near infrared rays, a camera capable of photographing near infrared rays is adopted as the camera 12.

また、光ファイバアレイ42bの光ファイバの密度は、入射面と射出面とで等しくしてもよいが、入射面と射出面とで異なるように構成してもよい。
図2に示すように、光ファイバアレイ42bから射出された光線は、終端側結像レンズ42cを介してコンバイナ42dに対して斜めに入射する。したがって、入射面と射出面とで光ファイバの密度が等しいと、上下に伸びた映像がコンバイナ42dにより表示される場合がある。したがって、コンバイナ42dの上下方向に対応する方向の光ファイバの密度を入射面と射出面とで異ならせることで、映像の伸びを補正することが可能となる。
In addition, the optical fiber density of the optical fiber array 42b may be equal between the incident surface and the exit surface, but may be different between the incident surface and the exit surface.
As shown in FIG. 2, the light beam emitted from the optical fiber array 42b is incident obliquely on the combiner 42d through the terminal-side imaging lens 42c. Therefore, if the optical fibers have the same density on the entrance surface and the exit surface, an image extending vertically may be displayed by the combiner 42d. Accordingly, it is possible to correct the extension of the image by making the density of the optical fibers in the direction corresponding to the vertical direction of the combiner 42d different between the incident surface and the exit surface.

本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。   The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.

報知システム90の構成を示すブロック図。The block diagram which shows the structure of the alerting | reporting system 90. FIG. 車載式映像表示装置10の概略構成を示す説明図。1 is an explanatory diagram showing a schematic configuration of an in-vehicle video display device 10. FIG. 反射方向切換装置34の平面図。The top view of the reflection direction switching apparatus 34. FIG. マイクロメカニカル構造体36の上面図。FIG. 4 is a top view of the micromechanical structure 36. 図4のV−V線断面図。VV sectional view taken on the line of FIG. 図4のVI−VI線断面図。VI-VI sectional view taken on the line of FIG. 第1実施例の報知システム90において、演算装置24が実行する処理を示すフローチャート。The flowchart which shows the process which the arithmetic unit 24 performs in the alerting | reporting system 90 of 1st Example. 第1実施例の報知システム90で、路面上に表示される映像を例示する図。The figure which illustrates the image | video displayed on the road surface with the alerting | reporting system 90 of 1st Example. 第1実施例の報知システム90で、車室内に表示される映像を例示する図。The figure which illustrates the image | video displayed in a vehicle interior by the alerting | reporting system 90 of 1st Example. 第1実施例の報知システム90で、路面上に表示される映像を例示する図。The figure which illustrates the image | video displayed on the road surface with the alerting | reporting system 90 of 1st Example. 第2実施例の報知システム90において、演算装置24が実行する処理を示すフローチャート。The flowchart which shows the process which the arithmetic unit 24 performs in the alerting | reporting system 90 of 2nd Example. 第2実施例の報知システム90で、自車両100の前方に照射される光線の説明図。Explanatory drawing of the light ray irradiated ahead of the own vehicle 100 in the alerting | reporting system 90 of 2nd Example.

符号の説明Explanation of symbols

10:車載式映像表示装置
12:カメラ
13:カーナビ
14:距離計測装置
16:速度センサ
18:操舵角センサ
22:記憶装置
24:演算装置
30:光源
32:リフレクタ
34:反射方向切換装置
35:半導体基板
35g:電極
35h:電極
36:マイクロメカニカル構造体
36a:固定部
36b:捩れ梁
36c:ミラー部
36e:電極層
40:第1結像光学系
42:第2結像光学系
42a:始端側結像レンズ
42b:光ファイバアレイ
42c:終端側結像レンズ
42d:コンバイナ
90:報知システム
10: In-vehicle image display device 12: Camera 13: Car navigation system 14: Distance measuring device 16: Speed sensor 18: Steering angle sensor 22: Storage device 24: Computing device 30: Light source 32: Reflector 34: Reflection direction switching device 35: Semiconductor Substrate 35g: electrode 35h: electrode 36: micromechanical structure 36a: fixed part 36b: torsion beam 36c: mirror part 36e: electrode layer 40: first imaging optical system 42: second imaging optical system 42a: start end side connection Image lens 42b: Optical fiber array 42c: Terminal-side imaging lens 42d: Combiner 90: Notification system

Claims (4)

明暗が反転した2つの映像を表示する装置であり、
光源と反射方向切換装置と第1結像光学系と第2結像光学系と制御装置を備えており、
光源は反射方向切換装置を照射する光を発生し、
反射方向切換装置は、
(1)規則的に配置された複数のミラーと、ミラー毎に設けられたアクチュエータを備えており、
(2)各々のミラーは、光源から入射した光線を第1結像光学系に向けて反射する第1揺動角と、光源から入射した光線を第2結像光学系に向けて反射する第2揺動角の間で揺動可能であり、
(3)各々のアクチュエータは、各々のアクチュエータに対応する1つのミラーに機械的に連携しており、
(4)各々のアクチュエータは、他のアクチュエータに拘束されることなく、対応するミラーの揺動角を第1揺動角と第2揺動角の間で切換えるものであり、
制御装置は、
(1)第1結像光学系で得られる映像において明部となる位置に結像するミラーに対応するアクチュエータを制御して対応するミラーの揺動角を第1揺動角に切換え、
(2)第1結像光学系で得られる映像において暗部となる位置に結像するミラーに対応するアクチュエータを制御して対応するミラーの揺動角を第2揺動角に切換える
ことを特徴とする映像表示装置。
It is a device that displays two images with reversed light and dark,
A light source, a reflection direction switching device, a first imaging optical system, a second imaging optical system, and a control device;
The light source generates light that illuminates the reflection direction switching device,
The reflection direction switching device is
(1) It has a plurality of regularly arranged mirrors and an actuator provided for each mirror.
(2) Each mirror reflects a first swing angle that reflects the light beam incident from the light source toward the first imaging optical system, and a first mirror that reflects the light beam incident from the light source toward the second imaging optical system. Can swing between two swing angles,
(3) Each actuator is mechanically linked to one mirror corresponding to each actuator,
(4) Each actuator switches the swing angle of the corresponding mirror between the first swing angle and the second swing angle without being restricted by other actuators,
The control device
(1) The actuator corresponding to the mirror that forms an image at a bright position in the image obtained by the first imaging optical system is controlled to switch the swing angle of the corresponding mirror to the first swing angle.
(2) It is characterized in that an actuator corresponding to a mirror that forms an image at a dark position in an image obtained by the first imaging optical system is controlled to switch the swing angle of the corresponding mirror to the second swing angle. Video display device.
請求項1の映像表示装置が車載されており、第1結像光学系が車両の前方に結像し、第2結像光学系が車室内に結像することを特徴とする車載式映像表示装置。   An in-vehicle image display comprising the image display device according to claim 1, wherein the first imaging optical system forms an image in front of the vehicle and the second imaging optical system forms an image in the passenger compartment. apparatus. 第2結像光学系が、光ファイバアレイと終端結像装置を備えており、
第2揺動角に調整されたミラーの反射光が光ファイバアレイの入射面に入射し、光ファイバアレイの射出面の先に終端結像装置が位置する位置関係に配置されていることを特徴とする請求項2の車載式映像表示装置。
The second imaging optical system includes an optical fiber array and a terminal imaging device;
The reflected light of the mirror adjusted to the second swing angle is incident on the incident surface of the optical fiber array, and is arranged in a positional relationship in which the terminal imaging device is positioned ahead of the exit surface of the optical fiber array. The vehicle-mounted image display device according to claim 2.
終端結像装置が、車両前方の景色に結像映像を重畳させるコンバイナを備えていることを特徴とする請求項3の車載式映像表示装置。   The in-vehicle image display apparatus according to claim 3, wherein the terminal image forming apparatus includes a combiner that superimposes the image formed on the scenery in front of the vehicle.
JP2008196679A 2008-07-30 2008-07-30 Video display device Active JP5338176B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008196679A JP5338176B2 (en) 2008-07-30 2008-07-30 Video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008196679A JP5338176B2 (en) 2008-07-30 2008-07-30 Video display device

Publications (2)

Publication Number Publication Date
JP2010032906A true JP2010032906A (en) 2010-02-12
JP5338176B2 JP5338176B2 (en) 2013-11-13

Family

ID=41737432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008196679A Active JP5338176B2 (en) 2008-07-30 2008-07-30 Video display device

Country Status (1)

Country Link
JP (1) JP5338176B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015123855A (en) * 2013-12-26 2015-07-06 株式会社小糸製作所 Vehicular lamp
WO2015189672A1 (en) * 2014-06-10 2015-12-17 Toyota Jidosha Kabushiki Kaisha Vehicle headlamp control device
WO2019103014A1 (en) * 2017-11-27 2019-05-31 株式会社小糸製作所 Head-up display device for vehicle
JP2019095703A (en) * 2017-11-27 2019-06-20 株式会社小糸製作所 Head-up display device for vehicle
JP2019094021A (en) * 2017-11-27 2019-06-20 株式会社小糸製作所 Head-up display device for vehicle
WO2020250941A1 (en) * 2019-06-11 2020-12-17 株式会社小糸製作所 Head-up display device and head-up display system
CN112770936A (en) * 2018-09-28 2021-05-07 株式会社小糸制作所 Lamp system
WO2021166814A1 (en) * 2020-02-17 2021-08-26 株式会社小糸製作所 Lamp system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05193400A (en) * 1992-01-22 1993-08-03 Asahi Glass Co Ltd Head up display
JPH07333681A (en) * 1994-06-08 1995-12-22 Nikon Corp Camera
JP2000171737A (en) * 1998-12-04 2000-06-23 Matsushita Electric Ind Co Ltd Projector device
JP2003140264A (en) * 2001-11-07 2003-05-14 Nissan Motor Co Ltd Projector
JP2004138986A (en) * 2001-11-08 2004-05-13 Seiko Epson Corp Projector
JP2004210130A (en) * 2002-12-27 2004-07-29 Ichikoh Ind Ltd Digital lighting system for vehicle, digital display apparatus for vehicle, and method of displaying information
JP2006053463A (en) * 2004-08-16 2006-02-23 Nec Viewtechnology Ltd Projector with auxiliary projection function
JP2006106298A (en) * 2004-10-04 2006-04-20 Sony Corp Video projector
JP2008143505A (en) * 2006-11-16 2008-06-26 Denso Corp Headlight control device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05193400A (en) * 1992-01-22 1993-08-03 Asahi Glass Co Ltd Head up display
JPH07333681A (en) * 1994-06-08 1995-12-22 Nikon Corp Camera
JP2000171737A (en) * 1998-12-04 2000-06-23 Matsushita Electric Ind Co Ltd Projector device
JP2003140264A (en) * 2001-11-07 2003-05-14 Nissan Motor Co Ltd Projector
JP2004138986A (en) * 2001-11-08 2004-05-13 Seiko Epson Corp Projector
JP2004210130A (en) * 2002-12-27 2004-07-29 Ichikoh Ind Ltd Digital lighting system for vehicle, digital display apparatus for vehicle, and method of displaying information
JP2006053463A (en) * 2004-08-16 2006-02-23 Nec Viewtechnology Ltd Projector with auxiliary projection function
JP2006106298A (en) * 2004-10-04 2006-04-20 Sony Corp Video projector
JP2008143505A (en) * 2006-11-16 2008-06-26 Denso Corp Headlight control device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015123855A (en) * 2013-12-26 2015-07-06 株式会社小糸製作所 Vehicular lamp
WO2015189672A1 (en) * 2014-06-10 2015-12-17 Toyota Jidosha Kabushiki Kaisha Vehicle headlamp control device
JP2015231816A (en) * 2014-06-10 2015-12-24 トヨタ自動車株式会社 Vehicular headlight control apparatus
US10189396B2 (en) 2014-06-10 2019-01-29 Toyota Jidosha Kabushiki Kaisha Vehicle headlamp control device
JP2019095703A (en) * 2017-11-27 2019-06-20 株式会社小糸製作所 Head-up display device for vehicle
CN109884794A (en) * 2017-11-27 2019-06-14 株式会社小糸制作所 Vehicle head-up display device
WO2019103014A1 (en) * 2017-11-27 2019-05-31 株式会社小糸製作所 Head-up display device for vehicle
JP2019094021A (en) * 2017-11-27 2019-06-20 株式会社小糸製作所 Head-up display device for vehicle
CN109884794B (en) * 2017-11-27 2021-11-30 株式会社小糸制作所 Head-up display device for vehicle
CN112770936A (en) * 2018-09-28 2021-05-07 株式会社小糸制作所 Lamp system
WO2020250941A1 (en) * 2019-06-11 2020-12-17 株式会社小糸製作所 Head-up display device and head-up display system
US11796807B2 (en) 2019-06-11 2023-10-24 Koito Manufacturing Co., Ltd. Head-up display device and head-up display system
WO2021166814A1 (en) * 2020-02-17 2021-08-26 株式会社小糸製作所 Lamp system
EP4108495A4 (en) * 2020-02-17 2023-12-13 Koito Manufacturing Co., Ltd. Lamp system
US11999295B2 (en) 2020-02-17 2024-06-04 Koito Manufacturing Co., Ltd. Vehicle lamp system for drawing road surface pattern

Also Published As

Publication number Publication date
JP5338176B2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
JP5338176B2 (en) Video display device
US10317771B2 (en) Driver assistance apparatus and vehicle
US10768505B2 (en) Driver assistance apparatus and vehicle
JP7254832B2 (en) HEAD-UP DISPLAY, VEHICLE DISPLAY SYSTEM, AND VEHICLE DISPLAY METHOD
JP4412324B2 (en) Vehicle headlight and vehicle driving support device
CN110356311A (en) Image projection device and image projecting method
US11639138B2 (en) Vehicle display system and vehicle
JP7282789B2 (en) VEHICLE DISPLAY SYSTEM, VEHICLE SYSTEM AND VEHICLE
CN108349424A (en) The control method and program for scanning headlight, scanning headlight
TW202109080A (en) Illumination device and ranging module
JP6285203B2 (en) Aerial image display device for vehicle
WO2021054277A1 (en) Head-up display and image display system
JP7295863B2 (en) Vehicle display system and vehicle
US20230362495A1 (en) Vehicular display system and image irradiation device
JP2024506184A (en) Microlens array projection devices, lighting devices, and vehicles
US11993201B2 (en) Method for controlling modules for projecting pixelated light beams for a vehicle
JP7114993B2 (en) DISPLAY DEVICE, DISPLAY SYSTEM, MOBILE, DISPLAY BRIGHTNESS CONTROL METHOD AND PROGRAM
JP2021077976A (en) On-vehicle display system
WO2024057975A1 (en) Vehicle headlight
JP2010052611A (en) Point light source display control device and display system for vehicle
CN113711106B (en) Head-up display for vehicle and light source unit for the same
US20230134184A1 (en) Image processing device, moving device, image processing method, and storage medium
JP2023003234A (en) head-up display device
JP2005070352A (en) Projector
JP2021024360A (en) Control device, display system and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R151 Written notification of patent or utility model registration

Ref document number: 5338176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151