JP2018072758A - 光投射装置 - Google Patents

光投射装置 Download PDF

Info

Publication number
JP2018072758A
JP2018072758A JP2016216098A JP2016216098A JP2018072758A JP 2018072758 A JP2018072758 A JP 2018072758A JP 2016216098 A JP2016216098 A JP 2016216098A JP 2016216098 A JP2016216098 A JP 2016216098A JP 2018072758 A JP2018072758 A JP 2018072758A
Authority
JP
Japan
Prior art keywords
light
transmittance
wavelength
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016216098A
Other languages
English (en)
Other versions
JP6848354B2 (ja
Inventor
貴夫 水野
Takao Mizuno
貴夫 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2016216098A priority Critical patent/JP6848354B2/ja
Priority to US15/799,715 priority patent/US10523908B2/en
Priority to EP17199750.5A priority patent/EP3318917B1/en
Publication of JP2018072758A publication Critical patent/JP2018072758A/ja
Application granted granted Critical
Publication of JP6848354B2 publication Critical patent/JP6848354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3158Modulator illumination systems for controlling the spectrum
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13318Circuits comprising a photodetector
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G02F1/139Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3164Modulator illumination systems using multiple light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen

Landscapes

  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】光の色度の偏差を所定範囲内に維持しつつ、該光の光量を調整する。
【解決手段】光投射装置は、互いに波長の異なる光を出力する複数の光源と、光源を制御する制御部と、光の透過率を波長毎に調整する透過部と、透過率を制御する透過制御部と、を備える。また、制御部は、波長毎の透過率の変化を示す透過率情報に基づいて、複数の光源の光量を制御する。
【選択図】図8

Description

本発明は、光投射装置に関する。
従来、複数の光源から投射面にたとえばRGB各色の光を投射して画像の描画を行う光投射装置が知られている。光投射装置では、定期的に各光源のAPC(auto power control)を行って、投射光のホワイトバランスを補正している。APCは、通常、画像フレーム間のブランキング期間(光源が消灯される期間)に1回実施され、次回のブランキング期間までは実施されることはない。
また、光投射装置では、画像の輝度を調整する際、液晶素子を有する調光アッテネータで投射光の光量を調整する。たとえば、印加する駆動電圧を変えることにより、投射光が透過する液晶素子の透過率を調整することにより、投射面に投射される投射光の光量を調整している。
なお、本発明に関連する従来技術の一例として、特許文献1のヘッドアップディスプレイ装置は、複数のレーザ光源の各々に液晶セルを設けている。そして、各液晶セルに印加する駆動電圧の調整によって各液晶セルを透過する各レーザ光の透過率を調整することにより、表示する画像の輝度を調整する。
特開2013−15738号公報
しかしながら、駆動電圧を変化させると液晶素子の透過率は徐々に変化し、その応答時間は画像フレーム間のブランキング期間よりも長い。また、駆動電圧に対応する液晶素子の透過率及び過渡状態における透過率の変化は透過する光の波長毎に異なる。従って、上述のような調光アッテネータを用いて投射光の光量を調整する光学システムでは、液晶素子の応答時間において、画像フレームの描画期間中に投射光のホワイトバランスが崩れて色度の偏差が目標範囲を越えることがある。この場合、色合いが徐々に変化した画像が表示されてしまう。このような問題について、特許文献1はなんら言及していない。
本発明は、このような状況を鑑みてなされたものであり、光の色度の偏差を所定範囲内に維持しつつ、該光の光量を調整することができる光投射装置を提供することを目的とする。
上記目的を達成するために、本発明の一の態様による光投射装置は、互いに波長の異なる光を出力する複数の光源と、光源を制御する制御部と、光の透過率を波長毎に調整する透過部と、透過率を制御する透過制御部と、を備え、制御部は、波長毎の透過率の変化を示す透過率情報に基づいて、複数の光源の光量を制御する構成(第1の構成)とされる。
上記第1の構成によれば、透過部を透過する光の波長毎の透過率が調整されると、波長毎の透過率は調整された値に向かって徐々に変化する。この際、変化する波長毎の透過率は、透過率情報に基づいて予測できる。そのため、予測した波長毎の透過率を用いたフィードフォワード制御により、複数の光源から出力される光の光量を制御できる。たとえば、透過率の変化が波長毎に異なっていても、透過部を透過した光の波長毎の光量比を変化させることなく、透過部を透過した光の光量を変化させることができる。すなわち、変化中の波長毎の光の色度の偏差をフィードフォワード制御により補正できるので、ホワイトバランスの変化を精度良く抑制又は防止して、透過部を透過した光の光量の調整(いわゆる調光)をすることができる。よって、透過部を透過した光の色度の偏差を所定範囲内に抑えつつ、該光の光量を調整することができる。
また、上記第1の構成の光投射装置は、透過部は、透過制御部により制御される液晶素子を有し、複数の光源から出力された光は、波長毎の透過率で液晶素子を透過する構成(第2の構成)とされる。
この第2の構成によれば、色度の偏差を所定範囲内に維持しつつ、液晶素子を透過する光の光量を制御することができる。
上記第1又は第2の構成の光投射装置は、複数の光源から出力された光を投射面に投射して、投射面に画像をフレーム単位で表示する光投射装置であって、画像のフレーム間の期間にて複数の光源の光出力特性を取得する取得部をさらに備え、制御部は、さらにフレームの描画期間前の第1時点で取得された光出力特性に基づいて、フレームの描画期間における複数の光源の光量を制御する構成(第3の構成)とされる。
第3の構成によれば、投射面に表示される画像のフレームの描画期間前の第1時点で光出力特性が取得される。そして、さらに該光出力特性に基づいて、第1時点後のフレームの描画期間における光源の光量を制御できる。従って、透過部を透過した光の光量を調整(調光)する際での該光のホワイトバランスの制御精度を向上できる。よって、色度の偏差を所定範囲内により精度良く抑えつつ、投射面に表示される画像の輝度を調整することができる。
上記第3の構成の光投射装置は、透過部に入力された光の光量を波長毎に検出する第1光検出部と、透過部が出力する光の光量を波長毎に検出する第2光検出部と、第1光検出部の検出結果と第2光検出部の検出結果とに基づいて透過部の波長毎の透過率を検知する検知部と、をさらに備える構成(第4の構成)とされる。
第4の構成によれば、第3時点及び第1時点での実際の波長毎の透過率を第1光検出部の検出結果と第2光検出部の検出結果とに基づいて測定できる。また、第3時点及び第1時点における測定結果から波長毎の透過率の変化率(すなわち応答速度)を検知できる。
上記第4の構成の光投射装置は、検知部はさらに、透過率が変更された第2時点以後且つ第1時点よりも前の第3時点での透過率の検知結果と、第1時点での透過率の検知結果とに基づいて、透過率の変化率を検知し、制御部は、さらに変化率の検知結果に基づいて、フレームの描画期間における複数の光源の光量を制御する構成(第5の構成)とされる。
第5の構成によれば、さらに検知した変化率に基づいて、第1時点後のフレームの描画期間における光源の光量を制御できる。従って、第1時点後のフレームの描画期間において、透過部を透過した光の光量を調整(調光)する際での該光のホワイトバランスの制御精度をさらに向上できる。
上記第5の構成の光投射装置は、第1時点及び第3時点は画像のフレーム間の同じ期間内である構成(第6の構成)とされる。
第6の構成によれば、画像のフレーム間の同じ期間内の第1時点及び第3時点で実際に測定された波長毎の透過率に基づいて、波長毎の透過率の変化率(すなわち応答速度)を検知できる。そして、上記の同じ期間後のフレームの描画期間における光源の光量を制御できる。従って、たとえば投射面に表示される画像の最初のフレームから、該フレームの描画期間における光源の光量を制御できる。よって、投射面に表示される画像の輝度の調整を最初のフレームから行うことができる。
上記第1〜第6のいずれかの構成の光投射装置は、透過部の温度を検出する温度センサをさらに備え、透過率情報は、透過率の温度特性に関する情報を含み、制御部は、さらに温度センサの検出結果に基づいて、複数の光源の光量を制御する構成(第7の構成)とされる。
第7の構成によれば、透過部を透過する光の波長毎の透過率の変化が透過部の温度によって異なる場合であっても、さらに温度センサの検出結果に基づいて、透過部を透過する光の光量を制御することができる。
上記第1〜第7のいずれかの構成の光投射装置は、透過率情報が示す波長毎の透過率の変化は、透過率が増加する場合と、透過率が低減する場合とで異なる構成(第8の構成)とされる。
第8の構成によれば、透過部の透過率の変化が増加する場合と低減する場合とで異なっていても、透過率情報を用いて透過部を透過する光の光量を好適に精度良く制御することができる。
上記第1〜第8のいずれかの構成の光投射装置は、透過率情報は、透過率が変更されてからの経過時間に応じた波長毎の透過率の変化を示し、制御部は、透過率情報に基づいて経過時間における複数の光源の光量を制御する構成(第9の構成)とされる。
第9の構成によれば、透過率が調整された時点からの経過時間における波長毎の透過率が経過時間及び透過率情報に基づいて予測できる。そのため、経過時間に生じる波長毎の光の色度の偏差をフィードフォワード制御により補正できる。
本発明によれば、光の色度の偏差を所定範囲内に維持しつつ、該光の光量を調整することができる光投射装置を提供することができる。
HUD装置の概略図である。 プロジェクタユニットの構成例を示すブロック図である。 光学ユニットの構成例を示す概念図である。 液晶素子の透過特性の一例を示すグラフである。 LDの光出力特性の一例を示すグラフである。 レーザ光の往復走査を示す概念図である。 ミラー部の水平駆動及び垂直駆動の一例を示すグラフである。 比較例に係るレーザ光の調光制御を示す。 第1実施形態の実施例に係るレーザ光の調光制御の一例を示す。 第1実施形態の実施例に係るレーザ光の調光制御の他の一例を示す。 第2実施形態に係るレーザ光の調光制御の一例を示す。 第3実施形態に係るレーザ光の調光制御の一例を示す。 第4実施形態に係るレーザ光の調光制御の一例を示す。 第4実施形態に係るレーザ光の調光制御の他の一例を示す。
以下に、本発明の実施形態について、図面を参照し、車両200用のヘッドアップディスプレイ装置100を例に挙げて説明する。なお、以下では、ヘッドアップディスプレイ装置100をHUD(Head-Up Display)装置100と呼ぶ。また、レーザ光300が投射される投射面111の水平方向と投射面111の水平方向に対応する方向とを単に「水平方向」と呼んで符号「X」を付す。また、投射面111の垂直方向と投射面111の垂直方向に対応する方向とを単に「垂直方向」と呼んで符号「Y」を付す。
<第1実施形態>
図1は、HUD装置100の概略図である。本実施形態のHUD装置100は、車両200に搭載されている。HUD装置100はプロジェクタユニット1とコンバイナ110とを備えている。プロジェクタユニット1は、レーザ光300を光学ユニットから車両200のフロントガラス201に向けて投射する。プロジェクタユニット1は、投射するレーザ光300をさらに走査することにより、投射画像をユーザの視野内に重ねて表示する。なお、図1において、一点鎖線の矢印400は車両200の運転席に座っているユーザの視線を示している。また、HUD装置100は、車両200に限らず、他の乗り物(例えば航空機等)に搭載されてもよい。
図1に示すように、フロントガラス201の内面にはコンバイナ110が貼り付けられている。このコンバイナ110は、プロジェクタユニット1の投射像をユーザの視野内に表示するための被投射部材であり、たとえばハーフミラーなどの半透過性の反射材料を用いて形成されている。走査されたレーザ光300がプロジェクタユニット1からコンバイナ110に投射されることによって、コンバイナ110の投射面111に虚像が形成される。このために、車両200の前方(すなわち視線400の方向)を見ているユーザは、車両200の前方の外界像と、プロジェクタユニット1から投射される投射画像とを同時に視認することができる。
次に、プロジェクタユニット1について説明する。図2は、プロジェクタユニット1の構成例を示すブロック図である。図3は、光学ユニットの構成例を示す概念図である。
プロジェクタユニット1は、レーザ光300を投射面111に投射して、該投射面111に画像をフレーム単位で表示する光投射装置であり、レーザ光300を出射する光学ユニットと、光学系ハウジング40と、を備えている。光学系ハウジング40は、光学ユニットを内部に収容している。また、光学系ハウジング40には、開口41が形成されている。光学ユニットから出射されたレーザ光300は、開口41を通じて光学系ハウジング40の外部に出射される。開口41は、たとえば、ガラス又は透光性の樹脂材料などを用いて形成されている。
光学ユニットは、光源モジュール10と、調光アッテネータ20と、MEMSユニット30とを含んで構成される。
光源モジュール10は、レーザダイオード11a〜11cと、コリメータレンズ12a〜12cと、ビームスプリッタ13a、13bから成る光合成部材13と、プリズム14と、を有する。なお、以下では、レーザダイオード11a〜11cをそれぞれLD(Laser Diode)11a〜11cと呼ぶ。
LD11a〜11cは、レーザ光300を出射する光源の一例であり、後述するLEDドライバ53から出力された光出力信号に基づいて該光出力信号に応じた光量のレーザ光をそれぞれ出力する。なお、本実施形態では、各LD11a〜11cに出力される光出力信号はそれぞれ各LD11a〜11cに供給される駆動電流Iである。LD11aは、青色レーザ光を出射する半導体レーザ素子である。LD11bは、緑色レーザ光を出射する半導体レーザ素子である。LD11cは、赤色レーザ光を出射する半導体レーザ素子である。光合成部材13は、LD11a〜11cから出力される各色のレーザ光をレーザ光300に合成し、該レーザ光300をプリズム14に出力する。
LD11aから出射される青色レーザ光はコリメータレンズ12aにより平行光に変換されてビームスプリッタ13aで反射され、ビームスプリッタ13b及びプリズム14を経由して調光アッテネータ20に出力される。LD11bから出射される緑色レーザ光は、コリメータレンズ12bにより平行光に変換されてビームスプリッタ13bで反射され、プリズム14を経由して調光アッテネータ20に出力される。LD11cから出射される赤色レーザ光は、コリメータレンズ12cにより平行光に変換され、ビームスプリッタ13a、13b及びプリズム14を経由して調光アッテネータ20に出力される。
調光アッテネータ20は、レーザ光300の透過率Lpを波長毎に調整して透過させる透過部である。調光アッテネータ20は、偏光フィルタ21a、21b、21cと、ハーフミラー22a、22bと、液晶素子23と、半波長板24と、光量フィルタ25a、25bと、OEIC26a、26bと、を有する。
液晶素子23は、後述する透過制御部63により制御される。具体的には、液晶素子23は、印加される駆動電圧(透過制御部63から出力された制御信号)により駆動制御される。液晶素子23は、入射したレーザ光300の偏光角度を駆動電圧に応じて変化させるとともに、駆動電圧に応じた波長毎の透過率Lpでレーザ光300を透過させる。また、OEIC26a、26bは、フォトダイオードを含んで構成される受光ICである。OEIC26aは、調光アッテネータ20に入力されたレーザ光300の光量を波長毎に検出するための光検出部であり、本実施形態では液晶素子23に入射するレーザ光300の光量を波長毎に検出する。OEIC26bは、調光アッテネータ20が出力するレーザ光300の光量を波長毎に検出するための光検出部であり、本実施形態では液晶素子23を透過したレーザ光300の光量を波長毎に検出する。サーミスタ27は、調光アッテネータ20の温度検出する温度センサであり、特に液晶素子23の素子温度を検出するために設けられている。サーミスタ27の検出結果はコントローラ60に出力される。
光源モジュール10から出射されたレーザ光300のうち、偏光方向が垂直方向Yのレーザ光300が偏光フィルタ21aを透過する。偏光フィルタ21aを透過したレーザ光300の一部(たとえば99%)はハーフミラー22aを透過し、残りの一部(たとえば1%)はハーフミラー22aで反射される。なお、ハーフミラー22aで反射されたレーザ光300の光量は、光量フィルタ25aにて低減され、OEIC26aにて検出される。OEIC26aの検出結果はコントローラ60に出力される。一方、ハーフミラー22aを透過したレーザ光300は、液晶素子23にて所定方向に偏光される。本実施形態では、レーザ光300の偏光角度が90[degree]回転される。
また、レーザ光300が波長毎の透過率Lpで液晶素子23を透過することにより、レーザ光300の光量は調整される。以下では、レーザ光300の光量の調整を「調光」と呼ぶ。図4は、液晶素子23の透過特性の一例を示すグラフである。
なお、透過率Lpは、液晶素子23に入射するレーザ光300の光量に対して、液晶素子23を透過するレーザ光300の光量の比率であり、0以上1.0以下の数値で示される。以下では、たとえば各色(R、G、B)のレーザ光の透過率Lpを総称して、単に「透過率Lp」と呼ぶことがある。また、透過率比は、所定波長の光の透過率Lpを基準とする他の波長の光の透過率Lpの比である。本実施形態では、緑色光Gの透過率Lpを基準としている。すなわち、緑色光Gの透過率Lpに対する赤色光Gの透過率Lpの比を「R透過率比」と呼び、緑色光Gの透過率Lpに対する青色光Bの透過率Lpの比を「B透過率比」と呼ぶ。
また、図4において、実線LRは、液晶素子23に印加される駆動電圧に対する赤色レーザ光Rの透過率Lpの制御値の変化を示す。一点鎖線LGは、液晶素子23に印加される駆動電圧に対する緑色レーザ光Gの透過率Lpの制御値の変化を示す。破線LBは、液晶素子23に印加される駆動電圧に対する青色レーザ光Bの透過率Lpの制御値の変化を示す。ここで、透過率Lpの制御値は、駆動電圧に対応する定常状態における透過率Lpの値である。また、太い実線GRは、液晶素子23に印加される駆動電圧に対するR透過率比の変化を示す。太い破線GBは、液晶素子23に印加される駆動電圧に対するB透過率比の変化を示す。
図4に示すように、液晶素子23の波長毎の透過率Lpの制御値は駆動電圧に応じて変化する。さらに、これらの変化は透過する光の波長毎に異なる。なお、調光アッテネータ20の液晶素子23においてレーザ光300が調光制御される具体的な構成は後に説明する。
再び図3に戻って、液晶素子23を透過したレーザ光300のうち、偏光方向が水平方向Xのレーザ光300が偏光フィルタ21bを透過する。偏光フィルタ21bを透過したレーザ光300の一部(たとえば99%)はハーフミラー22bを透過し、残りの一部(たとえば1%)はハーフミラー22bで反射される。なお、ハーフミラー22bで反射されたレーザ光300の波長毎の光量は、光量フィルタ25bにて低減され、OEIC26bにて検出される。OEIC26bの検出結果はコントローラ60に出力される。一方、半波長板24では、ハーフミラー22aを透過したレーザ光300の偏光方向が45[degree]回転される。半波長板24を透過したレーザ光300のうち、偏光方向が45[degree]であるレーザ光300が、偏光フィルタ21cを透過して、MEMSユニット30に出力される。
MEMSユニット30は、集光レンズ31と、ミラー32a、32bと、2軸MEMSミラーデバイス33と、開口341が形成された遮光枠34と、を有する。なお、遮光枠34は、本実施形態では光学系ハウジング40の開口41の縁部の内側において該開口41の縁部に沿って設けられているが、この例示に限定されず、たとえば後述する本体筐体50の光出射口51の縁部の内側において該光出射口51の縁部に沿って設けられてもよい。
調光アッテネータ20から出力されたレーザ光300は、集光レンズ31で収束され、ミラー32a、32bにて順に反射され、2軸MEMSミラーデバイス33に入射する。2軸MEMSミラーデバイス33は揺動可能なミラー部331を有する。ミラー部331は、集光レンズ14からミラー32a、32bを経由して入射したレーザ光300を反射し、投射面111に向けて投射する光投射部材である。ミラー部331から投射されたレーザ光300は、光学系ハウジング40の開口41及び光出射口51を透過してプロジェクタユニット1の外部に出射され、コンバイナ110上の投射面111に投射される。
ここで、投射面111に向けて投射されたレーザ光300は遮光枠34で制限される。遮光枠34は、ミラー部331が表示領域112外に向けて投射するレーザ光300を遮断する光遮断部である。具体的には、ミラー部331から投射されたレーザ光300のうち、遮光枠34の開口341に入射するレーザ光300は該開口341を透過して投射面111の表示領域112に投射される。一方、遮光枠34に投射されるレーザ光300は、投射面111上において表示領域112外のブランキング領域113に向けて投射されており、該遮光枠34にて遮断され、投射面111には投射されない。なお、ブランキング領域113は、投射面111のうちレーザ光300が投射されない領域である。水平方向Xにおいて、表示領域112の幅は投射面111の幅のたとえば80%程度とされ、各ブランキング領域113の幅は投射面111の幅のたとえば10%程度とされる。
また、2軸MEMSミラーデバイス33は、ミラー部331を所定の角度範囲で投射面111上の所定方向と該所定方向と交差する方向とに往復の動作を行わせる光走査部としても機能する。本実施形態では、2軸MEMSミラーデバイス33は、投射面111の水平方向X及び垂直方向Yにミラー部311を揺動することにより、レーザ光300を水平方向X及び垂直方向Yに往復走査することができる。以下では、ミラー部331が所定の角度範囲で一方向(たとえば水平方向X、垂直方向Y)に往復の動作を行うことを「揺動」と表現することがある。また、レーザ光300が往復走査される構成は後に詳述する。
なお、本実施形態では、2軸MEMSミラーデバイス33を用いてレーザ光300を走査しているが、この例示に限定されず、垂直走査用のMEMSミラーデバイスと、水平走査用のMEMSミラーデバイスとを用いてレーザ光300を走査してもよい。言い換えると、MEMSユニット30は、2軸MEMSミラーデバイス33に代えて、投射面111の垂直方向Yに揺動可能なミラー部を有するMEMSミラーデバイスと、投射面111の水平方向Xに揺動可能なミラー部を有するMEMSミラーデバイスと、を有していてもよい。
次に、図2を再び参照して、プロジェクタユニット1の残りの構成を説明する。プロジェクタユニット1はさらに、本体筐体50と、MEMSミラードライバ52と、LDドライバ53と、電源54と、電源制御部55と、操作部56と、入出力I/F57と、記憶部58と、コントローラ60と、を備えている。
本体筐体50は、光学ユニットを収納する光学系ハウジング40、MEMSミラードライバ52、LDドライバ53、電源54、電源制御部55、操作部56、入出力I/F57、記憶部58、及びコントローラ60を収納している。また、本体筐体50には、光出射口51が形成されている。光学系ハウジング40の開口41を透過したレーザ光300はさらに光出射口51を通ってコンバイナ110に出射される。なお、この光出射口51は開口であってもよいが、好ましくは、たとえばガラス又は透光性の樹脂材料などを用いて形成される。こうすれば、本体筐体50の内部への塵埃及び水分(たとえば水滴、水気を含む空気)などの侵入を防止することができる。
MEMSミラードライバ52は、コントローラ60から入力される制御信号に基づいて、2軸MEMSミラーデバイス33を制御する走査制御部である。たとえば、MEMSミラードライバ52は、コントローラ60から出力された水平同期信号に応じて水平方向Xにおけるミラー部331の揺動を制御し、コントローラ60から出力された垂直同期信号に応じて垂直方向Yにおけるミラー部331の揺動を制御する。
LDドライバ53は、各LD11a〜11cを駆動する光源駆動部である。LDドライバ53は、コントローラ60から出力される光制御信号に基づいて光出力信号を生成し、該光出力信号を各LD11a〜11cに出力する。具体的には、LDドライバ53は、光制御信号に基づく駆動電流Iを各LD11a〜11cに出力する。
電源54は、たとえば車両200の蓄電池(不図示)などの電力源から電力の供給を受ける電力供給部である。電源制御部55は、電源54から供給される電力をプロジェクタユニット1の各構成部に応じた所定の電圧値及び電流値に変換し、変換された電力を各構成部に供給する。操作部56は、ユーザの操作入力を受け付ける入力ユニットである。入出力I/F57は外部装置と有線通信又は無線通信するための通信インターフェースである。
記憶部58は、非一過性の記憶媒体であり、たとえば、プロジェクタユニット1の各構成部にて用いられるプログラム及び制御情報などを格納している。また、記憶部58は、投射面111に投射する画像情報、LD11a〜11cに関する光出力テーブル情報、液晶素子23の透過率情報なども格納している。なお、光出力テーブル情報には、OEIC26a、26bで検出された波長毎の光量の検出値に対応するLD11a〜11cの光出力及び駆動電流Iの値などが示されている。また、透過率情報は、液晶素子23の波長毎の透過率Lpの経時変化を示す情報であり、透過率Lpの制御値が変更された時点からの経過時間に応じた波長毎の透過率Lpの変化を示す。なお、過渡状態における液晶素子23の波長毎の透過率Lpの変化は、透過率Lpが増加する場合と、透過率Lpが低減する場合とで異なる。そのため、透過率情報が示す波長毎の透過率Lpの変化は、透過率Lpが増加する場合と、透過率Lpが低減する場合とで異なっている。
コントローラ60は、記憶部58に格納されたプログラム及び制御情報などを用いて、プロジェクタユニット1の各構成部を制御する制御部である。コントローラ60は、図2に示すように、画像処理部61と、光制御部62と、透過制御部63と、タイマ64と、取得部65と、検知部66と、を有している。
画像処理部61は、記憶部58に格納されたプログラム、入出力I/F57から入力される情報、及び記憶部58に格納された情報などに基づく画像情報を生成する。画像処理部61はさらに、生成した画像情報を赤色(R)、緑色(G)、青色(B)の3色の画像データに変換する。変換された3色の画像データは光制御部62に出力される。
光制御部62は、光出力信号をLDドライバ53から各LD11a〜11cに出力することにより、LD11a〜11cを制御する。具体的には、光制御部62は、3色の画像データに基づいてLD11a〜11cの各光制御信号を生成する。たとえばLD11aの場合、光制御部62は、青色(B)用の画像データに基づいてLD11aの光出力Pを決定し、LD11aの光出力特性(たとえば図5参照)に基づいてLD11aの駆動電流Iを決定する。そして、光制御部62は、駆動電流Iを示す光制御信号を生成してLDドライバ53に出力する。なお、他のLD11b、11cの場合も同様であるため、それらの説明は省略する。
また、光制御部62は、光制御部62は、レーザ光300の波長毎の透過率Lpの変化を示す透過率情報に基づいて、LD11a〜11cの光量を制御する。より具体的には、光制御部62は、レーザ光300の波長毎の透過率Lpの制御値が変更された時点からの経過時間、及び、該経過時間に応じた波長毎の透過率Lpの変化を示す透過率情報に基づいて、上記の経過時間におけるLD11a〜11cの光出力信号をそれぞれ決定及び生成して出力する。
透過制御部63は、レーザ光300の波長毎の透過率Lpを制御する。具体的には、透過制御部63は、調光アッテネータ20に制御信号を出力することによって、調光アッテネータ20を透過するレーザ光300の波長毎の透過率Lpの制御値を変更する。本実施形態では、透過制御部63は、液晶素子23に印加する駆動電圧を変更することにより、液晶素子23を透過するレーザ光300の波長毎の透過率Lpの制御値(図4参照)を変更している。
タイマ64は、現在時刻、及び所定の時点から経過した時間などの計時を行う計時部である。たとえば、タイマ64は、透過率Lpの制御値が変更された時点からの経過時間を計時する。
取得部65は、光制御部62が各LD11a〜11cに出力する光出力信号と、OEIC26a、26bの検出結果とに基づいて、たとえば投射面111に表示される画像のフレーム間のブランキング期間にて、LD11a〜11cの各光出力特性を取得する。なお、各光出力特性の取得方法は特に限定しない。たとえば、LD11aを異なる所定の光量で複数回発光させる。そして、各発光の際にLD11aに出力された光出力制御信号と、各発光の際にOEIC26a又はOEIC26bで検出された青色レーザ光の光量とに基づいて、図5のようなLD11aの光出力特性曲線を作成できる。LD11b、11cの各光出力特性曲線も同様に作成できる。
検知部66は、OEIC26a、26bの各検出結果に基づいて液晶素子23を透過するレーザ光300の波長毎の透過率Lpを検知する。つまり、検知部66は、上記検出結果に基づいて調光アッテネータ20の波長毎の透過率Lpを検知している。
次に、レーザ光300が往復走査される構成を具体的に説明する。図6Aは、レーザ光300の往復走査を示す概念図である。また、図6Bは、ミラー部331の水平駆動及び垂直駆動の一例を示すグラフである。図6A及び図6Bにおいて、トレース期間は、レーザ光300が垂直方向Yの下方に走査され且つ水平方向Xにジグザグに往復走査される期間である。また、リトレース期間は、仮想のレーザ光300が垂直方向Yの上方に走査され且つ水平方向Xにジグザグに往復走査される期間である。
図6Aの実線は、トレース期間において、ミラー部331から投射されて表示領域112で走査されるレーザ光300の光スポットの軌跡を示す。図6Aの破線は、トレース期間において、ミラー部331からレーザ光300が投射面111のブランキング領域113に投射されたと仮定した場合にブランキング領域113で走査される仮想のレーザ光300の光スポットの軌跡を示す。図6Aの一点鎖線は、リトレース期間において、ミラー部331からレーザ光300が投射面111に投射されたと仮定した場合に投射面111で走査される仮想のレーザ光300の光スポットの軌跡を示す。つまり、リトレース期間は、仮想の光スポットが表示領域112の初期位置に戻るのに要する帰還期間でもある。また、図6Bにおいて、実線の波形はミラー部331の水平駆動(すなわち水平方向Xでの揺動)を示し、破線の波形はミラー部331の垂直駆動(すなわち垂直方向Yでの揺動)を示す。また、実線の波形の上下幅はミラー部331の水平駆動の角度範囲θhを示し、破線の波形の上下幅はミラー部331の垂直駆動の角度範囲θvを示す。
図6Bに示すように、ミラー部331における垂直方向Yの揺動の角度範囲θv及び水平方向Xの揺動の角度範囲θhはともに一定である。図6A及び図6Bに示すように、ミラー部331が角度範囲θvで垂直方向Yに揺動(往復の動作)されることにより、レーザ光300は投射面111において垂直方向Yに往復走査される。また、レーザ光300が垂直方向Yの下方又は上方に走査される期間に、ミラー部331が角度範囲θhで水平方向Xに揺動(往復の動作)されることにより、レーザ光300は投射面111において水平方向Xに往復走査される。すなわち、レーザ光300の走査は、垂直方向Yの下方に向かうジグザグの往復動作と、垂直方向Yの上方に向かうジグザグの往復動作とを交互に行う。
トレース期間では、ミラー部331は角度範囲θvで垂直方向Yの下方に傾動されるとともに、角度範囲θhで水平方向Xに揺動される。ミラー部331で反射されたレーザ光300は投射面111の垂直方向Yの下方に向かってジグザグに往復走査される。この際、ブランキング領域113に向かって投射されるレーザ光300は遮光枠34で遮断される。従って、投射面111において、表示領域112には、レーザ光300の光スポットが垂直方向Yの下方に向かってジグザグに往復走査されて画像を形成する。一方、ブランキング領域113には、レーザ光300が投射されず、図6Aの破線のように仮想の光スポットが垂直方向Yの下方に向かってジグザグに往復走査される。このように、トレース期間は、表示領域112に画像が表示される描画期間と、画像が表示されないブランキング期間とで構成される。
リトレース期間では、ミラー部331は角度範囲θvで垂直方向Yの上方に傾動されるとともに、角度範囲θhで水平方向Xに揺動される。リトレース期間では、通常、LD11a〜11cからレーザ光300は出力されないため、図6Aの一点鎖線のように仮想の光スポットが垂直方向Yの上方に向かってジグザグに往復走査される。但し、仮想の光スポットがブランキング領域113にある場合に、各LD11a〜11cが個別に所定の光出力で順に発光して、取得部65によって光出力特性が取得される。たとえば、図6Aでは、仮想の光スポットが領域113aに位置する際に、LD11aが発光して、LD11aの光出力特性が取得される。また、仮想の光スポットが領域113bに位置する際に、LD11bが発光して、LD11bの光出力特性が取得される。また、仮想の光スポットが領域113cに位置する際に、LD11cが発光して、LD11cの光出力特性が取得される。
次に、調光アッテネータ20においてレーザ光300が調光制御される構成について、比較例と実施例とを挙げて説明する。なお、本実施形態の比較例及び実施例では、調光アッテネータ20でのレーザ光300の調光制御により、表示領域112に表示する画像の輝度を低下させている。
(比較例)
まず、比較例を説明する。図7は、比較例に係るレーザ光300の調光制御を示す。なお、図7において、最上段のグラフは、投射面111に画像がフレーム単位で表示されるタイミングを示している。描画期間では、レーザ光300の走査により表示領域112に画像の各フレームが形成されて表示される。各描画期間の間のブランキング期間では、表示領域112に画像が形成されず、仮想のレーザ光300の光スポットが所定位置に帰還する。また、上から2段目のグラフは、液晶素子23を透過するレーザ光300の波長毎の透過率Lpの経時変化を例示している。なお、図7では、赤色レーザ光が入射した場合を例示している。緑色レーザ光の経時変化及び青色レーザ光の経時変化も同様であるため、これらの図示は省略している。また、上から3段目のグラフは、プロジェクタユニット1が投射面111に投射するレーザ光300のXYZ表色系での色度の経時変化を例示している。なお、XYZ表色系では、X値及びY値が定まると、Z値も定まる。そのため、Z値の図示は省略している。また、最下段のグラフは、LD11a〜11cから出力される各色R、G、Bのレーザ光の各光量の経時変化を例示している。なお、これらのことは、後述する他の図8〜13でも同様である。
比較例では、図7に示すように、各ブランキング期間中の各時点ta、tb、tcにおいて、APC(auto power control)が行われる。すなわち、LD11a〜11cの光出力特性が取得されるとともに、取得した光出力特性に基づくLD11a〜11cの光出力制御が実施される。
また、時点taでは、レーザ光300の調光が開始され、液晶素子23に印加する駆動電圧を低減することにより、液晶素子23の透過率Lpが制御値Lp1から制御値Lp2に低減される。一方、液晶素子23の透過率Lpが制御値Lp2になるまでに要する応答時間(たとえば5〜100[ms]程度)はブランキング期間(たとえば1〜3[ms])と比べても長い。そのため、液晶素子23の透過率Lpは所定の応答速度で時点tcまで徐々に変化している。
ここで、比較例では、LD11a〜11cの光出力制御は各時点ta、tb、tc以外では実施されない。そのため、各描画期間でのLD11a〜11cの光出力は一定であり、調光アッテネータ20に入射するレーザ光300の各色での光量も一定である。一方、駆動電圧に対応する液晶素子23の透過率Lpは波長毎に異なり(図4参照)、その応答速度(透過率Lpの変化率)も波長毎に異なる。そのため、時点ta〜時点tc間では、図7に示すように、投射面111に投射されるレーザ光300の色度に偏差が生じて、レーザ光300のホワイトバランスが崩れる。また、色度の偏差は、時点ta、tb、tcでAPCにより補正されるが、各時点ta、tb、tc間の描画期間では経時的に大きくなる。すなわち、レーザ光300のホワイトバランスの変化は経時的に増大し、各描画期間にて表示される画像の色合いは描画開始から描画終了にかけて変化してしまう。このように、比較例では、レーザ光300を調光する際、ホワイトバランスが崩れて、画像の色度の偏差を所定の許容範囲内に維持できない。
(実施例)
次に、本実施形態での実施例を説明する。図8は、第1実施形態の実施例に係るレーザ光300の調光制御の一例を示す。実施例では、図8に示すように、各ブランキング期間中の各時点t2a、t2b、t2cにおいて、LD11a〜11cの光出力特性が取得される。
また、レーザ光300の調光が開始される時点t1では、液晶素子23に印加する駆動電圧を低減することにより、液晶素子23の透過率Lpが制御値Lp1から制御値Lp2(<Lp1)に低減される。一方、前述のように、液晶素子23の応答時間(たとえば5〜100[ms]程度)はブランキング期間と比べても長い。そのため、液晶素子23の透過率Lpは所定の応答速度で時点t2cまで徐々に低下する。
ここで、実施例では、LD11a〜11cの光出力制御が各時点t2a、t2b、t2c間(特に描画期間)でも実施される。具体的には、透過率Lpの制御値が変更された時点t1からの経過時間、記憶部58に格納された透過率情報、及び、フレームの描画期間前の時点t2a、t2b、t2cで取得された光出力特性に基づいて、光制御部62により、経過時間におけるLD11a〜11cの駆動電流Iがそれぞれ決定される。これにより、フレームの描画期間におけるLD11a〜11cの光量が制御される。たとえば、フレーム#1の描画期間では時点t1からの経過時間及び透過率情報に基づいて、過渡状態の液晶素子23の透過率Lpが予測される。そして、予測された透過率Lpと時点t2aで取得された光出力特性とに基づいて、フレーム#1の描画期間におけるLD11a〜11cの駆動電流Iがそれぞれ決定される。そのため、フレーム#1の描画期間において、投射面111に投射されるレーザ光300の色度の偏差は補正されるので、レーザ光300のホワイトバランスの変化を精度良く抑制又は防止できる。従って、各描画期間にて表示される画像の色合いの変化を抑制又は防止できる。よって、実施例では、レーザ光300を調光する際に、画像の色度の偏差を所定範囲内に維持できる。
なお、図8では、レーザ光300の調光が開始される時点t1は光出力特性が取得される時点t2aと同じになっているが、この例示に限定されず、時点t1は時点t2aとは異なっていてもよい。すなわち、時点t1は、時点t2aよりも前であってもよいし、時点t2aよりも後であってもよい。このことは、後述する他の図9及び図10でも同様である。
また、図8では、画像の輝度を低下させる場合を例示したが、画像の輝度を増大させる場合も同様に制御できる。図9は、第1実施形態の実施例に係るレーザ光300の調光制御の他の一例を示す。図9では、調光アッテネータ20でのレーザ光300の調光により、表示領域112に形成する画像の輝度を増大させている。レーザ光300の調光が開始される時点t1では、液晶素子23に印加する駆動電圧を増加することにより、液晶素子23の透過率Lpが制御値Lp2から制御値Lp1(>Lp2)に増大される。そのため、液晶素子23の透過率Lpは所定の応答速度で時点t1cまで徐々に増加する。このような場合であっても、図8の場合と同様の調光制御により、レーザ光300を調光する際に、画像の色度の偏差を所定範囲内に維持できる。
本実施形態によれば、光制御部62は、互いに波長の異なるレーザ光を出力するLD11a〜11cを駆動電流I(光出力信号)の出力により制御する。調光アッテネータ20は、レーザ光300を波長毎の透過率Lpで透過させる。透過制御部63は、透過率Lpの制御値を液晶素子23に印加する駆動電圧(制御信号)の出力により変更する。光制御部62は、制御値が変更された時点t1からの経過時間、及び、該経過時間に応じた波長毎の透過率Lpの変化を示す透過率情報に基づいて、経過時間におけるLD11a〜11cの駆動電流Iをそれぞれ決定する。
こうすれば、調光アッテネータ20を透過するレーザ光300の波長毎の透過率Lpの制御値が液晶素子23に印加する駆動電圧(制御信号)により変更されると、波長毎の透過率Lpは制御値に向かって徐々に変化する。この際、制御値が変更された時点t1からの経過時間における波長毎の透過率Lpは、経過時間及び透過率情報に基づいて予測できる。そのため、予測した波長毎の透過率Lpを用いたフィードフォワード制御により、経過時間におけるLD11a〜11cの駆動電流Iをそれぞれ決定できる。たとえば、制御値に向かう透過率Lpの変化が波長毎に異なっていても、調光アッテネータ20を透過した光の波長毎の光量比を変化させることなく、調光アッテネータ20を透過したレーザ光300の光量を変化させることができる。すなわち、経過時間に生じる波長毎の光の色度の偏差をフィードフォワード制御により補正できるので、ホワイトバランスの変化を精度良く抑制又は防止して、調光アッテネータ20を透過したレーザ光300の光量の調整(いわゆる調光)をすることができる。よって、調光アッテネータ20を透過したレーザ光300の色度の偏差を所定範囲内に抑えつつ、該レーザ光300の光量を調整することができる。
以上に、第1実施形態を説明した。本実施形態のプロジェクタユニット1は、互いに波長の異なるレーザ光300を出力するLD11a〜11c(複数の光源)と、LD11a〜11cを制御する光制御部62(制御部)と、レーザ光300の透過率Lpを波長毎に調整する調光アッテネータ20(透過部)と、透過率Lpを制御する透過制御部63と、を備える。光制御部62は、波長毎の透過率Lpの変化を示す透過率情報に基づいて、LD11a〜11cの光量を制御する。
この構成によれば、調光アッテネータ20(透過部)を透過するレーザ光300の波長毎の透過率がLp調整されると、波長毎の透過率Lpは調整された値に向かって徐々に変化する。この際、変化する波長毎の透過率Lpは、透過率情報に基づいて予測できる。そのため、予測した波長毎の透過率Lpを用いたフィードフォワード制御により、LD11a〜11c(複数の光源)から出力されるレーザ光300の光量を制御できる。たとえば、透過率Lpの変化が波長毎に異なっていても、調光アッテネータ20を透過したレーザ光300の波長毎の光量比を変化させることなく、調光アッテネータ20を透過したレーザ光300の光量を変化させることができる。すなわち、変化中の波長毎のレーザ光300の色度の偏差をフィードフォワード制御により補正できるので、ホワイトバランスの変化を精度良く抑制又は防止して、調光アッテネータ20を透過したレーザ光300の光量の調整(いわゆる調光)をすることができる。よって、調光アッテネータ20を透過したレーザ光300の色度の偏差を所定範囲内に抑えつつ、該レーザ光300の光量を調整することができる。
また、調光アッテネータ20(透過部)は、透過制御部63により制御される液晶素子23を有し、LD11a〜11c(複数の光源)から出力されたレーザ光300は、波長毎の透過率Lpで液晶素子23を透過する。
この構成によれば、色度の偏差を所定範囲内に維持しつつ、液晶素子23を透過するレーザ光300の光量を制御することができる。
また、プロジェクタユニット1は、LD11a〜11c(複数の光源)から出力されたレーザ光300を投射面111に投射して、投射面111に画像をフレーム単位で表示するプロジェクタユニット1(光投射装置)であって、画像のフレーム間の期間にてLD11a〜11cの光出力特性を取得する取得部65をさらに備える。光制御部62は、さらにフレームの描画期間前の時点t2a、t2b、t2c(第1時点)で取得された光出力特性に基づいて、フレームの描画期間におけるLD11a〜11c(複数の光源)の光量を制御する。
この構成によれば、投射面111に表示される画像のフレームの描画期間前の時点t2a、t2b、t2c(第1時点)で光出力特性が取得される。そして、さらに該光出力特性に基づいて、時点t2a、t2b、t2c(第1時点)後のフレームの描画期間におけるLD11a〜11c(複数の光源)の光量を制御できる。従って、調光アッテネータ20(透過部)を透過したレーザ光300の光量を調整(調光)する際での該レーザ光300のホワイトバランスの制御精度を向上できる。よって、色度の偏差を所定範囲内により精度良く抑えつつ、投射面111に表示される画像の輝度を調整することができる。
また、透過率情報が示す波長毎の透過率Lpの変化は、透過率Lpが増加する場合と、透過率Lpが低減する場合とで異なる。
この構成によれば、調光アッテネータ20の透過率Lpの変化が増加する場合と低減する場合とで異なっていても、透過率情報を用いて調光アッテネータ20を透過するレーザ光300の光量を好適に精度良く制御することができる。
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態では、さらに過渡状態での調光アッテネータ20(特に液晶素子23)の温度の検出結果に基づいて、各フレームの描画期間におけるLD11a〜11cの光出力制御が実施される。以下では、第1実施形態と異なる構成について説明する。また、第1実施形態と同様の構成部には同じ符号を付し、その説明を省略する。
図10は、第2実施形態に係るレーザ光300の調光制御の一例を示す。なお、図10は液晶素子23の素子温度が比較的高い場合での調光制御を示しているが、素子温度が比較的低い場合での調光制御も同様に実施できる。
駆動電圧に対する液晶素子23の応答速度は素子温度に比例する。すなわち、素子温度が高くなると、図10のように透過率Lpが制御値Lp2になるまでの応答時間は短くなる。一方、素子温度が低くなると、透過率Lpの応答時間は長くなる。そのため、記憶部58に格納された透過率情報は、透過率Lpの制御値が変更された時点t1からの経過時間に応じた波長毎の透過率Lpの温度特性に関する温度特性情報を含んでいる。温度特性情報は、たとえば、経過時間に応じた波長毎の透過率Lpの温度毎に示す情報であってもよい。或いは、温度特性情報は、所定の基準温度において経過時間に応じた波長毎の透過率Lpを実際の素子温度に基づいて補正する情報であってもよい。
図10では、時点t1からの経過時間、透過率情報、時点t2a、t2b、t2cで取得された光出力特性、及び、サーミスタ27の検出結果に基づいて、時点t1からの経過時間におけるLD11a〜11cの駆動電流Iがそれぞれ決定及び生成されて出力される。これにより、LD11a〜11cの光量が制御される。たとえば、フレーム#1の描画期間では時点t1からの経過時間、サーミスタ27の検出結果に基づく液晶素子23の素子温度、及び、温度特性情報を含む透過率情報に基づいて、過渡状態の液晶素子23の透過率Lpが予測される。そして、予測された透過率Lpと時点t2aで取得された光出力特性とに基づいて、フレーム#1の描画期間におけるLD11a〜11cの駆動電流Iがそれぞれ決定される。
以上に、本発明の第2実施形態を説明した。本実施形態では、プロジェクタユニット1は、調光アッテネータ20(透過部)の温度を検出するサーミスタ27(温度センサ)をさらに備え、透過率情報は、透過率Lpの温度特性に関する情報を含み、光制御部62(制御部)は、さらにサーミスタ27の検出結果に基づいて、LD11a〜11c(複数の光源)の光量を制御する。
この構成によれば、調光アッテネータ20(透過部)を透過するレーザ光300の波長毎の透過率Lpの変化が調光アッテネータ20の温度によって異なる場合であっても、さらにサーミスタ27の検出結果に基づいて、調光アッテネータ20を透過するレーザ光300の光量を制御することができる。
<第3実施形態>
次に、第3実施形態について説明する。第3実施形態では、OEIC26a、26bの検出結果に基づいて、液晶素子23の実際の透過率Lpを測定する。また、フレーム#1の描画期間の前後の各ブランキング期間における透過率Lpの測定結果に基づいて、透過率Lpの応答速度を検知する。そして、その検知結果が次のフレームの描画期間におけるLD11a〜11cの光出力制御に反映される。以下では、第1及び第2実施形態と異なる構成について説明する。また、第1及び第2実施形態と同様の構成部には同じ符号を付し、その説明を省略する。
図11は、第3実施形態に係るレーザ光300の調光制御の一例を示す。図11では、各ブランキング期間中の各時点t3(=t1)、t2b、t2cにおいて、LD11a〜11cの光出力特性が取得される。フレーム#1の描画期間では、時点t1からの経過時間、透過率情報、及び、時点t3で取得された光出力特性に基づいて、LD11a〜11cの駆動電流Iがそれぞれ決定される。
また、フレーム#1の描画期間の前のブランキング期間における時点t3と、フレーム#1の描画期間の後のブランキング期間における時点t2bとにおいて、光制御部62は、LD11a〜11cからたとえばフレーム#1の描画期間と同じ光出力のレーザ光を出力させる。検知部66は、時点t3及び時点t2bにおけるOEIC26a、26bの検出結果に基づいて、液晶素子23の実際の透過率Lpを波長毎に検知する。検知部66はさらに、時点t3及び時点t2bにおける検知結果に基づいて、フレーム#1の描画期間における透過率Lpの変化率(すなわち応答速度)を波長毎に検知する。光制御部62は、検知された変化率と透過率情報が示す液晶素子23の透過率Lpの変化率とを比較する。そして、両者のずれ量が閾値以上であれば、光制御部62は、透過率Lpの変化率の検知結果をフレーム#2の描画期間におけるLD11a〜11cの光出力制御に反映する。
すなわち、光制御部62は、フレーム#2の描画期間では、時点t1からの経過時間、透過率情報が示す経過時間に対応する透過率Lp、時点t2bで取得された光出力特性、及び、透過率Lpの変化率の検知結果に基づいて、フレーム#2の描画期間におけるLD11a〜11cの駆動電流Iをそれぞれ決定して生成し出力する。これにより、LD11a〜11cの光量が制御される。この際、光制御部62は、両者のずれ量が所定値以上である場合、フレーム#2の描画期間において、透過率情報が示す液晶素子23の透過率Lpの変化率(応答速度)に両者のずれ量をオフセットする。たとえば、検知部66は、時点t2bにおける実際の透過率Lpと透過率情報が示す透過率Lpとの差を検知する。そして、光制御部62は、時点t2b以降の経過時間において、経過時間、透過率情報が示す経過時間に対応する透過率Lpと上記差との和、及び、時点t2bで取得された光出力特性に基づいて、フレーム#2の描画期間におけるLD11a〜11cの駆動電流Iをそれぞれ決定してもよい。
こうすれば、フレーム#1の描画期間での調光制御で色度の偏差が十分に補正できなくても、透過率Lpの変化率の検知結果と透過率情報が示す透過率Lpの応答速度との間のずれ量をさらに考慮して、フレーム#2の描画期間での調光制御を最適化できる。よって、図11に示すようにフレーム#2の描画期間での色度の偏差を改善できる。
なお、図11では、レーザ光300の調光が開始される時点t1は光出力特性が取得される時点t3と同じになっているが、この例示に限定されず、時点t1は時点t3よりも前であってもよい。すなわち、時点t3は、時点t1以後であり、且つ、時点t2よりも前であればよい(t1≦t3<t2)。
以上に、本発明の第3実施形態を説明した。これらの実施形態では、プロジェクタユニット1は、調光アッテネータ20(透過部)に入力されたレーザ光300の光量を波長毎に検出するOEIC26a(第1光検出部)と、調光アッテネータ20が出力するレーザ光300の光量を波長毎に検出するOEIC26b(第2光検出部)と、OEIC26aの検出結果とOEIC26bの検出結果とに基づいて調光アッテネータ20の波長毎の透過率Lpを検知する検知部66と、をさらに備える。
この構成によれば、時点t3(t1≦t3<t2b;第3時点)及び時点t1(第2時点)での実際の波長毎の透過率LpをOEIC26a(第1光検出部)の検出結果とOEIC26b(第2光検出部)の検出結果とに基づいて測定できる。また、時点t3(第3時点)及び時点t1(第2時点)における測定結果から波長毎の透過率Lpの変化率(すなわち応答速度)を検知できる。
また、検知部66はさらに、透過率Lpが変更された時点t1(第2時点)以後且つ時点t2b(第1時点)よりも前の時点t3(t1≦t3<t2b;第3時点)での透過率Lpの検知結果と、時点t1(第2時点)での透過率Lpの検知結果とに基づいて、透過率Lpの変化率を検知し、光制御部62(制御部)は、さらに変化率の検知結果に基づいて、フレーム#2の描画期間におけるLD11a〜11c(複数の光源)の光量を制御する。
この構成によれば、さらに検知した変化率に基づいて、時点t2b(第1時点)後のフレーム#2の描画期間におけるLD11a〜11c(複数の光源)の光量を制御できる。従って、時点t2b(第1時点)後のフレーム#2の描画期間において、調光アッテネータ20(透過部)を透過したレーザ光300の光量を調整(調光)する際での該レーザ光300のホワイトバランスの制御精度をさらに向上できる。
<第4実施形態>
次に、第4実施形態について説明する。第4実施形態では、同じブランキング期間内の異なる時点t3、t2aにおいて液晶素子23の実際の透過率Lpを測定する。また、時点t3、t2aでの測定結果に基づいて、透過率Lpの変化率(すなわち応答速度)を検知する。そして、その検知結果が次のフレームの描画期間におけるLD11a〜11cの光出力制御に反映される。以下では、第1〜第3実施形態と異なる構成について説明する。また、第1〜第3実施形態と同様の構成部には同じ符号を付し、その説明を省略する。
図12は、第4実施形態に係るレーザ光300の調光制御の一例を示す。図12では、各ブランキング期間中の各時点t3、t2b、t2cにおいて、LD11a〜11cの光出力特性が取得される。なお、フレーム#1の描画期間前のブランキング期間では、時点t2aにおいてLD11a〜11cの光出力特性が取得されてもよい。
また、フレーム#1の描画期間前の同じブランキング期間の時点t2aと該時点t2aよりも前の時点t3とにおいて、光制御部62は、LD11a〜11cからたとえばフレーム#1の描画期間と同じ光出力のレーザ光を出力させる。検知部66は、時点t3及び時点t2aにおけるOEIC26a、26bの検出結果に基づいて、液晶素子23の実際の透過率Lpを波長毎に検知する。検知部66はさらに、時点t3及び時点t2aにおける検知結果に基づく透過率Lpの変化率(すなわち応答速度)を波長毎に検知する。光制御部62は、検知された変化率と透過率情報が示す液晶素子23の透過率Lpの経時変化とを比較する。そして、両者のずれ量が閾値以上であれば、光制御部62は、第3実施形態と同様に、透過率Lpの変化率の検知結果を時点t2aよりも後の描画期間(たとえばフレーム#1、#2、・・・の各描画期間)におけるLD11a〜11cの光出力制御に反映する。
なお、実際の透過率Lpの変化率の検知値と透過率情報が示す値とのずれ量の検知及びその検知結果を考慮した光出力制御は、図12ではフレーム#1の描画期間前のブランキング期間で実施されているが、この例示に限定されない。ずれ量の検知及びその検知結果を考慮した光出力制御は、図13に示すように各フレームの描画期間前のブランキング期間で実施されてもよい。
また、図12では、レーザ光300の調光が開始される時点t1は光出力特性が取得される時点t3と同じになっているが、これらの例示に限定されず、時点t1は時点t3よりも前であってもよい。すなわち、時点t3は、時点t1以後であり、且つ、時点t2aよりも前であればよい(t1≦t3<t2a)。また、図13も同様である。
以上に、本発明の第4実施形態を説明した。本実施形態では、時点t2a(第1時点)及び時点t3(第3時点)は画像のフレーム間の同じブランキング期間内である。
この構成によれば、画像のフレーム間の同じブランキング期間内の時点t2a(第1時点)及び時点t3(第3時点)で実際に測定された波長毎の透過率Lpに基づいて、波長毎の透過率Lpの変化率(すなわち応答速度)を検知できる。そして、上記の同じブランキング期間後のフレームの描画期間におけるLD11a〜11c(複数の光源)の光量を制御できる。従って、たとえば投射面111に表示される画像の最初のフレームから、該フレームの描画期間におけるLD11a〜11cの光量を制御できる。よって、投射面111に表示される画像の輝度の調整を最初のフレームから行うことができる。
以上、本発明の実施形態について説明した。なお、上述の実施形態は例示であり、その各構成要素や各処理の組み合わせに色々な変形が可能であり、本発明の範囲にあることは当業者に理解されるところである。
たとえば、上述の第1〜第7実施形態において、HUD装置100は、プロジェクタユニット1を備え、走査レーザ光300によりフロントガラス201の内面に画像を表示する構成であってもよい。すなわち、HUD装置100はコンバイナ110を備えず、フロントガラス201の内面が投射面111とされてもよい。
また、上述の第1〜第4実施形態は、特に矛盾が生じない限り、組み合わせて実施することが可能である。
100 ヘッドアップディスプレイ装置(HUD装置)
110 コンバイナ
111 投射面
112 表示領域
113 ブランキング領域
120a、120b 光センサ
200 車両
201 フロントガラス
300 レーザ光
400 ユーザの視線
1 プロジェクタユニット
10 光源モジュール
11a〜11c レーザダイオード(LD)
12a〜12c コリメータレンズ
13 光合成部材
13a、13b ビームスプリッタ
14 プリズム
20 調光アッテネータ
21a、21b、21c 偏光フィルタ
22a、22b ハーフミラー
23 液晶素子
24 半波長板
25a、25b 光量フィルタ
26a、26b OEIC
27 サーミスタ
30 MEMSユニット
31 集光レンズ
32a、32b ミラー
33 2軸MEMSミラーデバイス
331 光反射部
34 遮光枠
341 開口
342 遮光面
40 光学系ハウジング
41 開口
50 本体筐体
51 光出射口
52 MEMSミラードライバ
53 LDドライバ
54 電源ユニット
55 電源制御部
56 操作部
57 入出力I/F
58 記憶部
60 コントローラ
61 画像処理部
62 光制御部
63 透過制御部
64 タイマ
65 取得部
66 検知部

Claims (9)

  1. 互いに波長の異なる光を出力する複数の光源と、
    前記光源を制御する制御部と、
    前記光の透過率を波長毎に調整する透過部と、
    前記透過率を制御する透過制御部と、を備え、
    前記制御部は、波長毎の前記透過率の変化を示す透過率情報に基づいて、複数の前記光源の光量を制御することを特徴とする光投射装置。
  2. 前記透過部は、前記透過制御部により制御される液晶素子を有し、
    複数の前記光源から出力された前記光は、波長毎の前記透過率で前記液晶素子を透過することを特徴とする請求項1に記載の光投射装置。
  3. 複数の前記光源から出力された前記光を投射面に投射して、前記投射面に画像をフレーム単位で表示する光投射装置であって、
    前記画像のフレーム間の期間にて複数の前記光源の光出力特性を取得する取得部をさらに備え、
    前記制御部は、さらに前記フレームの描画期間前の第1時点で取得された前記光出力特性に基づいて、前記フレームの前記描画期間における複数の前記光源の前記光量を制御することを特徴とする請求項1又は請求項2に記載の光投射装置。
  4. 前記透過部に入力された前記光の光量を波長毎に検出する第1光検出部と、
    前記透過部が出力する前記光の光量を波長毎に検出する第2光検出部と、
    前記第1光検出部の検出結果と前記第2光検出部の検出結果とに基づいて前記透過部の波長毎の前記透過率を検知する検知部と、
    をさらに備えることを特徴とする請求項3に記載の光投射装置。
  5. 前記検知部はさらに、前記透過率が変更された第2時点以後且つ前記第1時点よりも前の第3時点での前記透過率の検知結果と、前記第1時点での前記透過率の検知結果とに基づいて、前記透過率の変化率を検知し、
    前記制御部は、さらに前記変化率の検知結果に基づいて、前記フレームの前記描画期間における複数の前記光源の前記光量を制御することを特徴とする請求項4に記載の光投射装置。
  6. 前記第1時点及び前記第3時点は前記画像のフレーム間の同じ期間内であることを特徴とする請求項5に記載の光投射装置。
  7. 前記透過部の温度を検出する温度センサをさらに備え、
    前記透過率情報は、前記透過率の温度特性に関する情報を含み、
    前記制御部は、さらに前記温度センサの検出結果に基づいて、複数の前記光源の前記光量を制御することを特徴とする請求項1〜請求項6のいずれかに記載の光投射装置。
  8. 前記透過率情報が示す波長毎の前記透過率の変化は、前記透過率が増加する場合と、前記透過率が低減する場合とで異なることを特徴とする請求項1〜請求項7のいずれかに記載の光投射装置。
  9. 前記透過率情報は、前記透過率が変更されてからの経過時間に応じた波長毎の前記透過率の変化を示し、
    前記制御部は、前記透過率情報に基づいて前記経過時間における複数の前記光源の前記光量を制御することを特徴とする請求項1〜請求項8のいずれかに記載の光投射装置。
JP2016216098A 2016-11-04 2016-11-04 光投射装置 Active JP6848354B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016216098A JP6848354B2 (ja) 2016-11-04 2016-11-04 光投射装置
US15/799,715 US10523908B2 (en) 2016-11-04 2017-10-31 Light projection device
EP17199750.5A EP3318917B1 (en) 2016-11-04 2017-11-02 Light projection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016216098A JP6848354B2 (ja) 2016-11-04 2016-11-04 光投射装置

Publications (2)

Publication Number Publication Date
JP2018072758A true JP2018072758A (ja) 2018-05-10
JP6848354B2 JP6848354B2 (ja) 2021-03-24

Family

ID=60293733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016216098A Active JP6848354B2 (ja) 2016-11-04 2016-11-04 光投射装置

Country Status (3)

Country Link
US (1) US10523908B2 (ja)
EP (1) EP3318917B1 (ja)
JP (1) JP6848354B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3734350A4 (en) * 2017-12-25 2021-04-28 Goertek Technology Co., Ltd. LASER BEAM SCAN DISPLAY DEVICE AND AUGMENTED REALITY GLASSES
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US11276986B2 (en) 2019-02-28 2022-03-15 Microsoft Technologly Licensing, LLC Photo-sensing reflectors for compact display module assembly comprising a reflective coating on a light receiving surface of a reflective photodiode
US10831032B2 (en) * 2019-02-28 2020-11-10 Microsoft Technology Licensing, Llc Photo-sensing reflectors for compact display module assembly

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038892A1 (en) * 2010-08-12 2012-02-16 Kurtz Andrew F Light source modulation for projection
JP2014074818A (ja) * 2012-10-05 2014-04-24 Nippon Seiki Co Ltd レーザー走査型表示装置
JP2014086426A (ja) * 2012-10-19 2014-05-12 Nippon Seiki Co Ltd レーザー出力制御装置及びレーザー走査型表示装置
JP2015184435A (ja) * 2014-03-24 2015-10-22 日本精機株式会社 レーザー光強度調整装置
JP2016006496A (ja) * 2014-05-28 2016-01-14 日本精機株式会社 光源装置及び表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5842419B2 (ja) 2011-07-06 2016-01-13 日本精機株式会社 ヘッドアップディスプレイ装置
JP6213211B2 (ja) * 2013-12-18 2017-10-18 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
CN106560743B (zh) * 2015-10-05 2019-11-19 船井电机株式会社 投射装置
JP2017181933A (ja) * 2016-03-31 2017-10-05 船井電機株式会社 投射装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038892A1 (en) * 2010-08-12 2012-02-16 Kurtz Andrew F Light source modulation for projection
JP2014074818A (ja) * 2012-10-05 2014-04-24 Nippon Seiki Co Ltd レーザー走査型表示装置
JP2014086426A (ja) * 2012-10-19 2014-05-12 Nippon Seiki Co Ltd レーザー出力制御装置及びレーザー走査型表示装置
JP2015184435A (ja) * 2014-03-24 2015-10-22 日本精機株式会社 レーザー光強度調整装置
JP2016006496A (ja) * 2014-05-28 2016-01-14 日本精機株式会社 光源装置及び表示装置

Also Published As

Publication number Publication date
EP3318917A1 (en) 2018-05-09
US20180131911A1 (en) 2018-05-10
US10523908B2 (en) 2019-12-31
JP6848354B2 (ja) 2021-03-24
EP3318917B1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
EP2712194B1 (en) Image display apparatus
JP4582179B2 (ja) 画像表示装置
JP6387589B2 (ja) 画像形成装置、車両、及び画像形成装置の制御方法
JP5842419B2 (ja) ヘッドアップディスプレイ装置
JP6728659B2 (ja) プロジェクタ
US8767023B2 (en) Scanning image display device and method of controlling the same
JP2018072758A (ja) 光投射装置
US20180020198A1 (en) Laser projection display system
US10349018B2 (en) Laser projection display device
EP3327707B1 (en) Light-projecting device
JP2009086366A (ja) 光走査装置、光走査型画像表示装置及び網膜走査型画像表示装置
JP7479123B2 (ja) 制御装置、光走査装置、表示装置及び制御方法
WO2016047464A1 (ja) 照明装置および光源制御方法、ならびに投射型表示装置
JP2012141362A (ja) 画像表示装置
JP5976925B2 (ja) 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP7247805B2 (ja) プロジェクタ装置の製造方法、プロジェクタ装置及びヘッドアップディスプレイ装置
CN110199217B (zh) 显示装置
JP2014059522A (ja) 画像表示装置
JP2014106378A (ja) 画像表示装置
JP2012080286A (ja) 光学装置および画像表示装置
JP2017156547A (ja) 画像表示装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R150 Certificate of patent or registration of utility model

Ref document number: 6848354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150