JP2015118181A - 画像表示装置及びその制御方法 - Google Patents

画像表示装置及びその制御方法 Download PDF

Info

Publication number
JP2015118181A
JP2015118181A JP2013260396A JP2013260396A JP2015118181A JP 2015118181 A JP2015118181 A JP 2015118181A JP 2013260396 A JP2013260396 A JP 2013260396A JP 2013260396 A JP2013260396 A JP 2013260396A JP 2015118181 A JP2015118181 A JP 2015118181A
Authority
JP
Japan
Prior art keywords
image display
counter
line
unit
display position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013260396A
Other languages
English (en)
Other versions
JP2015118181A5 (ja
JP6090147B2 (ja
Inventor
龍也 大原
Tatsuya Ohara
龍也 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2013260396A priority Critical patent/JP6090147B2/ja
Priority to PCT/JP2014/003493 priority patent/WO2015092948A1/ja
Priority to EP14870909.0A priority patent/EP3086548B1/en
Publication of JP2015118181A publication Critical patent/JP2015118181A/ja
Publication of JP2015118181A5 publication Critical patent/JP2015118181A5/ja
Priority to US15/173,282 priority patent/US20160286185A1/en
Application granted granted Critical
Publication of JP6090147B2 publication Critical patent/JP6090147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G02B26/0858Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD the reflecting means being moved or deformed by piezoelectric means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135Driving therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features

Abstract

【課題】走査単位毎の画像のずれを抑えることが可能な画像表示装置及びその制御方法を提供する。【解決手段】画像表示装置100は、レーザー光を出力するRGBレーザーダイオード200と、レーザー光を反射し、水平方向に往復動作する水平スキャナ220と、水平方向のラインごとに動作範囲を検出する走査検出部202と、検出された動作範囲とライン基準値とのずれに基づいて、ラインごとに画像表示位置を決定する描画位置制御部116と、決定された画像表示位置に対応するタイミングで、画像データに基づきRGBレーザーダイオード200を駆動するレーザードライバ140と、を備える。【選択図】図1

Description

本発明は、画像表示装置及びその制御方法に関し、より具体的には、レーザースキャン方式の画像表示装置及びその制御方法に関する。
レーザー光を反射させて走査することで画像を投影表示するレーザースキャン方式の画像表示装置が知られている(例えば、特許文献1)。レーザースキャン方式の画像表示装置は、自動車のウィンドシールドやコンバイナなどに画像を投影表示するHUD(Head Up Display)やプロジェクター等として利用されている。
レーザースキャン方式の画像表示装置では、ミラーを有する光スキャナによりレーザー光を反射させ、光スキャナのミラーを水平方向及び垂直方向に往復揺動させることで、レーザー光を走査している。
特開2007−025522号公報
従来の画像表示装置では、光スキャナによるレーザー光の走査動作を制御するため、フィードバック制御が行われている。例えば、特許文献1では、光スキャナが反射した光を光センサで検出し、フィードバックを行っている。また、他の従来技術では、光スキャナに圧電膜を設けて、この圧電膜により光スキャナの動作を検出し、フィードバックすることも行われている。このような従来の画像表示装置のフィードバック制御では、走査周波数を一定に保つために、光スキャナを駆動する駆動信号の開始タイミングなどが制御されている。
しかしながら、振動や電気的な影響などにより光スキャナの往復動作が変動する場合があり、従来の画像表示装置では、この変動によって水平方向のラインなどの走査単位毎に画像がずれて表示される恐れがあるという問題がある。
そこで、本発明は、光束を出力する光源部と、前記光束を反射し、所定の走査方向に往復動作を繰り返す走査部と、前記往復動作の往路または復路の走査単位ごとに前記走査部の動作範囲を検出する走査検出部と、前記検出された動作範囲と基準範囲とのずれに基づいて、前記走査単位ごとに画像表示位置を決定する表示位置決定部と、前記決定された画像表示位置に対応するタイミングで、画像データに基づき前記光源部を駆動する光源駆動部と、を備える画像表示装置を提供する。
また、本発明は、光束を出力する光源部と、前記光束を反射し、所定の走査方向に往復動作を繰り返す走査部と、を備えた画像表示装置の制御方法であって、前記往復動作の往路または復路の走査単位ごとに前記走査部の動作範囲を検出し、前記検出された動作範囲と基準範囲とのずれに基づいて、前記走査単位ごとに画像表示位置を決定し、前記決定された画像表示位置に対応するタイミングで、画像データに基づき前記光源部を駆動する、画像表示装置の制御方法を提供する。
本発明によれば、走査単位毎の画像のずれを抑えることができる。
実施の形態1に係る画像表示装置の構成例を示す構成図である。 実施の形態1に係る水平スキャナの構成の一例を示す構成図である。 実施の形態1に係る水平スキャナの構成の他の例を示す構成図である。 実施の形態1に係るFPGAの構成例を示すブロック図である。 実施の形態1に係る画像表示装置で用いる信号の例を示す波形図である。 参考例の理想的な往復走査時の動作を説明するための説明図である。 参考例の理想的な往復走査時の動作を説明するための説明図である。 参考例の往復走査変動時の動作を説明するための説明図である。 参考例の往復走査変動時の動作を説明するための説明図である。 実施の形態1に係る往復走査変動時の動作を説明するための説明図である。 実施の形態1に係る往復走査変動時の動作を説明するための説明図である。 実施の形態1に係るライン基準値の設定例を説明するための説明図である。 実施の形態1に係る描画位置制御部の構成例を示すブロック図である。 実施の形態1に係る描画位置制御部の動作例を示すフローチャートである。
(実施の形態1)
以下、図面を参照して本発明の実施の形態1について説明する。
図1は、本実施の形態に係る画像表示装置100の構成を示している。画像表示装置100は、レーザー光を光スキャナにより反射させ、垂直方向及び水平方向に往復走査することにより投影面に画像を表示(描画)するレーザースキャン方式の画像表示装置である。例えば、画像表示装置100は、自動車のウィンドシールドやコンバイナなど画像表示面である投影面に投影画像300を投影し表示する。
図1に示すように、画像表示装置100は、映像入力部101、FPGA(Field Programmable Gate Array)110、マイコン120、フラッシュメモリ131及び132、DDR(Double Data Rate)メモリ133、レーザードライバ140、V軸スキャナドライバ150、H軸スキャナドライバ160、コンパレータ170、RGBレーザーダイオード200、垂直スキャナ210、水平スキャナ220を備えている。なお、表示する画像の垂直方向(縦方向、Y方向)をV(Vertical)軸方向とも称し、画像の水平方向(横方向、X方向)をH(Horizontal)軸方向とも称する。
映像入力部101は、投影面に表示する映像データが入力され、入力された映像データはFPGA110に送出される。この映像データには、R(赤)G(緑)B(青)の3色の色信号が含まれている。例えば、映像入力部101は、カーナビゲーション装置など他の装置で生成された映像が入力されてもよいし、映像入力部101が映像データを生成してもよい。
FPGA110及びマイコン120は、画像表示装置100の制御部102を構成し、画像表示に必要な各種制御を行う。FPGA110及びマイコン120により、レーザードライバ140、V軸スキャナドライバ150、H軸スキャナドライバ160を介して、RGBレーザーダイオード200、垂直スキャナ210、水平スキャナ220の動作を制御し、投影画像300を描画する。なお、FPGA110及びマイコン120の制御動作は、ハードウェア又はソフトウェアのいずれか、もしくはその両方によって実現されてもよい。
FPGA110は、入力される映像データに基づいて、RGBの画像データを1ラインずつ出力し、また、垂直スキャナ210の往復動作を制御するためのV軸駆動信号を生成し、生成したV軸駆動信号を出力する。本実施の形態に係るFPGA110は、後述するように、コンパレータ170から得られる水平スキャナ220のH軸検出パルス信号に基づき、ライン毎の画像のずれを抑えるように画像の描画位置を設定し、設定した位置でレーザードライバ140を駆動させ描画を行う。
マイコン120は、水平スキャナ220の往復動作を制御するためのH軸駆動信号を生成し、生成したH軸駆動信号を出力する。フラッシュメモリ131及び132は、それぞれFPGA110及びマイコン120の動作に必要なデータやプログラムなどを記憶する不揮発性記憶部である。
DDR(Double Data Rate)メモリ133は、FPGA110に入力される映像データを一時的に保存するフレームバッファである。DDRメモリ133は、DDR2やDDR3、その他のSDRAMでもよい。
レーザードライバ140は、FPGA110から供給される画像データに応じて、RGBレーザーダイオード200を駆動する。レーザードライバ140は、FPGA110が決定した画像表示位置に対応するタイミングで、画像データに基づきRGBレーザーダイオード200を駆動する光源駆動部である。RGBレーザーダイオード200は、レーザードライバ140の駆動により、RGBの3色のレーザー光を発光する。RGBレーザーダイオード200は、光束であるレーザー光を出力する光源部である。
V軸スキャナドライバ150は、FPGA110から供給されるV軸駆動信号に応じて、垂直スキャナ210を往復駆動する。H軸スキャナドライバ160は、マイコン120から供給されるH軸駆動信号に応じて、水平スキャナ220を往復駆動する。
垂直スキャナ210または水平スキャナ220は、垂直または水平方向に往復動作を繰り返す走査部である。垂直スキャナ210は、RGBレーザーダイオード200から照射されたレーザー光を反射し、V軸スキャナドライバ150の駆動により垂直方向に往復動作する光スキャナである。水平スキャナ220は、RGBレーザーダイオード200から照射されたレーザー光を反射し、H軸スキャナドライバ160の駆動により水平方向に往復動作する光スキャナである。また、水平スキャナ220は、水平方向の往復動作を検出する走査検出部202を含み、検出した往復動作を示すH軸検出アナログ信号を出力する。走査検出部202は、往復動作の往路または復路のラインである走査単位ごとに水平スキャナ220の動作範囲を検出する。
この例では、水平スキャナ220が、RGBレーザーダイオード200からのレーザー光を反射し、垂直スキャナ210が、水平スキャナ220からの反射光をさらに反射することで、投影面へ投影画像300を描画している。垂直スキャナ210及び水平スキャナ220が、垂直方向及び水平方向に往復走査する光スキャナ201を構成しているとも言える。例えば、垂直スキャナ210と水平スキャナ220を1つの2軸(2次元)光スキャナとしてもよい。
コンパレータ170は、水平スキャナ220が出力したH軸検出アナログ信号を、FPGA110で処理可能なH軸検出パルス信号に変換する信号変換部である。
図2及び図3は、水平スキャナ220の構成例であり、水平スキャナ220をミラー側から見た正面図である。なお、垂直スキャナ210についても水平スキャナ220と同様に構成してもよい。
水平スキャナ220(及び垂直スキャナ210)である光スキャナは、MEMS(Micro Electro Mechanical Systems)技術により作成されたMEMS素子である。例えば、水平スキャナ220は、PZT(チタン酸ジルコン酸鉛)膜などの圧電膜を含むSOI(Silicon On Insulator)基板をエッチングして形成されている。
図2及び図3に示すように、水平スキャナ220は、本体の枠を構成する枠体221、枠体221の枠内において枠体221から離間した状態で支持された揺動片部222、枠体221の内縁と揺動片部222とを繋ぐ4つのL型梁部223a〜223d、揺動片部222の表面に形成されたMEMSミラー224を備えている。MEMSミラー224は、反射率の高い金属(例えばAlやAu)を蒸着することにより形成されている。
L型梁部223a〜223dは、揺動片部222の水平方向中央に近接した位置において揺動片部222と連結されており、この連結部を揺動軸として揺動片部222及びMEMSミラー224が水平方向に揺動可能となっている。L型梁部223a〜223dは、揺動片部222を揺動可能に支持するトーションバーを構成しているとも言える。
さらに、4つL型梁部223a〜233dにおいて、水平方向に延びる複数の圧電膜が配置されている。例えば、圧電膜は、下部電極と上部電極との間に圧電体膜を挟んだ積層構造である。
図2の例では、L型梁部223a及び223bに、H軸駆動信号が供給される駆動用圧電膜225a及び225bがそれぞれ配置され、L型梁部223a及び223bと対向するL型梁部223c及び223dに、MEMSミラー224(揺動片部222)の動作を検出する検出用圧電膜226a及び226bがそれぞれ配置されている。
また、図3の例では、L型梁部223a〜223dに、駆動用圧電膜及び検出用圧電膜のペア(225a及び226a、225b及び226b、225c及び226c、225d及び226d)がそれぞれ配置されている。
図2の駆動用圧電膜225a及び225b、または図3の駆動用圧電膜225a〜225dにH軸駆動信号を供給すると、H軸駆動信号に応じて駆動用圧電膜225a及び225b、または225a〜225dが振動し、この振動がL型梁部223a及び223b、または223a〜223dを介して揺動片部222に伝達され、揺動片部222及びMEMSミラー224が揺動する。
また図2の、検出用圧電膜226a及び226b、または図3の検出用圧電膜226a〜226dは、走査検出部202であり、揺動片部222及びMEMSミラー224の振動を検出し、検出する振動に応じたH軸検出アナログ信号を出力する。検出用圧電膜226a及び226b、または226a〜226dから得られるH軸検出アナログ信号に対して所定の位相差をもったH軸駆動信号を駆動用圧電膜225a及び225b、または225a〜225dにフィードバックすることにより、揺動片部222及びMEMSミラー224を共振駆動させることができる。
図4は、本実施の形態に係るFPGA110の機能ブロックを示している。図4に示すように、FPGA110は、入力インタフェース111、DDRインタフェース112、画像処理部113、映像出力部114、PLL(Phase Locked Loop)115、描画位置制御部116、V軸駆動処理部117を備えている。
入力インタフェース111は、映像入力部101との間のインタフェースであり、映像入力部101から入力された映像データを受け取り、受け取った映像データをDDRインタフェース112へ出力する。
DDRインタフェース112は、DDRメモリ133との間のインタフェースであり、入力インタフェース111が受け取った映像データをDDRメモリ133に一時的に保存し、さらに、DDR133に保存した映像データを内部クロックに従って取り出す。
DDRインタフェース112は、DDRメモリ133へ映像データ(画像データ)をフレーム単位に書き込み、内部クロックと同期してDDRメモリ133から1フレームに含まれる水平方向の1ラインずつ読み出す。また、水平スキャナ220の往復動作における往路及び復路で描画を行うため、DDRインタフェース112は、往路で描画する往路ラインの場合、順方向のアドレス順に画像データを読み出し、復路で描画する復路ラインの場合、逆方向のアドレス順に画像データを読み出すことで、往路及び復路の画像データの並び替えを行う。
画像処理部113は、DDRインタフェース112がDDR133から取り出した画像データに対し、アスペクト比の変更やブライトコントロールなど、必要な画像処理を行う。映像出力部(画像出力部)114は、画像処理部113により画像処理された画像データをレーザードライバ140へ出力する。映像出力部114は、H軸検出波形とV軸駆動信号より生成された描画位置クロック(ピクセルクロック)、HSync(H軸同期信号)とVSync(V軸同期信号)を利用して描画位置を決定し、決定した描画位置のタイミングで、画像データを1ラインずつ出力する。
PLL115は、外部クロック180が入力され、この外部クロック180に基づいて内部クロックを生成し、生成した内部クロックを各ブロックへ供給する。
描画位置制御部(クロック生成部)116は、水平スキャナ220とレーザー描画の同期とるため、PLL115が生成した内部クロックに基づいて、ピクセルクロックを生成する。例えば、ピクセルクロックは、後述のピクセルカウンタに同期したクロックである。描画位置制御部116は、H軸検出パルス信号とV軸駆動信号に基づいて描画位置を決定するピクセルクロック、HSync、VSyncを生成する。描画位置制御部116は、H軸検出パルス信号のエッジ位置からカウンタのカウントを開始し、カウントしたカウンタ値により描画エリアを決定する。描画位置制御部116は、走査検出部202により検出された水平スキャナ220の動作範囲と基準範囲とのずれに基づいて、ラインごとに画像表示位置を決定する表示位置決定部である。
V軸駆動処理部117は、HSync及びVSyncに基づいてV軸駆動信号を生成し、生成したV軸駆動信号をV軸スキャナドライバ150へ出力する。例えば、VGA(Video Graphics Array)で表示する場合、垂直走査周波数は60Hzであり、60Hzで垂直スキャナ210を垂直方向に揺動させるようにV軸駆動信号を出力する。
図5は、本実施の形態に係るH軸検出アナログ信号及びH軸検出パルス信号の一例を示している。H軸検出アナログ信号は、水平方向の両側で駆動する水平スキャナ220に配置された片側の圧電膜(例えば、図2の226a及び226b、または図3の226a〜226d)によって検出された波形である。
図5に示すように、H軸検出アナログ信号は、水平スキャナ220のMEMSミラー224の向きに応じたアナログ波形である。このため、そのままではFPGA110でH軸検出アナログ信号を処理することができない。そこで、本実施の形態では、コンパレータ170等を利用してH軸検出アナログ信号をパルス状の矩形波に変換し、H軸検出パルス信号としてFPGA110へ入力している。
本実施の形態では、MEMSミラー224が最大角度振った位置にエッジがくるようにH軸検出パルス信号を生成する。例えば、H軸検出アナログ信号の最小値(最小ピーク時)及び最大値(最大ピーク時)ごとに立ち上り/立ち下りを繰り返すようにH軸検出パルス信号を生成する。そして、H軸パルス信号のエッジに挟まれたエッジ間の領域に、水平方向の描画エリアを設定する。
次に、本実施の形態の主要な特徴である描画位置制御方法について説明する。
レーザースキャン方式の画像表示装置では、描画を行う時に、圧電膜などの検出回路から出力されるMEMSミラー224の動作を検出したH軸検出波形(H軸検出パルス信号)をFPGA110に取り込み描画タイミングの基準信号として利用をしている。
しかし、振動や電気的な影響によりMEMSミラー224の動作が変化した場合、H軸検出パルス信号も同様に変化する事になる。FPGA110では、H軸検出パルス信号のエッジ間隔をカウントしているため、このH軸検出パルス信号の周波数変化によって、FPGA110内のカウント数がずれる事で描画タイミングにずれが生じて、描画される投影画像300のライン毎のずれに繋がる。本実施の形態では、この問題を以下で説明するように改善する。
まず、図6A及び図6Bを用いて、MEMSミラーの動作が変化しない場合の理想的な検出パルス信号の動作について説明する。例えば、図6A及び図6Bは、参考例の動作であり、図1〜図3、図5と同様の構成による例である。
図6A及び図6Bに示すように、理想的には、H軸検出パルス信号は常に一定周期の検出波形、すなわち、同じエッジ間隔(立ち上りエッジと次の立ち下りエッジまでの間隔、立ち下りエッジと次の立ち上りエッジまでの間隔)でHigh/Lowを繰り返す矩形波である。
FPGA110は、H軸検出パルス信号のエッジ間隔をドット(ピクセル)に同期した内部クロックでカウントしており、H軸検出パルス信号が一定周期のため、クロックカウンタ(clk_cnt)のカウンタ値は一定の値となる。ここでは、一例として、エッジ間隔を20カウントとし、カウンタ値=1〜20が繰り返される。なお、説明簡略化のため、カウンタ値=1からカウントを開始するが、カウンタ値=0からカントを開始してもよい(以下でも同様)。
ここでは、一例として、カウンタ値6〜15の間を描画エリアとして設定する。そうすると、描画エリアを設定するHSyncは、往路及び復路のラインのそれぞれでカウンタ値6のタイミングで立ち上り、カウンタ値15のタイミングで立ち下りを繰り返す波形となる。
その結果、この往路ライン及び復路ラインの繰り返しにより描画される投影画像300の描画エリアはA1の領域となる。図6A及び図6Bでは、H軸検出パルス信号が一定周期であり、HSyncも一定周期であるため、描画エリアA1は、ラインごとに描画位置がずれることはなく、垂直方向の縦ラインは一直線となる。
次に、図7A及び図7Bを用いて、本実施の形態の適用前の参考例における、MEMSミラーの動作が変化する場合の検出パルス信号の例について説明する。例えば、図7A及び図7Bは、参考例の動作であり、図1〜図3、図5と同様の構成による例である。
図7A及び図7Bに示すように、MEMSミラー224の動作が一定ではない場合、H軸検出パルス信号は周波数(エッジ間隔)が一定ではなく変化した波形となる。このH軸検出パルス信号をFPGA110に取り込みエッジ間隔をカウントすると、エッジ間隔ごとにクロックカウンタのカウンタ値が変動する。
MEMSミラー224の振れが理想的な基準よりも足りない場合、H軸検出パルス信号のエッジ間隔が狭くなるため、カウンタ値が小さくなり、また、MEMSミラー224が理想的な基準よりも振れすぎた場合、H軸検出パルス信号のエッジ間隔が広くなるため、カウンタ値が大きくなる。例えば、往路ライン1は20カウント、復路ライン2は18カウント、往路ライン3は22カウント、復路ライン4は20カウントである。
カウンタ値6〜15の間を描画エリアとして設定すると、描画エリアを設定するHSyncは、エッジ間隔(カウント数)が変動する往路及び復路のラインごとに、カウンタ値6のタイミングで立ち上り、カウンタ値15のタイミングで立ち下りを繰り返す波形となる。
その結果、この往路ライン及び復路ラインの繰り返しにより描画される投影画像300の描画エリアはA2の領域となる。図7A及び図7Bでは、H軸検出パルス信号の周期(エッジ間隔)が変動し、HSyncの周期も変動するため、描画エリアA2は、ラインごとに描画位置がずれてしまう。実施の形態適用前では、H軸検出パルス信号のカウンタ値を基準に描画するタイミング波形(HSync)を生成し描画を行っているため、往路ラインと復路ラインでのカウント数が異なった場合、描画エリアの縦のラインにずれが生じてしまう。
次に、図8A及び図8Bを用いて、本実施の形態の適用後における、MEMSミラーの動作が変化する場合の検出パルス信号の例について説明する。図8A及び図8Bは、図1〜図5で説明した本実施の形態の構成における動作である。
本実施の形態では、H軸検出パルス信号のエッジ間隔(1ライン)の基準となるライン基準値を設定する。カウンタ値がライン基準値より小さい場合、次のラインでカウントを開始するスタートカウンタ値として、ライン基準値から算出した値を利用する。また、カウンタ値がライン基準値より大きい場合、余分にカウントした分を次のラインでもカウントを続け、または、カウントを停止し、ライン基準値のカウントのスタート位置と同じ位置からカウントをスタートする。
ライン基準値は、理想とするMEMSミラー224の振れ幅であり、ここでは、複数のラインをカウントしたカウント数(またはカウンタ値)の平均値である。例えば、画像データ表示前のブランキングエリア内でMEMSミラー224からのH軸検出パルス信号のエッジ間隔をカウントし、8ライン分を平均してライン基準値を設定する。
例えば、1ライン=20カウント、2ライン=18カウント、3ライン=22カウント、4ライン=20カウント、5ライン=18カウント、6ライン=20カウント、7ライン=20カウント、9ライン=22カウントの場合、平均値である20カウントを1フレーム内のライン基準値とする。そして、10ライン以降は、このライン基準値に基づいてカウンタ値を設定する。
図8A及び図8Bでは、図7A及び図7Bと同様に、H軸検出パルス信号の周波数(エッジ間隔)が一定ではなく変化した波形となっている。このH軸検出パルス信号のエッジ間隔を内部クロックに合わせてカウントすると、エッジ間隔ごとにクロックカウンタ(clk_cnt)のカウンタ値が変動する。このため、本実施の形態では、ライン基準値を設定し、次のラインに移った時のスタートカウントがライン基準値のカウントと同じ位置となるように、スタートカウンタ値を設定する。
H軸検出パルス信号を常にカウンタ値=1からカウントするクロックをクロックカウンタ(clk_cnt)と称し、ライン基準値に基づいて設定されたスタートカウンタ値からカウントするクロックをピクセルカウンタ(pix_cnt)と称する。
図8A及び図8Bでは、図7A及び図7Bと同様に、例えば、往路ライン1は20カウント(clk_cnt=1〜20)、復路ライン2は18カウント(clk_cnt=1〜18)、往路ライン3は22カウント(clk_cnt=1〜22)、復路ライン4は20カウント(clk_cnt=1〜20)である。
MEMSミラー224の振れが基準値よりも足りない例として、例えば、復路ライン2では、18カウントのため、ライン基準値の20カウントよりも小さく、MEMSミラー224の振れが足りない。この例では、水平方向の左端がライン基準値よりも短い。この場合、ライン基準値の20カウントからピクセルカウンタのカウンタ値(pix_cnt=18)を差し引いて差分値(20−18=2)を求める。次のラインでは、この差分値のドット分(基準値より不足した分)だけタイミングをずらすために、カウンタの最小値=1にこの差分値を加えた値(1+2=3)を、次の往路ライン3のスタートカウンタ値とする。すなわち、カウンタ値がライン基準値よりも小さい場合、カウンタ値とライン基準値との差分に基づいてカウンタ値を増加させることで、次のラインのエッジから描画エリアまでの間隔を短くする。これにより、復路ライン2のカウンタ値6〜15と、往路ライン3のカウンタ値6〜15とで、垂直方向の位置が等しくなる。
また、MEMSミラー224が基準値よりも振れすぎている例として、往路ライン3では、22カウントのため、ライン基準値の20カウントよりも大きく、MEMSミラー224が振れすぎている。この例では、水平方向の右端がライン基準値よりも長い。この場合、ピクセルカウンタがエッジまでカウントしたカウンタ値(pix_cnt=24)からライン基準値の20カウントを差し引いて差分値(24−20=4)を求める。次のラインでは、この差分値のドット分(基準値を超えた分)だけタイミングをずらすために、次の復路ライン4で、差分値のカウント分の次の位置(4+1=5カウント目)からカウントを開始する。すなわち、カウンタ値がライン基準値よりも大きい場合、カウンタ値とライン基準値との差分に基づいてカウントの開始を遅らせることで、次のラインのエッジから描画エリアまでの間隔を長くする。これにより、往路ライン3のカウンタ値6〜15と、復路ライン4のカウンタ値6〜15とで、垂直方向の位置が等しくなる。
例えば、このとき、差分値のカウント分の間はカウンタ値を進めず、次のラインに移ってからも、止めたカウント値の4カウント分、カウント値を1のままで停止した後、通常のカウントを1から始める。また、次のラインでカウントを開始するまで、カウンタを止めずにカウントし続けてもよい。
このような制御により、描画エリアを設定するHSyncは、エッジ間隔(カウント数)が変動する往路及び復路のラインごとに、補正されたカウンタ値6のタイミングで立ち上り、補正されたカウンタ値15のタイミングで立ち下りを繰り返す波形となる。
その結果、この往路ライン及び復路ラインの繰り返しにより描画される投影画像300の描画エリアはA3の領域となる。図8A及び図8Bでは、H軸検出パルス信号のエッジ間隔と基準値との差分に基づいてカウンタを制御することにより、先のラインの描画エリアから終端までの距離と、次のラインの先頭から描画エリアまでの距離を等しくできる。すなわち、本実施の形態では、縦のラインにおいて描画エリアが一致するように、基準とするカウンタ値とMEMSミラーの検出パルス信号からのカウント値に基づいて、カウント値を制御する事で、描画エリア範囲を一定に保つ事ができ、縦ラインのずれを無くす事ができる。
ここで、ライン基準値の設定値についてさらに説明する。上記では、複数のラインをカウントした平均値によりライン基準値を決定した。例えば、1フレーム内の8ラインの平均値をライン基準値とした。しかし、ライン基準値が奇数であると、1ドットの描画ずれが起きてしまう為、ライン基準値は常に偶数になるよう決定することが好ましい。
図9は、ライン基準値を奇数に設定した例を示している。図9は、ライン基準値を21とし、カウンタ値6〜15の間を描画エリアとした例である。この場合、往路ライン及び復路ラインの繰り返しにより描画される投影画像300の描画エリアはA4の領域となる。
図9のように、ライン基準値を奇数に設定すると、往路ラインにおける描画位置(カウンタ値6〜15)と、復路ラインにおける描画位置(カウンタ値6〜15)とが1ドットずれてしまい、往路と復路が互い違いになってしまう。このため、本実施の形態では、ライン基準値を常に偶数に設定することで、往路と復路のずれを防止する。例えば、平均値が21の場合、基準値を20または22に設定する。
次に、図8A及び図8Bで説明した、本実施の形態の動作を実現するための構成例について説明する。図10は、描画位置制御部116の機能ブロックの一例であり、図11は描画位置制御部116のフローチャートの一例である。なお、その他の構成により図8A及び図8Bの動作を実現してもよい。
図10に示すように、描画位置制御部116は、カウンタ11、ライン基準値設定部12、描画位置決定部13、ラインずれ判定部14、ラインずれ補正部15を備えている。
カウンタ11は、H軸検出パルス信号のエッジ間隔をカウントするカウンタである。カウンタ11は、図8A及び図8Bのクロックカウンタ及びピクセルカウンタを含んでいる。ライン基準値設定部12、1ラインのカウンタの基準値となるライン基準値を設定する。
描画位置決定部13は、カウンタ11の値に基づいて、描画位置(描画エリア)を決定する。ラインずれ判定部14、カウンタ11の値とライン基準値とを比較しラインのずれを判定する。ラインずれ補正部15、判定されたラインのずれを補正するため、図8A及び図8Bのようにスタートカウンタ値を補正やカウンタの停止を行う。
図11に示すように、描画位置制御部116に、H軸検出パルス信号の入力が開始されると(S101)、まず、ライン基準値設定部12がライン基準値を設定する。上記のように、カウンタ11がH軸検出パルス信号のエッジ間隔を複数回カウントした後、ライン基準値設定部12は、カウンタ値の平均値を求めてライン基準値を設定する。特に、ライン基準値設定部12は、上記のようにライン基準値が偶数となるように設定する。
続いて、カウンタ11は、MEMSミラーの走査範囲をカウントする(S103)。カウンタ11は、内部クロックに同期して、図8A及び図8Bのように、クロックカウンタ(clk_cnt)、ピクセルカウンタ(pix_cnt)により、H軸検出パルス信号のエッジ間隔をカウントする。
続いて、描画位置決定部13は、カウンタ値に基づいて描画位置を決定する。例えば、描画位置決定部13は、カウンタ値5〜14の間を描画エリアとして設定し、カウンタ値5のタイミングで立ち上り、カウンタ値14のタイミングで立ち下りを繰り返すHSyncを生成する。
続いて、ラインずれ判定部14は、カウンタ値とライン基準値とを比較する(S105)。カウンタ値とライン基準値とが等しい場合は、ラインにずれは無いため、そのままカウント及び描画位置決定を行う(S103、S104)。
カウンタ値がライン基準値よりも小さい場合、図8A及び図8Bのように、ライン基準値とカウンタ値の差分に基づいて、描画エリアの位置を補正するようにスタートカウンタ値を設定する(S106)。その後、設定したスタートカウンタ値により、カウントを開始し、描画位置を決定する(S103、S104)。
カウンタ値がライン基準値よりも大きい場合、図8A及び図8Bのように、カウンタ値とライン基準値との差分に基づいて、描画エリアの位置を補正するようにカウントの開始を待つ(S107)。その後、ライン基準値と差がない場合のタイミングに合わせて、カウントを開始し、描画位置を決定する(S103、S104)。
以上のように、本実施の形態では、レーザースキャン方式の画像表示装置において、光スキャナに設けられた圧電膜によりMEMSミラーの動作を検出し、この検出した動作範囲と基準範囲とのずれに基づいて、描画位置を補正することとした。これにより、MEMSミラーの動作変動による検出波形の変化がもたらす描画位置のずれを補正し、常に一定の場所に描画エリアを設定する事でライン毎の描画ずれを防止することができる。特に、描画位置を設定するカウント値を常に一定ではなく、基準に対して一定になるように設定することで、ライン毎の描画位置のずれを無くし、描画ずれを防止することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
11 カウンタ
12 ライン基準値設定部
13 描画位置決定部
14 ラインずれ判定部
15 ラインずれ補正部
100 画像表示装置
101 映像入力部
111 入力インタフェース
112 DDRインタフェース
113 画像処理部
114 映像出力部
116 描画位置制御部
117 V軸駆動処理部
120 マイコン
131、132 フラッシュメモリ
133 DDRメモリ
140 レーザードライバ
150 V軸スキャナドライバ
160 H軸スキャナドライバ
170 コンパレータ
180 外部クロック
200 RGBレーザーダイオード
201 光スキャナ
202 走査検出部
210 垂直スキャナ
220 水平スキャナ
221 枠体
222 揺動片部
223a〜223d L型梁部
224 MEMSミラー
225a〜225d 駆動用圧電膜
226a〜226d 検出用圧電膜
300 投影画像

Claims (8)

  1. 光束を出力する光源部と、
    前記光束を反射し、所定の走査方向に往復動作を繰り返す走査部と、
    前記往復動作の往路または復路の走査単位ごとに前記走査部の動作範囲を検出する走査検出部と、
    前記検出された動作範囲と基準範囲とのずれに基づいて、前記走査単位ごとに画像表示位置を決定する表示位置決定部と、
    前記決定された画像表示位置に対応するタイミングで、画像データに基づき前記光源部を駆動する光源駆動部と、
    を備える画像表示装置。
  2. 前記表示位置決定部は、前記検出された動作範囲が前記基準範囲よりも小さい場合、前記検出された動作範囲と前記基準範囲との差分に基づいて、次の走査単位における前記走査部の動作開始から前記画像表示位置までの間隔を小さくする、
    請求項1に記載の画像表示装置。
  3. 前記検出された動作範囲をクロックに基づいてカウントするカウンタを備え、
    前記表示位置決定部は、前記検出された動作範囲を前記カウンタがカウントしたカウンタ値と前記基準範囲に対応するカウンタ値との差分に基づき、次の走査単位における前記カウンタの開始カウント値を増加させる、
    請求項2に記載の画像表示装置。
  4. 前記表示位置決定部は、前記検出された動作範囲が前記基準範囲よりも大きい場合、前記検出された動作範囲と前記基準範囲との差分に基づいて、次の走査単位における前記走査部の動作開始から前記画像表示位置までの間隔を大きくする、
    請求項1または2に記載の画像表示装置。
  5. 前記検出された動作範囲をクロックに基づいてカウントするカウンタを備え、
    前記表示位置決定部は、前記検出された動作範囲を前記カウンタがカウントしたカウンタ値と前記基準範囲に対応するカウンタ値との差分に基づき、次の走査単位における前記カウンタのカウント開始を遅らせる、
    請求項4に記載の画像表示装置。
  6. 前記表示位置決定部は、前記検出された複数の動作範囲の平均に基づいて前記基準範囲を設定する、
    請求項1乃至5のいずれか一項に記載の画像表示装置。
  7. 前記表示位置決定部は、前記動作範囲をクロックに基づいてカウントしたときに偶数となるように、前記基準範囲を設定する、
    請求項1乃至6のいずれか一項に記載の画像表示装置。
  8. 光束を出力する光源部と、前記光束を反射し、所定の走査方向に往復動作を繰り返す走査部と、を備えた画像表示装置の制御方法であって、
    前記往復動作の往路または復路の走査単位ごとに前記走査部の動作範囲を検出し、
    前記検出された動作範囲と基準範囲とのずれに基づいて、前記走査単位ごとに画像表示位置を決定し、
    前記決定された画像表示位置に対応するタイミングで、画像データに基づき前記光源部を駆動する、
    画像表示装置の制御方法。
JP2013260396A 2013-12-17 2013-12-17 画像表示装置及びその制御方法 Active JP6090147B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013260396A JP6090147B2 (ja) 2013-12-17 2013-12-17 画像表示装置及びその制御方法
PCT/JP2014/003493 WO2015092948A1 (ja) 2013-12-17 2014-07-01 画像表示装置及びその制御方法
EP14870909.0A EP3086548B1 (en) 2013-12-17 2014-07-01 Image display device and control method for same
US15/173,282 US20160286185A1 (en) 2013-12-17 2016-06-03 Image display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013260396A JP6090147B2 (ja) 2013-12-17 2013-12-17 画像表示装置及びその制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2017008249A Division JP6350685B2 (ja) 2017-01-20 2017-01-20 画像表示装置及びその制御方法
JP2017008250A Division JP6365698B2 (ja) 2017-01-20 2017-01-20 画像表示装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2015118181A true JP2015118181A (ja) 2015-06-25
JP2015118181A5 JP2015118181A5 (ja) 2016-05-26
JP6090147B2 JP6090147B2 (ja) 2017-03-08

Family

ID=53402339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013260396A Active JP6090147B2 (ja) 2013-12-17 2013-12-17 画像表示装置及びその制御方法

Country Status (4)

Country Link
US (1) US20160286185A1 (ja)
EP (1) EP3086548B1 (ja)
JP (1) JP6090147B2 (ja)
WO (1) WO2015092948A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101115A (ja) * 2016-12-21 2018-06-28 ミツミ電機株式会社 画像投影装置および補償方法
JP2019086528A (ja) * 2017-11-01 2019-06-06 ミツミ電機株式会社 画像投影装置及び画像投影方法
JP2019133133A (ja) * 2017-11-24 2019-08-08 株式会社村田製作所 走査反射器システム
JP2019207402A (ja) * 2018-05-03 2019-12-05 株式会社村田製作所 拡大された画像領域を備える走査光学デバイス

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6269446B2 (ja) * 2014-11-10 2018-01-31 株式会社Jvcケンウッド 画像表示装置及びその制御方法
JP6350685B2 (ja) * 2017-01-20 2018-07-04 株式会社Jvcケンウッド 画像表示装置及びその制御方法
JP6365698B2 (ja) * 2017-01-20 2018-08-01 株式会社Jvcケンウッド 画像表示装置及びその制御方法
DE102017218670A1 (de) * 2017-10-19 2019-04-25 Robert Bosch Gmbh Mikromechanische Mikrospiegelanordnung und entsprechendes Betriebsverfahren

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0894959A (ja) * 1994-09-28 1996-04-12 Minolta Co Ltd 画像出力装置
US20080001850A1 (en) * 2006-06-06 2008-01-03 Mark Champion Beam scanner with reduced phase error
US20080043308A1 (en) * 2006-08-17 2008-02-21 Texas Instruments Incorporated Method to improve scan-line alignment by adjusting the pixel rate
JP2009222936A (ja) * 2008-03-14 2009-10-01 Canon Inc 画像表示装置、画像表示方法
JP2010266824A (ja) * 2009-05-18 2010-11-25 Seiko Epson Corp 画像表示装置
JP2013072982A (ja) * 2011-09-27 2013-04-22 Nec Corp 蛍光体スクリーンおよびそれを用いた走査型表示装置
WO2013100066A1 (ja) * 2011-12-28 2013-07-04 株式会社Jvcケンウッド 画像表示装置、画像表示装置の制御方法、および、情報出力装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302174B2 (en) * 2003-12-31 2007-11-27 Symbol Technologies, Inc. Method and apparatus for capturing images using a color laser projection display
JP2007025522A (ja) 2005-07-21 2007-02-01 Seiko Epson Corp 画像表示装置及び画像表示装置の制御方法
US20070115440A1 (en) * 2005-11-21 2007-05-24 Microvision, Inc. Projection display with screen compensation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0894959A (ja) * 1994-09-28 1996-04-12 Minolta Co Ltd 画像出力装置
US20080001850A1 (en) * 2006-06-06 2008-01-03 Mark Champion Beam scanner with reduced phase error
US20080043308A1 (en) * 2006-08-17 2008-02-21 Texas Instruments Incorporated Method to improve scan-line alignment by adjusting the pixel rate
JP2009222936A (ja) * 2008-03-14 2009-10-01 Canon Inc 画像表示装置、画像表示方法
JP2010266824A (ja) * 2009-05-18 2010-11-25 Seiko Epson Corp 画像表示装置
JP2013072982A (ja) * 2011-09-27 2013-04-22 Nec Corp 蛍光体スクリーンおよびそれを用いた走査型表示装置
WO2013100066A1 (ja) * 2011-12-28 2013-07-04 株式会社Jvcケンウッド 画像表示装置、画像表示装置の制御方法、および、情報出力装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101115A (ja) * 2016-12-21 2018-06-28 ミツミ電機株式会社 画像投影装置および補償方法
JP2019086528A (ja) * 2017-11-01 2019-06-06 ミツミ電機株式会社 画像投影装置及び画像投影方法
JP7025634B2 (ja) 2017-11-01 2022-02-25 ミツミ電機株式会社 画像投影装置及び画像投影方法
JP2019133133A (ja) * 2017-11-24 2019-08-08 株式会社村田製作所 走査反射器システム
DE102018220000B4 (de) 2017-11-24 2022-09-29 Murata Manufacturing Co., Ltd. Abtastreflektorsystem
JP2019207402A (ja) * 2018-05-03 2019-12-05 株式会社村田製作所 拡大された画像領域を備える走査光学デバイス

Also Published As

Publication number Publication date
WO2015092948A1 (ja) 2015-06-25
EP3086548B1 (en) 2019-10-16
JP6090147B2 (ja) 2017-03-08
EP3086548A1 (en) 2016-10-26
EP3086548A4 (en) 2016-12-21
US20160286185A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
JP6090147B2 (ja) 画像表示装置及びその制御方法
US9894335B2 (en) Image display device and control method thereof
US8226239B2 (en) Pulse width modulation signal generating device, image display apparatus including pulse width modulation signal generating device, and pulse width modulation signal generating method
US7864390B2 (en) Image display apparatus
US9251730B2 (en) Image display apparatus and image scanning apparatus
US20110051210A1 (en) Laser Projector
US20100079683A1 (en) Display apparatus
KR20130143599A (ko) 화상 표시 장치
TWI477879B (zh) 雷射投影機
US9075246B2 (en) Image display device having laser light scanning with a variation in scanning speed
JP2006323355A (ja) 光走査装置、光走査装置の制御方法及び画像表示装置
WO2014103462A1 (ja) 画像表示装置、画像表示方法及びプログラム
WO2013100066A1 (ja) 画像表示装置、画像表示装置の制御方法、および、情報出力装置
KR20140000667A (ko) 화상 표시 장치
JP6350685B2 (ja) 画像表示装置及びその制御方法
JP6365698B2 (ja) 画像表示装置及びその制御方法
JPWO2013047656A1 (ja) 画像投影装置および光軸ずれ補正方法
JP2014010347A (ja) 画像表示装置および画像表示方法
JP6946708B2 (ja) 制御装置、画像投影装置、および制御方法
JP2015040928A (ja) 光偏向装置、画像形成装置、車両及び光偏向装置の制御方法
JP2019109310A (ja) 投影装置およびその制御方法ならびにプログラム
JP2007057556A (ja) 画像表示装置及び画像表示装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R150 Certificate of patent or registration of utility model

Ref document number: 6090147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150