JP2012124880A - 画像投影装置、メモリ制御装置、レーザープロジェクタ、メモリアクセス方法 - Google Patents

画像投影装置、メモリ制御装置、レーザープロジェクタ、メモリアクセス方法 Download PDF

Info

Publication number
JP2012124880A
JP2012124880A JP2011063216A JP2011063216A JP2012124880A JP 2012124880 A JP2012124880 A JP 2012124880A JP 2011063216 A JP2011063216 A JP 2011063216A JP 2011063216 A JP2011063216 A JP 2011063216A JP 2012124880 A JP2012124880 A JP 2012124880A
Authority
JP
Japan
Prior art keywords
address
image data
frame memory
blank
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011063216A
Other languages
English (en)
Other versions
JP5803184B2 (ja
Inventor
Tetsuya Sato
哲也 佐藤
Hideaki Yamamoto
英明 山本
Kenichiro Saisho
賢一郎 齊所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011063216A priority Critical patent/JP5803184B2/ja
Priority to US13/295,384 priority patent/US8884975B2/en
Priority to EP11189714.6A priority patent/EP2456208A3/en
Priority to CN201110378542.9A priority patent/CN102566213B/zh
Publication of JP2012124880A publication Critical patent/JP2012124880A/ja
Application granted granted Critical
Publication of JP5803184B2 publication Critical patent/JP5803184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

【課題】斜め投射時に発生する投影画像の歪みを、実用的な制御負荷にて補正可能な画像投影装置を提供すること。
【解決手段】画像データを記憶するフレームメモリ58と、レーザー発振器60と、レーザー光を反射する1つ以上の反射光学素子533と、レーザー光の包絡線が所定形状となるよう反射光学素子を振動させる偏向方向可変手段53と、反射光学素子の角度からレーザー光の照射位置を三角関数を用いずに求める多項式の係数情報が記憶された係数情報記憶手段63と、係数情報に演算を施して求めた係数及び角度を多項式に適用することで、レーザー光の照射位置を演算する照射位置演算手段62と、照射位置に対応するフレームメモリのアドレスを演算するアドレス演算手段64と、アドレスの画素情報を読み出すメモリ制御手段100と、画素情報に応じた輝度でレーザー光を照射するレーザー駆動手段59と、を有する画像投影装置200を提供する。
【選択図】図2

Description

本発明は、プロジェクタのフレームメモリの読み書きを制御するメモリ制御装置に関し、特に、フレームメモリからフリースキャンするメモリ制御装置に関する。
レーザーを光源に用いた映像投影装置(以下『プロジェクタ』という)が開発されるようになってきた。レーザーを光源に用いる事により、非常に彩度が高くなおかつ色再現性が高いプロジェクタの実現が可能になる。レーザー光を面に投射するための偏向光学素子としては、DLP(Digital Light Processing)やLCOS(Liquid crystal on silicon)及びMEMSミラーを利用する方法が既に知られている。
しかしながら投影時に投影中心部の光線と投影面のなす角が垂直でない場合(以降『斜め投射』という)、プロジェクタが投影した投影画像は、台形状に歪むことが知られている。
図38は、斜め投射による投影画像を説明する図の一例である。図38(a)は斜め投射でない場合の投影画像の一例を、図38(b)は斜め投射(打ち上げ投射)の場合の投影画像の一例を、図38(c)は斜め投射(打ち下げ投射)の場合の投影画像の一例を、それぞれ示す。
図38(a)では、光学系の設計時に想定されている壁面までの角度、距離でプロジェクタが投影しているため、投影画像は歪みなく投影されている。図38(b)では、光学系の設計時に想定されている角度よりも上向きにプロジェクタが投影しているため、投影画像の上辺の投影距離が、投影画像の下辺よりも長くなり、投影画像の上辺は下辺に比べ拡大している。その結果、投影画像は台形歪みの状態となる。
図38(c)では、光学系の設計時に想定されている角度よりも下向きにプロジェクタが投影しているため、投影画像の下辺の投影距離が、投影画像の上辺よりも長くなり、投影画像の下辺は上辺に比べ拡大している。その結果、投影画像は台形歪みの状態となる。
このような台形歪みを正方形に補正するいくつかの技術が知れているが、DLP方式やLCOS方式の投射型のプロジェクタは、偏向光学素子上の1画素が投影面上の1画素に1対1で対応しているため、投影面上での画像の歪みを補正するためには、画素の間引きや補間等、偏向光学素子に入力する前段階の画像に対して画像処理を施す必要があった。
図39(a)は、DLP方式のプロジェクタの概略を説明するための図である。DLP方式のプロジェクタは画素単位でミラーが集積されたDMD(Digital Micromirror Device)を使用する。図39(a)は2x2の4画素のDMDを示し、右上のミラーがOFFで、その他のミラーはONの状態となっている。このため、光源から投影された投光画面では、DMDの状態に対応して右上画素が黒い画像になっている。このようにDLP方式のプロジェクタでは偏向素子のミラー1つと投影される画素の1つが対応している。
図39(b)は、DLP方式のプロジェクタにおける台形補正を説明する図の一例である。DLP(又はLCD方式でも同じ)では、マイクロミラーが投影画像の画素と1対1に対応しているため、プロジェクタが投射中の画素の位置を変更することはできない。図39(b)の左のような投影画像を長方形に補正するには、長方形に対応するマイクロミラーのみに光を反射させる必要があるため有効画素が減ってしまう。また、有効画素が減った分、元の画像データから画素が間引きされるので、画像が劣化するという問題がある。
図40(a)は、レーザースキャン方式の概略を説明するための図である。レーザースキャン方式のプロジェクタはレーザー光を2Dスキャナ(x−yスキャナ)で偏光し、投影面に画像を形成する。図40(a)では、レーザー発振器から照射されたレーザーは、ハーフミラーを透過して2Dスキャナによって偏向された後、ハーフミラーで光路を変更されスクリーン上に画面を形成している。2Dスキャナは連続的に動作しているため、レーザーの照射タイミングを調整することによって1画素以下の描画位置の調整が可能である。
図40(b)は、レーザースキャン方式のプロジェクタにおける台形補正を説明する図の一例である。レーザースキャン方式のプロジェクタでは、レーザーの照射タイミングによって画素位置を微調整することで、有効画素を減らすことなく台形補正が可能である。
例えば、特許文献1には、振動ミラーの振幅を縦軸の位置によって制御することで同等の歪み補正を実現できることが開示されている。また、特許文献2には、振動ミラーにレーザー光を照射するタイミングを制御することで、画素位置を微調整して有効画素を減らすことなく台形補正する技術が提案されている。また、特許文献3には、描画タイミング生成部が、次に描画を行う垂直方向の位置を制御して非描画領域を設ける台形補正方法が示唆されている。
しかしながら、特許文献1に開示されているように、振動ミラーの振幅を縦軸の位置によって制御することは、振動ミラーが共振状態で振動していることを考慮すると、その振幅制御は非常に難しく、現実的ではない。
また、特許文献2では、レーザー光を照射するタイミングを制御しているが、共振状態の振動ミラーが描く光線の軌跡は三角関数や逆算各関数を含んだ実数演算なので、リアルタイムに光線の描画位置を演算しながらレーザー光を照射するタイミングを補正することは計算が追いつかないという問題がある。
また、特許文献3には、非描画位置の計算方法や計算後のレーザー光の制御について具体的な制御が開示されておらず、実現にはなお多くの課題がふくまれていると推測される。
本発明は、上記課題に鑑み、斜め投射時に発生する投影画像の歪みを偏向光学素子への入力段階で施さず、また、実用的な制御負荷にて補正可能なプロジェクタを提供することを目的とする。
上記課題に鑑み、本発明は、画像データの入力手段と、前記画像データを記憶するフレームメモリと、レーザー光を照射するレーザー発振器と、レーザー光を反射する1つ以上の反射光学素子と、スクリーン上のレーザー光の包絡線が所定形状となるよう前記反射光学素子を互いに直交する2つの軸を中心に振動させる偏向方向可変手段と、レーザー光の照射中心方向が照射面に対し垂直でない投射角を有する場合に、前記反射光学素子の角度からレーザー光の照射位置を三角関数を用いずに求める多項式の係数情報が記憶された係数情報記憶手段と、前記係数情報記憶手段に記憶された前記係数情報に演算を施して求めた係数、及び、前記反射光学素子の角度を前記多項式に適用することで、レーザー光の照射位置を演算する照射位置演算手段と、前記照射位置演算手段が演算した照射位置に対応する前記フレームメモリのアドレスを演算するアドレス演算手段と、前記アドレスの画素情報を読み出すメモリ制御手段と、前記画素情報に応じた輝度で前記レーザー発振器を発振させるレーザー駆動手段と、を有することを特徴とする画像投影装置を提供する。
斜め投射時に発生する投影画像の歪みを偏向光学素子への入力段階で施さず、また、実用的な制御負荷にて補正可能な画像投影装置を提供することを目的とする。
プロジェクタと入力端末の概略構成図の一例である。 レーザープロジェクタの構成図の一例である。 フレームメモリに記憶される画像データを模式的に説明する図の一例である。 描画位置演算器のブロック図の一例である。 MEMSミラーの構成を説明する図の一例である。 MEMSミラーが反射するレーザー光の座標位置を説明する図の一例である。 MEMSミラーの二つの回転軸を模式的に示す図の一例である。 プロジェクタが想定する投射画像の歪み例の一例を示す図である。 主走査方向の各振れ角φが-1〜-7度の時に副走査方向の振れ角θを振ることで得られるレーザー光の軌跡を示す図の一例である。 副走査方向の各振れ角θが1〜5度の時に主走査方向の振れ角φを振ることで得られるレーザー光の軌跡を示す図の一例である。 主走査の振れ角φとa(x)の関係、主走査の振れ角φとb(x)の関係を、示す図の一例である。 副走査の振れ角θとc(y)の関係、副走査の振れ角θとd(y)の関係、副走査の振れ角θとe(y)の関係を示す図の一例である。 画像出力系回路の全体的な動作手順を示すシーケンス図の一例である。 シミュレーションによる(X、Y)のデータから計15個の係数dを求めるまでの手順を示すフローチャート図の一例である。 シミュレーションソフトがdy1〜dx9を利用して求められたa(x)〜e(y)によりプロットしたレーザ光の軌跡の一例を示す図である。 歪み補正を説明する図の一例である。 糸巻き型歪みと歪み補正の結果を模式的に示す図の一例である。 フリースキャンを説明する図の一例である。 レーザープロジェクタのメモリアクセスの特徴を簡略化して模式的に説明する図の一例である。 画像サイズをメモリ容量の関係の一例を示す図である。 リードサイクルのシーケンス図の一例である。 連続アクセスの際のリードサイクルのシーケンス図の一例を示す図である。 ラスタースキャンを説明する図の一例である。 フリースキャンを模式的に説明する図の一例である。 歪み補正を模式的に説明する図の一例である。 メモリ制御ブロックの全体ブロック図の一例である。 入力側バッファのブロック図の一例である。 出力側バッファのブロック図の一例である。 出力側バッファのアドレス部のブロック図の一例である。 アドレス部へアドレスが入力されてから2PortFIFOへ書き込まれるまでの流れを示すフローチャート図の一例である。 アドレス部が2PortFIFOに保存されたデータをアービタ又はデータ部に渡すまでの流れを説明するフローチャート図の一例である。 データ部のブロック図の一例である。 データ部が重複情報・ブランク情報の書き込みと読み出しを制御する手順を示すフローチャート図の一例である。 重複・ブランク再生部のブロック図の一例である。 重複・ブランク再生部が重複・ブランクのデータを再生する手順を示すフローチャート図の一例である。 アービタに入出力される信号の一例を示す図である。 アービトレーションポリシーに基づき生成されたアービトレーションテーブルの一例を示す図である。 斜め投射による投影画像を説明する図の一例である。 DLP方式のプロジェクタの概略を説明するための図である。 レーザースキャン方式の概略を説明するための図である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
図1は、レーザープロジェクタと入力端末の概略構成図の一例である。入力端末は画像データをレーザープロジェクタ(以下、LPJという)200に入力する端末で、例えばPC(Personal Computer)やテレビ受像器、BDプレーヤ、又は、画像データを記憶した記憶媒体である。プロジェクタは画像データからレーザー光を生成して、2Dスキャナに反射させてスクリーンに投射画像を形成する。レンズなどの光学系を有さない場合、常に焦点が合うようになっている。また、図では、レーザー光の照射部が、投射画像の中央になるように投射画面が形成されるが、レーザー光の照射部が投射画像の下端付近になるように投射画像を形成することもできる。
投射画面のサイズはLPJ200とスクリーンとの間の投射距離によって変わるが、例えば対角線が30〜300〔cm〕の広範囲で変倍される。また、LPJ200がズーム機構及びレンズを備えていればLPJ200が同じ位置でも投射画像のサイズを変更できる。
図2は、LPJ200の構成図の一例を示す。LPJ200は、画像入力系回路49、画像出力系回路48、フレームメモリ58、2Dスキャナ53、及び、レーザー発振器60を有する。
画像入力系回路49は、いくつかのVideo入力の入力インタフェースを有する。入力インタフェースは、デジタルの画像データを入力するためのDVI、HDMI端子、アナログの画像データを接続するためのD−Sub、S−Video端子等である。また、フラッシュメモリなどの記憶手段と接続するためのUSB端子等も入力インタフェースとなる。
入力される画像データの映像信号はRGB信号であるが、YUV信号の場合はLPJ200がVideo入力前にRGB信号に変換する。画像データは、WXGA、XGA、SVGA、VGA等の所定の解像度で入力される。なお、画像入力系回路49はVideo入力がアナログ信号ならA/D変換してメモリ制御ブロック100に出力する。
メモリ制御ブロック100は、画像入力系回路49から入力された画像データをいったんフレームメモリ58に記憶して、フレームメモリ58から読み出して画像出力系回路48に出力する。
図3は、フレームメモリ58に記憶される画像データを模式的に説明する図の一例である。フレームメモリ58は後述する外部メモリ15の一部の領域(アドレス範囲)に設けられている。外部メモリにはフレームメモリ58の他、プログラム等が記憶されている。画像データは1画素がR8bit・G8bit・B8bitの計24bit(3Byte)で表される。図では1つのマスが8bitである。メモリ制御ブロック100は、2Dスキャナ53の投射位置に対応したアドレスの画像データを読み出し、レーザードライバ59に出力する。なお、メモリ制御ブロック100については実施例2にて詳述する。
図2に戻り、画像出力系回路48は、2次元スキャナ駆動タイミング生成器51、タイミング補正指示器54、描画位置演算器57、スキャナ角度演算器55、スキャナドライバ52、ADC56、及び、レーザードライバ59を有する。
本実施形態のLPJ200はレーザー光を光源とするためRGB各色のレーザー光を1つに重ねて出力するレーザー発振器60を有する。レーザードライバ59はレーザー発振器60を駆動する回路であり、RGB各色毎にLD(レーザーダイオード)60r〜60bを駆動するためRGB各色のレーザードライバ59r〜59bを有する。レーザードライバ59rはある画素のRの画像データに基づき赤LD60rを駆動する赤LD駆動波形を生成し、レーザードライバ59gはGの画像データに基づき緑LD60gを駆動する緑LD駆動波形を生成し、レーザードライバ59bはBの画像データに基づき青LD60bを駆動する青LD駆動波形を生成する。これにより赤LD、緑LD、及び、青LDは、画像データに基づく強度で発振し、レーザー発振器60は画像データに対応した輝度(色)のレーザー光を照射する。
2Dスキャナ53はこのレーザー光を2次元にスキャンして投射画像を投射する。2Dスキャナ53については後述するが、2Dスキャナ53は2軸のMEMSスキャナである。2軸のMEMSスキャナにはMEMSミラーの振れ角を検出するセンサー(角度検出器)が配置されており、角度検出器はMEMSミラーの振れ角に応じた電圧をADC(Analog to Digital Converter)56に出力する。ADC56は振れ角に応じた電圧をデジタルの振れ角に変換する。
2次元スキャナ駆動タイミング生成器51は、MEMSミラー駆動波形の元情報となるクロックカウントを描画位置演算器57に出力する。MEMSミラーは低エネルギーで大きな振れ角が得られるように、共振周波数で駆動される。共振周波数はMEMSミラーや梁部それぞれの材質、形状、寸法で決まってくるので、例えば開発者にとっておよその値は既知である。または、MEMSミラーの周波数を検出するセンサを配置すればより精度良く求めることができる。共振周波数は図示されないマイコンなどの外部機器によって2次元スキャナ駆動タイミング生成器51に設定される。
2次元スキャナ駆動タイミング生成器51は設定された共振周波数とシステムクロック周波数に基づき、主走査、副走査それぞれの1周期に相当するクロック数をカウントする。例えば、
水平方向の共振周波数:1000Hz(1周期は1ms)
システムクロック周波数:100MHz(10μs)
とすると、1msをカウントするために100カウントが必要なので、クロックカウントは最大100回となる。同様に、垂直方向の共振周波数から垂直方向の最大のクロックカウントも決まっている。2次元スキャナ駆動タイミング生成器51は、水平方向のクロックカウント(例えば、100回に到達すると1に戻り、再度100までの増大することを繰り返す)と垂直方向のクロックカウントをカウントし、タイミング補正指示器54と描画位置演算器57に出力する。なお、クロックカウントを水平方向と垂直方向に分けることなく、1つの画面に1つのクロックカウントとしてもよい。以下では、水平方向と垂直方向を区別せずにクロックカウントという。
また、2次元スキャナ駆動タイミング生成器51は、クロックカウントを用いてMEMSミラーが共振周波数で振動するようにMEMSミラーの駆動波形を生成しスキャナドライバ52に出力する。駆動波形は矩形波、PWM、正弦波、三角波など一般的な波形を用いればよく、本実施形態では主走査側を矩形波、副走査側をPWMとする。
クロックカウントはMEMSミラーを駆動するための駆動波形の元情報だが、諸々遅延要素(スキャナドライバ52の遅延、MEMSミラーの物理的応答特性等)のために実際のMEMSミラーの動作とはズレが生じる。また、MEMSミラーは温度変化や経時変化で共振周波数が変わるため、同じ駆動波形で振動していても振幅に変化が生じる。
これを補正するために、スキャナ角度演算器55は、共振周波数から既知のMEMSミラーの最大振れ角時タイミングを駆動波形から検出し、ADC56が出力する振れ角をサンプリングする。振れ角はタイミング補正指示器54に入力される。
タイミング補正指示器54は、スキャナ角度演算器55から入力された実角度と、駆動波形が期待する振れ角に差異があるか否かを判定し、所定以上の差異があれば、補正量を演算し、2次元スキャナ駆動タイミング生成器51に入力する。これにより、2次元スキャナ駆動タイミング生成器51は、補正量に応じてクロックカウントを補正するので、駆動波形の周波数又は駆動電圧が調整され、MEMSミラーの振れ角が所望の角度に調整される。
また、タイミング補正指示器54は、MEMSミラー駆動タイミング(最大振幅時)と実際のMEMSミラー振幅の位相差を描画位置演算器57へ出力する。位相差はクロック数(クロック補正分)で表される。
次いで、描画位置演算器57について説明する。
図4は描画位置演算器57のブロック図の一例を示す。描画位置演算器57は補正済クロックカウント演算器61、スクリーン座標計算器62、歪補正パラメータ保存器63、及び、メモリアドレス計算器64を有する。
描画位置演算器57はMEMSミラーがある振れ角であった場合に、スクリーン上のどの点にレーザー光が照射されるかを計算する。描画位置演算器57は主に以下の2つの動作を行う。
動作1:タイミング補正指示器54から受け取ったクロック補正分と、クロックカウントに基づき、描画位置を特定するための補正済クロックカウントを演算する。主に補正済クロックカウント演算器61により演算される。
動作2:補正済クロックカウントに基づきスクリーン座標を計算する。また、スクリーン座標に基づき描画すべき画素のデータアドレスを特定し、メモリ制御ブロック100へ読み出すよう指示する。主にスクリーン座標計算器62とメモリアドレス計算器64により処理される。
補正済クロックカウント演算器61は、2次元スキャナ駆動タイミング生成器51が出力するクロックカウントに、タイミング補正指示器54が出力するクロック補正分(遅延時間)を加えて、また、さらに定数を乗じるなどの演算を行い、補正済クロックカウントを演算する。
2Dスキャナ53はクロックカウントにより走査位置が決まるので、クロックカウントによりスクリーン上の座標も一意に定まる。このため、スクリーン座標計算器62は、補正済クロックカウントから幾何学的な演算により一意にスクリーン座標を計算できる。計算方法については後に詳述する。
ここで、LPJ200の出射光軸がスクリーンと垂直でない場合、そのなす角(以下、投射角という)により、投射画像が台形状に歪むが、この場合でもある瞬間にレーザー光がスクリーン上のどこを照射するのかは、投射角を用いれば計算することができる。このため、スクリーン座標計算器62には歪補正パラメータ保存器63から投射角に応じたパラメータが供給される。歪補正パラメータ保存器63には、ある投射角の時にスクリーン座標を演算するための多項式の係数が記述されている。パラメータについては後述するが、パラメータを用いて演算することで演算時間や処理負荷を低減して1クロック毎のスクリーン座標の演算が可能になる。また、2Dスキャナ53が台形状の範囲をスキャンしても、1クロック毎のスクリーン座標を演算できる。なお、投射角はセンサや設定により取得されるので、描画位置演算器57にとって投射角は既知である。
メモリアドレス計算器64は、スクリーン座標から描画すべき画素のデータアドレスを算出し、メモリ制御ブロック100に出力する。フレームメモリ58の全領域のアドレスとスクリーン上の座標(X,Y)は1対1に対応する。このため、クロックカウント(実際には補正済クロックカウント)が分かれば、フレームメモリ58のアドレスを一意に特定できる。すなわち、メモリアドレス計算器は、予め定められた変換演算を行ったり、変換テーブルを参照することで、クロックカウントをフレームメモリ58のデータアドレスに変換することができる。
正面投射の場合と斜め投射の場合とではスクリーン座標とアドレスの対応関係が異なるので、メモリアドレス計算機64は投射角によって異なる変換演算を行ったり、異なる変換テーブルを参照して、クロックカウントをデータアドレスに変換する。これについては後述する。
なお、画像データの解像度(フルHD、WXGA、XGA、SVGA、VGA等)によっては、画素値が格納されていないアドレスが存在することになるが、このアドレスは実施例2で説明するブランク扱いとなる。
〔2Dスキャナ〕
2Dスキャナ53について説明する。本実施形態の2Dスキャナ53は一般的なものであればよく、下記の構成は一例である。
図5(a)は、MEMSミラー70の平面図の一例を示す。ミラー基板531、2本のねじり梁532、546、及び、ねじり梁を外側から固定している上部フレーム547は、低抵抗の単結晶シリコン基板で一体成形されている。ミラー基板531は同軸上に設けられた2本のねじり梁531、532でその一辺の中央部分を支持されており、ミラー基板531上にはレーザー光の波長に対して十分な反射率をもつ金属薄膜533が形成されている。ミラー基板531と2本のねじり梁532、546の各部寸法は、必要とする共振周波数が得られるように設計されている。
上部フレーム547は絶縁膜548を介して下部フレーム549に接合されている。下部フレーム549はミラー基板531が振動する部分が除去されている。
上部フレーム547、ねじり梁532、546、及び、ミラー基板531は、同一基板を貫通エッチングすることによって一体成形されている。エッチングの際、ミラー基板531のねじり梁が結合されていない側面は、櫛歯形状に加工形成されている。ミラー基板531の櫛歯形状には静電引力による駆動のための可動電極541、535が形成されている。
可動電極541、535に対向する櫛歯形状の両側面には、駆動用の固定電極543、537が形成されている。この固定電極543、537が形成されている上部フレーム547の一部は、スリット534、538、545、540によりねじり梁が結合されている上部フレーム領域からは絶縁分離されている。
上部フレーム547の表面にはスパッタ法でマスク成膜したAl薄膜による電極パット542、536、539が形成されている。電極パットとしてはAu等の他の材料も適用可能である。
電極パット542、536から、固定電極543、537に同時に電圧を印加すると、微小ギャップを介して向かい合った固定電極543、537と可動電極541、535の間に静電引力が働く。両電極間に微少量の初期位置ずれがあった場合、両者が最短距離となるようにミラー基板531に回転のモーメントが働く。初期位置ずれは静電引力の印加により、共振振動を生じさせ振れ角を増大していく。なお、ここではミラー基板を共振振動させるための駆動力として静電引力を用いた場合を説明したが、電磁力を駆動に用いてもよい。
図5(b)は、圧電素子を用いたMEMSミラー70の構成図の一例を示す。第1ミラー支持部563aは連結点Qa、Qbにおいて第1梁部567aのほぼ中央と連結している。第2ミラー支持部563bと第2梁部567bも同様である。
第1圧電体565aは第1梁部567aと第1固定部561aとに、第2圧電体565bは第1梁部567aと第2固定部561bとにそれぞれ跨って導電性接着剤により固定されている。同様に、第3圧電体565cと第4圧電体565dも、第2梁部567bと第3固定部561c及び第2梁部567bと第4固定部561dにそれぞれ跨って導電性接着剤により固定されている。
第1圧電体565aと第3圧電体565cには、第1配線571a、共通配線569及び導電性材料からなる枠部564を介して駆動回路570から交流電圧が印加される。同様に、第2圧電体565bと第4圧電体565dとには、第2配線571b、共通配線569及び枠部564を介して駆動回路570から上記交流電圧とは逆相の交流電圧が印加される。各圧電体565a〜565dは駆動回路570からの交流電圧により振動し、第1梁部567aと第2梁部567bに対してこの振動を伝達する。
第1梁部567a及び第2梁部567bの振動により、第1ミラー支持部563a及び第2ミラー支持部563bに回転トルクが与えられ捻れ変位が発生する。このため、各ミラー支持部を揺動軸としてミラー部562に揺動振動が発生する。このミラー部562の揺動振動の周波数は、高周波な共振周波数となる。
図5(a)(b)のMEMSミラーはいずれも1軸のMEMSミラーのため1つの走査方向にしか走査できないので、振動方向が90度異なるように2つのMEMSミラーを組み合わせることで、2Dスキャナを構成する。また、90度異なる2つの軸を中心に独立に振動する1つのミラーを備えた2軸のMEMSミラーにより2Dスキャナを構成してもよい。
〔MEMSミラーの振れ角とレーザー光が投光されるスクリーン座標〕
図6は、MEMSミラーが反射するレーザー光の座標位置を説明する図の一例である。説明を容易にするため、レーザー発振器60が照射したレーザー光はMEMSミラーが静止していると仮定した面に垂直に入射するものとする。また、拡大光学系としてのレンズは省略した。レーザー光はMEMSミラーにより反射され、スクリーン状の1点(X,Y)に到達する。
・主走査方向(y軸を中心に回転)のミラーの振れ角をθ
・副走査方向(x軸を中心に回転)のミラーの振れ角をψ
・MEMSミラーとスクリーンの距離をd
とすると、スクリーン上のレーザー光の座標(X,Y)は、
(√d・sinθ・cosφ,√d・sinφ)
となる。
しかし、図7に示すように、実際のMEMSミラーは二つの回転軸の中心が一致しない。2つの回転軸の中心が一致するなら、円の中心と2つの直線の交点が一致するが、実際のMEMSミラーは図示するように他方の(図では垂直の回転軸)が円の中心からずれる。
この様に二つの回転軸が存在すると座標(X,Y)は上記の三角関数では表すことができず、次の様になる。
(d・tanφ,d・tan{arctan(cosφ・tanθ)})
しかしながら解析的にはこの様に数式で表現できても、描画位置演算器57がこの三角関数の計算を行うには非常に長い時間がかかり、例えば100MHzの1クロック毎にこれを計算することは困難である。クロックカウントと(X,Y)の対応テーブルを予め用意しておき、参照すれば1クロック毎の計算も可能だが、上式には逆三角関数(arctan)が入っているため、逆三角関数(arctan)のためのテーブルが必要になるなど、この方法も実現は困難である。
また、上記の数式はMEMSミラーの後段に拡大用のレンズが入っていない構成で求められているが、拡大用のレンズを入れた光学系の場合、上記の解析式以上に複雑な式になる。
そこで、本実施形態のLPJ200は、φとθを用いた多項式によりスクリーン座標(X,Y)を算出する。
〔モデル式〕
図8は、本実施例のLPJ200が想定する投射画像の歪み例の一例を示す。この図では、MEMSミラーの主走査方向の振れ角が横軸、副走査方向の振れ角が縦軸となっている。投射画像の形状はレーザ光の走査範囲の包絡線である。
図8では、MEMSミラー面がスクリーン面と並行でないことを想定している。このため、図39(b)に示したように、投射画像が台形状に変形している。また、図8の投射画像は、像面拡大用のレンズを用いたLPJ200が投射したため、包絡線が湾曲するという特徴的な歪みを示している。
以下では、このような特徴的な歪みの投射画像を矩形に補正するため、所定の投射角の際に、MEMSミラーの演算上の振れ角φ、θから、スクリーン座標(X,Y)をどのように表すかについて説明する。スクリーンとの距離が変わっても、投射画像の形状は変わらない(互いに相似)ので、スクリーンとの距離は規定する必要はないが、一般的な距離を想定すればよい。
まず、多項式をモデル化するため、開発者が、所定の投射角の場合、MEMSミラーの振れ角φ、θの時に拡大光学系を通過したレーザー光が到達するスクリーン座標(X,Y)をシミュレーションソフトを利用して計算する。
MEMSミラーの運動状態は以下の様に表現できると仮定する。
Mx=φ=A・sin(ωt+α) …(1)
MY=θ=B・sin(ω't+β) …(2)
すなわち、角度φ、θの変化が時間の1次関数で表現できる単振動運動とモデリングする。
次に、開発者(実際の処理はシミュレーションソフトが行う)は、主走査方向の振れ角φをいくつかに固定して、副走査方向の振れ角θを振った場合のレーザー光の軌跡を求める。
図9は、主走査方向の各振れ角φが-1〜-7度の時に副走査方向の振れ角θを振ることで得られるレーザー光の軌跡を示す図の一例である。主走査方向の振れ角φが固定で副走査方向の振れ角θを変化させたので、軌跡は上下方向に描画される。所定の投射角を図39(b)のように上向きに設定しているため、主走査方向の振れ角φが大きいほどMEMSミラーからスクリーン面までの距離が伸びるため、副走査方向の振れ角θの変化量が同じでも、主走査方向の振れ角φが大きいほど軌跡が外側(図では左側)に広がる。
図9の各ラインは完全には直線ではないが、概ね直線の様な形状をしているので、スクリーン座標系の座標Xは、MEMSミラーの振れ角θの一次式により表すことができる。スクリーン座標系(X,Y)を、MEMSミラー座標系で表すため、振れ角φを"x"、θを"y"とする。
X(x,y)=a(x)y+b(x)…(3)
すなわち、振れ角φ毎に、振れ角θが決まればX(x、y)が決まるa(x)とb(x)が存在することになり。後述する方法でa(x)とb(x)を求めればX(x、y)を求めることができる。
なお、図9では振れ角φを-1〜-7度としたが、振れ角φを正側の1〜7度としても、同様に式(3)によりX(x、y)を定めることができる。
次に、開発者は、副走査方向の振れ角θをいくつかに固定して、主走査査方向の振れ角φを振った場合のレーザー光の軌跡を求める。
図10(a)は、副走査方向の各振れ角θが1〜5度の時に主走査方向の振れ角φを振ることで得られるレーザー光の軌跡を示す図の一例である。副走査方向の振れ角θが固定で主走査方向の振れ角φを変化させたので、軌跡は左右方向に描画される。図10(a)では、湾曲の程度が分かりにくいので、副走査査方向の振れ角θが1度の軌跡のみをピックアップした図が図10(b)である。
図10(b)より、各軌跡は概ね放物線の様な形状をしているとしてよい。したがって、スクリーン座標のYは、MEMSミラーの振れ角φにより表すことができる。スクリーン座標系(X,Y)を、MEMSミラー座標系で表すため、振れ角φを"x"、θを"y"とする。
Y(x,y)=c(y)x+d(y)x+e(y)…(4)
すなわち、振れ角θ毎に、振れ角φが決まればY(x、y)が決まるc(y)、d(y)及びe(y)が存在することになる。後述する方法でc(y)、d(y)及びe(y)を求めればY(x、y)を求めることができる。
この様に式(1)(2)を近似可能な多項式により(X,Y)を求めることは、最終的に次のa(x)〜e(y)を数値的に決定する問題に帰着する。a(x)、b(x)はx(φ)の関数であり、c(y)、d(y)、e(y)はy(θ)の関数であるので、5つの関数を求めることになる。
〔5つの関数の求め方〕
5つの関数の数値解を求める方法について説明する。a(x)とb(x)は振れ角φにより異なり、c(y)、d(y)及びe(y)は振れ角θにより異なる。よって、a(x)とb(x)が振れ角φに応じてどのように変化するかが分かれば、振れ角φからa(x)とb(x)を求めることができる。また、c(y)、d(y)及びe(y)が振れ角θに応じてどのように変化するかが分かれば振れ角θからc(y)、d(y)及びe(y)を求めることができる。本実施形態では、最小二乗法を使用してa(x)とb(x)、c(y)、d(y)及びe(y)を求める。
まず、シミュレーションソフトが算出した図9の各直線から、最小二乗法によりa(x)とb(x)を求める。これと同じことを主走査の振れ角φの全範囲(例えば、0.01度〜0.1度間隔)で行うと、主走査の振れ角φの全範囲に渡るa(x)とb(x)を求めることができる。
なお、フィッティング対象の多項式は直線(式(3))である必要はなく、二次以上の多項式や、双曲線(X(x,y)/2a(x)−y2/2a(x)=1)でもよい。また、振れ角φの全範囲に同じ多項式を用いるのでなく、振れ角φに応じてフィッティング対象の多項式を変える(例えば、-3度<振れ角φ<3度では直線に、振れ角φ≦-3度 又は 3度≦振れ角φでは曲線にそれぞれフィッティングする)こともできる。ただし、字数の少ない多項式の方が計算時間が短くて済むので、本実施例では直線にフィッティングする。
図11(a)は、副走査方向の振れ角θとa(x)の関係を、図11(b)は、副走査方向の振れ角θとb(x)の関係を、示す図の一例である。いずれもおおむね曲線とみなすことができる。また、図11(a)は無理関数(a(x)=√{-(x-b)}+c)の形状の一部とも類似しているし、図11(b)は指数関数(b(x)=e+f)の形状の一部とも類似している。
また、開発者は、シミュレーションソフトが算出した図10の各曲線から、最小二乗法によりc(y)、d(y)及びe(y)を求める。これと同じことを副走査の振れ角θの全範囲(例えば、0.01度〜0.1度間隔)で行うと、副走査方向の振れ角θの全範囲に渡るc(y)、d(y)及びe(y)を求めることができる。
なお、フィッティング対象の多項式は式(4)の曲線に限られるものではなく、極小値を示す曲線(4次以下の多項式)を用いることもできる。ただし、字数の少ない多項式の方が計算時間が短くて済むので、二次の多項式にフィッティングする。
図12(a)は、主走査方向の振れ角φとc(y)の関係を、図12(b)は、主走査方向の振れ角φとd(y)の関係を、図12(c)は、主走査方向の振れ角φとe(y)の関係を示す図の一例である。いずれもおおむね曲線とみなすことができる。図12(a)と(c)は下に凸の放物線、図12(b)は上の凸の放物線(二次の多項式)の形状の一部と類似しているし、三次以上の多項式の一部とみなすこともできる。
したがって、以上の結果から、a(x)〜e(y)の全てを曲線の式で近似する事が可能であることが分かる。ここでは計算量を考慮するのと、計算を容易にするため、a(x)〜e(y)に共通に、最も簡単な曲線の式として2次の多項式で近似する。すなわち、以下の様な2次の多項式の係数dを最小二乗法で数値的に求めれば、振れ角φ、θからa(x)〜e(y)を求めることができる。
a(x)=dy1+dy2x+dy3
b(x)=dy4+dy5x+dy6
c(y)=dx1+dx2y+dx3
d(y)=dx4+dx5y+dx6
e(y)=dx7+dx8y+dx9 …(5)
このようにして求められた計15個の係数dは、マイコンの不揮発メモリに記憶されており、LPJ200が起動するとマイコンが不揮発メモリから読み出して描画位置演算器57の例えばレジスタに設定する。このレジスタが上記の歪補正パラメータ保存器63に相当する。描画位置演算器57は式(5)によりある振れ角φ、θの時のa(x)〜e(y)を求め、a(x)b(x)と式(3)からスクリーン座標のXを、c(y)d(y)e(y)と式(4)からスクリーン座標のYを算出することができる。
このように、本実施形態のLPJ200は、スクリーン座標を演算する際に、三角関数を用いない多項式に近似して計算を簡素化することで、描画位置演算器57の回路規模を小さくするという特徴部を備えるということができる。
なお、図9や10はLPJ200が所定の投射角の場合のスクリーン座標の一例なので、投射角がほぼゼロの場合は15個の係数dも変わってくる。しかし、投射角がほぼゼロの場合、描画位置演算器57はスクリーン座標を演算しなくてもクロックカウントからフレームメモリのアドレスを1対1に特定できる。
〔振れ角φ、θとクロックカウントの関係〕
これまで振れ角φ、θをパラメータにすることで、MEMSミラーの運動が単純な2軸の単振動の重ね合わせで表現できると説明したが、これは、角度の変化は時間の一次関数で近似できることを意味する。
描画位置演算器57には同期のためのクロックカウントが入力されるが、クロックカウントと時間とは等価である。上記のように、角度をパラメータとして座標を表すことと、時間をパラメータとして座標を表すことが等価であることを考慮すると、描画位置演算器57に入力されるクロックのカウントを利用して座標(X,Y)を表すことが可能である。
〔全体的な動作手順〕
図13は、画像出力系回路48の全体的な動作手順を示すシーケンス図の一例である。
S1:2次元スキャナ駆動タイミング生成器51は、システムクロック周波数に基づきカウントした主走査方向と副走査方向のクロックカウントを補正済クロックカウント演算器61に出力する。
S2:タイミング補正指示器54が、スキャナ角度演算器55から入力された実角度と、駆動波形が期待する振れ角の差異に基づき補正量を演算しクロック補正量を補正済クロックカウント演算器61に出力する。
S3:補正済クロックカウント演算器61はクロックカウントにクロック補正量を加えて補正済クロックカウントを演算する。
S4:スクリーン座標計測器62は歪み補正パラメータから15個の係数dを読み出す。なお、係数dが固定であるならS4までに読み出しておけばよい。
S5:スクリーン座標計測器62は係数dを式(5)に適用してa(x)〜e(y)を求め、さらにa(x)b(y)を式(3)に、c(y)〜e(y)を式(4)にそれぞれ適用して、スクリーン座標X、スクリーン座標Yを計算する。
S6:メモリアドレス計算器64はスクリーン座標から描画対象の画像データのデータアドレスを算出し、メモリ制御ブロック100に出力する。
この後は、実施例2にて説明されるフレームメモリ58からの読み出し処理になる。
〔係数dの演算手順〕
図14は、シミュレーションによる(X、Y)のデータから計15個の係数dを求めるまでの手順を示すフローチャート図の一例である。シミュレーションを行うのは開発者が操作するコンピュータである。
まず、コンピュータは、シミュレーションソフトが作成したデータを読み込む(S10)。
コンピュータは、MEMSミラーの実振れ角の範囲内のデータのみを抜き出す(S20)。シミュレーションでは、MEMSミラーが振れることのできない範囲もシミュレートすることができるためである。シミュレート範囲を予め実振れ角の範囲内に制限することもできる。
コンピュータは、MEMSミラーの振れ角φ、θをクロックカウントに変換する(S30)。
コンピュータは、主走査位置が同じクロックカウントの(X、Y)を取り出して、副走査のクロックカウントでソートしたデータに分割する(S40)。これにより、図9のような軌跡が得られる。
コンピュータは、主走査位置毎に(S40で分割したデータの集まり毎に)、直線の係数であるa(x)とb(x)を、最小二乗法により算出する(S50)。
コンピュータは、各主走査位置のa(x)とb(x)を2次の多項式にフィッティングした際の係数を最小二乗法で求める(S60)。これにより、dy1〜dy6 が求まる。
コンピュータは、副走査位置が同じクロックカウントの(X、Y)を取り出して、主走査のクロックカウントでソートしたデータに分割する(S70)。
コンピュータは、副走査位置毎に(S70で分割したデータの集まり毎に)、曲線の係数であるc(y)、d(y)、e(y)を、最小二乗法により算出する(S80)。
コンピュータは、各副走査位置のc(y)、d(y)、e(y)を2次の多項式にフィッティングした際の係数を最小二乗法で求める(S90)。
以上により、コンピュータはdy1〜dx9を求めることができるので、歪み補正パラメータ保存器63に記憶させる。
図15は、シミュレーションソフトがdy1〜dx9を利用してa(x)〜e(y)を求め、a(x)〜e(y)から演算したスクリーン座標の軌跡の一例を示す図である。横方向に往復している曲線が軌跡を、曲線の包絡線が投射画像を、矩形が投射角がゼロの場合の理想的な投射画像を、それぞれ示す。
まず、図15によると、実際のレーザー光線の軌跡と同様の軌跡が得られるため、上述した数値計算的なレーザー光線の座標計算が適切であることが確認できる。
また、これまで説明したように、LPJ200が上向きに所定の投射角で傾いて設定されているため、投射画像が理想的な投射画像よりも大きくなりかつ歪んでいる。具体的には矩形外のレーザー光は本来、矩形内に照射されるべきである。本実施形態のLPJ200は、矩形内でのみレーザー光を照射させるため、メモリ制御ブロック100が選択的に画像データをレーザードライバ59に送る様に制御する。これにより歪みが解像度を落とすことなく補正される。
〔歪み補正〕
上述したように所定の投射角が分かれば投射画像がどのくらい歪むかは容易に算出できる。例えば、台形の上辺と下辺の比率は投射角度に依存する。矩形の理想的な投射画像の縦横の長さの比率(いわゆるアスペクト比)は、Video入力される画像データのアスペクト比をそのまま維持することが好ましいと考えられる。よって、歪んだ投射画像を元の画像データのアスペクト比が維持されるように、歪んだ投射画像のレーザー光の照射位置を所定のアスペクト比の領域に対応づけることで、画素を落とすことなく歪みを補正することができる。なお、必ずしもVideo入力される画像データのアスペクト比と同一とする必要はなく、矩形であればよい。
図16は歪み補正を説明する図の一例である。描画位置検算器57はVideo入力される画像データのアスペクト比を検知しておく。そしてメモリアドレス計算器64は、以下の2つの動作を行う。
(i)各アスペクト比毎に用意された、各スクリーン座標がアスペクト比を維持する矩形内の座標か否かを登録された判定テーブルを参照し、スクリーン座標がアスペクト比を維持する矩形内の座標でない場合は、ブランク画素であることをメモリ制御ブロック100に通知する。この場合、メモリ制御ブロック100は輝度が黒レベルのレーザー光を表示する(レーザー光を照射しないと表現することもできる)。
(ii) スクリーン座標がアスペクト比を維持する矩形内の座標の場合は、スクリーン座標からデータアドレステーブルを演算し、メモリ制御ブロック100に出力する。ここで、図16(a)の歪んだ投射画像のレーザー光を図16(b)の所定のアスペクト比の投射画像に投射するには、符号1のレーザー光は符号1'のレーザー光に、…、符号13のレーザー光は符号13'のレーザー光に投射タイミングを調整する必要がある。このため、メモリアドレス計算器64は各アスペクト比毎に用意された、歪みのあるスクリーン座標をアスペクト比を維持する領域内にマッピングするマッピングテーブルを有する。例えば、レーザー光1'のスクリーン座標の時にスクリーン座標1に対応したフレームメモリのデータアドレスを生成する。こうすることで、歪んだレーザー光が欠けることなく矩形領域にマッピングされる。
以上のように、メモリアドレス計算器64は、MEMSミラーが矩形領域外にレーザー光を照射する角度の場合、ブランク画素を出力するようメモリ制御ブロック100に通知し、MEMSミラーの角度が入力された画像データのアスペクト比を保ちつつ表示する角度の場合、メモリアドレス計算器64は、フレームメモリ58から読み出すアドレスを調整する。このように、選択的にレーザードライバ59を駆動する事により歪みを解消して、かつ、画素を捨てることなく、表示を行うことができる。
なお、本実施例の歪み補正は傾斜による歪みだけでなく光学系の歪みにも対応できる。
図17は糸巻き型歪みと歪み補正の結果を模式的に示す図の一例である。投影画角を大きくするために拡大光学系を用いると糸巻き型歪み(又は樽型歪み)が生じることがある。一般には光学系を設計することで正面投射では歪みが目立たない歪みレベルに抑制することができる。しかし、正面投射では歪みが目立たない状態でも斜めに投射すると糸巻き型歪み等がより顕著に表れることがある。本実施例のLPJ200は、このような場合にも光学系を調整することなくレーザー照射のタイミングを調整することで歪みを補正することができる。
また、さらに描画位置演算器57とメモリ制御ブロック100を高速に(例えば、従来は60MHzであったものを200MHz等)動かすことにより、画素値を補間することなどが可能になり、1画素以下(この例では約1/3)の高精細な描画が可能になる。
以上説明したように、本実施例のLPJ200は、スクリーン座標を複雑な式を用いずに近似多項式により求めることで高速な演算を可能にし、アスペクト比を維持するようにレーザー照射のタイミングを補正するので、LPJ200が傾斜していても画像が歪まないようにすることができる。
実施例1にて説明したように、共振型MEMSを用いたLPJ200では、メモリ制御ブロック100はスクリーン座標に応じてフレームメモリをスキャンする。しかしながら、このようなスキャン方法ではフレームメモリのアドレス順に画素を読み出すとは限らないため、メモリからの読み出しが間に合わなくなるおそれがある。そこで、本実施例では、このような課題に対応した、LPJ200のメモリアクセスについて詳細に説明する。以下、本実施例のメモリアクセスをフリースキャンという。フリースキャンはラスタースキャンと対比するための用語であり、アクセスされるアドレスが連続とは限らないことをいう。
まず、フリースキャンでは、入力画像と出力画像のタイミングを合わせることができず、投射用画像データを一時保存しておくフレームメモリ58が必要になる。
図18は、フリースキャンを説明する図の一例である。図18(a)は説明の対比のため、ラスタースキャンを模式的に示す図である。ラスタースキャンでは、入力画像上の原点からX方向へ入力画素を読み出していってX方向の終端まで到達すると、次にY方向に1つラインを移って、そのラインについてX方向の終端まで入力画素を読み出す。
これ対し、フリースキャンでは、X方向に走査しながらY方向にも走査するので、入力画素を連続アドレスで読み出すことができず、途切れ途切れのアクセスになる。したがって、投射用画像データがフリースキャンできるように投射用画像データを一時保存しておくフレームメモリ58が必要になる。
図示するように、フレームメモリ58へのアクセスでは、連続アドレスのアクセスが出来ず、またアクセスアドレスの予測による先読みやデータ格納時の適正な並べ替えもできない。このため、バーストアクセスが基本のDDR/DDR2/DDR3などのSDRAMでは余分なアクセスが発生する。この不都合を解決して必要なアクセス帯域を確保するには、高価なDual Port SRAMを使用するか、安価ではあるが消費電力の大きい必要以上に高速なSDRAMを使用しなければならないという問題がある。
ここで、メモリへのアクセス効率を高める技術が考案されている(例えば、特許文献4参照。)。特許文献4には、映像データをメモリへ格納する際に複数画素をデータ圧縮して格納し、読出し要求によって読み出した圧縮データを複数画素に復号してバッファ(キャッシュ)に格納し、次の読み出し時にはキャッシュされたデータを使用することによってメモリとデータ転送量を軽減する方法が開示されている。
しかしながら、特許文献4に開示されているように、映像データを圧縮/復号化することでアクセス帯域は確保できても上記の問題は解決できない。すなわち、フリースキャンの場合はアクセスアドレスがスキャン毎に違っており、読み出すデータは特定の連続アドレスに格納されないので、読み出した圧縮データを復号した複数画素を利用できるとは限らない。このため、結局は再読み込みが必要となり、メモリとデータ転送量の軽減という問題を解消することはできない。
本実施例では、この課題を鑑みて、フレームメモリ58へのアクセスをより効率的に行うメモリ制御装置について説明する。このメモリ制御装置は実施例1のメモリ制御ブロックに相当するので、メモリ制御装置とメモリ制御ブロックの符号はいずれも100とした。
図19は、本実施形態のLPJ200のメモリアクセスの特徴を簡略化して模式的に説明する図の一例である。
まず、LPJ200は、読み出すデータのアドレスの重複チェックを常に行い、読み出し先が同じであればフレームメモリ58にアクセスせずに、再生する(同じデータを複製する)。また、LPJ200は、歪み補正することを利用して、読み出すデータがブランクか否かのチェックを行い、ブランクの場合にはフレームメモリ58にアクセスしない。この2つによって、連続アドレスが基本のフレームメモリ58に対し、同じアドレスに連続してアクセスすることや、不要にアクセスすることを抑制できる。
また、LPJ200は、入力側バッファと出力側バッファのデータの残量を把握しており、可能な限り連続アクセスになるように、入力側バッファと出力側バッファの状態に応じて、入力側バッファからの書き込みと出力側バッファへの読み出しの優先度を調停する。これにより、フレームメモリ58に対して集中的に書き込み、集中的に読み出すことが可能になる。
〔DRAMについて〕
まず、フレームメモリ58に一般的に使用されるDRAMについて説明する。フレームメモリ58に使用される記憶素子は、以下のような理由でDRAMメモリが多いとされている。
・価格が安い(PC(パーソナルコンピュータ)で大量に使用されるため低価格化が早い)
・高速アクセスが可能(DDRの動作周波数333MHz、DDR3は1333MHz等)
・調達が安定している
・記憶容量が大きい(128Mbits、512Mbits等)
低価格の組み込み機器においてLSIコストは製品全体のコストのうち大きな比重を占めるため、特に価格が安いことは製品への搭載を決定する上で重要で、安い記憶素子を選択することが必須になっている。
また、フレームメモリ58に必要な記憶容量は、画像サイズに応じて変わってくる。
図20は、画像サイズとメモリ容量の関係の一例を示す。例えば、VGAでは約7.1Mbits、Full-HDでは約45Mbitsのメモリ容量が必要である。なお、メモリ容量の括弧内の数値は1ピクセルの階調値であり、32bitで階調を表すとVGAでは約9.4Mbits、Full-HDでは約60Mbitsのメモリ容量が必要になる。
例えば、HD(720p)用にSRAMを選択するとなると、27.3Mbitsの記憶が可能な32Mbit品が必要だが、1個当たり数千円のコストが必要になり、製品の価格にもよるが、事実上選択対象から除外せざるを得ない。これに対し、DDR/DDR2/DDR3を採用したSDRAMであれば512Mbitでも1個あたり500円以下で調達可能である。
しかしながら、DRAMにはアクセスレイテンシ(遅延)が大きいという不都合な特徴がある。例えば、DDR3メモリでは1回の読み出しアクセスでプリチャージから読み出し終了まで最大33Cycleかかることがある。
図21は、リードサイクルのシーケンス図の一例を示す。図21の上段はCASレイテンシCL=2であり、下段はCL=2.5である。
(i) メモリコントローラは、ACT(バンク・アクティブ・コマンド)と共に、Row(ロウ)アドレス及びバンクアドレスを入力して該当バンクの特定ロウアドレスをアクティブにする。
(ii) ACTを入力してからtRCD後、カラム・アドレス、バンク・アドレス、及びREAD(リードコマンド)を入力する。
(iii) リードコマンドを入力してからCASレイテンシ後に上記で指定したアドレスから始まるバーストデータ出力が開始される。
(iv) ACTを入力してからtRAS後、メモリコントローラがPRE(プリチャージコマンド)を入力する。
(v) メモリは、DQS信号(データストローブ信号)と、DQS信号に同期するDQ信号(データ信号)を出力する。メモリコントローラは、DQS信号の立ち上がり/立ち下がりエッジを参照してDQ信号を取り込む。
このようなレイテンシを隠蔽するためにSDRAM系のメモリでは連続アクセスが基本になる。
図22は、連続アクセスの際のリードサイクルのシーケンス図の一例を示す図である。図22では、CASレイテンシCL=2とした。
連続アクセスでは、最初の1回(図22のREAD a)だけ、上記の全ての手順を踏み、2回目以降のアクセスについてはカラム・アドレスの指示(図22のREAD b)だけでアクセスする。すなわち、メモリコントローラは、2回目のアクセスでは、ACT(アクティブコマンド)、バンクアドレス、及び、ロウアドレスの出力を省略し、さらにプリチャージ(図21のPRE)を省略する。
これによって、レイテンシは大きくともスループットは高いアクセスを実現することができる。図22はカラム・アドレスの指示を2回続けて行った場合のシーケンスだが、2回目のリードコマンド(READ b)の直後からデータの読み出しが可能になっている。
このように、DDRメモリへのアクセスにて高いスループットを実現するためには、バンク・アドレス及びロウ・アドレスを変更せず(連続アクセスではバンクアドレス、及び、ロウアドレスが省略されるため)、カラム・アドレスの変更のみで連続アクセスする必要がある。
〔ラスタースキャン〕
図23は、ラスタースキャンを説明する図の一例である。フレームメモリ58への書き込みや読み出しとしてはラスタースキャンが知られている。ラスタースキャンの一例としては映像などをPCのディスプレイに表示することが挙げられるが、ラスタースキャンとは元の映像の走査線の一列がデータに戻され、走査時と同じ順番で表示するスキャン方法である。
共振型MEMSミラーを用いたLPJ200のフレームメモリ58においても、PCや携帯電話本体からLPJへ入力された画像データはフレームメモリ58に記憶される。LPJはPCから取得した画像データを記録する際は、一般的にライン順次のラスタースキャンで記憶する。
水平方向へライン順次のラスタースキャンでは、入力画像上の原点(0,0)から入力が始まり、x方向へ入力画素が進んでいってx方向の終端まで画像データを記憶する。次に、LPJはy方向に1つラインを移って、そのラインについてx方向へ入力画像を記憶しておき、x方向の終端まで画像入力する。この繰り返しで1つのフレーム画像が入力完了する。ここで、特徴的なのは、データはx方向に連続したアドレスに記憶されるため、フレームメモリ58への書き込みも連続書込みすることができることである。
〔フリースキャン〕
図24は、フリースキャンを模式的に説明する図の一例である。LPJでは共振型のMEMSミラーを使用するため、x方向の振動周波数とy方向の振動周波数を特定の値にすることが非常に困難になる。このため、x方向の走査周波数とy方向の走査周波数が任意(MEMSミラーの物理特性(製造ばらつき)依存)になる。x方向の走査周波数とy方向の走査周波数が特定の周波数であれば、その周波数でスキャンした際にラスタースキャンとなるように、画像データを記憶することもできる。しかしながら、x方向の走査周波数とy方向の走査周波数が任意だと、予め決まった順番で画像データをフレームメモリ58に書き込むことができないので、その結果、LPJの画像出力はフリースキャンとなる。
図示するように、LPJはフリースキャンにおいてx方向に走査しながらy方向にも走査する(走査線が斜めになっている)。このためx方向1ラインは連続アドレスでのアクセスは出来ず、ある程度x方向に連続して読みとったら、y方向に移動してX方向への読み取りを再開するため、フレームメモリ58へのアクセスが途切れ途切れになる。アクセスが途切れるため、アクセスのオーバーヘッドが増加してしまう。
〔歪み補正〕
図25は、歪み補正を模式的に説明する図の一例である。LPJでは小さい光学エンジン(レーザー発振器、MEMSミラー、レンズ等を有する)から大きな画面を投影するために拡大レンズを使用する。拡大レンズは投影画像の歪みを低減するように設計されるが、LPJでは正面投射だけでなく斜め投射も想定して、いずれの場合でも歪みが少なくなるように拡大レンズが設計される。
しかし、両方の投影方法を実装すると、例えば正面投射に合わせて拡大レンズを作り込んだ場合には斜め投射では歪みが大きくなり、斜め投射に合わせて拡大レンズを作り込んだ場合には正面投射では歪みが大きくなる。
図25(a)はレンズ歪みがある正面投射時の歪みを、図25(b)はレンズ歪みがある斜め投射時の歪みの一例をそれぞれ示す。図では枠線が実際にレーザー走査される歪み時の映像の外縁を示し、枠線の中の映像は歪み補正によって補正された映像を示している。
歪み補正では、歪みのある映像が正面投射時のように投射されるように、歪みのある映像と正面投射時の映像をマッピングして、投射位置をずらす処理を行う。本実施形態ではフリースキャンによりフレームメモリ58へアクセスするので、フリースキャン時のアクセス順を歪み補正に応じて調整する。
このため図25(c)に示すように、フリースキャン時のアクセスがアクセス位置によっては湾曲するようになるが、こうすることによって、LPJがフリースキャンした際に、レンズ歪みがあっても正面投射時のように映像を表示できる。
また、歪み補正によりブランク画素が生じることになる。図25(a)や図25(b)において、枠線がLPJのレーザー光の走査範囲であるのに対し、映像としては正面投射の範囲でレーザー光を照射すればよい。このため、正面投射時の映像と枠線の間の画像データは投射されないブランク画素となる。ブランク画素はフレームメモリ58から読み出す必要がないので、LPJはフレームメモリ58からの読み出しを省略できることになる。
〔構成〕
図26は、メモリ制御ブロック100の全体ブロック図の一例を示す。メモリ制御ブロック100は、ASICなどのICを実体とする。メモリ制御ブロック100は、入力側バッファ11、アービタ13、メモリコントローラ14、及び、出力側バッファ12を有する。なお、以下では、画像データと各種の信号を区別せずにデータという場合、書き込み時の画像データを入力データ、読み出し時の画像データを出力データという場合がある。
入力側バッファ11はVideo入力から入力された画像データを一時的に記憶する。アービタ13は、入力側バッファ11からメモリコントローラ14への画像データの入力要求と出力側バッファ12からの画像データの出力要求を調停(選択)する。メモリコントローラ14は外部メモリ(フレームメモリに相当する)15にACT、READ、PRE、及び、各種のアドレスを出力して、外部メモリ15を操作し画像データを読み書きする。出力側バッファ12は、読出しアドレス生成部16から入力されたデータアドレスを一時保管すると共に、アービタ13に画像データの読み出しを要求し、Video出力へ出すための画像データを一時的に記憶する。この読出しアドレス生成部16は、実施例1の少なくとも描画位置演算器57又は描画位置演算器57に必要な画像出力系回路48となる。データアドレスを 以下、読出しアドレスという。
データの流れは下記のようになる。
・データ入力:メモリ制御ブロック100はVideo入力から入力される画像データを外部メモリ15へ保存する。
Video入力→入力側バッファ11→アービタ13(調停器)→メモリコントローラ14→外部メモリ15
・データ出力:メモリ制御ブロック100は、読出しアドレス生成部16から指示された読出しアドレスに従い、外部メモリ15から画像データを読出し、Video出力へ出力する。
読出しアドレス:読出しアドレス生成部16→出力側バッファ12→アービタ13(調停器)→メモリコントローラ14→外部メモリ15
画像データ:外部メモリ15→メモリコントローラ14→アービタ13(調停器)→出力側バッファ12→Video出力
本実施形態のメモリ制御ブロック100は、以下のような特徴を有する。
・入力側バッファ11は、1ライン〜数ライン程度の画像データの保持が可能で、アービタ13(調停器)の指示に従って連続的に書込みデータ(画像データ)を渡す。
・アービタ13(調停器)は、後述するように、入力データが出来るだけ連続アクセスになるように工夫されている。
・出力側バッファ12は、同じ読出しアドレスに対して複数回連続で読出し要求があった場合に、外部メモリ15の読出しを1回だけにして、2回目以降はコピーした画像データを使用する。
・出力側バッファ12は、描画領域外の画像データ(ブランク)を要求された場合に、外部メモリ15の読出しは行わず、ブランク値をVideo出力へ渡す。
<入力側バッファ>
図27は、入力側バッファ11のブロック図の一例を示す。図27以下では、信号の流れを黒線で、データの流れを白線で示す。入力側バッファ11は、Video入力から入力される画像データを2PortFIFO21に一度ため込み、アービタ13からの要求に応じて、画像データにアドレスを付加してアービタ13に渡す動作を行う。
・外部メモリ15へのバースト・ライトをX走査の1/4ラインから1/2ライン程度とするならば、2PortFIFO21に蓄積できるデータ量はX走査の1ライン程度が適切と考えられる。
・アドレス生成部22は、基本的には単純増加のアドレスを生成し、pix_in_vsync(入力画像の垂直同期)が入力された時にゼロクリアする。
・入力側バッファ11は、2PortFIFO21のステータスを示す信号flag_in_*をアービタ13へ渡す。アービタ13ではこの信号を元にアービトレーション(データパスの調停)を行う。flag_in_*は、flag_in_empty flag_in_halm、flag_in_full、又は、flag_in_over_run_errのいずれかである。
・なお、入力側バッファ11は、一般的な入力画像の非同期吸収バッファであり、特に特別な構造は不要である。
信号の内容は以下のとおりである。
pix_in[23:0] : 入力データ
clk_pix_in : 入力データの1画素のクロック
pix_in_en : 入力データの受け付けを要求する時に「1」となる
pix_in_size_x : 入力データのx方向のサイズ
pix_in_size_y : 入力データのy方向のサイズ
pix_in_vsync : 入力データの垂直同期信号
flag_in_empty : 2PortFIFOが空である時に「1」になるフラグ
flag_in_half : 2PortFIFOに半分以上データがある時に「1」になるフラグ
flag_in_full : 2PortFIFOが満タン(例えば90%以上)である時に「1」になるフラグ
flag_in_over_run_err : 2PortFIFOの読み出しが間に合わず、入力データがあふれてしまった時に「1」となるフラグ
mem_wr_req : 2PortFIFOへの書き込み要求
mem_wr_data[23:0] : 2PortFIFOがアービタに書き込む画像データ
mem_wr_addr[:0] : アドレス生成部22が生成したアドレス
<出力側バッファ>
図28は出力側バッファ12のブロック図の一例を示す。出力側バッファ12は外部メモリ15への読出し要求と、出力された画像データの一時保存、及び、Video出力への出力を行う。出力側バッファ12は機能的にアドレス部31とデータ部32の2つに分けられる。
アドレス部31は、チェック部33、2PortFIFO34、及び、FIFO制御部35を有し、データ部32は2PortFIFO36、重複・ブランク再生部37、及び、2PortFIFO38を有する。
<<出力側バッファのアドレス部>>
図29は、出力側バッファ12のアドレス部31のブロック図の一例を示す。チェック部33は、重複チェック、ブランクチェックを行う。
・重複チェック: 同じアドレスに対し連続して複数回の読出し要求があるか否かをチェックする。ここの説明では最大4連続までチェックするとして説明するが、実装に合わせて変更してもよい。
・ブランクチェック:LPJで歪み補正有りの場合に絵を描画しない領域が存在する。読出しアドレス生成部16は描画する座標から読出しアドレス(pix_out_addr)を計算するが、描画しない座標については「pix_out_addr_en = 0」を出力して描画しない事を出力側バッファ12に通知する。チェック部33は、この信号を認識して該当のタイミングではブランクを描画すると判断する。ブランクについても重複チェックは行われるが、ブランクの重複チェックについて、アドレスは無視される。
信号の内容は以下のとおりである。
pix_out_addr[:0] : 読出しアドレス生成部16が生成した読出しアドレス
clk_pix_out : 読出しアドレス生成部16が読み出し要求する際のクロック
pix_out_addr_en : 読出しアドレスがブランクである時に「0」になる
flag_out_addr_empty : 2PortFIFO34に読み出し対象のアドレスのデータが記憶されていない時に「1」になる
mem_rd_addr_duplication_info[1:0] :重複回数が格納される
mem_rd_addr_blank : ブランクの場合に「1」になる
mem_rd_addr_param_en: 2PortFIFO34に読み出し対象のアドレス等が記憶されている時に「1」になる
mem_rd_req : アービタが出力側バッファを選択すると「1」になる
mem_rd_addr[:0] : アービタに読み出し要求するアドレス
mem_rd_addr_en : アービタに読み出し要求がある時に「1」になる
図30は、アドレス部31へ読出しアドレスが入力されてから2PortFIFO34へ書き込まれるまでの流れを示すフローチャート図の一例である。なお、読出しアドレス生成部16からの入力は毎クロック入力され、入力信号サンプリングからブランクチェック、重複チェック、2PortFIFO34への書込み、及び、後処理までは1クロックで処理される。
フローチャート図で使用される変数の意味は下記のとおりである。
overlapping_count 重複回数が格納される変数
pre_pix_addr 前回入力された読出しアドレスが格納される変数
pre_pix_blank 前回入力された読出しアドレスがブランクの時「1」が格納される変数
new_pix_addr 今回入力された読出しアドレスが格納される変数
new_pix_blank 今回入力された読出しアドレスがブランクの時「1」が格納される変数
まず、アドレス部31は変数を初期化する(S10)。
overlapping_count = 0
pre_pix_addr = 0
pre_pix_blank = 0
次に、アドレス部31は、入力信号をサンプリングする。pix_out_addrとpix_out_addr_enを1クロック毎にサンプリングする(S20)。
チェック部33は、「pix_out_addr_en==0」か否かを判定する(S30)。「pix_out_addr_en==0」の場合、その読出しアドレスの画像データがブランクであることを示すので、チェック部33はnew_pix_blankに「1」を設定する(S40)。また、チェック部33は、new_pix_addrに任意のアドレスを設定する。「任意の」アドレスとしたのは、画像データがブランクの場合、アドレス部31は外部メモリ15にはアクセスしないためである。
「pix_out_addr_en==0」でない場合、その読出しアドレスがブランクでないことを示すので、チェック部33は、pre_pix_blankに「0」を設定する(S50)。また、チェック部33は、new_pix_addrに今回の読出しアドレスを設定する。
次に、チェック部33は、重複があるか否かを判定する(S60)。この判定は次式で現すことができる。
if { ((new_pix_blank & pre_pix_blank)==1) or
(((new_pix_blank or pre_pix_blank)==0) & (new_pix_addr== pre_pix_addr))
} : 重複している
else :重複してない
すなわち、現在の読出しアドレスと1つ前の読出しアドレスの両方の画像データがブランク、又は、現在の読出しアドレスと1つ前の読出しアドレスが同じで、現在の読出しアドレスと1つ前の読出しアドレスのどちらかがブランクでない場合に、連続した読出しアドレスが重複していると判定される。現在の読出しアドレスと1つ前の読出しアドレスの画像データが共にブランクの場合にアドレスの一致を問題としないので、重複を多く検出できる。
なお、図30のフローチャート図では2つの連続したアドレスが読み込まれた後、重複の是非が判定され、判定結果に応じて2PortFIFO34への書き込みの有無が定まる点に注意されたい。
連続した読出しアドレスが重複している場合、チェック部33はoverlapping_countを1つ大きくする(S70)。連続した読出しアドレスが重複している場合は、チェック部33は2PortFIFO34に何も書き込まないので、FIFO制御部35がアービタ13に読み出し要求することもない。
しかし、連続した読出しアドレスが重複していても、チェック部33はoverlapping_countが3になったか否かを判定する(S80)。overlapping_count(重複回数)が3になるまでは、チェック部33はpre_pix_blankにnew_pix_blankを複写し、pre_pix_addrにnew_pix_addrを複写する(S90)。
連続した読出しアドレスが重複していない場合、画像データを読み出すため、チェック部33は2PortFIFO34に、overlapping_count、pre_pix_blank及びpre_pix_addrを書き込む(S100)。"pre_pix_blank及びpre_pix_addr"なので、読み込まれた2つの連続した読出しアドレスのうち、先の読出しアドレスの重複情報やブランク情報が2PortFIFO34に書き込まれる。
そして、overlapping_countを初期化する(S110)。この場合も、チェック部33はpre_pix_blankにnew_pix_blankを複写し、pre_pix_addrにnew_pix_addrを複写する(S90)。
このような処理により、連続して読出しアドレスが重複しても3回までは、2PortFIFO34に、重複回数、前回入力された読出しアドレスがブランクかどうか、及び、前回入力された読出しアドレスが書き込まれないので、同じ読出しアドレスへのメモリアクセスを抑制できる。なお、3回としたのは一例であり、4回以上でもよい。
図31は、FIFO制御部35が2PortFIFO34に保存されたデータをアービタ13又はデータ部32に渡すまでの流れを説明するフローチャート図の一例である。
まず、FIFO制御部35がアービタ13にアドレス・データを渡す条件は下記のようになる。
・アービタ13からmem_rd_req=1が出力されていて、
・アドレス部31の2PortFIFO34のテータスとして flag_out_addr_empty = 0 (読み出し先のアドレスが記憶されていること)が出力されていて、
・2PortFIFO34にブランクでない読出しアドレスが記憶されているため、FIFO制御部35が出力するmem_rd_addr_blank = 0 になっている、こと。
また、FIFO制御部35がデータ部32に重複情報、ブランク情報を渡す条件は下記のようになる。
・2PortFIFO34のテータスとして flag_out_addr_empty = 0 が出力されている。
まず、FIFO制御部35は自身の使う変数等を初期化する(S210)。
次に、FIFO制御部35は「flag_out_addr_empty == 0」か否かを判定する(S220)。
「flag_out_addr_empty == 0」であることは、2PortFIFO34にアドレス等が記憶されていることを意味するので、FIFO制御部35は2PortFIFO34から1ワードを読み出す(S230)。なお、1ワードとは一連の情報が記憶されたひとかたまりのデータをいう(例えば32ビットである)。
次に、FIFO制御部35は読み出したデータを一時保管用のFFにセットする(S240)。すなわち、
mem_addr_duplication_infoにoverlapping_countを、
mem_rd_addr_blankにpre_pix_blankを、
mem_rd_addrにpre_pix_addrを、それぞれ設定する。
次に、FIFO制御部35はデータ部32にデータを渡す(S250)。すなわち、FIFO制御部35は、
mem_addr_duplication_infoとmem_rd_addr_blankをデータ部32に出力する。なお、この時、mem_rd_addr_param_enは「1」となる。
次に、FIFO制御部35は「mem_rd_addr_blank = 1」か否かを判定する(S260)。
「mem_rd_addr_blank =1」の場合、読出しアドレスはブランクなので処理はステップS220に戻る。
「mem_rd_addr_blank =1」でない場合、読出しアドレスはブランクでないので、FIFO制御部35は「mem_rd_req=1」になるまで待機する(S270)。「mem_rd_req=1」の場合、アービタ13が出力側バッファ12を選択可能なことを意味するので、FIFO制御部35は、アービタ13にデータを出力する(S280)。すなわち、FIFO制御部35は、mem_rd_addrをアービタ13に出力する。なお、この時、mem_rd_addr_enは「1」となる。
このように、ステップS260において、「mem_rd_addr_blank =1」の場合、読出しアドレスがブランクであるとして外部メモリ15にアクセスしないことで、不要なアクセスを抑制できる。
<<出力側バッファのデータ部>>
続いてデータ部32について説明する。
図32は、データ部32のブロック図の一例である。出力側バッファ12のデータ部32は下記の3つのブロックを有する。
・2PortFIFO36:重複情報とブランク情報を一時蓄積する
・重複・ブランク再生部37:重複した読出しアドレスとブランクの読出しアドレスの画像データを再生する
・2PortFIFO38:出力データを一時的に保存する
重複情報とブランク情報の一時蓄積、及び、2PortFIFO36の動作について説明する。
2PortFIFO36は、mem_rd_addr_param_en = 1を条件に、アドレス部31からデータをどんどん受け取り、蓄積する。
次段へデータを渡すタイミングは下記のとおりである。
・次に渡すべきデータがブランク(mem_rd_addr_blank=1)だったら、そのまま重複・ブランク再生部37に渡す
・ブランクでなかったら(mem_rd_addr_blank=0)、アービタ13からの画像データの入力(mem_rd_data_en=1)を待って、重複・ブランク再生部37に渡す。
図33は、データ部32が重複情報・ブランク情報の書き込みと読み出しを制御する手順を示すフローチャート図の一例である。
図33(a)はFIFO制御部35が重複情報・ブランク情報を書き込む手順の一例を示す。まず、データ部32は2PortFIFO36を初期化する(S310)。
次に、データ部32は「mem_rd_addr_param_en = 1」か否かを判定する(S320)。
「mem_rd_addr_param_en = 1」の場合、アドレス部31がアドレス等を保持しているので、2PortFIFO36はアドレス部31からmem_rd_addr_duplication_info(重複回数)とmem_rd_addr_blank(ブランク情報)の書き込みを受け付ける(S330)。
「mem_rd_addr_param_en = 1」でない場合、アドレス部31がデータを保持していないので、2PortFIFO36は待機する。
図33(b)は重複・ブランク再生部37が2PortFIFO36からデータを読み込み手順の一例を示す。
まず、重複・ブランク再生部37は必要であれば重複・ブランク再生部37を初期化する(S410)。
次に、重複・ブランク再生部37は2PortFIFO36が空か否かを判定する(S420)。空の場合は、データを読み出す必要がないので重複・ブランク再生部37は待機する。
空でない場合、重複・ブランク再生部37は2PortFIFO36から1ワード(重複情報・ブランク情報)を読み出す(S430)。
次に、2PortFIFO36はmem_rd_addr_blank(ブランク情報)に基づき読み出される対象の画像データがブランクか否かを判定する(S440)。
読み出される対象の画像データがブランクの場合(S440のYes)、アービタ13に読出しアドレスも渡されておらず外部メモリ15から画像データを読み出す必要がないので、重複情報とブランク情報を重複・ブランク再生部37に書き込む(S450)。
読み出される対象の画像データがブランクでない場合(S440のNo)、2PortFIFO36は「mem_rd_data_en==1」か否かを判定する(S460)。「mem_rd_data_en=1」の場合、アービタ13が渡す画像データを保持していることを意味するので、重複・ブランク再生部37がアービタ13からmem_rd_dataによる画像データを受け取った後、重複・ブランク再生部37が2PortFIFO38に画像データを書き込む(S450)。
このように、画像データがブランクでない場合にだけ、重複・ブランク再生部37はアービタ13から画像データを取得することができる。
〔出力バッファにおける重複・ブランクの再生〕
図34は重複・ブランク再生部37のブロック図の一例を示す。重複・ブランク再生部37はバッファ制御部371と一時バッファ372を有する。バッファ制御部371はブランク又は重複した画像データの再生を行う。
・上記のように、重複・ブランク再生部37は、前段の2PortFIFO36から重複情報とブランク情報を受け取る。
・重複・ブランク再生部37は、mem_rd_data_en=1のときのみアービタ13から出力されるmem_rd_dataを取り込む。
・重複・ブランク再生部37は、重複情報に従い最大4画素を再生する。
・再生した画像データを出力データ側の2PortFIFO38に書込む。
なお、図34のparam_0_duplication_infoにはmem_rd_duplication_info(重複情報)が設定され、param_0_blankにはmem_rd_addr_blank(ブランク情報)が設定され、param_0_enにはmem_rd_addr_param_enが設定されている。
図35は、重複・ブランク再生部37が重複・ブランクを再生する手順を示すフローチャート図の一例である。
まず、重複・ブランク再生部37は必要であれば一時バッファ372を初期化する(S510)。
重複・ブランク再生部37は、「param_0_en==1」か否かを判定する(S520)。「param_0_en==1」でなければ、2PortFIFO36はデータを保持していないので、重複・ブランク再生部37は待機する。
「param_0_en==1」の場合、2PortFIFO36がデータを保持しているので、重複・ブランク再生部37は、「param_0_blank==1」か否かを判定する(S530)。
「param_0_blank==1」の場合、書き込み値はブランク値である(S540)。なお、ブランク値とは、例えば輝度がゼロとなるような画像データであり、RGB値ではブラックの(0,0,0)となる画像データである。
「param_0_blank==1」でない場合、書き込み値はアービタ13から取得したmem_rd_data(画像データ)である(S550)。
次に、重複・ブランク再生部37は一時バッファ0〜7の空きをチェックする(S560)。一時バッファ0〜7には、1画素毎に2PortFIFO38に出力されたか否かに応じてフラグがオン/オフするなどして、空きか否かが登録されている。
重複・ブランク再生部37は空いている一時バッファ0〜7のいずれかに、param_0_duplication_info+1回、書き込み値を書く(S570)。すなわち、重複回数+1回、ブランク値又はmem_rd_dataを書き込む。
図30のステップS60の判定では、2つの連続した読出しアドレスが重複した時に重複回数は1回、3つの連続した読出しアドレスが重複した時に重複回数は2回、4つの連続した読出しアドレスが重複した時に重複回数は3回、となる。このため図35のステップS570では、バッファ制御部371が重複回数+1回、ブランク値又はmem_rd_dataを書き込む。
なお、図30のS60にて、重複回数が1又は2回の場合で、次に連続した読出しアドレスが重複していないと判定された場合、2PortFIFO34に書き込まれるのは重複しないと判定された読出しアドレスの直前の画像データのアドレスなので、重複しないと判定された読出しアドレスの画像データは考慮しなくてよい。重複しないと判定された読出しアドレスの画像データが2PortFIFO34に書き込まれるのは、最短でも次のクロックである。
以上から、バッファ制御部371は、重複回数+1回、ブランク値又はmem_rd_dataを一時バッファ0〜7に複写する。
次に、バッファ制御部371は、埋まった一時バッファの数が4個以上か否かを判定する(S580)。これは、ある程度画像データが溜まったら書き込むためである。
埋まった一時バッファ0〜7の数が4個以上の場合、後段の2PortFIFO38に画像データを書き込む(S590)。
また、バッファ制御部371は、4画素分の一時バッファをアドレスのゼロ側に詰める(S600)。例えば、すでに3個の画像データが一時バッファ0〜7に記憶された状態で、2つ以上の画像データが複製されると、4個以上の画像データが格納されることになるため、4個の画像データを後段の2PortFIFO38に書き込んだ後、後段の2PortFIFO38に書き込まれなかった画像データを読出しアドレスの小さい側に詰めるためである。また、一時バッファ0〜7は8個あるので、すでに3個の画像データが一時バッファ0〜7に記憶された状態で、4つの画像データが複製されても、1個余裕がある計算になる。
〔出力側の2PortFIFO〕
出力側の2PortFIFO38の動作は一般的な2PortFIFOと同様である。
・入力ポートと出力ポートはデータ幅が異なる。
・入力ポートは重複・ブランク再生部37から4画素分(24bit x 4画素)を受け取る。
・出力ポートはVideo出力に対して1画素分(24bit)ずつ出力する。
・データ残量を示すステータス・フラグを持っている。
データ残量が無い : flag_out_empty
データ残量が半分以上 : flag_out_half
データ残量がおおよそ満タン : flag_out_almost_full
満タンとは2PortFIFO38の容量の約90%程度である。アービタ13に既に渡してしまっている読出しアドレスに対応出来るだけの残量が必要となるためである。
これらのステータス・フラグはアービタ13に出力される。
〔アービタ〕
図36はアービタ13に入出力される信号の一例を示す図である。
アービタ13は入力側バッファIFと出力側バッファIFから入力されるバッファのステータス・フラグの状態を元に、入力側/出力側どちらのバッファからの要求を受け付けるかを選択する。
アービトレーションポリシーは下記の通りである。
・入力側
(A-1) 2PortFIFO21を満タンにしてはいけない
(A-2) 2PortFIFO21はなるべく半分以下を保つ
(A-3) 2PortFIFO21が空ならアクセス不要
アクセスするならなるべく連続アクセスになるようにする
・出力側
(B-1) 2PortFIFO38を空にしてはいけない
(B-2) 2PortFIFO38はなるべく半分以上を保つ
(B-3) 2PortFIFO38が満タンならアクセス不要
図37は、このアービトレーションポリシーに基づき生成されたアービトレーションテーブルの一例を示す。図37のステータス・フラグの組み合わせでは、組み合わせた2つのフラグ(2つあれば)が「1」であるとする。
なお、アービタ13が入力側を選択するとはmem_wr_reqを「1」にすることを、出力側を選択するとはmem_rd_reqを「1」にすることをいう。
No1:Flag_in_emptyが「1」であるため入力側はアクセス不要であり、 Flag_out_emptyが「1」なので(B-1)に着目して出力側を優先する。
No2:Flag_in_emptyが「1」であるため(A-3)により入力側はアクセス不要であり、出力側にはフラグがないが出力側を優先する。
No3:Flag_in_emptyが「1」であるため入力側はアクセス不要であり、 Flag_out_halfが「1」であるがさらに画像データを蓄積するよう出力側を優先する。
No4:Flag_in_emptyが「1」であるため入力側はアクセス不要であり、 Flag_out_almost_fullなのでアクセス不要だが出力側を優先して出力側を選択する。
No5:入力側はフラグがないが、 Flag_out_emptyが「1」なので(B-1)に着目して出力側を優先する。
No6:入力側も出力側もフラグがないので、(B-2)に着目して出力側を優先して出力側を選択する。
No7:入力側はフラグがないが、 Flag_out_halfが「1」なので(A-2)と(B-2)に着目してさらに画像データを蓄積するよう出力側を優先する。
No8:入力側はフラグがないが、 Flag_out_almost_fullが「1」なので(B-3)に着目して入力側を優先する。Flag_in_emptyがでるまで選択先を入力バッファ側11に固定することで、入力側バッファ11が空になるまで転送することができる。
No9:Flag_in_halfが「1」であるため入力側画像データは半分以上であり、Flag_out_emptyが「1」なので(B-1)に着目して、出力側を優先する。Flag_out_half又はFlag_out_addr_emptyがでるまで出力側バッファに固定することで、出力側バッファ12が半分以上になるまで転送することができる。
No10:Flag_in_halfが「1」であるため入力側画像データは半分以上であり、出力側にはフラグがない(出力側データが半分以下)ので(B-2)に着目して出力側を優先する。Flag_out_half又はFlag_out_addr_emptyがでるまで出力側に固定することで、出力側バッファ12が半分以上になるまで転送することができる。
No11:Flag_in_halfが「1」であるため入力側画像データは半分以上であり、Flag_out_halfが「1」なので画像データが半分以上であるので、(A-2)に着目して入力側を優先する。Flag_in_emptyがでるまで入力側に固定することで、入力側バッファ11が空になるまで転送することができる。
No12:Flag_in_halfが「1」であるため入力側画像データは半分以上であり、Flag_out_almost_fullが「1」なので、出力側は画像データが必要でないため、(A-2)に着目して入力側を優先する。Flag_in_emptyがでるまで入力側に固定することで、入力側バッファ11が空になるまで転送することができる。
No13:Flag_in_fullかつFlag_out_emptyなので、入力側も出力側もエラーとなるが、先に出力側バッファ12を満たすため出力側を選択する。
No14:Flag_in_fullなので入力側のエラーとなり入力側を選択する。
No15:Flag_in_fullなので入力側のエラーとなるため、Flag_out_halfでも入力側を選択する。
No16:Flag_in_fullなので入力側のエラーとなり、かつ、Flag_out_almost_fullなので出力側は画像データが必要でないため、入力側を選択する。
このようにアービタ13が入力側と出力側を選択することで連続転送が起こりやすくなる。
例えば、No.9及びNo10では、出力側バッファ12が半分以上になるまで転送し、
No.8、No11及びNo12では、入力側バッファ11が空になるまで転送する。したがって、読み込みのみ又は書込みのみの連続転送が起こることが期待できる。
以上説明したように、本実施形態のLPJ200は、同じ読出しアドレスの連続読み出しを抑制し、読み出し不要な描画領域については不要な読み出しを抑制するので、画像データの読み出しを高速にすることができる。また、入力側バッファへの画像データの書き込みと、出力側バッファからの画像データの読み出しが継続するようにアービタが調停するので連続アクセスを生じやすくできる。
11 入力側バッファ
12 出力側バッファ
13 アービタ(調停器)
14 メモリコントローラ
15 外部メモリ(フレームメモリ)
16 読出しアドレス生成部
21、34、36、38 2PortFIFO
22 アドレス生成部
31 アドレス部
32 データ部
33 チェック部
35 FIFO制御部
37 重複・ブランク再生部
51 2次元スキャナ駆動タイミング生成器
52 スキャナドライバ
53 2Dスキャナ
54 タイミング補正指示器
55 スキャナ角度演算器
56 ADC
57 描画位置演算器
58 フレームメモリ
59 レーザードライバ
60 レーザー発振器
100 メモリ制御ブロック(メモリ制御ブロック)
200 レーザープロジェクタ
特開2007−199251号公報 特開2004−295029号公報 特開2010−230730号公報 特開平08−065686号公報

Claims (16)

  1. 画像データの入力手段と、
    前記画像データを記憶するフレームメモリと、
    レーザー光を照射するレーザー発振器と、
    スクリーン上のレーザー光の包絡線が所定形状となるよう、反射光学素子を互いに略直交する2つの軸を中心に振動させる偏向方向可変手段と、
    レーザー光の照射中心方向が照射面に対し垂直でない投射角を有する場合に、前記反射光学素子の角度から三角関数を用いずにレーザー光の照射位置を求める多項式の係数情報が記憶された係数情報記憶手段と、
    前記係数情報記憶手段に記憶された前記係数情報に演算を施して求めた係数、及び、前記反射光学素子の角度を前記多項式に適用することで、レーザー光の照射位置を演算する照射位置演算手段と、
    前記照射位置演算手段が演算した照射位置に対応する前記フレームメモリのアドレスを演算するアドレス演算手段と、
    前記アドレスの画素情報を読み出すメモリ制御手段と、
    前記画素情報に応じた輝度で前記レーザー発振器を発振させるレーザー駆動手段と、
    を有することを特徴とする画像投影装置。
  2. 前記照射位置演算手段が演算した照射位置が、前記入力手段から入力された前記画像データのアスペクト比を維持する矩形内又は所定の矩形内か否かが登録された判定テーブルを有し、
    レーザー光の照射中心方向が照射面に対し垂直でないため前記所定形状が歪む場合であって、前記照射位置が前記画像データのアスペクト比を維持する矩形内又は所定の矩形内であると前記判定テーブルにより判定されない場合、
    前記アドレス演算手段は、輝度が黒レベルの画素情報を前記メモリ制御手段に出力する、ことを特徴とする請求項1記載の画像投影装置。
  3. 前記アドレス演算手段は、前記照射位置が前記画像データのアスペクト比を維持する矩形内又は所定の矩形内であると前記判定テーブルにより判定される場合にのみ、前記照射位置に対応する前記フレームメモリのアドレスを演算する、
    ことを特徴とする請求項2記載の画像投影装置。
  4. 前記入力手段から入力された前記画像データのアスペクト比を維持する矩形内又は所定の矩形内の前記照射位置を、前記照射位置演算手段が演算した前記照射位置に対応づける座標変換テーブルを有し、
    前記照射位置が前記画像データのアスペクト比を維持する矩形内又は所定の矩形内である場合、前記アドレス演算手段は、前記座標変換テーブルを参照して変換後の前記照射位置に対応する前記フレームメモリのアドレスを演算する、
    ことを特徴とする請求項2記載の画像投影装置。
  5. 前記反射光学素子が第1の方向及び前記第1の方向と略直交する第2の方向にそれぞれ振動する場合、
    前記多項式は、前記第1の方向の前記反射光学素子の水平角度を固定した場合に、前記第2の方向の振動範囲を前記該反射光学素子が走査した場合のレーザー光の照射位置を近似する第1の多項式、及び、前記第2の方向の前記該反射光学素子の垂直角度を固定した場合に、前記第1の方向の振動範囲を前記該反射光学素子が走査した場合のレーザー光の照射位置を近似する第2の多項式である、
    ことを特徴とする請求項1〜4いずれか1項記載の画像投影装置。
  6. 前記第1の多項式は垂直角度に対する1次の多項式であり、前記第2の多項式は水平角度に対する2次の多項式である、
    ことを特徴とする請求項5記載の画像投影装置。
  7. 前記第1の多項式の前記係数は垂直角度に応じて異なり、前記照射位置演算手段は垂直角度に対する2次の近似式に前記係数情報を適用して垂直角度毎に前記係数を求め、
    前記第2の多項式の前記係数は水平角度に応じて異なり、前記照射位置演算手段は水平角度に対する2次の近似式に前記係数情報を適用して水平角度毎に前記係数を求める、ことを特徴とする請求項5記載の画像投影装置。
  8. 連続アクセス時に非連続アクセス時よりも高速なデータの読み出し及び書き込みが可能なフレームメモリのメモリ制御装置であって、
    入力側からの画像データを一時的に記憶し、前記フレームメモリに記憶する入力バッファと、
    読出しアドレスを生成するアドレス生成手段から、同じアドレスに対し連続した読み出し要求があるか否か、及び、描画対象外の画像データが記憶されたブランクアドレスに対する読み出し要求であるか否か、を判定する判定手段と、
    同じアドレスに対する連続した読み出し要求でなく、かつ、ブランクアドレスに対する読み出し要求でない場合に、前記フレームメモリに読み出し要求を出力する読み出し要求出力手段と、
    前記フレームメモリから画像データを取得する画像データ取得手段と、
    前記フレームメモリから読み出されなかった前記画像データ及びブランクアドレスの画像データを再生するデータ再生手段と、
    を有することを特徴とするメモリ制御装置。
  9. 前記判定手段は、同じアドレスに対する連続した読み出し要求の前記連続読み出し要求数をカウントして前記データ再生手段に通知し、
    前記データ再生手段は、前記判定手段により同じアドレスに対する連続した読み出し要求でないと判定されるまでの前記連続読み出し要求数に応じて前記フレームメモリから読み出された画像データを複製する、
    ことを特徴とする請求項8記載のメモリ制御装置。
  10. 前記判定手段は、アドレスが異なっていてもブランクアドレスに対する連続した読み出し要求の前記連続読み出し要求数をカウントして前記データ再生手段に通知し、
    前記データ再生手段は前記連続読み出し要求数に応じて、予め定められたブランクの画像データを複製する、
    ことを特徴とする請求項8又は9項記載のメモリ制御装置。
  11. 前記画像データ取得手段が取得した画像データ及び前記データ再生手段が再生した画像データを一時的に記憶する出力バッファと、
    前記入力バッファと前記出力バッファの状態フラグを取得して、前記フレームメモリに対する書き込みのみ、又は、前記フレームメモリからの読み込みのみの連続転送が起こるように、前記入力バッファから書き込み要求と前記出力バッファから読み込み要求を調停する調停手段と、
    を有することを特徴とする請求項8〜10いずれか1項記載のメモリ制御装置。
  12. 前記調停手段は、前記出力バッファの容量の半分以上になるまで連続して前記フレームメモリから書き込みが生じ、前記入力バッファが空になるまで連続して前記フレームメモリに対して書き込みが生じるように、書き込み要求と読み込み要求を調停する、
    ことを特徴とする請求項11記載のメモリ制御装置。
  13. 前記判定手段は、
    前記アドレス生成手段が生成した現在のアドレスと1つ前のアドレスがブランクアドレスの場合、又は、現在のアドレスと1つ前のアドレスが同じで、現在のアドレスと1つ前のアドレスの少なくともどちらかがブランクアドレスでない場合に、同じアドレスに対する連続した読み出し要求であると判定する、
    ことを特徴とする請求項8〜12いずれか1項記載のメモリ制御装置。
  14. 前記読み出し要求手段は、前記判定手段が同じアドレスに対する連続した読み出し要求であると判定しても、同じアドレスに対する連続した読み出し要求が所定回数以上連続すると、前記フレームメモリに読み出し要求を出力する、
    ことを特徴とする請求項13記載のメモリ制御装置。
  15. 請求項8〜14いずれか1項記載のメモリ制御装置と、
    連続アクセス時に非連続アクセス時よりも高速なデータの読み出し及び書き込みが可能なフレームメモリと、
    レーザー発振器、共振型MEMSミラー、及び、レンズを有する光学エンジンと、
    を有するレーザープロジェクタ。
  16. 連続アクセス時に非連続アクセス時よりも高速なデータの読み出し及び書き込みが可能なフレームメモリのメモリアクセス方法であって、
    入力バッファが、入力側からの画像データを一時的に記憶し、前記フレームメモリに記憶するステップと、
    判定手段が、読出しアドレスを生成するアドレス生成手段から、同じアドレスに対し連続した読み出し要求があるか否か、又は、描画対象外の画像データが記憶されたブランクアドレスに対する読み出し要求であるか否か、を判定するステップと、
    読み出し要求出力手段が、同じアドレスに対する連続した読み出し要求でなく、かつ、ブランクアドレスに対する読み出し要求でない場合に、前記フレームメモリに読み出し要求を出力するステップと、
    画像データ取得手段が、前記フレームメモリから画像データを取得するステップと、
    データ再生手段が、前記フレームメモリから読み出されなかった前記画像データ及びブランクアドレスの画像データを再生するステップと、
    を有することを特徴とするメモリアクセス方法。
JP2011063216A 2010-11-19 2011-03-22 画像投影装置、メモリアクセス方法 Active JP5803184B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011063216A JP5803184B2 (ja) 2010-11-19 2011-03-22 画像投影装置、メモリアクセス方法
US13/295,384 US8884975B2 (en) 2010-11-19 2011-11-14 Image projection apparatus, memory control apparatus, laser projector, and memory access method
EP11189714.6A EP2456208A3 (en) 2010-11-19 2011-11-18 Image projection apparatus, memory control apparatus, laser projector, and memory access method
CN201110378542.9A CN102566213B (zh) 2010-11-19 2011-11-21 图像投影设备、存储器控制设备、激光投影机和存储器访问方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010259459 2010-11-19
JP2010259459 2010-11-19
JP2011063216A JP5803184B2 (ja) 2010-11-19 2011-03-22 画像投影装置、メモリアクセス方法

Publications (2)

Publication Number Publication Date
JP2012124880A true JP2012124880A (ja) 2012-06-28
JP5803184B2 JP5803184B2 (ja) 2015-11-04

Family

ID=45349009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011063216A Active JP5803184B2 (ja) 2010-11-19 2011-03-22 画像投影装置、メモリアクセス方法

Country Status (4)

Country Link
US (1) US8884975B2 (ja)
EP (1) EP2456208A3 (ja)
JP (1) JP5803184B2 (ja)
CN (1) CN102566213B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071244A (ja) * 2012-09-28 2014-04-21 Sony Corp 投影装置、投影方法、プログラム、及び電子機器
JP2014071243A (ja) * 2012-09-28 2014-04-21 Sony Corp 画像出力装置、画像出力方法、およびプログラム
WO2014115400A1 (ja) 2013-01-22 2014-07-31 ソニー株式会社 投影型画像表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
WO2015044995A1 (ja) * 2013-09-24 2015-04-02 日立マクセル株式会社 表示装置
WO2015173942A1 (ja) * 2014-05-16 2015-11-19 日立マクセル株式会社 走査型表示装置
JP2017227903A (ja) * 2017-08-10 2017-12-28 インテル・コーポレーション 改善された安全性を有する画像を投射する方法および装置
US9936176B2 (en) 2014-01-07 2018-04-03 Mitsubishi Electric Corporation Image protection device and adjustment method
JP2019503079A (ja) * 2016-01-11 2019-01-31 フィスバ・アクチェンゲゼルシャフトFisba Ag 光モジュールの製造方法、光モジュール、および光モジュールの操作方法およびコンピュータ・プログラム・プロダクト
US10271027B2 (en) 2013-06-26 2019-04-23 North Inc. Method and device for projecting an image with improved safety
WO2021205647A1 (ja) * 2020-04-10 2021-10-14 富士通株式会社 距離測定装置、画角制御方法、及びプログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5611917B2 (ja) * 2011-09-20 2014-10-22 株式会社東芝 プロジェクタ、及び画像処理装置
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US9261759B1 (en) * 2012-08-31 2016-02-16 Amazon Technologies, Inc. Aspect corrected laser video projection
JP6053171B2 (ja) * 2013-10-18 2016-12-27 増田 麻言 走査型投影装置、および携帯型投影装置
USD762721S1 (en) * 2014-09-26 2016-08-02 Lexmark International, Inc. Display screen portion with icon
USD774079S1 (en) * 2014-09-26 2016-12-13 Lexmark International, Inc. Display screen portion with icon
USD762720S1 (en) * 2014-09-26 2016-08-02 Lexmark International, Inc. Display screen portion with icon
JP6485732B2 (ja) 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN105991949A (zh) * 2015-03-06 2016-10-05 深圳市恒瀚电子科技有限公司 一种激光扫描图像畸变校正方法、装置及系统
JP6703747B2 (ja) 2015-09-18 2020-06-03 株式会社リコー 情報表示装置、情報提供システム、移動体装置、情報表示方法及びプログラム
JP6741029B2 (ja) 2016-02-08 2020-08-19 株式会社リコー 情報表示装置
EP3416377B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image display apparatus and image display method
JP6699675B2 (ja) 2016-02-10 2020-05-27 株式会社リコー 情報提供装置
JP6658859B2 (ja) 2016-02-18 2020-03-04 株式会社リコー 情報提供装置
JP6870447B2 (ja) 2016-05-20 2021-05-12 株式会社リコー Hud装置、車両装置、情報表示方法。
CN108333857B (zh) * 2016-06-30 2021-03-09 海信集团有限公司 投影光源驱动控制电路
JP6834537B2 (ja) 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
JP1614673S (ja) * 2017-02-10 2018-10-01
JP6616368B2 (ja) * 2017-09-14 2019-12-04 ファナック株式会社 レーザ加工前に光学系の汚染レベルに応じて加工条件を補正するレーザ加工装置
US10598838B2 (en) * 2018-06-29 2020-03-24 Intel Corporation Pixel level polarizer for flexible display panels
CN111861865B (zh) * 2019-04-29 2023-06-06 精工爱普生株式会社 电路装置、电子设备以及移动体
JP2021144107A (ja) * 2020-03-11 2021-09-24 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター
CN117376538B (zh) * 2023-12-08 2024-03-26 深圳拜波赫技术有限公司 激光投影光机的响应速度优化方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244330A (ja) * 2008-03-28 2009-10-22 Funai Electric Co Ltd 投射型画像表示装置
JP2010041647A (ja) * 2008-08-08 2010-02-18 Onkyo Corp 画像送受信装置およびそのプログラム
JP2010204217A (ja) * 2009-02-27 2010-09-16 Seiko Epson Corp 画像形成装置
JP2010261979A (ja) * 2009-04-30 2010-11-18 Funai Electric Co Ltd レーザプロジェクタ

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4504146A (en) * 1981-07-06 1985-03-12 Honeywell Inc. Ring laser gyro system
US4754399A (en) * 1983-12-28 1988-06-28 Hitachi, Ltd. Data transfer control system for controlling data transfer between a buffer memory and input/output devices
US4649234A (en) * 1984-07-26 1987-03-10 Siemens Aktiengesellschaft Circuit arrangement for telecommunications exchange systems, particularly telephone exchange systems, comprising information processing sequential logic systems and traffic measuring devices
US5300942A (en) * 1987-12-31 1994-04-05 Projectavision Incorporated High efficiency light valve projection system with decreased perception of spaces between pixels and/or hines
US5157735A (en) * 1988-09-09 1992-10-20 Hitachi, Ltd. Chipping detection system and method
US5097480A (en) * 1990-01-24 1992-03-17 The Mitre Corporation Acoustic modulation apparatus for laser
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
US6832724B2 (en) * 1993-03-26 2004-12-21 Symbol Technologies, Inc. Electro-optical assembly for image projection, especially in portable instruments
JP2965830B2 (ja) 1993-09-09 1999-10-18 シャープ株式会社 半導体記憶装置
US5880786A (en) 1994-06-15 1999-03-09 Hitachi, Ltd. Apparatus for picture decoding having frame memories commonly connected to one data bus and one address bus
JPH0865686A (ja) 1994-06-15 1996-03-08 Hitachi Ltd 画像復号化装置
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
KR0179103B1 (ko) * 1995-11-15 1999-05-01 구자홍 고속 가변길이 디코더장치
US7728845B2 (en) * 1996-02-26 2010-06-01 Rah Color Technologies Llc Color calibration of color image rendering devices
US5805233A (en) * 1996-03-13 1998-09-08 In Focus Systems, Inc. Method and apparatus for automatic pixel clock phase and frequency correction in analog to digital video signal conversion
US20030071813A1 (en) * 1996-06-05 2003-04-17 Alessandro Chiabrera Three-dimensional display system: apparatus and method
US5950229A (en) * 1997-03-12 1999-09-07 Micron Electronics, Inc. System for accelerating memory bandwidth
DE19737374C2 (de) * 1997-08-27 1999-09-02 Ldt Gmbh & Co Verfahren zur Kompensation geometrischer Bildfehler bei Videobildern sowie ein Projektor zur Durchführung des Verfahrens
JPH11184751A (ja) 1997-12-22 1999-07-09 Nec Kofu Ltd メモリ制御回路及びメモリ装置
US7098871B1 (en) * 1998-08-05 2006-08-29 Microvision, Inc. Optical scanning system with correction
TW410290B (en) * 1999-01-08 2000-11-01 Via Tech Inc Cross-banks and -pages access control device and method for memory
US6456329B1 (en) * 1999-04-19 2002-09-24 Sarnoff Corporation De-interlacing of video signals
US6924476B2 (en) * 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
NO310490B1 (no) * 2000-02-09 2001-07-09 Johan Henrik Litleskare Digital korreksjonsmodul for videoprojektor
US6547397B1 (en) * 2000-04-19 2003-04-15 Laser Projection Technologies, Inc. Apparatus and method for projecting a 3D image
US20030067587A1 (en) * 2000-06-09 2003-04-10 Masami Yamasaki Multi-projection image display device
US6989823B1 (en) * 2000-08-31 2006-01-24 Infocus Corporation Method and apparatus for noise reduction using captured images
JP2009015332A (ja) 2000-09-11 2009-01-22 Fujifilm Corp 画像処理制御方法
JP4187425B2 (ja) * 2000-09-11 2008-11-26 富士フイルム株式会社 画像制御装置およびディジタルカメラ
TW480362B (en) * 2000-09-14 2002-03-21 Delta Electronics Inc Automatic calibration method and device of the projector display
AU2002312676A1 (en) 2001-06-12 2002-12-23 Silicon Optix Inc. System and method for correcting keystone distortion
JP3664114B2 (ja) * 2001-07-16 2005-06-22 セイコーエプソン株式会社 プロジェクタによって投写される画像の画像処理
US6741256B2 (en) * 2001-08-27 2004-05-25 Sun Microsystems, Inc. Predictive optimizer for DRAM memory
US7302111B2 (en) * 2001-09-12 2007-11-27 Micronic Laser Systems A.B. Graphics engine for high precision lithography
EP1454179A2 (en) * 2001-11-06 2004-09-08 Keyotee Apparatus for image projection
JP2003216130A (ja) * 2002-01-28 2003-07-30 Nec Viewtechnology Ltd ひずみ補正機能を備えた投写型表示装置
US20050117189A1 (en) * 2002-02-06 2005-06-02 National Institute Of Advanced Industrial Science And Technology Variable-shape mirror adjusting method, adjusting apparatus, and processing program for performing the adjusting method
US7266622B2 (en) * 2002-03-25 2007-09-04 International Business Machines Corporation Method, computer program product, and system for automatic application buffering
US6963348B2 (en) * 2002-05-31 2005-11-08 Nvidia Corporation Method and apparatus for display image adjustment
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
KR100947147B1 (ko) * 2002-06-10 2010-03-12 소니 주식회사 화상 투사 장치 및 화상 투사 방법
CN100589538C (zh) * 2002-06-12 2010-02-10 奥普提克斯晶硅有限公司 短投影距离的投影系统和方法
JP2004062103A (ja) * 2002-07-31 2004-02-26 Sony Corp 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP4004916B2 (ja) * 2002-10-21 2007-11-07 パイオニア株式会社 チルト角度検出装置及び方法
US7446911B2 (en) * 2002-11-26 2008-11-04 Brother Kogyo Kabushiki Kaisha Optical scanning apparatus and image forming apparatus
JP4316271B2 (ja) 2003-03-28 2009-08-19 日本信号株式会社 光走査装置
US8068115B2 (en) * 2003-05-19 2011-11-29 Microvision, Inc. Image generation with interpolation and distortion correction
US8157389B2 (en) * 2003-11-01 2012-04-17 Silicon Quest Kabushiki-Kaisha Synchronous control system for light source and spatial light modulator employed in projection apparatus
JP4481625B2 (ja) 2003-11-27 2010-06-16 キヤノン株式会社 2次元走査装置及びそれを用いた走査型画像表示装置
US8289274B2 (en) * 2004-01-13 2012-10-16 Sliwa John W Microdroplet-based 3-D volumetric displays utilizing emitted and moving droplet projection screens
JP2005242036A (ja) 2004-02-27 2005-09-08 Canon Inc 画像投射装置、および画像投射装置の制御方法
US7442918B2 (en) * 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
US7441902B2 (en) * 2004-10-27 2008-10-28 Symbol Technologies, Inc. Large size image projection
JP4522253B2 (ja) * 2004-12-24 2010-08-11 キヤノン株式会社 光走査装置及びそれを用いた画像表示装置
US9462077B2 (en) * 2005-03-02 2016-10-04 International Business Machines Corporation System, method, and circuit for servicing a client data service request
US7743176B1 (en) * 2005-03-10 2010-06-22 Xilinx, Inc. Method and apparatus for communication between a processor and hardware blocks in a programmable logic device
US7669037B1 (en) * 2005-03-10 2010-02-23 Xilinx, Inc. Method and apparatus for communication between a processor and hardware blocks in a programmable logic device
WO2006116134A2 (en) * 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
JP2006337922A (ja) 2005-06-06 2006-12-14 Sony Corp 表示装置および表示方法
JP4379391B2 (ja) * 2005-07-14 2009-12-09 セイコーエプソン株式会社 光走査装置、光走査装置の制御方法及び画像表示装置
JP4034323B2 (ja) 2005-08-01 2008-01-16 株式会社リコー 画像データ処理方法と画像データ処理装置及び画像形成装置
JP5164345B2 (ja) * 2005-08-22 2013-03-21 キヤノン株式会社 光走査装置及びそれを用いた画像形成装置
US7496241B1 (en) * 2005-09-08 2009-02-24 Goodrich Corporation Precision optical systems with performance characterization and uses thereof
US7872395B2 (en) * 2005-09-21 2011-01-18 Panasonic Corporation Actuator with symmetric positioning
WO2007034875A1 (ja) * 2005-09-21 2007-03-29 Matsushita Electric Industrial Co., Ltd. 画像投射装置
US20070070309A1 (en) * 2005-09-28 2007-03-29 Miklos Stern Color image projection arrangement and method employing electro-absorption modulated green laser system
WO2007075995A2 (en) * 2005-12-21 2007-07-05 Actuality Systems, Inc. Optically enhanced image sequences
US8838210B2 (en) * 2006-06-29 2014-09-16 AccuView, Inc. Scanned laser vein contrast enhancer using a single laser
JP2007199251A (ja) * 2006-01-25 2007-08-09 Canon Inc 光走査装置及びそれを有する走査型画像表示装置
JP5133072B2 (ja) * 2006-02-10 2013-01-30 パナソニック株式会社 走査ユニットおよび画像表示装置
US7972011B2 (en) * 2006-03-14 2011-07-05 Panasonic Corporation Image projection apparatus and image projection system having beam deflection section
US7665853B2 (en) * 2006-06-05 2010-02-23 Symbol Technologies, Inc. Arrangement for, and method of, enhancing image projection by holding scan mirror steady during part of mirror drive cycle
JP5167634B2 (ja) 2006-12-15 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 レーザー投射装置
JP4962002B2 (ja) * 2006-12-28 2012-06-27 コニカミノルタアドバンストレイヤー株式会社 レーザ投射装置
CN101573257B (zh) * 2006-12-28 2011-08-10 株式会社丰田自动织机 停车辅助装置及方法、行车参数的计算方法及装置
JP2008183884A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 画像形成装置及び印字データの転送方法
JP4325685B2 (ja) * 2007-02-21 2009-09-02 セイコーエプソン株式会社 メモリを制御するメモリコントローラ、メモリモジュール、メモリの制御方法、および、コンピュータ。
JP4633078B2 (ja) 2007-03-09 2011-02-16 Necアクセステクニカ株式会社 カラー画像処理装置および画像メモリアクセス制御方法
US20080226029A1 (en) * 2007-03-12 2008-09-18 Weir Michael P Medical device including scanned beam unit for imaging and therapy
JP5318359B2 (ja) 2007-03-29 2013-10-16 コニカミノルタ株式会社 画像投影装置
JP2008286974A (ja) * 2007-05-17 2008-11-27 Canon Inc 揺動体装置、光偏向装置、及び駆動信号生成方法
US7864390B2 (en) * 2007-05-28 2011-01-04 Konica Minolta Opto, Inc. Image display apparatus
JP5092613B2 (ja) * 2007-08-06 2012-12-05 日産自動車株式会社 距離計測方法および装置、ならびに距離計測装置を備えた車両
JP5095311B2 (ja) * 2007-08-30 2012-12-12 株式会社日立製作所 画像表示装置、及び画像表示装置における反射鏡の振動状態調整方法
JP5125390B2 (ja) * 2007-10-15 2013-01-23 セイコーエプソン株式会社 光源装置及び画像表示装置並びに光量補正方法
JP5221965B2 (ja) 2008-01-29 2013-06-26 キヤノン株式会社 二次元走査装置、及び投射型画像表示装置
JP4553046B2 (ja) * 2008-02-13 2010-09-29 セイコーエプソン株式会社 プロジェクタ、マルチスクリーンシステム、プロジェクタ制御方法、プロジェクタ制御プログラム、情報記憶媒体
JP2009193008A (ja) * 2008-02-18 2009-08-27 Sharp Corp 画像表示装置
JP2009212423A (ja) * 2008-03-06 2009-09-17 Seiko Epson Corp 光源装置及び画像表示装置並びに光量補正方法
US8300058B2 (en) * 2008-03-10 2012-10-30 Navon Mois P ELUT: enhanced look-up table signal processing
JP2009222973A (ja) 2008-03-17 2009-10-01 Citizen Holdings Co Ltd 画像投射装置
US7986449B2 (en) * 2008-05-16 2011-07-26 Microvision, Inc. Induced resonance comb drive scanner
US8235534B2 (en) * 2008-05-21 2012-08-07 Panasonic Corporation Projector that projects a correction image between cyclic main image signals
JP2010008735A (ja) 2008-06-27 2010-01-14 Konica Minolta Opto Inc 走査型画像投影装置
JP5304380B2 (ja) * 2008-07-23 2013-10-02 株式会社リコー 光走査装置、これを用いた画像投影装置、ヘッドアップディスプレイ装置および携帯電話機
EP2315067A4 (en) * 2008-08-18 2012-08-29 Konica Minolta Opto Inc IMAGE PROJECTION DEVICE
JP4585589B2 (ja) * 2008-09-22 2010-11-24 株式会社東芝 映像データ処理装置及び映像データ処理方法
JP5220120B2 (ja) * 2008-10-17 2013-06-26 パナソニック株式会社 走査型画像表示装置
JP2010097092A (ja) 2008-10-20 2010-04-30 Canon Inc 揺動体装置、揺動体装置を用いた偏向装置、及び揺動体装置の制御方法
US20100182668A1 (en) * 2009-01-16 2010-07-22 Sanyo Electric Co., Ltd. Projection Image Display Apparatus
JP5493735B2 (ja) * 2009-01-30 2014-05-14 株式会社リコー 偏向ミラー、光走査装置、画像形成装置、および画像投影装置
JP2010230730A (ja) 2009-03-25 2010-10-14 Seiko Epson Corp 画像形成装置
JP5728823B2 (ja) * 2009-06-09 2015-06-03 株式会社リコー 光偏向器、光走査装置、画像形成装置及び画像投影装置
JP2011014660A (ja) * 2009-06-30 2011-01-20 Canon Inc 偏光状態の計測装置、露光装置及びデバイス製造方法
JP5359645B2 (ja) * 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5481142B2 (ja) * 2009-09-28 2014-04-23 京セラ株式会社 画像投影装置
US20110102763A1 (en) * 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8780096B2 (en) * 2009-11-19 2014-07-15 Panasonic Corporation Scanning image display apparatus
US9319502B2 (en) * 2010-02-24 2016-04-19 Kyocera Corporation Mobile electronic device, image projecting method and projection system
JP5587403B2 (ja) * 2010-04-28 2014-09-10 パナソニック株式会社 走査型画像表示装置
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP5914979B2 (ja) * 2011-04-11 2016-05-11 セイコーエプソン株式会社 光走査装置および画像形成装置
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US20130120428A1 (en) * 2011-11-10 2013-05-16 Microvision, Inc. Mobile Projector with Position Dependent Display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244330A (ja) * 2008-03-28 2009-10-22 Funai Electric Co Ltd 投射型画像表示装置
JP2010041647A (ja) * 2008-08-08 2010-02-18 Onkyo Corp 画像送受信装置およびそのプログラム
JP2010204217A (ja) * 2009-02-27 2010-09-16 Seiko Epson Corp 画像形成装置
JP2010261979A (ja) * 2009-04-30 2010-11-18 Funai Electric Co Ltd レーザプロジェクタ

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071243A (ja) * 2012-09-28 2014-04-21 Sony Corp 画像出力装置、画像出力方法、およびプログラム
JP2014071244A (ja) * 2012-09-28 2014-04-21 Sony Corp 投影装置、投影方法、プログラム、及び電子機器
US9723280B2 (en) 2013-01-22 2017-08-01 Sony Corporation Projection type image display device, image processing device and image processing method, and computer program
WO2014115400A1 (ja) 2013-01-22 2014-07-31 ソニー株式会社 投影型画像表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JPWO2014115400A1 (ja) * 2013-01-22 2017-01-26 ソニー株式会社 投影型画像表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US10271027B2 (en) 2013-06-26 2019-04-23 North Inc. Method and device for projecting an image with improved safety
US10187620B2 (en) 2013-09-24 2019-01-22 Maxell, Ltd. Display device
JPWO2015044995A1 (ja) * 2013-09-24 2017-03-02 日立マクセル株式会社 表示装置
WO2015044995A1 (ja) * 2013-09-24 2015-04-02 日立マクセル株式会社 表示装置
US9936176B2 (en) 2014-01-07 2018-04-03 Mitsubishi Electric Corporation Image protection device and adjustment method
JPWO2015173942A1 (ja) * 2014-05-16 2017-04-20 日立マクセル株式会社 走査型表示装置
US10089911B2 (en) 2014-05-16 2018-10-02 Maxell, Ltd. Scanning display device
WO2015173942A1 (ja) * 2014-05-16 2015-11-19 日立マクセル株式会社 走査型表示装置
JP2019503079A (ja) * 2016-01-11 2019-01-31 フィスバ・アクチェンゲゼルシャフトFisba Ag 光モジュールの製造方法、光モジュール、および光モジュールの操作方法およびコンピュータ・プログラム・プロダクト
JP2017227903A (ja) * 2017-08-10 2017-12-28 インテル・コーポレーション 改善された安全性を有する画像を投射する方法および装置
WO2021205647A1 (ja) * 2020-04-10 2021-10-14 富士通株式会社 距離測定装置、画角制御方法、及びプログラム

Also Published As

Publication number Publication date
CN102566213A (zh) 2012-07-11
JP5803184B2 (ja) 2015-11-04
US20120127184A1 (en) 2012-05-24
CN102566213B (zh) 2014-11-26
US8884975B2 (en) 2014-11-11
EP2456208A2 (en) 2012-05-23
EP2456208A3 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5803184B2 (ja) 画像投影装置、メモリアクセス方法
JP5587403B2 (ja) 走査型画像表示装置
TWI516801B (zh) 微機電系統掃描鏡之光圖案產生
TW581977B (en) Graphics memory system for volumetric displays
CN110352374B (zh) Mems扫描显示设备
US9304387B2 (en) Device for directional light field 3D display and method thereof
JP2004532425A (ja) ねじり共振構造の動的調整
JP2004252012A (ja) 投射型表示光学系
US20020008676A1 (en) Three-dimensional image display apparatus, three-dimensional image display method and data file format
JP6926625B2 (ja) 圧電アクチュエータ、光偏向器及び画像投影装置
JP4515029B2 (ja) 切替式光供給と撓み補正とを有する走査型表示装置
JP2011008316A (ja) 情報処理装置、画像表示装置及び情報処理方法
TWI377474B (en) Data processing device and monitor using thereof
JP4490019B2 (ja) ピンチ、タイミング及び歪み補正機能を備える走査表示
JPH11296145A (ja) 液晶表示制御装置
Scholles et al. Ultra compact laser projection systems based on two-dimensional resonant micro scanning mirrors
JP2005208413A (ja) 画像処理装置及び画像表示装置
JP5958224B2 (ja) 表示装置及び表示方法
JP4533580B2 (ja) 補助腕部を有する周波数調整可能の共振型走査装置
JP2017227868A (ja) 制御装置、画像投影装置、および制御方法
CN109600589B (zh) 激光投影仪驱动方法、装置、设备和存储介质
JP5392106B2 (ja) 光走査装置
JP2001352565A (ja) 立体画像表示装置
JP2005531039A (ja) 背面投射型ディスプレイ用の折り曲げられた光学経路を備えるビームスプリッタ
JP6973563B2 (ja) プロジェクター、及び、プロジェクターの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5803184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151