JP2011186221A - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
JP2011186221A
JP2011186221A JP2010051892A JP2010051892A JP2011186221A JP 2011186221 A JP2011186221 A JP 2011186221A JP 2010051892 A JP2010051892 A JP 2010051892A JP 2010051892 A JP2010051892 A JP 2010051892A JP 2011186221 A JP2011186221 A JP 2011186221A
Authority
JP
Japan
Prior art keywords
image
super
resolution processing
unit
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010051892A
Other languages
English (en)
Other versions
JP5736652B2 (ja
JP2011186221A5 (ja
Inventor
Shinichi Tsukagoshi
真一 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010051892A priority Critical patent/JP5736652B2/ja
Priority to US13/040,573 priority patent/US20110221753A1/en
Priority to TW100107437A priority patent/TW201142812A/zh
Priority to CN2011100577528A priority patent/CN102194445B/zh
Priority to KR1020110020218A priority patent/KR101223067B1/ko
Publication of JP2011186221A publication Critical patent/JP2011186221A/ja
Publication of JP2011186221A5 publication Critical patent/JP2011186221A5/ja
Application granted granted Critical
Publication of JP5736652B2 publication Critical patent/JP5736652B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】超解像処理の施された表示画像における画質の低下を抑制する技術を提供する。
【解決手段】画像表示装置100は、入力画像の拡大画像を生成する解像度調整部123と、拡大画像に対して超解像処理を実行する超解像処理部125と、超解像処理の施された画像にオーバースキャン処理を実行するオーバースキャン実行部132とを備える。制御部112は、オーバースキャン処理における画像の拡大の度合いに応じて、超解像処理部125における鮮鋭化の度合いを変更する。
【選択図】図5

Description

この発明は、画像表示装置に関する。
プロジェクターなどの画像表示装置では、一般に、外部からの入力画像に対して画素を補間することによって拡大画像を生成し、その拡大画像を表示する(特許文献1等)。拡大画像は、一般に、画素の補間に伴って、画像内において輪郭を形成する画素間の色彩の変化がなだらかとなるため、拡大前の原画像に比較して鮮鋭度が低下してしまう。こうした画像の拡大に伴う鮮鋭度の低下を抑制するために、画像表示装置には、拡大画像内において色彩の変化がなだらかになっている輪郭部分を検出して、当該部位に対して選択的に鮮鋭化処理を実行する、いわゆる超解像処理を施すものがある。
ところで、画像表示装置では、そうした超解像処理を施された後の画像に対して、さらに、画像の拡大(画素の補間)や縮小(画素の間引き)を伴う画像処理を施し、表示画像を生成する場合がある。超解像処理の施された画像に対して、画素の補間がなされた場合には、当該画像の鮮鋭度は再び低下する可能性がある。また、超解像処理の施された画像に対して画素の間引きがなされた場合には、画像情報の欠損による画質の劣化が生じる可能性がある。このように、超解像処理の後に実行される画像処理によっては、先行して実行された超解像処理による画質改善の効果が弱められてしまうという問題があった。
特開2008−298948号公報 特開2000−339450号公報 特開平8−336046号公報
本発明は、超解像処理の施された表示画像における画質の低下を抑制する技術を提供することを目的とする。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
[適用例1]
画像表示装置であって、
入力画像の拡大画像を生成する画像拡大部と、
前記画像拡大部によって生成された前記拡大画像に対して超解像処理を実行して、鮮鋭化画像を生成する超解像処理部と、
前記超解像処理部で生成された前記鮮鋭化画像内における、表示対象となる画像領域の画素数の変更を伴う画像変形処理を実行して表示画像を生成する表示画像生成部と、
前記表示画像生成部で生成された前記表示画像を表示する表示部と、
画像処理に関する設定値の入力を受け付ける入力部と、
前記超解像処理部および前記表示画像生成部を制御する制御部と、
を備え、
前記制御部は、前記設定値に応じて、前記表示画像生成部における前記画像変形処理の度合いを変更し、
前記画像変形処理の度合いに応じて、前記超解像処理部における前記超解像処理による鮮鋭化の度合いを変更する、画像表示装置。
この画像表示装置によれば、画像変形処理の前段において実行される超解像処理の度合いが、画像変形処理の度合いに応じて調整される。即ち、画像変形処理において画素が補間され、超解像処理の効果が弱められる可能性がある場合には、超解像処理を予め強化して施すことにより、表示画像の鮮鋭度の低下を抑制する。また、画像変形処理において表示画像を構成する画素が間引かれ、超解像処理を施された画像に画質の劣化が生じる可能性がある場合には、超解像処理を予め弱化しておくことにより、画素の間引きによる画質の劣化の可能性を低減する。
[適用例2]
適用例1記載の画像表示装置であって、
前記画像変形処理は、前記鮮鋭化画像内における表示対象となる画像領域を切り出すとともに所定の表示サイズまで拡大するオーバースキャン処理を含み、
前記設定値は、前記オーバースキャン処理における前記拡大の度合いを示す第1の設定値を含み、
前記制御部は、前記第1の設定値の値の高いときの方が、前記第1の設定値の値が低いときより、前記超解像処理部による鮮鋭化の度合いを強化させる、画像表示装置。
この画像表示装置によれば、オーバースキャン処理において画像が拡大される度合いが変化した場合であっても、その変化に応じて超解像処理を強化して施すため、表示画像の鮮鋭度の低下を抑制することができる。
[適用例3]
適用例2記載の画像表示装置であって、さらに、
前記画像変形処理は、前記オーバースキャン処理された切出画像を、画像領域の上側または下側のうちのいずれか一方の側ほど縮小する方向に変形するキーストーン補正処理を含み、
前記設定値は、前記キーストーン補正処理における前記縮小の度合いを示す第2の設定値を含み、
前記制御部は、前記第1の設定値の値が高いときの方が、前記第1の設定値の値が低いときより、前記超解像処理の度合いを強化させ、前記第2の設定値の値が高いときの方が、前記第2の設定値が低いときより、前記超解像処理の度合いを弱化させる、画像表示装置。
この画像表示装置によれば、オーバースキャン処理やキーストーン補正によって画質の劣化が生じることを回避できるように、予め、画像に対する超解像処理の強弱を調整することができる。従って、超解像処理の施された表示画像における画質の低下が抑制される。
[適用例4]
適用例1記載の画像表示装置であって、
前記画像変形処理は、前記オーバースキャン処理された切出画像を、画像領域の上側または下側のうちいずれか一方の側ほど縮小する方向に変形するキーストーン補正処理を含み、
前記設定値は、前記キーストーン補正処理における前記縮小の度合いを示す第2の設定値を含み、
前記制御部は、前記第2の設定値の値が高いときの方が、前記第2の設定値の値が低いときより、前記超解像処理の度合いを弱化させる、画像表示装置。
この画像表示装置によれば、キーストーン補正によって画質の劣化が生じることを回避できるように、予め、画像に対する超解像処理の強弱を調整することができる。従って、超解像処理の施された表示画像における画質の低下が抑制される。
[適用例5]
画像表示装置が実行する画像表示方法であって、
(a)前記画像表示装置が、画像処理に関する設定値の入力を受け付ける工程と、
(b)前記画像表示装置が、入力画像を拡大して拡大画像を生成する工程と、
(c)前記画像表示装置が、前記拡大画像に対して超解像処理を実行して鮮鋭化画像を生成する工程と、
(d)前記画像表示装置が、前記鮮鋭化画像内における表示対象となる画像領域の画素数の変更を伴う画像変形処理を、前記設定値の値に応じた処理の度合いで実行して表示画像を生成する工程と、
(e)前記画像表示装置が、前記表示画像を表示する工程と、
を備え、
前記工程(c)は、前記画像表示装置が、前記設定値の表す前記画像変形処理の度合いに応じて、前記超解像処理の度合いを変更して実行する工程を含む、画像表示方法。
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像表示装置またはその制御方法、それらの装置または方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。
第1実施例としての画像表示装置の構成を示すブロック図。 超解像処理部が実行する超解像処理の概要を流れ図によって示す説明図。 超解像処理部による超解像処理の一例を説明するための説明図。 表示画像生成部のオーバースキャン実行部において実行されるオーバースキャン処理を説明するための説明図。 超解像処理レベルの内部設定値を決定するためのテーブルの一例を示す説明図。 第2実施例としての画像表示装置の構成を示すブロック図。 キーストーン補正部によるキーストーン補正を説明するための模式図。 第2実施例の画像表示装置において、制御部が超解像処理レベルの内部設定値を決定するために使用するテーブルの一例を示す説明図。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
B.第2実施例:
C.変形例:
A.第1実施例:
図1は本発明の一実施例としての画像表示装置の構成を示すブロック図である。この画像表示装置100は、外部機器から入力された映像信号に基づいて形成した画像を投写スクリーンSCに投写表示するプロジェクターである。この画像表示装置100は、映像信号を処理する映像信号処理系統として、中央処理装置(CPU)110と、A/D変換部121と、解像度調整部123と、超解像処理部125と、パネル駆動部127とを備える。これらの映像信号処理系統の各構成部は、内部バス101を介して互いに接続されている。なお、映像信号処理系統の各構成部は、各種の画像処理を実行するための専用の記憶部(図示せず)を有しているものとしても良い。
画像表示装置100は、さらに、映像信号処理系統において処理された映像信号に基づき、投写画像を生成するための画像投写系統を有している。画像表示装置100は、画像投写系統として、照明光学系141と、液晶パネル143と、投写光学系145とを備える。また、画像表示装置100は、装置全体を制御するための制御系統を有している。画像表示装置100は、制御系統として、映像信号処理系統にも含まれるCPU110と、操作部151と、ROM(Read Only Memory)153と、RAM(Random Access Memory)155と、光学系駆動部157とを備える。これらの制御系統の各構成部は、内部バス102を介して互いに接続されている。
ここで、CPU110は、ROM153に格納された各種のプログラムを読み出し、RAM155に展開して実行することにより、制御部112として機能するととともに、表示画像生成部114として機能する。制御部112は、操作部151を介したユーザーの操作を受け付け、その操作内容が反映されるように、画像表示装置100の各構成部を制御する。また、制御部112は、A/D変換部121に対する同期信号の監視処理など、画像表示装置100における信号の送受信に関する制御を実行する。表示画像生成部114は、最終的な表示画像を生成するための画像処理を実行する。本実施例では、表示画像生成部114は、入力された画像に対してオーバースキャン処理(後述)を実行するオーバースキャン実行部132を有している。
映像信号処理系統では、以下のように、映像信号が処理される。A/D変換部121は、ビデオ入力端子(図示せず)などの端子を介して接続された外部機器から供給されるアナログ映像信号の入力を受け付け、ディジタル信号へと変換し、解像度調整部123へと送信する。解像度調整部123は、A/D変換部121から受信した映像信号の表す入力画像の解像度を、液晶パネル143における表示解像度に調整して出力する。具体的には、解像度調整部123は、入力画像に対して画素を補間することにより、入力画像の解像度を増大させ、超解像処理部125へと送信する。超解像処理部125は、入力画像に対して、超解像処理(後述)を実行し、CPU110へと送信する。
CPU110では、表示画像生成部114のオーバースキャン実行部132が、入力画像に対してオーバースキャン処理(後述)を実行し、表示画像を生成する。表示画像生成部114は、表示画像を表す映像信号をパネル駆動部127に送信する。パネル駆動部127は、受信信号に基づいて、液晶パネル143を駆動する。
投写表示系では、以下のように投写画像を投写スクリーンSCに形成する。照明光学系141は、液晶パネル143のパネル面に向かって照明光を照射する。その照明光は、液晶パネル143を透過するが、その際に、液晶パネル143のパネル面で変調される。投写光学系145は、ズームレンズやフォーカスレンズを有しており、液晶パネル143において変調された照明光(「画像光」とも呼ぶ)を投写スクリーンSCに向かって拡大投写する。なお、投写光学系145のズームレンズおよびフォーカスレンズは、制御部112の制御下で、光学系駆動部157によって駆動される。
ここで、制御系統の操作部151は、ボタンやタッチパネル、リモコンによって構成されている。制御部112は、操作部151を介して超解像処理部125や表示画像生成部114における処理に関する設定を受け付ける。具体的な設定の内容に関しては後述する。
図2は、超解像処理部125が実行する超解像処理の概要を流れ図によって示す説明図である。超解像処理部125は、解像度調整部123において拡大された入力画像から、画素間における色彩の変化が緩やかになっている輪郭部位を構成する画素列を検出し、その検出された輪郭部位を選択的に鮮鋭化する。本明細書では、この一連の処理を「超解像処理」と呼ぶ。この超解像処理によって、入力画像における輪郭構成部位以外の画質の劣化を回避しつつ、入力画像における輪郭部位を際立たせ、入力画像全体の鮮鋭度を向上させることができる。
図3は、超解像処理部125による超解像処理の一例を説明するための説明図である。図3(A)には、画像中において輪郭部位を構成する画素列の一例が模式的に示されており、当該画素列が解像度調整部123における拡大処理および超解像処理部125における超解像処理を施されることによって変化する様子が段階的に図示されている。また、図3(B)には、図3(A)に示された画素列についての画素位置に応じた輝度の変化を模式的に示すグラフBG1〜BG3が、図3(A)の画素列の各状態と対応させて図示されている。
解像度調整部123への入力画像における輪郭部位を構成する画素列として、連続する複数の赤色の画素と、連続する複数の青色の画素とが一列に配列された画素列を想定する(図3(A))。この輪郭部位を構成する画素列では、連続する赤色画素の領域において輝度が比較的高い値で一定であり、赤色と青色の境界位置においてその輝度はほぼ垂直に低下している(図3(B)のグラフBG1)。そして、連続する青色画素の領域では、輝度は、境界位置における低下後の値で一定となっている。
解像度調整部123における画像の拡大処理では入力画像の各画素の間に新たな画素が補間される。上記の連続する複数の赤色の画素と連続する複数の青色の画素との間には、色彩が赤色から青色へと徐々に変化するように、紫色を含む赤色と青色の混色の画素が複数個補間される。なお、図3(A)には、拡大処理実行後の画素列における各色成分(赤、青、緑)を分離して図示してある。赤色と青色の境界位置に補間された画素列における各色成分は、赤色成分が画素位置に応じて階段状に低下し、逆に、青色成分が画素位置に応じて階段状に上昇している。
ここで、拡大処理における混色画素の補間によって、拡大処理実行後の画素列における赤色と青色の境界領域では、画素位置に応じた輝度の変化は、拡大処理実行前より、緩やかな勾配を示すようになる(図3(B))。これは、拡大画像では、輪郭部位における色彩の変化がなだらかになり、画像全体の鮮鋭度が低下していることを意味する。
そこで、超解像処理部125では、拡大画像中において色彩が緩やかに変化している輪郭部位を検出し、当該部位における輝度の変化が、拡大処理前の輝度の変化に近付くように、補間画素の色彩構成を再構成することにより、当該部位を選択的に鮮鋭化する。具体的には、超解像処理部125は、入力画像の中から、同じ色彩が所定の画素数だけ連続するとともに、後続する画素列においてその色彩から他の色彩へと徐々に変化し、さらに変化後の色彩が、所定の画素数だけ連続する部位を検出する。そして、超解像処理部125は、その検出された部位において、色彩が徐々に変化する部位を構成する各画素の色彩を、当該部位の両側において連続している画素列の有する色彩情報に合わせて再構成する。これによって、当該部位における画素位置に応じた輝度の変化が急峻となる(グラフBG3)。
即ち、この超解像処理は、拡大処理後の画像において輪郭部位を構成する画素列の色彩構成を、拡大処理前の画像において輪郭部位を構成する画素列の色彩構成に近似させる処理であると解釈することができる。また、この超解像処理は、拡大処理後の画像において輪郭部位を構成する画素列の画素位置に応じた輝度の変化を、拡大処理前の画像において輪郭部位を構成する画素列の画素位置に応じた輝度の変化へと近似させる処理であると解釈することも可能である。
ところで、本実施例の画像表示装置100では、ユーザーは、操作部151を介して超解像処理における処理の度合い(超解像処理の強弱を示す尺度であり、以後、「超解像処理レベル」と呼ぶ)を設定することが可能である。具体的には、ユーザーは、超解像処理レベルの設定値として、レベル0〜レベル3の4段階のレベルを選択して設定することができる。ここで、レベル0は、超解像処理を無効化(オフ)することを意味し、レベル1〜レベル3は、そのレベル値が高いほど、処理の度合いが強くなることを示している。ここで、超解像処理レベルの強弱は、例えば、鮮鋭化する輪郭部位の検出条件である閾値の変更や、当該検出部位を構成する画素の色彩を再構成するための条件値の変更により行われる。なお、本実施例の画像表示装置100では、ユーザーが設定する超画像処理レベルの設定値(以後、「ユーザー設定値」と呼ぶ)とは別に、超解像処理レベルに関して予め規定値として設定された設定値(以後、「内部設定値」)を有している。その詳細については後述する。
図4(A),(B)は、表示画像生成部114のオーバースキャン実行部132において実行されるオーバースキャン処理を説明するための説明図である。図4(A)は、オーバースキャン処理の概要を示す流れ図であり、図4(B)は、オーバースキャン実行部132における入力画像から出力画像への変化を示す模式図である。オーバースキャン実行部132は、入力画像から予め設定された位置およびサイズ(原画像に対して9割程度のサイズ)の画像領域(図4(B)において破線で図示)を切り出し、切り出された画像を再び表示画像のサイズまで拡大する。即ち、本実施例の画像表示装置100は、歪みや画質の劣化を生じやすい画像の外周縁を、オーバースキャン処理によって予め削除して表示することができる。
ここで、オーバースキャン処理における画像の切り出し位置や切り出しサイズは、操作部151を介してユーザーが予め設定することが可能である。特に、本実施例の画像表示装置100では、ユーザーは、オーバースキャン処理における画像の切り出しサイズを、予め設定された複数種類のサイズから選択して設定することができる。オーバースキャン処理では、設定された画像の切り出しサイズに応じて、その切り出し画像が拡大される度合いが決定される。本明細書では、ユーザーが選択する画像の切り出しサイズの設定を「オーバースキャン処理レベル」と呼ぶ。
ユーザーは、オーバースキャン処理レベルを、「0」、「2」、「4」、「6」、「8」の5種類の値から選択することができる。なお、オーバースキャン処理レベルの設定値が「0」のときは、オーバースキャン実行部132の機能が無効化されることを意味し、外部から入力された画像はトリミングされることなく表示される。他のオーバースキャン処理レベルの設定値の場合には、その設定値が大きいほど、小さいサイズで画像が切り出され、入力画像に対する出力画像の拡大率が大きくなる。
ところで、オーバースキャン実行部132では、その拡大処理において、超解像処理が施されている画像に対する画素の補間が実行される。即ち、オーバースキャン実行部132では、設定されたオーバースキャン処理レベルが高いほど、その出力画像の鮮鋭度が低下する可能性が高くなる。そこで、本実施例の画像表示装置100では、制御部112が、超解像処理部125における超解像処理を以下のように制御することにより、オーバースキャン実行部132が出力する表示画像における鮮鋭度の低下を抑制する。
図5(A)は、超解像処理レベルの内部設定値を決定するためのテーブルの一例を示す説明図である。前記したとおり、本実施例の画像表示装置100では、制御部112は、ユーザーによる超解像処理レベルとオーバースキャン処理レベルの設定操作を受け付ける。しかし、制御部112は、超解像処理の制御においては、超解像処理レベルのユーザー設定値のみならず、オーバースキャン処理レベルを加味して、実際の超解像処理レベル(内部設定値)を決定する。具体的には、制御部112は、図5(A)に示すような予め設定されたテーブルを用いて、超解像処理レベルの内部設定値を決定する。
図5(A)のテーブルでは、超解像処理のユーザー設定値の値が高いほど、超解像処理レベルの内部設定値が次第に高くなるように設定されている。また、図5(A)のテーブルでは、同じ超解像処理レベルのユーザー設定値であっても、オーバースキャン処理レベルの設定値が高いほど、超解像処理レベルの内部設定値は次第に高くなるように設定されている。
なお、図5(A)のテーブルでは、超解像処理レベルのユーザー設定値が「0」であっても、超解像処理部125の機能は無効化されず、最小レベルの超解像処理が実行されるように内部設定値が設定されている。このような設定とすることにより、ユーザーは常に、外部機器から送信された原画像より画質の高い表示画像を見ることが可能となる。
図5(B)は、超解像処理レベルの内部設定値による超解像処理の度合いを説明するための説明図である。図5(B)には、図3(B)で説明したのと同様な画素位置に応じた輝度の変化を示すグラフが、内部設定値を示す数直線に対応するように図示されている。なお、グラフ中の破線は、超解像処理レベルを0%から50%、または、50%から100%に変更したときの変更前のグラフを示している。超解像処理部125は、超解像処理レベルの内部設定値が高いほど、検出された輪郭部位を構成する画素列における輝度の変化が、垂直に近付くように鮮鋭化のための処理を実行する。
このように、本実施例の画像表示装置100では、超解像処理レベルのユーザー設定値が同じであっても、オーバースキャン処理レベルの設定値が高いほど、超解像処理レベルが強化される。従って、ユーザーがオーバースキャン処理レベルの設定値を増大させた場合であっても、オーバースキャン実行部132において表示画像の鮮鋭度の低下が生じてしまうことが抑制される。
B.第2実施例:
図6は本発明の第2実施例としての画像表示装置100Aの構成を示すブロック図である。図6は、表示画像生成部114Aにキーストーン補正部134が設けられている点以外は、図1とほぼ同じである。第2実施例の画像表示装置100Aでは、超解像処理部125において超解像処理を施された画像に対して、オーバースキャン実行部132がオーバースキャン処理を実行し、さらに、その画像に対してキーストーン補正部134が、キーストーン補正を実行する。
制御部112は、操作部151を介してキーストーン補正部134による画像の補正量(以後、「キーストーン補正レベル」と呼ぶ)の設定を受け付ける。具体的には、ユーザーは、キーストーン補正部134におけるキーストーン補正レベルを、「0度」、「2度」、「4度」、「6度」、「8度」の5段階から選択して設定することができる。キーストーン補正部134は、設定されたキーストーン補正レベルの値に応じて、入力画像に対してキーストーン補正を実行する。
図7は、キーストーン補正部134によるキーストーン補正を説明するための模式図である。図7には、液晶パネル143のパネル面143aが、キーストーン補正レベルの各設定値と対応させて図示されている。各パネル面143aには、表示画像が形成される表示画像形成領域IMAがハッチングを付して図示されている。各パネル面143aにおける表示画像形成領域IMAの外側の領域は、全黒表示の状態となる。なお、図7では、表示画像形成領域IMAの上側ほど縮小する方向に変形するキーストーン補正が図示されているが、キーストーン補正部134は、表示画像形成領域IMAの下側ほど縮小する方向に変形するキーストーン補正を実行するものとしても良い。
キーストーン補正部134は、表示対象となる画像領域(表示画像形成領域IMA)を画面上側または画面下側のいずれかの側ほど縮小する方向に変形するキーストーン補正を実行する。キーストーン補正における画像の変形の度合いは、キーストーン補正レベルの設定値が高いほど強化される。従って、液晶パネル143のパネル面143aに形成される表示画像形成領域IMAは、図7に示すように、キーストーン補正レベルが高くなるほど、つぶれた台形形状となる。
なお、一般に、投写スクリーンSCに対して画像光が下方から上方に向かって投写される場合には、表示画像形成領域IMAの上側ほど縮小する方向のキーストーン補正が実行される。一方、投写スクリーンSCに対して画像光が上方から下方に向かって投写される場合には、表示画像形成領域IMAの下側ほど縮小する方向のキーストーン補正が実行される。また、画像表示装置100Aの投写光学系145が投写する投写光の光軸と水平面(画像光が投写される面と垂直な面)とのなす角度が大きいほど、キーストーン補正レベルが高く設定されることが好ましい。
ここで、画像を縮小変形する場合には、その画像の一部画素が間引かれることとなる。超解像処理部125において超解像処理が高いレベルで施された画像に対して、キーストーン補正が実行されると、間引かれる画素量が多い縮小変形の度合いの大きい領域ほど、画像のぎらつきが増大する可能性が高い。このように、超解像処理の後にキーストーン補正が実行されたときには、予期せぬ画質の劣化が生じてしまう可能性がある。そこで、第2実施例の画像表示装置100Aでは、制御部112が、以下のように、超解像処理部125および表示画像生成部114Aを制御することにより、そうした画質の劣化を抑制する。
図8(A),(B)はそれぞれ、第2実施例の画像表示装置100Aにおいて、制御部112が、超解像処理レベルの内部設定値を決定するために使用するテーブルの一例を示す説明図である。図8(A)は、オーバースキャン実行部132の機能が無効化されている場合に用いられるテーブルである。ここで、オーバースキャン実行部132の機能が無効化されている場合には、超解像処理部125が出力する画像に対しては、画像を拡大する処理は実行されず、キーストーン補正部134によって、画像の一部を縮小する方向の変形処理が施される。そのため、この場合には、制御部112は、超解像処理レベルのユーザー設定値とキーストーン補正レベルの設定値とに基づいて超解像処理レベルの内部設定値を決定する。
図8(A)のテーブルでは、超解像処理のユーザー設定値の値が高いほど、超解像処理レベルの内部設定値が次第に大きくなるように設定されている。また、図8(A)のテーブルでは、同じ超解像処理レベルのユーザー設定値であっても、キーストーン補正レベルの設定値が高いほど、超解像処理レベルの内部設定値が次第に小さくなるように設定されている。即ち、第2実施例の画像表示装置100Aでは、超解像処理部125の後段において実行されるキーストーン補正のレベルが高いほど、超解像処理部125による超解像処理の度合いを弱化する。
このような制御を実行することによって、画像表示装置100Aでは、超解像処理が施された画像にキーストーン補正が実行されることによる画質の劣化が生じることを抑制する。なお、図8(A)のテーブルでは、超解像処理レベルのユーザー設定値が「0」であっても、超解像処理部125の機能は無効化されず、最小レベルの超解像処理が実行されるように内部設定値が設定されている。このような設定とすることにより、ユーザーは常に、外部機器から送信された原画像より画質の高い表示画像を見ることが可能となる。
図8(B)は、オーバースキャン実行部132によってオーバースキャン処理が実行され、かつ、超解像処理レベルのユーザー設定値がレベル1に設定されている場合に用いられるテーブルである。オーバースキャン実行部132によってオーバースキャン処理が実行される場合には、超解像処理部125からの出力画像に対しては、画像を拡大する処理が施されるとともに、その拡大画像の一部を縮小する画像の変形処理が施されることとなる。従って、この場合には、超解像処理レベルの内部設定値は、超解像処理レベルのユーザー設定値と、オーバースキャン処理レベルの設定値と、キーストーン補正レベルの設定値とに基づいて決定されることが好ましい。
図8(B)のテーブルでは、キーストーン補正レベルが高いほど、超解像処理レベルの内部設定値の値が低くなるように設定されている。また、図8(B)のテーブルでは、キーストーン補正レベルが同じ値であっても、オーバースキャン処理レベルの設定値が大きくなるほど、超解像処理レベルの内部設定値が大きくなるように設定されている。なお、画像表示装置100Aは、図8(B)のテーブルに加え、超解像処理レベルの各ユーザー設定値(0〜3)ごとに、当該テーブルと同様なテーブル(図示せず)を有している。これらのテーブルは、超解像処理レベルのユーザー設定値が高いほど、高い内部設定値が得られるように設定されている。
このように、第2実施例の画像表示装置100Aでは、超解像処理部125の後段におけるオーバースキャン処理における画像の拡大率が大きくなるほど、第1実施例と同様に、超解像処理レベルが強化される。一方、キーストーン補正による画像の縮小変形の度合いが大きくなるほど、超解像処理レベルは弱化される。即ち、画像表示装置100Aでは、超解像処理部125の後段における画像処理の処理の度合いに応じて、適宜、超解像処理の強弱を制御することができる。従って、超解像処理の施された表示画像における画質の低下が抑制される。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
C1.変形例1:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。また、例えば、表示画像生成部114,114Aの機能の一部を有する他のプロセッサーを新たに追加することも可能である。
C2.変形例2:
上記実施例において、超解像処理部125は、超解像処理として、画像中の各画素列の色彩構成を調べて鮮鋭化すべき輪郭部位を検出していた。そして、当該輪郭部位における色彩構成を、拡大処理前の当該輪郭部位を構成する画素の色彩構成に近付くように再構成する処理を実行していた。しかし、超解像処理部125は、他の方法による超解像処理を実行するものとしても良い。例えば、超解像処理としては、拡大後の拡大画像を拡大前の大きさに縮小した縮小画像と、拡大前の入力画像との間の差分を検出し、その差分が小さくなるように、拡大画像を繰り返し補正する処理が実行されるものとしても良い。
C3.変形例3:
上記実施例では、制御部112は予め設定されたテーブル(図5(A),図8(A),(B))を用いて、超解像処理レベルの内部設定値を決定していた。しかし、制御部112は、それらのテーブルに換えて、予め準備されたマップや関数を用いて、超解像処理レベルの内部設定値を決定するものとしても良い。
C4.変形例4:
上記第2実施例において、表示画像生成部114Aは、オーバースキャン実行部132とキーストーン補正実行部134とを備えていたが、オーバースキャン実行部132は省略されるものとしても良い。この場合にも、制御部112は、キーストーン補正処理において画像が縮小される度合いが大きいほど、超解像処理レベルを弱化するものとしても良い。
C5.変形例5:
上記実施例において、表示画像生成部114,114Aは、オーバースキャン実行部132や、キーストーン補正実行部134を備えていた。しかし、表示画像生成部114,114Aは、さらに、他の画素数の変更を伴う画像変形処理を実行する実行部を備えているものとしても良い。この場合には、その実行部における処理の度合いに応じて、超解像処理部125による超解像処理レベルを変更するものとしても良い。
C6.変形例6:
上記実施例において、画像表示装置100,100Aは投写スクリーンSCに画像を投写表示するプロジェクターとして構成されていた。しかし、画像表示装置100,100Aは、他の表示手段によって画像を表示する画像表示装置として構成されるものとしても良い。例えば、画像表示装置100,100Aは、液晶ディスプレイやプラズマディスプレイとして構成されるものとしても良い。また、画像表示装置100,100Aは、液晶パネル143に換えて、ディジタル・マイクロミラー・デバイス(Digital Micromirror Device)を偏光手段として用いるものとしても良い。
100,100A…画像表示装置
101,102…内部バス
110…CPU
112…制御部
114,114A…表示画像生成部
121…A/D変換部
123…解像度調整部
125…超解像処理部
127…パネル駆動部
132…オーバースキャン実行部
134…キーストーン補正部
141…照明光学系
143…液晶パネル
143a…パネル面
145…投写光学系
151…操作部
153…ROM
155…RAM
157…光学系駆動部
IMA…表示画像形成領域
SC…投写スクリーン

Claims (5)

  1. 画像表示装置であって、
    入力画像の拡大画像を生成する画像拡大部と、
    前記画像拡大部によって生成された前記拡大画像に対して超解像処理を実行して、鮮鋭化画像を生成する超解像処理部と、
    前記超解像処理部で生成された前記鮮鋭化画像内における、表示対象となる画像領域の画素数の変更を伴う画像変形処理を実行して表示画像を生成する表示画像生成部と、
    前記表示画像生成部で生成された前記表示画像を表示する表示部と、
    画像処理に関する設定値の入力を受け付ける入力部と、
    前記超解像処理部および前記表示画像生成部を制御する制御部と、
    を備え、
    前記制御部は、前記設定値に応じて、前記表示画像生成部における前記画像変形処理の度合いを変更し、
    前記画像変形処理の度合いに応じて、前記超解像処理部における前記超解像処理による鮮鋭化の度合いを変更する、画像表示装置。
  2. 請求項1記載の画像表示装置であって、
    前記画像変形処理は、前記鮮鋭化画像内における表示対象となる画像領域を切り出すとともに所定の表示サイズまで拡大するオーバースキャン処理を含み、
    前記設定値は、前記オーバースキャン処理における前記拡大の度合いを示す第1の設定値を含み、
    前記制御部は、前記第1の設定値の値の高いときの方が、前記第1の設定値の値が低いときより、前記超解像処理部による鮮鋭化の度合いを強化させる、画像表示装置。
  3. 請求項2記載の画像表示装置であって、さらに、
    前記画像変形処理は、前記オーバースキャン処理された切出画像を、画像領域の上側または下側のうちのいずれか一方の側ほど縮小する方向に変形するキーストーン補正処理を含み、
    前記設定値は、前記キーストーン補正処理における前記縮小の度合いを示す第2の設定値を含み、
    前記制御部は、前記第1の設定値の値が高いときの方が、前記第1の設定値の値が低いときより、前記超解像処理の度合いを強化させ、前記第2の設定値の値が高いときの方が、前記第2の設定値が低いときより、前記超解像処理の度合いを弱化させる、画像表示装置。
  4. 請求項1記載の画像表示装置であって、
    前記画像変形処理は、前記オーバースキャン処理された切出画像を、画像領域の上側または下側のうちいずれか一方の側ほど縮小する方向に変形するキーストーン補正処理を含み、
    前記設定値は、前記キーストーン補正処理における前記縮小の度合いを示す第2の設定値を含み、
    前記制御部は、前記第2の設定値の値が高いときの方が、前記第2の設定値の値が低いときより、前記超解像処理の度合いを弱化させる、画像表示装置。
  5. 画像表示装置が実行する画像表示方法であって、
    (a)前記画像表示装置が、画像処理に関する設定値の入力を受け付ける工程と、
    (b)前記画像表示装置が、入力画像を拡大して拡大画像を生成する工程と、
    (c)前記画像表示装置が、前記拡大画像に対して超解像処理を実行して鮮鋭化画像を生成する工程と、
    (d)前記画像表示装置が、前記鮮鋭化画像内における表示対象となる画像領域の画素数の変更を伴う画像変形処理を、前記設定値の値に応じた処理の度合いで実行して表示画像を生成する工程と、
    (e)前記画像表示装置が、前記表示画像を表示する工程と、
    を備え、
    前記工程(c)は、前記画像表示装置が、前記設定値の表す前記画像変形処理の度合いに応じて、前記超解像処理の度合いを変更して実行する工程を含む、画像表示方法。
JP2010051892A 2010-03-09 2010-03-09 画像表示装置および画像表示方法 Active JP5736652B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010051892A JP5736652B2 (ja) 2010-03-09 2010-03-09 画像表示装置および画像表示方法
US13/040,573 US20110221753A1 (en) 2010-03-09 2011-03-04 Image display apparatus and image display method
TW100107437A TW201142812A (en) 2010-03-09 2011-03-04 Image display apparatus and image display method
CN2011100577528A CN102194445B (zh) 2010-03-09 2011-03-08 图像显示装置以及图像显示方法
KR1020110020218A KR101223067B1 (ko) 2010-03-09 2011-03-08 화상 표시 장치 및 화상 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010051892A JP5736652B2 (ja) 2010-03-09 2010-03-09 画像表示装置および画像表示方法

Publications (3)

Publication Number Publication Date
JP2011186221A true JP2011186221A (ja) 2011-09-22
JP2011186221A5 JP2011186221A5 (ja) 2013-04-11
JP5736652B2 JP5736652B2 (ja) 2015-06-17

Family

ID=44559522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010051892A Active JP5736652B2 (ja) 2010-03-09 2010-03-09 画像表示装置および画像表示方法

Country Status (5)

Country Link
US (1) US20110221753A1 (ja)
JP (1) JP5736652B2 (ja)
KR (1) KR101223067B1 (ja)
CN (1) CN102194445B (ja)
TW (1) TW201142812A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995416A (zh) * 2013-01-18 2014-08-20 光宝科技股份有限公司 激光投影装置及其操作方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871349B (zh) * 2014-03-31 2017-06-23 信利半导体有限公司 一种应用于显示器的数据处理方法及装置
CN110147864B (zh) 2018-11-14 2022-02-22 腾讯科技(深圳)有限公司 编码图案的处理方法和装置、存储介质、电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137469A (ja) * 1998-11-02 2000-05-16 Sony Corp 画素数変換装置
JP2001167265A (ja) * 1999-12-07 2001-06-22 Seiko Epson Corp 画像処理プログラムを記録した媒体、画像処理装置および画像処理方法
JP2008252701A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像信号処理装置、映像表示装置および映像信号処理方法
JP2009008945A (ja) * 2007-06-28 2009-01-15 Sony Corp 画像信号処理装置、画像信号処理方法およびプログラム
JP2010041337A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6437828B1 (en) * 1997-09-30 2002-08-20 Koninklijke Philips Electronics N.V. Line-quadrupler in home theater uses line-doubler of AV-part and scaler in graphics controller of PC-part
JP2000339450A (ja) 1999-05-26 2000-12-08 Sony Corp 画像処理方法及び画像処理装置
US6491400B1 (en) * 2000-10-24 2002-12-10 Eastman Kodak Company Correcting for keystone distortion in a digital image displayed by a digital projector
US6879734B2 (en) * 2001-01-18 2005-04-12 Seiko Epson Corporation Memory efficient image artifact removal technique for LCP
US6916098B2 (en) * 2003-05-14 2005-07-12 Infocus Corporation Preset key for a projection device
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4450014B2 (ja) * 2007-05-30 2010-04-14 セイコーエプソン株式会社 プロジェクタ、画像表示装置、および、画像処理装置
US8379066B2 (en) * 2007-06-27 2013-02-19 Christie Digital Systems Usa, Inc. Method and apparatus for scaling an image to produce a scaled image
JP2009053914A (ja) * 2007-08-27 2009-03-12 Seiko Epson Corp 画像処理装置および画像処理方法
CN101226631B (zh) * 2007-12-12 2010-06-09 华为技术有限公司 一种超分辨率图像重构方法和装置
US20100026885A1 (en) * 2008-08-04 2010-02-04 Kabushiki Kaisha Toshiba Image Processing Apparatus
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
US20100053166A1 (en) 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Information processing apparatus, and super-resolution achievement method and program
WO2010065242A1 (en) * 2008-12-01 2010-06-10 Marvell World Trade, Ltd. Bit resolution enhancement
WO2010124002A1 (en) * 2009-04-21 2010-10-28 Marvell World Trade Ltd. Automatic adjustments for video post-processor based on estimated quality of internet video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137469A (ja) * 1998-11-02 2000-05-16 Sony Corp 画素数変換装置
JP2001167265A (ja) * 1999-12-07 2001-06-22 Seiko Epson Corp 画像処理プログラムを記録した媒体、画像処理装置および画像処理方法
JP2008252701A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像信号処理装置、映像表示装置および映像信号処理方法
JP2009008945A (ja) * 2007-06-28 2009-01-15 Sony Corp 画像信号処理装置、画像信号処理方法およびプログラム
JP2010041337A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995416A (zh) * 2013-01-18 2014-08-20 光宝科技股份有限公司 激光投影装置及其操作方法

Also Published As

Publication number Publication date
US20110221753A1 (en) 2011-09-15
KR101223067B1 (ko) 2013-01-17
JP5736652B2 (ja) 2015-06-17
CN102194445A (zh) 2011-09-21
CN102194445B (zh) 2013-10-23
TW201142812A (en) 2011-12-01
KR20110102208A (ko) 2011-09-16

Similar Documents

Publication Publication Date Title
JP4232042B2 (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
US7158158B1 (en) Method and apparatus for nonlinear anamorphic scaling of video images
JP2005278160A (ja) 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP5257108B2 (ja) プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
US10636388B2 (en) Display device, display method, and storage medium
JP3630166B2 (ja) 投写画像の歪補正量調整
JP2014179724A (ja) 画像処理装置、プロジェクター及び画像処理方法
JP5736652B2 (ja) 画像表示装置および画像表示方法
JP5746556B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5251825B2 (ja) 画像表示装置および画像表示方法
JP5968088B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2008122800A (ja) 画像表示装置
JP2011193332A (ja) プロジェクターおよび映像の投写方法
JP6370070B2 (ja) 表示装置
US20100053166A1 (en) Information processing apparatus, and super-resolution achievement method and program
JP2004032484A (ja) 投影型画像表示装置および画像変換方法
JP2006165828A (ja) 階調補正装置
JP5728814B2 (ja) 画像表示装置および画像処理方法
JP2008228251A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US9218649B2 (en) Image projection apparatus, control method, and program
JP2011077971A (ja) 画像処理装置、プロジェクター、画像処理方法およびプログラム
JP2001249401A (ja) 投射型プロジェクタ、及びその台形歪み補正方法
KR20100013858A (ko) 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
JP2012129747A (ja) 画像投影装置及びその制御方法、プログラム
JP2009147584A (ja) 画像処理装置、プロジェクタ、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150406

R150 Certificate of patent or registration of utility model

Ref document number: 5736652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350